JP2010026018A - カメラ装置、その撮影方法と撮影制御プログラム - Google Patents

Abstract

【課題】フラッシュ撮影においても各部の明るさが自然な状態の画像を得ることを可能とする。
【解決手段】光学系と撮像系とを含むメイン撮影ブロック１１ａとサブ撮影ブロック１１ｂを備え、フラッシュ撮影時には視差が存在する１組の撮影画像からなるステレオ画像を取得する。画像処理部１７は、取得したステレオ画像に基づいて、画角内における被写体の各部までの距離を取得する。さらに取得した距離に基づいて、ステレオ画像の一方の撮影画像を対象として、その画像内全域をカメラからの距離が同一の複数の被写体エリアに区分けし、各被写体エリアに含まれる画素の輝度をカメラからの距離に応じて補正する。その際、主たる被写体の前景部分の被写体エリアに含まれる画素の輝度を下げ、主たる被写体の背景部分の被写体エリアに含まれる画素の輝度を上げ、前景部分の白飛びや背景部分の黒つぶれを改善する。
【選択図】 図２

Description

本発明は、フラッシュ撮影な可能な構成を有するカメラ装置、その撮影方法と撮影制御プログラムに関するものである。

従来、カメラにおいて、フラッシュ撮影時におけるフラッシュ光（ストロボ光）の発光ムラ等の影響を受けることなく、画角内での主要被写体の位置に関係なく最適な露光量で被写体を撮影することを可能とする技術として、例えば下記特許文献１には、主要被写体までの距離情報やレンズの開口径情報などを利用して発光量の調整を行う技術が記載されている。
特開平８−３２７８８６号公報

しかしながら、上記技術によれば主要被写体には常に適正露出を確保することはできるが、画角内の被写体に対するフラッシュ光の照射光量は距離の二乗に比例して減少するため、画角内で主要被写体の後方に位置する背景部分や前方に位置する前景部分の被写体には適正露出を確保することができない。したがって、フラッシュ撮影で得られる画像に特有の、前景部分では露光量がオーバーして白飛び（輝度飽和）が生じたり、背景部分では露光量が不足して黒つぶれ（真っ暗な状態）が生じたりする不自然な状態を改善するまでには到らないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、フラッシュ撮影においても各部の明るさが自然な状態の画像を得ることができるカメラ装置、その撮影方法と撮影制御プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係るカメラ装置にあっては、被写体を撮像し撮影画像を取得する撮像手段と、前記被写体に向けて撮影補助光を照射する発光手段とを備えたカメラ装置において、画角内における被写体の各部までの距離を取得する距離取得手段と、前記発光手段による撮影補助光の発光動作を伴う所定の撮影に際し前記撮像手段により取得された撮影画像の各部の明るさを、前記距離取得手段により取得された被写体の各部までの距離に応じて補正する補正手段と、その補正手段による補正後の撮影画像を最終的な撮影画像として記録する制御を行う記録制御手段とを備えたことを特徴とする。

また、請求項２記載の発明に係るカメラ装置にあっては、前記撮像手段により取得される第１の撮影画像とは別に、当該第１の撮影画像との間に視差が存在する第２の撮影画像を取得する第２の撮像手段を備え、前記距離取得手段は、前記撮像手段に取得された第１の撮影画像、及び当該第１の撮影画像と同時に前記第２の撮像手段により取得された第２の撮影画像に基づいて画角内における被写体の各部までの距離を取得し、前記補正手段は、前記所定の撮影に際して前記撮像手段に取得された第１の撮影画像と前記第２の撮像手段により取得された第２の撮影画像とのいずれか一方を補正対象として、当該補正対象の各部の明るさを、前記距離取得手段により取得された被写体の各部までの距離に応じて補正することを特徴とする。

また、請求項３記載の発明に係るカメラ装置にあっては、画角内における主たる被写体までの距離を取得する基準距離取得手段と、前記第２の撮像手段への入射光の光軸上に挿入された挿入位置と前記光軸上から外れた解除位置とに移動可能な減光フィルターと、前記所定の撮影に際して前記減光フィルターの位置を前記挿入位置に制御する位置制御手段とを備え、前記補正手段は、前記所定の撮影に際して前記撮像手段に取得された第１の撮影画像の各部の明るさを、前記距離取得手段により取得された被写体の各部までの距離に応じて補正するとともに、前記第１の撮影画像における、前記距離取得手段により取得された被写体の各部までの距離が前記基準距離取得手段により取得された主たる被写体までの距離よりも近い前景部分に相当する各部の明るさを、前記位置制御手段により減光フィルターの位置が挿入位置に制御された状態で前記第２の撮像手段により取得された第２の撮影画像の対応する各部の明るさに補正することを特徴とする。

また、請求項４記載の発明に係るカメラ装置にあっては、前記補正手段による補正後の第１の撮影画像における、前記距離取得手段により取得された被写体の各部までの距離が前記基準距離取得手段により取得された主たる被写体までの距離よりも遠い背景部分に相当する各部に、前記距離取得手段により取得された距離に応じた度合のノイズ削減処理を施すノイズ削減手段を備え、前記記録制御手段は、前記ノイズ削減手段によるノイズ削減処理後の第１の撮影画像を最終的な撮影画像として記録する制御を行うことを特徴とする。

また、請求項５記載の発明に係るカメラ装置にあっては、前記被写体に向けて測距用の光パルスを照射する測距用発光手段を備え、前記距離取得手段は、前記測距用発光手段により照射された光パルスが対象物に到達し、そこから反射して戻ってくるまでに必要とする時間に基づいて、画角内における被写体の各部までの距離を取得することを特徴とする。

また、請求項６記載の発明に係るカメラ装置にあっては、焦点距離が調整可能な撮影光学系と、この撮影光学系の焦点距離を、互いに異なる距離に位置する被写体にピントが合う焦点距離であって、対応する前記距離が既知の異なる焦点距離に順に変更制御するとともに、焦点距離を変更する毎に前記撮像手段に被写体を撮像させて撮影画像を複数取得させる撮像制御手段とを備え、前記距離取得手段は、前記撮像制御手段の制御に従い前記撮像手段により取得された複数の撮影画像と、当該複数の撮影画像の各々の取得時の焦点距離に対応する距離とに基づいて、画角内における被写体の各部までの距離を取得することを特徴とする。

また、請求項７記載の発明に係るカメラ装置にあっては、画角内における主たる被写体までの距離を取得する基準距離取得手段と、前記補正手段による補正後の撮影画像における、前記距離取得手段により取得された被写体の各部までの距離が前記基準距離取得手段により取得された主たる被写体までの距離よりも遠い背景部分に相当する各部に、前記距離取得手段により取得された距離に応じた度合のノイズ削減処理を施すノイズ削減手段を備え、前記記録制御手段は、前記ノイズ削減手段によるノイズ削減処理後の撮影画像を最終的な撮影画像として記録する制御を行うことを特徴とする。

また、請求項８記載の発明に係るカメラ装置にあっては、前記撮影補助光の発光量を、互いに異なる距離に位置する被写体に適正な照射量の補助光が照射できる発光量であって、対応する前記距離が既知の異なる発光量に順に制御して前記発光手段に複数回の発光動作を行わせるともに、各々の発光量による発光動作に合わせて前記撮像手段に被写体を撮像させて撮影画像を複数取得させる撮像制御手段を備え、前記補正手段は、前記撮像制御手段の制御に従い前記撮像手段により取得された複数の撮影画像のうちの所定の撮影画像を補正対象とする一方、当該補正対象以外の複数の撮影画像に、各々の取得時の発光量に対応する距離と、前記距離取得手段により取得された被写体の各部までの距離とに基づき、各々の撮影画像の取得時の発光量に対応する距離の被写体部分を特定し、各々の撮影画像に特定した互いに異なる距離の複数の被写体部分の部分画像を、前記補正対象の対応する複数の被写体部分に合成することによって前記補正対象の各部の明るさを補正することを特徴とする。

また、請求項９記載の発明に係る撮影方法にあっては、被写体を撮像し撮影画像を取得する撮像手段と、前記被写体に向けて撮影補助光を照射する発光手段とを備えたカメラ装置において前記発光手段による撮影補助光の発光動作を伴う所定の撮影に際し、画角内における被写体の各部までの距離を取得する工程と、取得した被写体の各部までの距離に応じ、前記撮像手段により取得された撮影画像の各部の明るさを補正する工程と、補正後の撮影画像を最終的な撮影画像として記録する工程とを含むことを特徴とする。

また、請求項１０記載の発明に係る撮影制御プログラムにあっては、被写体を撮像し撮影画像を取得する撮像手段と、前記被写体に向けて撮影補助光を照射する発光手段とを備えたカメラ装置が有するコンピュータに、前記発光手段による撮影補助光の発光動作を伴う所定の撮影に際し、画角内における被写体の各部までの距離を取得する手順と、取得した被写体の各部までの距離に応じ、前記撮像手段により取得された撮影画像の各部の明るさを補正する手順と、補正後の撮影画像を最終的な撮影画像として記録する手順とを実行させることを特徴とする。

本発明によれば、フラッシュ撮影においても各部の明るさが自然な状態の画像を得ることが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本実施形態に係るステレオカメラ１を示す外観斜視図である。このステレオカメラ１は、カメラ本体２の正面に左右一対のレンズ３ａ，３ｂを有しており、各々のレンズ３ａ，３ｂを介して任意の被写体を左右の異なる位置から同時に撮影できるよう構成されている。また、カメラ本体２の正面には、撮影時に必要に応じてストロボ光（撮影補助光）を被写体へ照射する発光手段であるフラッシュ発光部４が一対のレンズ３ａ，３ｂの上方に設けられており、またカメラ本体２の上面はシャッタースイッチ５が設けられている。なお、図には省略したがカメラ本体２には、シャッタースイッチ５以外にも、電源スイッチやモード切替スイッチ等を含む各種のスイッチ類が設けられている。また、シャッタースイッチ５は、半押し操作（ハーフシャッター）と全押し操作との２段階操作が可能な所謂ハーフシャッター機能を有する構成である。

図２は、前記ステレオカメラ１の電気的構成の概略を示すブロック図である。ステレオカメラ１は、一対の撮影ブロック１１ａ，１１ｂを有しており、各々の撮影ブロック１１ａ，１１ｂはレンズブロック１２ａ，１２ｂと、光学系駆動部１３ａ，１３ｂ、光学系制御部１４ａ，１４ｂ、撮像素子１５ａ，１５ｂ、ＡＤ変換部１６ａ，１６ｂから構成されている。なお、これ以降の説明においては、必要に応じて一方の撮影ブロック１１ａをメイン撮影ブロックと呼び、他方の撮影ブロック１１ｂをサブ撮影ブロックと呼ぶことにより両者を区別する。

前記レンズブロック１２ａ，１２ｂは、前記レンズ３ａ，３ｂと図示しない絞りをと含み、前記レンズ３ａ，３ｂは平行する光軸を有するとともに、各々がフォーカス調整用のレンズを含むレンズ群により構成されている。光学系駆動部１３ａ，１３ｂは、上記レンズ群を光軸方向に駆動してフォーカス調整を行うためのレンズモータと、前記レンズシャッター及び絞りを機械的に駆動する各々のアクチュエータから構成され、光学系制御部１４ａ，１４ｂは、そのレンズモータとアクチュエータとの駆動を制御部１８からの指令に基づき制御する。

撮像素子１５ａ，１５ｂは本実施形態においてはＣＣＤであり、図示省略した駆動回路により駆動されることにより、前記レンズ３ａ，３ｂにより結像された被写体の光学像を電気信号に変換し撮像信号として出力する。なお、撮像素子１５ａ，１５ｂはＣＭＯＳセンサ等の他のイメージセンサであっても構わない。また、本実施形態においてはサブ撮影ブロック１１ｂ側の撮像素子１５ｂが本発明の第２の撮像手段である。ＡＤ変換部１６ａ，１６ｂは、撮像素子１５ａ，１５ｂから出力された撮像信号をディジタル信号、すなわち画像データへ変換し画像処理部１７へそれぞれ出力する。

つまりステレオカメラ１は、互いに独立した２系統の光学系（撮影光学系）と撮像系とを備えることにより、前述したように任意の被写体を左右の異なる位置から同時に撮影可能となっている。

画像処理部１７は、ＡＤ変換部１６ａ，１６ｂから入力した画像データ、より詳しくは撮像素子１５ａ，１５ｂの受光面に設けられているカラーフィルタの色配列に応じた色成分の画素情報からなる画像データ（本実施形態では、ベイヤー配列に応じたベイヤーデータ）を、画素毎にＲＧＢの色成分を有するＲＧＢデータへ変換する色変換、傷補正等の各種フィルター処理（プレ・フィルター処理）、サイズ変換（解像度変換）処理、画像データの圧縮・伸長処理を行う。さらに、後述するフラッシュ撮影時においては、本発明の距離取得手段、補正手段、ノイズ削減手段として機能し、双方の撮影ブロック１１ａ，１１ｂにより取得（撮像）された画像データに基づく後述する距離測定や、画像データに対する画素毎の輝度補正を含む画質に関する補正処理、ノイズリダクションを行う。

また、ステレオカメラ１は、画像処理部１７で処理中の画像データを一時保存する画像処理メモリー１９と、圧縮後の画像を記録する記録メモリー２０、ユーザーがステレオカメラ１を操作するための前記シャッタースイッチ５を含む各種のスイッチ類からなるカメラ操作部２１、表示部２２、前記フラッシュ発光部４、フラッシュ制御部２３を有している。

表示部２２は、カメラ本体２の図示しない背面に配置された液晶パネル等の表示器及びその駆動回路からなり、画像処理部１７による処理後の画像を表示する。また、フラッシュ発光部４はストロボ光の発光源であるキセノン管等の発光管、及びレフレクタであり、フラッシュ制御部２３は、発光用コンデンサと、その充電回路、発光管の駆動回路、調光回路を含み、制御部１８からの命令に従いフラッシュ発光部４の発光動作、及び発光時間（発光量）を制御する。

制御部１８は、ＣＰＵ及びその周辺回路、各種の制御プログラムが格納されたＲＯＭ、作業用のＲＡＭを含み、前記制御プログラム、及びカメラ操作部２１におけるステッチの操作内容に基づき動作することにより前述した各部を制御する。前記制御プログラムには、コントラスト検出方式によるＡＦ（自動焦点）制御や、フラッシュ撮影時の光量調整を含むＡＥ（自動露出）制御に使用されるプログラムが含まれるとともに、ＲＯＭには、それらの制御に際して使用される各種のデータも格納されている。また、フラッシュ撮影時には制御部１８を本発明の記録制御手段、基準距離取得手段として機能させ、後述する動作をステレオカメラ１に行わせるための撮影報知プログラムも含まれている。

次に、ステレオカメラ１において、例えばユーザーによりフラッシュの発光モードとして、被写体の明るさに応じて自動的に発光するオートモードや、常に発光する強制発光モードが設定されているときのフラッシュ撮影時の動作を図３のフローチャートに従い説明する。

フラッシュ撮影時にステレオカメラ１においては、まず制御部１８が一対の撮影ブロック１１ａ，１１ｂの各々の撮像素子（ＣＣＤ）１５ａ，１５ｂのイニシャライズ（電荷蓄積時間等の動作パラメータの設定）を行い、所定のフレームレートによる被写体の撮像動作を開始する（ステップＳＡ１）。その後、任意の時点でシャッタースイッチ５が半押しされたら（ステップＳＡ２でＹＥＳ）、その時点で制御部１８がＡＦ制御により、本実施形態では画角内の中央部に位置する被写体を主たる被写体として、その部分へのピント合わせを行う（ステップＳＡ３）。

なお、ピント合わせの対象とする主たる被写体は画角内の中央部でなくともよく、例えばユーザーにより予め指定された画角内の任意の部分や、周知の顔検出技術によって検出した人物の顔部分等のように自動的に設定した部分の被写体としてもよい。また、上記ＡＦ処理においては、前述したレンズ３ａ，３ｂをそれぞれ構成するレンズ群の位置調整は、メイン撮影ブロック１１ａ側とサブ撮影ブロック１１ｂ側とにおいて個別に行うようにしてもよいし、サブ撮影ブロック１１ｂ側の位置調整をメイン撮影ブロック１１ａ側の位置調整に連動させるようにしてもよい。

引き続き、ＡＦ制御の終了後には、その直前（又はその直後）にメイン撮影ブロック１１ａの撮像素子（ＣＣＤ）１５ａにより取得（撮像）した画像に基づき、主たる被写体の明るさを測定した後（ステップＳＡ４）、主たる被写体の撮影に適したフラッシュ発光量を算出する（ステップＳＡ５）。このときの発光量は、ピントを合わせを行った状態での前記レンズ群の調整位置に対応する被写体までの距離、つまり主たる被写体までの距離を、予め用意されている前記レンズ群の調整位置に対応する被写体までの距離を示す距離取得テーブルから取得し、取得した距離と被写体の明るさとに基づいて算出することにより取得する。なお、取得された被写体までの距離は画像処理部１７へ送られる。しかる後、制御部１８が上記発光量を基準として適正露出を得るためのシャッター速度、ＩＳＯ感度、絞りの開口径（絞り値）といった撮影条件を設定する（ステップＳＡ６）。

やがてシャッタースイッチ５が全押しされたら（ステップＳＡ７でＹＥＳ）、設定された撮影条件で、一対の撮影ブロック１１ａ，１１ｂの各々の撮像素子１５ａ，１５ｂの露光を開始し（ステップＳＡ８）、露光期間中にはフラッシュ発光部４に、先に算出した所定の発光量のフラッシュ光を発光させ（ステップＳＡ９）、シャッター速度に応じた時間に達した時点で露光を終了する（ステップＳＡ１０）。これにより、同一の撮影条件で個別に取得された異なる撮像データ（ベイヤーデータ）が画像処理部１７に入力される。

その後、ステレオカメラ１においては、画像処理部１７が、入力した各々の撮像データに対して前述したプレ・フィルター処理を行い、撮像データをＲＧＢデータに変換するとともに（ステップＳＡ１１）、各々のＲＧＢデータのサイズをユーザーにより予め指定されている画像サイズへ変換する解像度変換を行い、変換後のＲＧＢデータを画像処理メモリー１９に一時記憶する（ステップＳＡ１２）。この解像度変換の各々のＲＧＢデータが撮影画像である。

なお、これ以後は、係る撮影画像のうちで前述したメイン撮影ブロック１１ａにより取得した側をメイン撮影画像、サブ撮影ブロック１１ｂにより取得した側をサブ撮影画像と呼び、さらに係る１組の撮影画像をステレオ画像と呼ぶものとする。また、本実施形態においては上記メイン撮影画像が本発明の第１の撮影画像、上記サブ撮影画像が本発明の第２の撮影画像である。

引き続き、画像処理部１７は、上記ステレオ画像に基づく距離測定処理を実施し、ピント合わせの対象となった主たる被写体部分を除く、撮影画像内の全ての被写体部分の各々における距離（カメラ本体２からの距離）を測定する（ステップＳＡ１３）。

ここで周知のようにステレオ画像においては、前述したようにレンズ３ａ，３ｂの光軸が互いに平行であり、図５に示したように、双方の撮像素子１５ａ，１５ｂの撮像面（受光面）Ａ，Ｂのｕ軸とｕ'軸とが直線上で同じ向きで、素子間に距離ｂが確保された構成においては、焦点距離をｆとし、被写体の位置を空間座標（Ｘ，Ｙ，Ｚ）とすると、
Ｘ＝ｂｕ／（ｕ−ｕ'）
Ｙ＝ｂｖ／（ｕ−ｕ'）
Ｚ＝ｂｆ／（ｕ−ｕ'）
で表すことができる。

これは、カメラから被写体までの距離Ｚが、カメラのパラメータであるｂｆが一定の場合、双方の撮像面Ａ，Ｂに結像された被写体像（光学像）の任意の点における、一方の撮像面Ａのｕ軸上の位置と、他方の撮像面Ｂのｕ'軸上の位置との差、すなわち視差に反比例することを意味する。このとき双方の撮像面Ａ，Ｂにおける上記任意の点は、ｖ軸上の位置と、ｖ'軸上の位置とが同一となり、ｕ軸上の位置とｕ'軸上の位置とがカメラから被写体までの距離Ｚに応じて異なることとなる。係るｕ軸上の位置とｕ'軸上の位置との差が視差であり、距離Ｚが大きい（被写体が遠い）ほどそれが小さくなる。

ステップＳＡ１３の距離測定処理においては、これに基づき全ての被写体各部の距離情報が測定される。図４は、画像処理部１７による距離測定処理を示したフローチャートである。

係る処理においては、まず、ステレオ画像のうちのメイン撮影画像を基準とし、メイン撮影画像に対してエッジ検出を行うことにより１ライン分の特徴点を抽出する（ステップＳＡ１０１）。次に、サブ撮影画像から、特徴ベースマッチングによって、設定した所定の探索範囲内において抽出した１ライン分の各々の特徴点と相関が最も高いと判断した点を探索し、探索した点を対応点として特定するとともに、メイン撮影画像の特徴点とサブ撮影画像の対応点との水平方向のずれ量（視差）を算出し（ステップＳＡ１０２）、その算出結果を、記録画像に対応した距離データとして画像処理メモリーに記憶する（ステップＳＡ１０３）。

そして、以上の処理を、処理対象のラインを順に変更しながら繰り返し行い、全てのラインについて特徴点の距離データが取得できたら（ステップＳＡ１０４でＹＥＳ）、各々の特徴点の距離データについて、主たる被写体に対応する領域（画面中央部）の距離データとの差を計算し、その結果と、前述したステップＳＡ５で取得されていた主たる被写体の距離とに基づき、全ての特徴点におけるカメラからの距離を算出する（ステップＳＡ１０５）。さらに、メイン撮影画像内でカメラからの距離がほぼ同一である複数の特徴点によって囲まれる領域が同一距離の被写体部分であるものとし、画像内を同一距離毎の複数の被写体エリアに分割し（ステップＳＡ１０６）、同一の被写体エリア内の各画素に、当該被写体エリアを囲む前記特徴点の距離を割り当てることにより、画素単位の距離情報を取得する（ステップＳＡ１０７）。これにより距離測定処理を終了する。

引き続き、図３の処理に戻り、画像処理部１７は、メイン撮影画像の輝度をカメラからの距離に応じて画素毎に補正する（ステップＳＡ１４）。係る処理においては、カメラからの距離に応じた補正倍率を前述した複数の被写体エリア毎に決定し、各画素の輝度を、各々の画素が含まれる被写体エリア毎の補正倍率で補正する。

図６は、係る補正に際して使用される補正倍率取得テーブルＴ１を示す概念図である。この補正倍率取得テーブルＴ１は、予め区分された各々の距離範囲に該当する被写体までの距離に対応するとともに、撮影時にフラッシュ発光量の算出基準となった主たる被写体までの距離によって異なる輝度の補正倍率を示すものであり、各々の補正倍率は、主たる被写体との距離の違いにより生じるフラッシュ光の照射光量の増減分に応じて予め決められた倍率である。

そして、上記補正においては、補正倍率取得テーブルＴ１によって示される補正倍率で各画素の輝度を補正することにより、主たる被写体までの距離（距離範囲）を基準とし、それよりも距離が近い被写体エリア内の画素ほど輝度が下げられ、逆にそれよりも距離が遠い被写体エリア内の画素ほど輝度が上げられる。これにより、各被写体エリア内の各画素における、主たる被写体との距離の違いにより生じたフラッシュ光の照射量の増減分に応じて輝度の過不足が補正され、各被写体エリア内の各画素に、各被写体エリアの被写体までの距離が主たる被写体までの距離と同じであった場合に得られる適正輝度が確保される。

したがって、補正後の画像（メイン撮影画像）においては、フラッシュ撮影で得られる画像に特有の、前景部分では露光量がオーバーして白飛び（輝度飽和）が生じたり、背景部分では露光量が不足して黒つぶれ（真っ暗な状態）が生じたりする不自然な状態が改善されることとなる。

さらに、画像処理部１７は、画像（メイン撮影画像）の主たる被写体に対応する領域を除いた各被写体エリア内の画素を対象として、被写体までの距離に応じた度合のノイズリダクションを行う（ステップＳＡ１５）。

図７は、係る処理に際して使用されるノイズ削減レベル取得テーブルＴ２を示す概念図である。このノイズ削減レベル取得テーブルＴ２は、予め区分された各々の距離範囲に該当する被写体までの距離に対応するとともに、撮影時にフラッシュ発光量の算出基準となった主たる被写体までの距離によって異なるノイズ削減レベルを示すものである。各々のノイズ削減レベルは、図示したように、主たる被写体までの距離（距離範囲）よりも遠い距離の被写体エリアについてのみ予め決められており、本実施形態では大、中、小の３段階である。

そして、上記ノイズリダクション処理においては、そのエリアの被写体までの距離が主たる被写体までの距離（距離範囲）よりも遠い被写体エリア内の画素に対し、距離が遠いほど強いレベルのノイズリダクション処理が施されることによって、画像領域内で、主たる被写体よりもフラッシュ光の照射量が少なく、ステップＳＡ１４の輝度補正時の輝度の増大率（補正倍率）が大きい被写体エリアほど顕著となるノイズが削減される。

したがって、処理後の画像（メイン撮影画像）においては、主たる被写体部分の画質を維持したままで、背景の被写体部分のノイズが低減されることとなる。

その後、画像処理部１７はノイズリダクション後の画像にホワイトバランス等の色補正を行うとともに（ステップＳＡ１６）、係る色補正後の画像が前記表示部２２において表示される（ステップＳＡ１７）。そして、色補正後の画像を画像処理部１７によって圧縮した後（ステップＳＡ１８）、最終的には記録メモリー２０へ記録する。

以上のように本実施形態のステレオカメラ１におけるフラッシュ撮影時には、メイン撮影ブロック１１ａ側で取得された撮影画像が最終的に記録されるが、その撮影画像に対して前述した輝度補正処理を行うことにより、フラッシュ撮影で得られる画像に特有の、前景部分では露光量がオーバーして白飛び（輝度飽和）が生じたり、背景部分では露光量が不足して黒つぶれ（真っ暗な状態）が生じたりする不自然な状態を改善することができる。よって、フラッシュ撮影においてもより各部の明るさが自然な状態の画像を得ることができる。さらに、本実施形態においては、前述したノイズリダクション処理を行うことにより、画像内の各部の明るさが自然な状態の確保に伴い背景の被写体部分に生じるノイズを、主たる被写体部分の画質を維持したままで低減することができることから、より質の高い画像を得ることができる。

図８は、部屋の中で前述したフラッシュ撮影を行った場合に得られる画像と、他の撮影方法での撮影により得られる画像との違いを示す説明図である。同図（ａ）は、撮影時におけるステレオカメラ１と、主たる被写体（人物）Ａと、その手前に位置する前景の被写体（机と椅子）Ｂ，Ｃ、その奥に位置する背景の被写体（ドアと窓）Ｄ，Ｅとの位置関係を示す平面図である。また、同図（ｂ）は、十分に明るい環境下でフラッシュを使用しない撮影を行ったとき得られる各部の明るさが自然な状態の画像の例、同図（ｃ）は、暗い環境下で高感度撮影を行ったとき得られるノイズが目立つ画像の例、同図（ｄ）は、暗い環境下で一般的なフラッシュ撮影を行ったとき得られる画像であって、前景の被写体Ｂ，Ｃに白飛びが生じ、背景の被写体Ｄ，Ｅに黒つぶれが生じた画像の例、そして、同図（ｅ）が、暗い環境下で本実施形態のフラッシュ撮影を行ったとき得られる画像の例である。図示したように前述したフラッシュ撮影を行うことにより、同図（ｂ）に示したものと同様に各部の明るさが自然な状態で、同図（ｄ）に示したものは異なり背景の被写体Ｄ，Ｅのノイズが目立たない画像を得ることができる。

また、以上に加え本実施形態においては、輝度補正処理で必要となる画像内の被写体各部におけるカメラからの距離を１回の撮影で同時に撮影したステレオ画像（メイン撮影画像とサブ撮影画像）に基づき行うことから、被写体各部におけるカメラからの距離を、例えば本撮影の前にフラッシュ光をプリ発光させ、その状態で撮像した画像における被写体各部の輝度情報から取得する場合に比べると、被写体各部の色の影響を受けることかなく、正確な距離を得ることができる。したがって、被写体の色に関係なく適切な輝度補正処理を行うことができ、より各部の明るさが自然な状態の画像を確実に得ることができる。また、後述する第３の実施形態と異なり、動きのある被写体を対象としたフラッシュ撮影にも対応することができる。

なお、前述した背景の被写体部分のノイズ低減については、背景の被写体が主たる被写体に近い場合には上記ノイズが僅かであり、かつ背景の被写体までの距離が上記ノイズが顕著となるほど遠い場合には、その被写体部分にボケが生じている場合も多い。係ることから、前述したノイズリダクション処理は必ずしも行わなくともよく、例えばそれを廃止したり、或いはその処理の有無をユーザーが設定できるようにしてもよい。

（実施形態２）
次に本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態と同様、互いに独立した２系統の光学系と撮像系とを備えることにより任意の被写体を左右の異なる位置から同時に撮影可能なステレオカメラに関するものである。

図９は、本実施形態におけるステレオカメラ５１の電気的構成の概略を示すブロック図である。図から明らかなように第１の実施形態で説明したステレオカメラ１（図２）であるため、同一の部分には同一の符号を付し異なる部分についてのみ説明する。

すなわちステレオカメラ５１には、サブ撮影ブロック１１ｂのレンズ３３ｂと撮像素子１５ｂとの間に、撮像素子１５ｂへの入射光量を減少させるためのＮＤフィルター（減光フィルター）５２が出し入れ可能に設けられている。また、サブ撮影ブロック１１ｂの光学系駆動部１３ｂには、ＮＤフィルター５２を機械的に駆動するアクチュエータが含まれており、そのアクチュエータの駆動を光学系制御部１４ｂが制御部１８からの指令に基づき制御することにより、ＮＤフィルター５２が、撮像素子１５ｂへの入射光の光軸上に挿入された挿入位置（図に示した位置）と、上記光路から外れた解除位置とに移動可能となっている。すなわち制御部１８が本発明の位置制御手段として機能する

そして、本実施形態のステレオカメラ５１においては、制御部１８の制御により、フラッシュ撮影時には以下のように動作する。以下、本実施形態のステレオカメラ５１におけるフラッシュ撮影時の動作を図１０のフローチャートに従い説明する。

本実施形態においてもフラッシュ撮影時には、第１の実施形態と同様に、まず制御部１８が一対の撮影ブロック１１ａ，１１ｂの各々の撮像素子（ＣＣＤ）１５ａ，１５ｂのイニシャライズを行うことにより、所定のフレームレートによる被写体の撮像動作を開始し（ステップＳＢ１）、その後、シャッタースイッチ５が半押しされたら（ステップＳＢ２でＹＥＳ）、その時点でＡＦ制御により主たる被写体へのピント合わせを行う（ステップＳＢ３）。

そして、ＡＦ制御の終了後には、第１の実施形態とは異なり、まず画角内にカメラからの距離が主たる被写体よりも近い副被写体が存在するか否かを判断し、係る副被写体が存在していた場合にのみ（ステップＳＢ４でＹＥＳ）、サブ撮影ブロック１１ｂの光学系に前述したＮＤフィルター５２を挿入する（ステップＳＢ５）。なお、ステップＳＢ４の判断は、例えばＡＦ制御で前述したレンズ３ａ，３ｂをそれぞれ構成するレンズ群の位置調整を行う際、主たる被写体以外（画面中央部以外）の領域についても高周波成分の変化を逐次確認するとともに、前記レンズ群の位置が合焦位置よりも近距離側の位置にある間に高周波成分にピークが現れるか否かを確認しておくことにより行う。

引き続き、ステレオカメラ５１においては、第１の実施形態で説明した図３のステップＳＡ４〜ＳＡ１３と同様に、メイン撮影ブロック１１ａ及びサブ撮影ブロック１１ｂとの撮像素子１５ａ，１５ｂによりステレオ画像を取得するとともに、画像処理部１７がステレオ画像に基づく距離測定処理（図４参照）を行い、ピント合わせの対象となった主たる被写体部分を除く、撮影画像内の全ての被写体部分（前述した特徴点）の各々におけるカメラ本体２からの距離を測定する（ステップＳＢ６〜ＳＢ１５）。

その後、画像処理部１７は、第１の実施形態とは異なる輝度補正処理によってメイン撮影画像の輝度をカメラからの距離に応じて画素毎に補正する（ステップＳＢ１６）。図１１は上記輝度補正処理を示すフローチャートである。

係る処理においては、各画素を対象として以下の処理を行う。まず対象の画素について、それを含む被写体エリアにおける被写体までの距離が、ステップＳＢ１１で発光したフラッシュ光における適正距離、つまり主たる被写体までの距離よりも近いか否かを確認し、適正距離よりも近い場合には（ステップＳＢ１０１でＹＥＳ）、当該画素の輝度をＮＤフィルター有りの画像データ（サブ撮影画像）の対応する画素の輝度に補正する（ステップＳＢ１０２）。つまりカメラからの距離が主たる被写体よりも近い副被写体に対応する被写体エリア内の画素の輝度を、それと対応するサブ撮影画像の画素の輝度に置き換える。

また、対象の画素を含む被写体エリアにおける被写体までの距離が適正距離よりも遠い場合には（ステップＳＢ１０１がＮＯ、ステップＳＢ１０３でＹＥＳ）、当該画素の輝度を、第１の実施形態における輝度補正処理（図３のステップＳＡ１４）と同様に、距離に応じた補正倍率で補正する（ステップＳＢ１０４）。さらに、対象の画素を含む被写体エリアにおける被写体までの距離が適正距離と等しい場合には（ステップＳＢ１０１、ステップＳＢ１０３が共にＮＯ）、輝度補正を行わずに当該画素の輝度をそのまま維持する（ステップＳＢ５）。そして、以上の処理を対象画素を変更しながら繰り返し行い、全画素について処理の終了した時点で（ステップＳＢ１０６でＹＥＳ）、輝度補正処理を終了する。

引き続き、図１０の処理に戻り、第１の実施形態で説明した、メイン撮影画像の主たる被写体に対応する領域を除いた各被写体エリアを対象とする、被写体までの距離に応じた度合のノイズリダクション処理を実施する（ステップＳＢ１７）。これ以後についても、第１の実施形態で説明した図３のステップＳＡ１６〜ＳＡ１９と同様の処理により、メイン撮影画像に対する色補正を行うとともに、補正後の画像を圧縮して記録メモリー２０へ記録する（ステップＳＢ１８〜ＳＢ２１）。

以上のように本実施形態のステレオカメラ５１においても、フラッシュ撮影時には、最終的に記録されるメイン撮影画像の各部の輝度を、第１の実施形態と異なるステップＳＢ１６の輝度補正処理においてカメラからの距離に応じて補正することにより、フラッシュ撮影においてもより各部の明るさが自然な状態の画像を得ることができ、さらに、上記の輝度補正後の画像に、第１の実施形態と同様のノイズリダクション処理を行うことにより、より質の高い画像を得ることができる。また、動きのある被写体を対象としたフラッシュ撮影にも対応することができる。

上記に加え本実施形態においては、フラッシュ撮影に際し、画角内にカメラからの距離が主たる被写体よりも近い副被写体が存在する場合には、サブ撮影ブロック１１ｂ側ではＮＤフィルター５２を介して被写体を撮像してサブ撮影画像を取得しておき、輝度補正処理においてメイン撮影画像の輝度をカメラからの距離に応じて画素毎に補正するとき、カメラからの距離が主たる被写体よりも近い副被写体に対応する被写体エリア内の画素については、その輝度を、それと対応するサブ撮影画像の画素の輝度に置き換え、かつ他の画素の輝度は第１の実施形態と同様の補正を行うようにした。つまり白飛びが生じやすい、主たる被写体の前景部分（副被写体に相当する部分）の画素の輝度をサブ撮影画像側の画素の輝度と置き換えることによって、前景部分の白飛びを、実質的には撮影時点にＮＤフィルター５２によって防止するようにした。

よって、第１の実施形態とは異なり、前景部分については、単に白飛びを防止するだけでなく、撮影時における輝度飽和に伴う画像情報の欠落がなく、十分に明るい環境下でフラッシュを使用しない撮影を行ったときとより近い状態の画質を確保することができる。

（実施形態３）
次に本発明の第３の実施形態について説明する。本実施形態は、第１の実施形態と同様、互いに独立した２系統の光学系と撮像系とを備えることにより任意の被写体を左右の異なる位置から同時に撮影可能なステレオカメラに関するものである。そして、本実施形態のステレオカメラは図２に示した電気的構成を有するとともに、制御部１８がフラッシュ撮影時には本発明の撮像制御手段、補正手段として機能するとともに、ステレオカメラに以下の動作を行わせるよう構成されている。

図１２及び図１３は、本実施形態におけるステレオカメラのフラッシュ撮影時の動作を示すフローチャートである。

本実施形態においてもフラッシュ撮影時には、第１の実施形態と同様に、まず制御部１８が一対の撮影ブロック１１ａ，１１ｂの各々の撮像素子（ＣＣＤ）１５ａ，１５ｂのイニシャライズを行うことにより、所定のフレームレートによる被写体の撮像動作を開始し（ステップＳＣ１）、シャッタースイッチ５が半押しされたら（ステップＳＣ２でＹＥＳ）、ＡＦ制御により主たる被写体へのピント合わせを行う（ステップＳＣ３）。また、ＡＦ制御が終了した時点で、メイン撮影ブロック１１ａの撮像素子（ＣＣＤ）１５ａにより撮像された画像に基づき、主たる被写体の明るさを測定する（ステップＳＣ４）。

引き続き、本実施形態においては、主たる被写体までの距離に応じたフラッシュ発光量である適正発光量を第１の実施形態と同様にして算出するとともに、さらにカメラからの距離が互いに異なる複数位置の被写体の撮影に適した複数段階のフラッシュ発光量を算出する（ステップＳＣ５）。ここで、各段階のフラッシュ発光量は、撮影可能な至近距離から無限遠までの距離範囲において主たる被写体までの距離を中心とした前後の範囲を複数に区分したときの各距離区分の範囲（１．０ｍ〜３．０ｍ等）に対応した発光量である。なお、算出した各段階のフラッシュ発光量と各距離区分の範囲との関係は内部メモリ（ＲＡＭ）に記憶する。しかる後、上記適正発光量に応じた適正露出を得るためのシャッター速度、ＩＳＯ感度、絞りの開口径（絞り値）といった撮影条件を設定する（ステップＳＣ６）。

その後、シャッタースイッチ５が全押しされたら（ステップＳＣ７でＹＥＳ）、フラッシュ発光量として、一番遠い距離の被写体に応じた段階の発光量を設定した後（ステップＳＣ８）、露光を開始し（ステップＳＣ９）、露光期間中にはフラッシュ発光部４に、先に算出した所定の発光量のフラッシュ光を発光させ（ステップＳＣ１０）、シャッター速度に応じた時間に達した時点で露光を終了する（ステップＳＣ１１）。引き続き、ステップＳＣ５で算出した、適正発光量を含む全ての段階のフラッシュ発光量による撮像動作が終了するまで（ステップＳＣ１３でＮＯ）、フラッシュ発光量の設定を次の段階の発光量（より近い距離の被写体に対応する発光量）に順次に変更しながら（ステップＳＣ１４）、フラッシュ発光量以外の撮影条件は変えずにステップＳＣ９〜ＳＣ１２における撮像及び撮像データの一時記録を繰り返す。

ここで、図には省略するが、上記ステップＳＣ９〜ＳＣ１２の繰り返しによる連続撮影に際しては、フラッシュ発光量を適正発光量に設定したときには、一対の撮影ブロック１１ａ，１１ｂの各々の撮像素子１５ａ，１５ｂを駆動し、１組の撮像データを画像処理メモリー１９に一時的に記録し、フラッシュ発光量を適正発光量以外の発光量に設定したときには、メイン撮影ブロック１１ａの撮像素子１５ａ（サブ撮影ブロック１１ｂの撮像素子１５ｂでもよい）のみを駆動して単一の撮像データを画像処理メモリー１９に一時的に記録する。さらに、各回の撮像データの記録時には、制御部１８が各々の撮像データと対応付けて、それらを撮像したときのフラッシュ発光量が対応する前述した距離区分の範囲を内部メモリ（ＲＡＭ）に記憶する。

その後、全ての段階のフラッシュ発光量による撮像動作が終了したら（ステップＳＣ１３でＹＥＳ）、画像処理部１７が、画像処理メモリー１９に一時的に記録してある全ての撮像データをそれぞれ対象として、既説したプレ・フィルター処理、解像度変換を行う（ステップＳＣ１５，ＳＣ１６）。これにより、適正発光量のフラッシュ発光の下で取得したステレオ画像と、互いに異なる距離に対応する複数段階の発光量のフラッシュ発光の下で取得した複数の撮影画像とが画像処理メモリー１９内に生成される。

引き続き、画像処理部１７が上記ステレオ画像に基づく既説した距離測定処理（図４参照）を行い、画素毎の距離情報を取得した後（ステップＳＣ１７）、制御部１８が、その画素毎の距離情報に基づき、前記ステレオ画像のメイン撮影画像と前記複数の撮影画像とを合成する（ステップＳＣ１８）。

係る合成処理においては、メイン撮影画像をベース画像として、その他の複数の撮影画像の各々を対象として、その撮影画像から、対応する距離区分の範囲に含まれる距離情報を有する画素群からなる被写体エリアの部分画像を切り出し、切り出した部分画像をメイン撮影画像の対応する領域に上書き合成する。例えば画像内に図８（ａ）に説明した被写体が存在していた場合には、メイン撮影画像の主たる被写体Ａに相当する部分は残して、それ以外の被写体Ｂ，Ｃ，Ｄ，Ｅに相当する部分については、それぞれ複数の撮影画像のうちの互いに異なる撮影画像から、その撮影時に設定されていたフラッシュ発光量が適正発光量であった被写体に相当する被写体エリアの部分画像をそれぞれ切り出して上書き合成する。

これにより、合成後の画像として、カメラからの距離が互いに異なる全ての被写体部分Ａ〜Ｅに、その距離に関係なく適正量のフラッシュ発光が照射された場合と同様の明るさが確保された画像、例えば図８（ｂ）に例示した十分に明るい環境下でフラッシュを使用しない撮影を行ったとき得られる画像とほぼ同様の画像が得られることとなる。

しかる後、上記合成処理により得られた画像を撮影画像として、第１の実施形態で説明した図３のステップＳＡ１６〜ＳＡ１９と同様色補正、及び圧縮を行い、圧縮後の画像データを記録メモリー２０へ記録する（ステップＳＣ１９〜ＳＣ２２）。

以上のように本実施形態においては、フラッシュ撮影時には、各々の撮影時のフラッシュ光の発光量を、主たる被写体までの距離に応じた適正発光量を含む複数段階の発光量であって、互いに異なる距離に応じた複数段階の発光量に変化させる連続撮影を行い、それにより取得した複数枚の撮影画像を上記距離に基づき部分的に切り出して合成することにより、カメラからの距離が互いに異なる全ての被写体部分に、その距離に関係なく適正量のフラッシュ発光が照射された場合と同様の明るさが確保された画像を撮影画像として最終的に取得する。

よって、フラッシュ撮影においても各部の明るさが自然な状態の画像を得ることができる。しかも、カメラからの距離が主たる被写体よりも遠い背景の被写体部分にノイズが生じたり、カメラからの距離が主たる被写体よりも近い前景の被写体部分に画像情報の欠落が生じたりする心配がなく、より質の高い画像を得ることができる。

（実施形態４）
次に本発明の第４の実施形態について説明する。本実施形態は、第１〜第３の実施形態とは異なり、画像内における各被写体部分の距離情報（画素毎の距離情報）を光飛行時間測定法により取得するカメラに関するものである。ここで、光飛行時間測定法は、測距用の光パルスが対象物に到達し、そこから反射して戻ってくるまでに必要とする時間（飛行時間：time of flight）に基づき対象物までの距離を測定する方法である。

すなわち本実施形態のカメラは、図示しないが図２に示したステレオカメラ１に、前記フラッシュ発光部４およびフラッシュ制御部２３とは別に、被写体に向けて近赤外領域の波長を有するパルス光を照射する所定の発光素子を含む発光部（測距用光発手段、）と、その発光を制御部１８の指令に基づき制御する発光制御部とを設けるとともに、サブ撮影ブロック１１ｂ側の撮像素子１５ｂをＣＭＯＳセンサに代えた構成である。また、制御部１８がフラッシュ撮影時には本発明の距離取得手段、撮像制御手段として機能するとともに、ステレオカメラに以下の動作を行わせるよう構成されている。

図１４は、本実施形態のカメラにおける制御部１８の制御に基づいたフラッシュ撮影時の動作を示すフローチャートである。基本的な動作は第１の実施形態で図３に示した動作と同様である。すなわち本実施形態では、制御部１８が図３のステップＳＡ１〜ＳＡ６と同様の処理を行い（ステップＳＤ１〜ＳＤ６）、シャッタースイッチ５が全押しされた時点で（ステップＳＤ７でＹＥＳ）、近赤外光による距離測定を行う（ステップＳＤ８）。

図１５は、その距離測定の詳細を示したフローチャートである。係る処理においては、まず、前記ＣＭＯＳセンサ（図示せず）の露光時間を設定する（ステップＳＤ１０１）。ここで設定する露光時間は微少時間であるともに、予め決められている測定距離範囲の異なる測定距離（所定距離刻みの距離）に対応する異なる露光時間の初期値（測定距離範囲の最大または最小）である。

次に、設定した露光時間によるＣＭＯＳセンサの露光を開始し（ステップＳＤ１０２）、その後、直ちに前記発光部（図示せず）に近赤外光（パルス光）を発光させ（ステップＳＤ０１３）、露光時間に達した時点で露光を終了し（ステップＳＤ１０４）、距離測定用の画像（以下、測距画像という。）である撮像データ（ベイヤーデータ）を画像処理メモリー１９に一時的に記録する（ステップＳＤ１０５）。このとき記録される撮像データにおいては、カメラからの距離がステップＳＤ１０１で設定した露光時間に対応する距離（測定距離）にある被写体部分の画素データのみの画素値が一定以上となる。

引き続き、測定すべき距離に応じた全ての露光時間での露光を伴う複数回の撮像動作（距離測定）が終了するまでは（ステップＳＤ１０６でＮＯ）、露光時間（測定距離）を順次変更しながら（ステップＳＤ１０７）、前述したステップＳＤ１０２〜ＳＤ１０５における撮像及び撮像データの一時記録を繰り返す。なお、各回の撮像データの記録時には、制御部１８が各々の撮像データと対応付けて、それらを撮像したときの露光時間を測定距離情報として内部メモリ（ＲＡＭ）に記憶する。

やがて、全ての露光時間での露光を伴う複数回の撮像動作（距離測定）が終了したら（ステップＳＤ１０６でＹＥＳ）、制御部１８が画像処理メモリー１９に一時的に記録されている各々の撮像データと、それぞれの撮像データの取得時（撮像時）に設定されていた露光時間に対応する測定距離とに基づき、画素毎の距離データを取得する（ステップＳＤ１０８）。すなわち、各々の撮像データについて画素値が一定以上である画素を確認し、それらの距離データとして当該撮像データに対応する測定距離を取得する。

さらに、ここで取得した画素毎の距離データを、各々の撮像データつまり測距画像と、後述するステップＳＤ９〜ＳＤ１３で取得する撮影画像との視差に応じて補正することにより、記録用の撮影画像における画素毎の距離情報を取得する（ステップＳＤ１０９）。これにより距離測定処理を終了する。

引き続き、図４の処理へ戻り、図３のステップＳＡ８〜ＳＡ１２と同様の処理を行い（ステップＳＤ９〜ＳＤ１３）、その際にメイン撮影ブロック１１ａ側の撮像素子１５ａのみを駆動して単一の撮影画像を取得する。これ以降は、画像処理部１７が、ステップＳＤ８の距離測定処理により取得された画素毎の距離情報に基づいて、取得した撮影画像のデータに対して第１の実施形態と同様の輝度補正処理、ノイズリダクション処理、色補正処理、圧縮処理を行うとともに、制御部１８が処理後の画像データを記録メモリー２０へ記録する（ステップＳＤ１４〜ＳＤ１９）。

以上説明した本実施形態においても、第１の実施形態と同様、フラッシュ撮影においてもより各部の明るさが自然な状態の画像を得ることができる。さらに、被写体の色に関係なく適切な輝度補正処理を行うことができ、より各部の明るさが自然な状態の画像を確実に得ることができる。

なお、本実施形態においては撮像系を２系統有する構成において、一方の撮像系の撮像素子をＣＭＯＳセンサとし、それを光飛行時間測定法による距離測定用のセンサとして使用する場合について説明したが、係る距離測定用のセンサを、記録画像の撮像にそのまま使用する構成とすることもできる。また、近赤外光による距離測定を行うタイミングは、シャッタースイッチ５が全押しされた直後に限らず、記録用の撮影画像を取得した直後（ステップＳＤ１３の直後）であってもよい。

また、ここでは、前述した近赤外光による距離測定を、第１の実施形態と同様の動作を基本とするフラッシュ撮影時に行う場合について説明したが、近赤外光による距離測定によってフラッシュ撮影時に取得した記録用の撮影画像の画素毎の距離情報を取得する方法は、前述した第２の実施形態と同様の動作を基本とするフラッシュ撮影時にも適用することができる。

（実施形態５）
次に本発明の第５の実施形態について説明する。本実施形態は、第４の実施形態とは異なり、画像内における各被写体部分の距離情報（画素毎の距離情報）を、焦点距離をずらしたＡＦ処理を複数回行い、それにより取得した複数の画像におけるボケ度合に基づき取得するカメラに関するものである。

本実施形態のカメラの構成は、一般的なカメラと同様、単一の光学系と撮像系とを備えた構成、例えば図２に示した構成においてサブ撮影ブロック１１ｂを廃止した構成である。また、制御部１８がフラッシュ撮影時には本発明の撮像制御手段として機能し、ステレオカメラに以下の動作を行わせるよう構成されている。すなわちフラッシュ撮影時における基本的な動作は、第４の実施形態で図１４に示した動作と同様であるため図示しないが、本実施形態ではシャッタースイッチ５が全押しされた直後のタイミングにおける既説した近赤外光による距離測定（ステップＳＤ８）に代えて、以下に述べるＡＦ制御による距離測定を行う。

図１６は、その距離測定の詳細を示したフローチャートである。係る処理においては、まず、焦点距離を測定距離範囲内の最も手前の距離（撮影可能な至近距離）に設定し、それに応じた位置へ光学系を移動するＡＦ処理を行う（ステップＳＥ１０１）。次に、その状態で被写体の撮像、及び撮像した画像の記録を行う（ステップＳＥ１０２）。つまり距離測定用の画像（以下、測距画像という。）である撮像データ（ベイヤーデータ）を画像処理メモリー１９への一時的に記録する。このとき記録される撮像データにおいては、カメラからの距離がステップＳＥ１０１で設定した焦点距離に対応する距離（測定距離）にある被写体部分の空間周波数が最も高くなる。

引き続き、測定すべき距離に応じた全ての焦点距離（予め決められている所定距離刻みの距離）に応じた位置に光学系を移動して画像を取得するまでは（ステップＳＥ１０３でＮＯ）、焦点距離を順次変更しながら（ステップＳＥ１０４）、前述したステップＳＥ１０２における撮像及び撮像データの一時記録を繰り返す。なお、各回の撮像データの記録時には、制御部１８が各々の撮像データと対応付けて、それらを撮像したときの焦点距離を測定距離情報として内部メモリ（ＲＡＭ）に記憶する。

やがて、全ての焦点距離での画像の取得が終了したら（ステップＳＥ１０３でＹＥＳ）、画像処理部１７が、画像処理メモリー１９に一時的に記録されている各々の撮像データについて、画像間における周波数成分を比較することにより、画像内を同一距離毎の複数の被写体エリアに分割するとともに、各々の被写体エリアの空間周波数が最も高い測距画像の焦点距離に対応する測定距離を制御部１８から取得し、その被写体エリアにおける被写体までの距離として取得する（ステップＳＥ１０５）。さらに、同一の被写体エリア内の各画素に、当該被写体エリア内の距離を割り当てることにより、画素単位の距離情報を取得し、記憶する（ステップＳＥ１０６）。

しかる後、記録用の画像の撮影に向けて、距離測定処理の前に行っていたＡＦ制御（図１４でステップＳＤ３）で検出した主たる被写体に応じた位置へ光学系を移動し（ステップＳＥ１０７）、これにより距離測定処理を終了する。

以上説明した本実施形態においても、第１及び第４の実施形態と同様、フラッシュ撮影においてもより各部の明るさが自然な状態の画像を得ることができる。さらに、被写体の色に関係なく適切な輝度補正処理を行うことができ、より各部の明るさが自然な状態の画像を確実に得ることができる。

なお、本実施形態においては、一般的なカメラと同様、単一の光学系と撮像系とを備えた構成のカメラにおいてＡＦ制御による距離測定を行う場合について説明したが、係るＡＦ制御による距離測定は、第１及び第４の実施形態で説明した撮像系を２系統有するステレオカメラにおいても行うことができる。

また、ここでは、前述したＡＦ制御による距離測定を、第１の実施形態と同様の動作を基本とするフラッシュ撮影時に行う場合について説明したが、ＡＦ制御による距離測定によってフラッシュ撮影時に取得した記録用の撮影画像の画素毎の距離情報を取得する方法は、前述した第２の実施形態と同様の動作を基本とするフラッシュ撮影時にも適用することができる。

第１の実施形態を示すステレオカメラの外観斜視図である。 同ステレオカメラのブロック図である。 同ステレオカメラのフラッシュ撮影時の動作を示すフローチャートである。 同ステレオカメラの距離測定処理を示すフローチャートである。 ステレオ画像からの距離測定方法を示す図である。 補正倍率取得テーブルを示す概念図である。 ノイズ削減レベル取得テーブルを示す概念図である。 フラッシュ撮影により得られる画像と、他の撮影方法での撮影により得られる画像との違いを示す説明図である。 第２の実施形態を示すステレオカメラのブロック図である。 同ステレオカメラのフラッシュ撮影時の動作を示すフローチャートである。 同ステレオカメラの輝度補正処理を示すフローチャートである。 第３の実施形態におけるステレオカメラのフラッシュ撮影時の動作を示すフローチャートである。 図１２に続くフローチャートである。 第４の実施形態におけるステレオカメラのフラッシュ撮影時の動作を示すフローチャートである。 同実施形態の距離測定処理を示すフローチャートである。 第５の実施形態のカメラにおける距離測定処理を示すフローチャートである。

符号の説明

１ ステレオカメラ
２ カメラ本体
３ａ，３ｂ レンズ
４ フラッシュ発光部
１１ａ，１１ｂ 撮影ブロック
１２ａ，１２ｂ レンズブロック
１３ａ，１３ｂ 光学系駆動部
１４ａ，１４ｂ 光学系制御部
１５ａ，１５ｂ 撮像素子
１６ａ，１６ｂ ＡＤ変換部
１７ 画像処理部
１８ 制御部
２３ フラッシュ制御部
５１ ステレオカメラ
５２ ＮＤフィルター
Ｔ１ 補正倍率取得テーブル
Ｔ２ ノイズ削減レベル取得テーブル

Claims (10)

1. 被写体を撮像し撮影画像を取得する撮像手段と、前記被写体に向けて撮影補助光を照射する発光手段とを備えたカメラ装置において、
   画角内における被写体の各部までの距離を取得する距離取得手段と、
   前記発光手段による撮影補助光の発光動作を伴う所定の撮影に際し前記撮像手段により取得された撮影画像の各部の明るさを、前記距離取得手段により取得された被写体の各部までの距離に応じて補正する補正手段と、
   その補正手段による補正後の撮影画像を最終的な撮影画像として記録する制御を行う記録制御手段と
   を備えたことを特徴とするカメラ装置。
2. 前記撮像手段により取得される第１の撮影画像とは別に、当該第１の撮影画像との間に視差が存在する第２の撮影画像を取得する第２の撮像手段を備え、
   前記距離取得手段は、前記撮像手段に取得された第１の撮影画像、及び当該第１の撮影画像と同時に前記第２の撮像手段により取得された第２の撮影画像に基づいて画角内における被写体の各部までの距離を取得し、
   前記補正手段は、前記所定の撮影に際して前記撮像手段に取得された第１の撮影画像と前記第２の撮像手段により取得された第２の撮影画像とのいずれか一方を補正対象として、当該補正対象の各部の明るさを、前記距離取得手段により取得された被写体の各部までの距離に応じて補正する
   ことを特徴とする請求項１記載のカメラ装置。
3. 画角内における主たる被写体までの距離を取得する基準距離取得手段と、
   前記第２の撮像手段への入射光の光軸上に挿入された挿入位置と前記光軸上から外れた解除位置とに移動可能な減光フィルターと、
   前記所定の撮影に際して前記減光フィルターの位置を前記挿入位置に制御する位置制御手段と
   を備え、
   前記補正手段は、前記所定の撮影に際して前記撮像手段に取得された第１の撮影画像の各部の明るさを、前記距離取得手段により取得された被写体の各部までの距離に応じて補正するとともに、前記第１の撮影画像における、前記距離取得手段により取得された被写体の各部までの距離が前記基準距離取得手段により取得された主たる被写体までの距離よりも近い前景部分に相当する各部の明るさを、前記位置制御手段により減光フィルターの位置が挿入位置に制御された状態で前記第２の撮像手段により取得された第２の撮影画像の対応する各部の明るさに補正する
   ことを特徴とする請求項２記載のカメラ装置。
4. 前記補正手段による補正後の第１の撮影画像における、前記距離取得手段により取得された被写体の各部までの距離が前記基準距離取得手段により取得された主たる被写体までの距離よりも遠い背景部分に相当する各部に、前記距離取得手段により取得された距離に応じた度合のノイズ削減処理を施すノイズ削減手段を備え、
   前記記録制御手段は、前記ノイズ削減手段によるノイズ削減処理後の第１の撮影画像を最終的な撮影画像として記録する制御を行う
   ことを特徴とする請求項３記載のカメラ装置。
5. 前記被写体に向けて測距用の光パルスを照射する測距用発光手段を備え、
   前記距離取得手段は、前記測距用発光手段により照射された光パルスが対象物に到達し、そこから反射して戻ってくるまでに必要とする時間に基づいて、画角内における被写体の各部までの距離を取得する
   ことを特徴とする請求項１記載のカメラ装置。
6. 焦点距離が調整可能な撮影光学系と、
   この撮影光学系の焦点距離を、互いに異なる距離に位置する被写体にピントが合う焦点距離であって、対応する前記距離が既知の異なる焦点距離に順に変更制御するとともに、焦点距離を変更する毎に前記撮像手段に被写体を撮像させて撮影画像を複数取得させる撮像制御手段と
   を備え、
   前記距離取得手段は、前記撮像制御手段の制御に従い前記撮像手段により取得された複数の撮影画像と、当該複数の撮影画像の各々の取得時の焦点距離に対応する距離とに基づいて、画角内における被写体の各部までの距離を取得する
   ことを特徴とする請求項１記載のカメラ装置。
7. 画角内における主たる被写体までの距離を取得する基準距離取得手段と、
   前記補正手段による補正後の撮影画像における、前記距離取得手段により取得された被写体の各部までの距離が前記基準距離取得手段により取得された主たる被写体までの距離よりも遠い背景部分に相当する各部に、前記距離取得手段により取得された距離に応じた度合のノイズ削減処理を施すノイズ削減手段を備え、
   前記記録制御手段は、前記ノイズ削減手段によるノイズ削減処理後の撮影画像を最終的な撮影画像として記録する制御を行う
   ことを特徴とする請求項１，２，５，６いずれか記載のカメラ装置。
8. 前記撮影補助光の発光量を、互いに異なる距離に位置する被写体に適正な照射量の補助光が照射できる発光量であって、対応する前記距離が既知の異なる発光量に順に制御して前記発光手段に複数回の発光動作を行わせるともに、各々の発光量による発光動作に合わせて前記撮像手段に被写体を撮像させて撮影画像を複数取得させる撮像制御手段を備え、
   前記補正手段は、前記撮像制御手段の制御に従い前記撮像手段により取得された複数の撮影画像のうちの所定の撮影画像を補正対象とする一方、当該補正対象以外の複数の撮影画像に、各々の取得時の発光量に対応する距離と、前記距離取得手段により取得された被写体の各部までの距離とに基づき、各々の撮影画像の取得時の発光量に対応する距離の被写体部分を特定し、各々の撮影画像に特定した互いに異なる距離の複数の被写体部分の部分画像を、前記補正対象の対応する複数の被写体部分に合成することによって前記補正対象の各部の明るさを補正する
   ことを特徴とする請求項１記載のカメラ装置。
9. 被写体を撮像し撮影画像を取得する撮像手段と、前記被写体に向けて撮影補助光を照射する発光手段とを備えたカメラ装置において前記発光手段による撮影補助光の発光動作を伴う所定の撮影に際し、
   画角内における被写体の各部までの距離を取得する工程と、
   取得した被写体の各部までの距離に応じ、前記撮像手段により取得された撮影画像の各部の明るさを補正する工程と、
   補正後の撮影画像を最終的な撮影画像として記録する工程と
   を含むことを特徴とする撮影方法。
10. 被写体を撮像し撮影画像を取得する撮像手段と、前記被写体に向けて撮影補助光を照射する発光手段とを備えたカメラ装置が有するコンピュータに、
    前記発光手段による撮影補助光の発光動作を伴う所定の撮影に際し、
    画角内における被写体の各部までの距離を取得する手順と、
    取得した被写体の各部までの距離に応じ、前記撮像手段により取得された撮影画像の各部の明るさを補正する手順と、
    補正後の撮影画像を最終的な撮影画像として記録する手順と
    を実行させることを特徴とする撮影制御プログラム。

Images