JP2014171146A - 撮影装置 - Google Patents

Abstract

【課題】被写体によっては、より露出を変化させて撮影を行った多くの画像を合成させることで、よりダイナミックレンジを拡大することができる。そこで、本発明の目的は、被写体に応じて適切なダイナミックレンジを得るための撮影装置、およびその制御方法を提供することである。
【解決手段】検出した被写体の状態や撮影モードなどに応じて、撮影枚数を切り替えてＨＤＲ画像を合成する。具体的には、被写体の動き量が所定量より多い場合は２枚、被写体の画像内の割合が所定以上なら３枚、被写体が画像の中心になく、露出が所定値に入っていれば４枚、さらに露出が不足していれば５枚の画像を撮影して、ＨＤＲ画像を生成することを特徴とする構成とした。
【選択図】 図２

Description

本発明は、撮影装置、およびその制御方法に関し、特に撮影装置で撮影した複数枚の画像を合成して一枚の高ダイナミックレンジ画像を生成する技術に関する。

従来、一般的なデジタルカメラに使われているＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子において、階調に関するダイナミックレンジ幅が銀塩フィルムに比べ狭いという問題があった。このような問題点を解決するために、コントラストの強い被写体を適正露出で撮影した場合、主被写体の明るさは適正となっても、背景の一部が白とびや、黒つぶれとなることがある。

このような問題を解決するために、特許文献１では、被写体の暗い部分と明るい部分について、それぞれの部分が適正となるように２回撮影し、２つの画像を合成することでダイナミックレンジの拡大を行い高ダイナミックレンジ（HDR）画像を得ることができるカメラが提案されている。また、HDR画像は、複数回に分けて撮影した画像を合成して生成するため、動体などの画像内の被写体が大きく変化する画像同士を合成することができない。そのため、特許文献２では、動体を検出した場合は、画像処理により、白とびもしくは黒つぶれ領域を拡大し、一枚の画像でHDR画像の生成を行う画像処理装置が紹介されている。

特開平５−６４０７５号公報 特開２０１２−９００４１号公報

しかしながら、上述の特許文献２に開示された従来技術では、画像処理により、白とびもしくは黒つぶれ領域を拡大するにしても、イメージセンサで飽和している場合には、適切なダイナミックレンジを得ることができない。また、画像処理領域は、ゲインをかけて領域を拡大しているため、ノイズ等の影響を受けやすく、別途、ノイズリダクション技術が必要となり、制御が複雑となっていた。

被写体によっては、より露出を変化させて撮影を行った多くの画像を合成させることで、よりダイナミックレンジを拡大することができるが、従来の技術では、よりダイナミックレンジを拡大するための手法が紹介されていなかった。

そこで、本発明の目的は、被写体に応じて適切なダイナミックレンジを得るための撮影装置を提供することである。

上記目的を達成するために、本発明である撮影装置（１００）は、
撮影レンズ（１１０）と、
前記撮影レンズを介して結像する光学像を電気信号に変換する撮像素子（１２０）と、
撮像素子への光量を調節するための絞り（１１１）と、
撮像素子への光の蓄積時間を調節するための撮像素子駆動回路（１２１）と、
複数の異なる露出条件の画像を撮影する画像撮影手段（１１１、１２１）と、
前記複数の異なる露出条件の画像を合成し、ダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大手段（２００）と、
前記複数の異なる露出条件を決定する露出差決定手段（１２０、１９０）と、
を有する撮影装置において、
被写体の状態を判定するために設けられた、
被写体の動きを検出する動きベクトル検出手段（２１０）および、
被写体の画像における割合を検出する割合検出手段（２２０）
または、ユーザが意図して撮影モードを指定するためのユーザインタフェース（１９０）
または、被写体の露出差を検出するための露出差検出手段（１２１）
の少なくともいずれかの手段の、
合計２つ以上の条件から被写体の状態を判定する被写体状態判定手段（１８０）を有し、
前記被写体状態手段（１８０）に応じて、ＨＤＲの合成撮影枚数を決定するＨＤＲ合成枚数決定手段（１８０）を有し、
前記ＨＤＲ合成枚数決定手段（１８０）が決定した枚数に応じて撮影した複数の画像から、
前記ダイナミックレンジ拡大手段（２００）にて画像を合成する
ことを特徴とする。

本発明によれば、被写体の状態に応じて適切なダイナミックレンジを得ることができる撮影装置を提供することができる。

撮像装置１００の概略構成を示すブロック図 システム制御部１８０におけるＨＤＲ撮影時の処理シーケンス図 ＨＤＲ撮影を行った際の時間と露出変化を示す概略図

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定
されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［実施形態］
図１は、実施形態に係る撮像装置１００の概略構成を示すブロック図である。図１において、撮影レンズ１１０は、フォーカスレンズやズームレンズ等、複数のレンズ群、絞り機構などから構成される。レンズ制御部１１１は、システム制御部１８０による制御に基づいて、撮影レンズ１１０のフォーカスやズーム、絞りを制御する。撮像素子１２０は、光電変換により入射光量に応じた電荷を生成して出力するＣＭＯＳセンサであり、全画素の信号を読み出す以外に、特定の画素の加算及び特定の行又は列おきに間引いて電荷を読み出すこともできる。また、蓄積した電荷から、被写体の測光や、得られた画像からフォーカス制御を行うことも可能である。

撮像素子駆動回路１２１は、システム制御部１８０による制御に基づいて撮像素子１２０を駆動する。撮像素子駆動回路１２１の制御に基づいて、撮像素子１２０の撮影時の露光時間や信号増幅量などを変更することができる。

撮像素子１２０から出力された画像信号は、ダイナミックレンジ画像合成回路２００を内包する画像処理回路１３０に取り込まれる。ダイナミックレンジ画像合成回路２００は、予めメモリ１４０に保存された高露出画像及び低露出画像を用いて、ダイナミックレンジ拡大画像を生成する機能を備えている。また、被写体動き検出回路２１０は、必要に応じて、処理対象フレーム及び前フレームの画像から主被写体の動き量を検出する処理を行い、検出結果をシステム制御部１８０に伝達する。また、被写体割合検出回路２２０は、必要に応じて、合焦エリアの分布などから主被写体の画像における割合を検出する処理を行い、検出結果をシステム制御部１８０に伝達する。

画像処理回路１３０は、画像信号をデジタル変換するとともにガンマ処理、色信号処理、露出補正処理などの各種信号処理を行う。この際に、画像処理回路１３０は、メモリ１４０との間で画像信号の書き込み／読み出し処理を行う。また、画像処理回路１３０の出力は、ＬＣＤ１５０に表示することも可能である。

画像処理回路１３０で画像処理が施された画像データは、画像変換回路１６０により圧縮され、メモリカード１７０に書き込まれる。画像変換回路１６０は、画像処理回路１３０からの画像データを圧縮してメモリカード１７０へ出力する機能と、メモリカード１７０より読み出した画像データを伸長して画像処理回路１３０へ出力する機能とを有している。

システム制御部１８０は、画像処理回路１３０にて処理された信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。なお、画像撮影時の露出条件については、システム制御部１８０は、自動露出（ＡＥ）処理の結果やダイナミックレンジ拡大に必要な条件などから任意の条件を算出し、レンズ制御部１１１や撮像素子駆動回路１２１に指示することができる。

操作部１９０は、ユーザが撮像装置１００に指示を入力するための操作部であり、例えば、レリーズ釦やモード切り換えダイヤル、ズーム操作レバーなどを含む。操作部１９０を介したユーザ入力は、システム制御部１８０に通知される。

次に、本発明の実施形態に係る撮影装置１００のシステム制御部１８０におけるＨＤＲ撮影時の処理シーケンス図を図２へ示す。

Ｓ１００では、撮像素子駆動回路１２１を制御して、撮像素子１２０にて被写体の明るさの測光を行い、測光値を算出する。そして、測光値をもとに、適正露出と、適正露出より低いアンダー露出の算出を行う。ＨＤＲ撮影時のアンダー露出は、適正露出のＥｖ値マイナス３以内程度に設定することが多い。

Ｓ１０１では、撮像レンズ１１０のフォーカス制御を行う。撮像素子１２０より得られた画像から、画像の周波数成分が高くなるようにレンズ制御部１１１を駆動する。

Ｓ１０２では、１枚目の画像を適正露出で撮影する。撮影した画像は、画像処理回路１３０を経由して、いったんメモリ１４０へ保存する。

Ｓ１０３では、二枚目の画像をアンダー露出で撮影する。撮影した画像は、画像処理回路１３０を経由して、いったんメモリ１４０へ保存する。

Ｓ１０４では、撮影が風景撮影であるかどうかの判定を行う。判定条件としては、ユーザが意図的に風景の撮影モードを設定している場合、もしくは、撮影シーンの自動判定モードで撮影している場合は、フォーカスを無限遠に制御して、なおかつ、画像の上部の輝度が相対的に明るい場合等で判定する。Ｓ１０５で風景撮影と判定した時は、Ｓ１１４へ、風景以外と判定した時は、Ｓ１０５へ進む。

Ｓ１０５では、Ｓ１０２およびＳ１０３で撮影した画像をもとに、被写体動き検出回路２１０にて、被写体の動きを演算する。１０２および１０３で撮影した画像をもとに、画像の差分演算を行い、被写体の移動方向成分を算出する。

Ｓ１０６は、被写体の動き量に応じて撮影枚数を変更するステップである。Ｓ１０２とＳ１０３で撮影した画像において、フォーカスが合っている被写体の位置が、画像内で大きく移動している場合は、合成画像が作成できない場合がある。適正露出とアンダー露出の２枚より多くの画像を撮影して合成できるかどうかが判定基準となる。被写体の動きが所定以上である場合は、ダイナミックレンジ拡大のための撮影を継続することができないためＳ１０７へ進み、所定以内であれば、さらに撮影枚数を増やすためのステップとして、Ｓ１０８へ進む。

Ｓ１０７では、ダイナミックレンジ画像合成回路２００にて、ＨＤＲ撮影の一連の動作で撮影し、メモリ１４０へ保存されている全画像の合成を行う。合成が終了した画像は、画像変換回路１６０にて、所定の画像フォーマットへ変換を行い、メモリカード１７０へ保存する。また、合成が完了した画像は、ユーザが確認できるように、ユーザ設定に応じて、撮影後の一定期間はＬＣＤ１５０へ表示するとよい。

Ｓ１０８は、被写体の画像における割合に応じて撮影枚数を変更するステップである。被写体の画像における割合は、被写体割合検出回路２２０にて検出を行う。割合が大きい場合は、画面内に特定の輝度成分が多く存在していると考えられる。また、被写体の割合が大きくなおかつ、被写体が移動している場合、合成枚数を増やすと、合成後の画像品質に大きく影響する。したがって、被写体の割合が所定以上であれば、撮影枚数をさらに増やすためのステップＳ１１３へ進まず、Ｓ１０９へ進む。

Ｓ１０９では、撮影枚数を３枚に設定して、Ｓ１１０へ進む。

Ｓ１１０では、撮影枚数に応じた露出計算を行う。撮影枚数が増えるごとに、ダイナミックレンジ拡大のための露出のふり幅を増やし、Ｓ１１１にて、露出を変化させて撮影を行う。撮影を行った画像は、順次メモリ１４０へ保存する。

Ｓ１１２では、必要枚数の撮影が終わったかどうかの判定を行う。撮影枚数は、Ｓ１０９、Ｓ１１４、Ｓ１１６にて決定した枚数である。必要枚数の撮影の撮影が終わっていない場合は、Ｓ１１０へ戻り、終わっている場合は、Ｓ１０７へ進む。

Ｓ１１３は、被写体の画像内の位置に応じて撮影枚数を変更するステップである。被写体の位置は、被写体動き検出回路２１０にて検出することが可能であり、被写体の位置が画像の中央付近に存在するかどうかの判定を行う。中央付近というのは、例えば中央の一点を含む位置でフォーカスを行っているかどうかを判定してもよいし、一定の割合の位置を含んでいるかどうかで判定してもよい。もしも、被写体が中央付近に存在しない場合は、被写体以外に風景などの撮影したい第二の被写体が画像内に存在すると考えられる。したがって、さらに撮影枚数を増やすためのステップとして、Ｓ１１１４へ進む。所定の範囲以内に入っている場合は、Ｓ１０９へ進む。

Ｓ１１４は、撮影シーンと、露出状態に応じて撮影枚数を変更するステップである。Ｓ１１４は、すでに三枚を超える枚数から画像から、合成してＨＤＲ画像を作成することが確定しているが、ここでは、すでに十分な露出による撮影が行われているかどうかの判定を行うステップである。露出を変化させて撮影を行う際に、４回の撮影では被写体のダイナミックレンジをカバーできない場合、さらに撮影枚数を増やすためのステップとして、Ｓ１１６へ進む。４回の撮影で被写体のダイナミックレンジをカバーできている場合は、Ｓ１１５へ進む。

Ｓ１１５では、撮影枚数を４枚に設定して、Ｓ１１０へ進む。

Ｓ１１６では、撮影枚数を５枚に設定して、Ｓ１１０へ進む。

次に、本発明の実施形態に係る撮影装置１００にてＨＤＲ撮影を行った際の時間と露出変化を示す概略図を図３へ示す。

一枚目の画像は、適正露出にて撮影を行い、二枚目の画像をアンダー露出で撮影する。３枚以上の撮影を行う場合、三枚目はオーバ露出で撮影を行う。そして、４枚以上の撮影を行う場合は、四枚目はオーバ（三枚目のオーバよりも露出差を拡大する。）、５枚の撮影を行う場合は、図２のフローチャートＳ１１４にて不足している露出を算出して、不足している露出を補うための露出設定にて撮影を行うとよい。しかし少なくとも２枚目までの撮影に適正露出または、適正露出に最も近い露出にての撮影が含まれていれば、図３の順序通りに撮影を行わなくても良好な合成画像を作成することができる。

以上説明したように、本実施形態では、被写体の状態に応じて適切なダイナミックレンジを得ることができた。

[その他の実施形態]
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ 撮像装置
１１０ 撮影レンズ
１１１ レンズ制御部
１２０ 撮像素子
１２１ 撮像素子駆動回路
１３０ 画像処理回路
１４０ メモリ
１５０ ＬＣＤ
１６０ 画像変換回路
１７０ メモリカード
１８０ システム制御部
１９０ 操作部
２００ ダイナミックレンジ画像合成回路
２１０ 被写体動き検出回路
２２０ 被写体割合検出回路

Claims (5)

1. 撮影レンズ（１１０）と、
   前記撮影レンズを介して結像する光学像を電気信号に変換する撮像素子（１２０）と、
   撮像素子への光量を調節するための絞り（１１１）と、
   撮像素子への光の蓄積時間を調節するための撮像素子駆動回路（１２１）と、
   複数の異なる露出条件の画像を撮影する画像撮影手段（１１１、１２１）と、
   前記複数の異なる露出条件の画像を合成し、ダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大手段（２００）と、
   前記複数の異なる露出条件を決定する露出差決定手段（１２０、１９０）と、
   を有する撮影装置において、
   被写体の状態を判定するために設けられた、
   被写体の動きを検出する動きベクトル検出手段（２１０）および、
   被写体の画像における割合を検出する割合検出手段（２２０）
   または、ユーザが意図して撮影モードを指定するためのユーザインタフェース（１９０）
   または、被写体の露出差を検出するための露出差検出手段（１２１）
   の少なくともいずれかの手段の、
   合計２つ以上の条件から被写体の状態を判定する被写体状態判定手段（１８０）を有し、
   前記被写体状態手段（１８０）に応じて、ＨＤＲの合成撮影枚数を決定するＨＤＲ合成枚数決定手段（１８０）を有し、
   前記ＨＤＲ合成枚数決定手段（１８０）が決定した枚数に応じて撮影した複数の画像から、
   前記ダイナミックレンジ拡大手段（２００）にて画像を合成する
   ことを特徴とする撮像装置（１００）。
2. 被写体状態判定手段（１８０）が、被写体が風景であると判定した場合は、
   被写体が風景以外で、動きベクトル検出手段（２１０）の出力値が所定量よりも多い場合は、
   少なくとも２枚以上多く撮影するように、ＨＤＲ合成枚数決定手段（１８０）が撮影枚数を決定することを特徴とする請求項１に記載の撮影装置（１００）。
3. 割合検出手段（２２０）が所定の割合よりも被写体の割合が多いと検出した場合は、
   割合検出手段（２２０）が所定の割合よりも被写体の割合が少ないと検出した場合よりも、
   撮影枚数を少なくするように、ＨＤＲ合成枚数決定手段（１８０）が撮影枚数を決定することを特徴とする請求項１に記載の撮影装置（１００）。
4. 動きベクトル検出手段（２１０）により、被写体の位置が画像の所定範囲に入っている場合は、被写体の位置が画像の所定範囲に入っていない場合よりも、
   撮影枚数を少なくするように、ＨＤＲ合成枚数決定手段（１８０）が撮影枚数を決定することを特徴とする請求項１に記載の撮影装置（１００）。
5. 露出差検出手段（１２１）により、被写体の露出差が所定範囲に入っている場合は、被写体の露出差が所定範囲に入っていない場合よりも、
   撮影枚数を少なくするように、ＨＤＲ合成枚数決定手段（１８０）が撮影枚数を決定することを特徴とする請求項１に記載の撮影装置（１００）。