JP2013031205A - 撮影装置および方法 - Google Patents
撮影装置および方法 Download PDFInfo
- Publication number
- JP2013031205A JP2013031205A JP2012200205A JP2012200205A JP2013031205A JP 2013031205 A JP2013031205 A JP 2013031205A JP 2012200205 A JP2012200205 A JP 2012200205A JP 2012200205 A JP2012200205 A JP 2012200205A JP 2013031205 A JP2013031205 A JP 2013031205A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- dynamic range
- shooting
- imaging
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000000034 method Methods 0.000 title claims description 184
- 238000003384 imaging method Methods 0.000 claims description 124
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000004148 unit process Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して1つのダイナミックレンジ拡大画像データを取得する場合に、ハードウェアの仕様上の限界によりダイナミックレンジが制限されないようにする。
【解決手段】ダイナミックレンジの拡大率に応じた露光比による撮影が撮像手段において可能か不可能か、またフラッシュを発光させるか否かに基づいて、異なる露光で少なくとも2回の撮影を行なう第1の撮影方式、設定したダイナミックレンジに基づいた段数でアンダー露光にして撮影を行なう第2の撮影方式、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行なう第3の撮影方式の3つの撮影方式の中から好適な撮影方式を選択し、選択した撮影方式によって撮影を行うようする。
【選択図】図5
【解決手段】ダイナミックレンジの拡大率に応じた露光比による撮影が撮像手段において可能か不可能か、またフラッシュを発光させるか否かに基づいて、異なる露光で少なくとも2回の撮影を行なう第1の撮影方式、設定したダイナミックレンジに基づいた段数でアンダー露光にして撮影を行なう第2の撮影方式、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行なう第3の撮影方式の3つの撮影方式の中から好適な撮影方式を選択し、選択した撮影方式によって撮影を行うようする。
【選択図】図5
Description
本発明は、CCD等の撮像素子を用いて広ダイナミックレンジの画像データを取得する撮影装置および方法に関するものである。
デジタルカメラに用いられる撮像手段であるCCDは、銀塩フィルムと比較してダイナミックレンジが狭いため、画像の白とびや黒つぶれが生じやすい。このため、広ダイナミックレンジの画像データを取得するために、異なる露光条件で撮像を行なって、例えば高輝度側の情報量が多い画像と低輝度側の情報量が多い画像等、輝度毎の情報量が異なる複数枚の画像データを取得してこれらを合成することにより、広いダイナミックレンジを確保して、高輝度から低輝度まで広い範囲で良好な再現性を有するダイナミックレンジ拡大画像データを取得する技術が知られている。
ここで、複数枚の画像データを異なる露光条件で取得する方法としては、高感度の主画素と主画素よりも面積が小さく感度は低いが飽和しにくい副画素とを配列したCCDを使用して撮影を行なうことにより各画像の露光条件を変える方法(特許文献1)や、シャッター速度を変えて撮影を行なうことにより各画像の露光条件を変える方法(特許文献2)がある。
上記のような技術を用いて、ダイナミックレンジを通常撮影時と比較してn倍に拡大させたダイナミックレンジ拡大画像データを取得する場合、一般的には、通常撮影時と同等の露光量で撮影した画像データと、通常撮影時の1/n倍の露光量で撮影した画像データとが必要になる。例えばダイナミックレンジを800%(8倍)に拡大させる場合には、通常撮影時と同等の露光量で撮影した画像データに加え、通常撮影時の1/8倍の露光量で撮影した画像データが必要となる。すなわち、ダイナミックレンジを広く拡大しようとすると、通常撮影時と比較してより露光量を少なくしなければならないことになる。
しかしながら、特許文献1の場合には、ある露光比で2つの画像を取得しようとした場合、感度の異なる主画素と副画素の2種類の画素を備えたCCDにより撮影を行なうため、露光比は主画素と副画素の感度の比で一義的に決定されてしまうため、ダイナミックレンジの拡大設定を自由に行なうことができない。
また、特許文献2の場合には、シャッター速度の限界を超えて露光量を絞ることができないため、ダイナミックレンジの拡大に限界を生じてしまう。
本発明は、上記事情に鑑みなされたものであり、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して1つのダイナミックレンジ拡大画像データを取得する場合に、ハードウェアの仕様上の限界によりダイナミックレンジが制限されない撮影装置および方法を提供することを目的とするものである。
本発明の撮影装置は、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得する撮像手段と、複数の画像データの中から少なくとも1枚の画像データを処理して1つのダイナミックレンジ拡大画像データを取得する画像データ処理手段と、ダイナミックレンジ拡大画像データのダイナミックレンジを設定するダイナミックレンジ設定手段と、撮像手段および画像データ処理手段の動作を規定した複数の撮影方式の中から、ダイナミックレンジ設定手段により設定されたダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択する撮影方式選択手段と、撮影方式選択手段により選択された撮影方式によって撮影を行う撮影手段とを備えていることを特徴とするものである。
ここで、撮影方式選択手段において好適な撮影方式を選択する方法としては、被写体の対象や被写界の情報等を認識し、これに基づいて決定するようにする等、どのような方法を用いてもよい。
本発明の撮影装置においては、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいて、各撮影毎の露光比を決定する露光比決定手段と、露光比決定手段により決定された露光比による撮影が撮像手段において可能か不可能かを判定する判定手段とを備え、撮影方式選択手段が、判定手段による判定結果に基づいて、複数の撮影方式の中から好適な撮影方式を選択するものとすることが好ましい。
この場合、被写体を測光する測光手段と、測光手段による測光結果に基づいて被写体に向けてフラッシュを発光するか否かを判断する判断手段とを備え、複数の撮影方式について、撮像手段が、異なる露光で少なくとも2回の撮影を行い、画像処理手段が、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、画像処理手段が、撮影により取得された画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第2の撮影方式、および、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、画像処理手段が、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式の3つの撮影方式を有し、撮影方式選択手段が、判定手段により可能と判定され、かつ判断手段によりフラッシュを発光させないと判断された場合に第1の撮影方式を選択し、判定手段により可能と判定され、かつ判断手段によりフラッシュを発光させると判断された場合に第2の撮影方式を選択し、判定手段により不可能と判定された場合に第3の撮影方式を選択するものとしてもよい。
また、撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第1の受光素子および第2の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、第1の受光素子と第2の受光素子とで異なる露光特性を有し、露光特性の差を利用して第1の受光素子および第2の受光素子の露光差を生じさせるものであり、複数の撮影方式について、撮像手段が、異なる露光で少なくとも2回の撮影を行い、画像処理手段が、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、および、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、画像処理手段が、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式の2つの撮影方式を有し、撮影方式選択手段が、判定手段により可能と判定された場合に第1の撮影方式を選択し、判定手段により不可能と判定された場合に第3の撮影方式を選択するものとしてもよい。
また、撮像手段が、複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、複数の撮影方式について、撮像手段が、異なる露光で少なくとも2回の撮影を行い、画像処理手段が、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、および、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、画像処理手段が、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式の2つの撮影方式を有し、撮影方式選択手段が、判定手段により可能と判定された場合に第1の撮影方式を選択し、判定手段により不可能と判定された場合に第3の撮影方式を選択するものとしてもよい。
また、本発明の撮影方法は、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得する撮像手段を用いて撮影を行ない、複数の画像データの中から少なくとも1枚の画像データを処理して1つのダイナミックレンジ拡大画像データを取得する撮影方法において、ダイナミックレンジ拡大画像データのダイナミックレンジを設定し、撮像手段の動作や画像データの処理の内容を規定した複数の撮影方式の中から、設定したダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択し、選択した撮影方式によって撮影を行うことを特徴とするものである。
ここで、好適な撮影方式を選択する方法としては、被写体の対象や被写界の情報等を認識し、これに基づいて決定するようにする等、どのような方法を用いてもよい。
本発明の撮影方法においては、設定したダイナミックレンジに基づいて、各撮影毎の露光比を決定し、決定した露光比による撮影が撮像手段において可能か不可能かを判定し、判定の結果に基づいて、複数の撮影方式の中から好適な撮影方式を選択することが好ましい。
この場合、複数の撮影方式について、異なる露光で少なくとも2回の撮影を行い、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、設定したダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、撮影により取得された画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第2の撮影方式、および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式の3つの撮影方式を有し、決定した露光比による撮影が撮像手段において可能と判定し、かつフラッシュを発光させない場合に第1の撮影方式を選択し、決定した露光比による撮影が撮像手段において可能と判定し、かつフラッシュを発光させる場合に第2の撮影方式を選択し、決定した露光比による撮影が撮像手段において不可能と判定した場合に第3の撮影方式を選択するものとしてもよい。
また、撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第1の受光素子および第2の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、第1の受光素子と第2の受光素子とで異なる露光特性を有し、露光特性の差を利用して第1の受光素子および第2の受光素子の露光差を生じさせるものであり、複数の撮影方式について、異なる露光で少なくとも2回の撮影を行い、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式の2つの撮影方式を有し、決定した露光比による撮影が撮像手段において可能と判定した場合に第1の撮影方式を選択し、決定した露光比による撮影が撮像手段において不可能と判定した場合に第3の撮影方式を選択するものとしてもよい。
また、撮像手段が、複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、複数の撮影方式について、異なる露光で少なくとも2回の撮影を行い、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式の2つの撮影方式を有し、決定した露光比による撮影が撮像手段において可能と判定した場合に第1の撮影方式を選択し、決定した露光比による撮影が撮像手段において不可能と判定した場合に第3の撮影方式を選択するものとしてもよい。
なお、上記撮影装置および方法の第3の撮影方式において、アンダー露光にする段数は、撮像手段の性能が不足している段数分のみをアンダー露光にすることが好ましい。例えば、A面(露光比大)に比べB面(露光比小)の露光量を1/8にしたいが、ハードウェアの制約により1/4までしか設定できない場合には、不足分として1段アンダー露光にして撮影を行なえばよい。また、B面(露光比小)撮影時のシャッター速度を1/3840秒にしたいが、ハードウェアの制約により1/2000までしか設定できない場合には、不足分として1段アンダー露光にして撮影を行なえばよい。
本発明の撮影装置および方法によれば、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して1つのダイナミックレンジ拡大画像データを取得する撮影装置および方法において、ダイナミックレンジ拡大画像データのダイナミックレンジを設定し、撮像手段の動作や画像データの処理の内容を規定した複数の撮影方式の中から、設定したダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択し、選択した撮影方式によって撮影を行うようにしたので、ハードウェアの仕様上の限界の内外に関わらず常に好適な撮影方式を選択して撮影を行ない、ダイナミックレンジ拡大画像データを取得することが可能となる。
このとき、設定したダイナミックレンジに基づいて、各撮影毎の露光比を決定し、決定した露光比による撮影が撮像手段において可能か不可能かを判定し、判定の結果に基づいて、複数の撮影方式の中から好適な撮影方式を選択するようにすれば、より適切な処理を行うことが可能になる。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の第1の実施の形態の撮影装置を適用したデジタルカメラの概略ブロック図である。
図1に示すように、本実施の形態のデジタルカメラ1は、CPU10と、撮像部11と、画像処理部12と、記憶部13と、操作部14と、表示部15と、検出部16と、発光部17と、記録媒体読取部18とから概略構成されている。
撮像部11は、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得可能に構成されたものであって、不図示のレンズ群およびレンズ駆動部、撮像素子としてのCCD11a、不図示のCCD駆動部、アナログ処理部11bおよびA/D変換部11c等を備えている。
なお、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得する方法については、被写体からの光を光電変換する互いに独立に駆動制御可能な第1の受光素子および第2の受光素子が所定の配列形態によって多数配置されてなるCCDを用いて撮影を行なうことにより複数の画像データを取得する方法としてもよいし、通常のCCDを用いて高速で連続撮影を行なうことにより複数の画像データを取得する方法としてもよい。また、マルチフレーム撮影により取得された画像データを利用するようにしてもよい。
CCD11aの受光面に結像された被写体像は、CCD11a上の各センサで入射光量に応じた量の信号電荷に変換される。なおCCD11aはシャッターゲートパルスのタイミングによって各センサの電荷蓄積時間(シャッタースピード)を制御する、いわゆる電子シャッター機能を有している。
各センサに蓄積された信号電荷は、CCD駆動部から加えられるパルスに基づいて信号電荷に応じた電圧信号(アナログ撮像信号)として順次CCD11aから読み出される。CCD11aから出力されたアナログ撮像信号は、アナログ処理部11bに送られる。
アナログ処理部11bは、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路を含み、このアナログ処理部11bにおいて、相関二重サンプリング(CDS)処理並びにR,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整(プリホワイトバランス処理)が行われる。
アナログ処理部11bから出力された信号は、A/D変換部11cによりデジタル信号に変換された後、画像処理部12に送られる。なおCCD駆動部、アナログ処理部11bおよびA/D変換部11cは、CPU10の指令に従ってタイミングジェネレータから加えられるタイミング信号により同期して駆動されるようになっている。
画像処理部12は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス調整回路、コントラスト補正回路、ホワイトバランス調整回路等の画質調整回路、さらには同一被写体を撮影した複数の画像データの中から少なくとも1枚の画像データを処理して1つのダイナミックレンジ拡大画像データを取得する画像合成回路(画像データ処理手段)を含むデジタルシグナルプロセッサ(DSP)で構成されており、CPU10からの指令に基づいて画像信号を処理する。
記憶部13は、各種データを記憶可能な半導体メモリ等によって構成されている。記憶部13は、デジタルカメラを作動させるためのシステムプログラム等を記憶している。
操作部14は、レリーズボタン33や、各種操作設定を行なうためのボタン等から構成されている。
表示部15は、液晶や有機EL等のモニタから構成される。
検出部16は、被写体情報や被写界情報を検出する各種センサより構成される。
発光部17は、フラッシュ発光を行なうためのものであって、キセノンランプ等により構成される。
記憶媒体読取部18は、記録媒体19が挿填される挿填口(メディアスロット)を備えており、記録媒体19がメディアスロットに挿填されると、記録媒体19に対してデータの読取/書込が行われる。
なお、この記録媒体19はxDピクチャーカード(登録商標)、スマートメディア(登録商標)、PCカード、コンパクトフラッシュ(登録商標)、磁気ディスク、光ディスク、光磁気ディスク、メモリスティック(登録商標)等を使用でき、電子的、磁気的、若しくは光学的、又はこれらの組合せによる方式に従って読み書き可能な種々の媒体を用いることができ、このとき使用される媒体に応じた信号処理手段とインターフェースが適用される。
CPU10は、操作部14からの入力に基づいてデジタルカメラ1を総括的に制御するものであり、操作部14からの指示に応じて記憶部13や記録媒体19に記憶されているデータを読み出す読出制御手段として機能すると共に、レンズ駆動部のズーミング動作、焦点調節(AF)動作および自動露出調節(AE)動作等を制御する動作制御手段や表示部15における表示を制御する表示制御手段としても機能する。
また、検出部16により検出された被写体情報や被写界情報に基づいて、被写体に向けてフラッシュを発光するか否かを判断する判断手段や、検出部16により検出された被写体情報や被写界情報に基づいて、取得画像データのダイナミックレンジをどの程度拡大させるかを設定するダイナミックレンジ設定手段や、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいて、各撮影毎の露光比を決定する露光比決定手段や、露光比決定手段により決定された露光比による撮影が撮像部11において可能か不可能かを判定する判定手段や、判定手段による判定結果に基づいて、撮像部11および画像処理部12の動作を規定した複数の撮影方式の中から好適な撮影方式を選択する撮影方式選択手段や、撮影方式選択手段により選択された撮影方式によって撮影を行う撮影手段としても機能する。
次に、上記のように構成されたデジタルカメラ1において、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して1つのダイナミックレンジ拡大画像データを取得する手順について説明する。図2は撮影方式1のデータ処理についての説明図、図3は撮影方式2のデータ処理についての説明図、図4は撮影方式3のデータ処理についての説明図、図5は本実施の形態のデジタルカメラにおける撮影方式の選択方法を示すフローチャートである。
本実施の形態では、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して1つのダイナミックレンジ拡大画像データを取得する手順について3つの撮影方式があるが、まずこれらの撮影方式について説明する。
撮影方式1は、撮像部11において、異なる露光で少なくとも2回の撮影を行い、画像処理部12において、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得するものであり、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部11において可能であり、かつフラッシュを発光させない場合に用いる方式である。
本方式における画像処理部12の処理について、まず所望のダイナミックレンジとするために必要な露光比が決定されると、主に低輝度側の情報を取得するためのA面と、このA面よりも露光量を少なくし、主に高輝度側の情報を取得するためのB面の2つの画像データが取得される。例えばダイナミックレンジを4倍に拡大する場合には、図2(A)に示す通り、通常露光量で撮影されるA面の露光比を1とすると、B面の露光比は1/4となる。次に図2(B)に示す通り、A面とB面の2つの画像データにおける輝度−信号値の傾き特性を一致させるために、B面について4倍のゲイン補正を行い、低輝度側の情報についてはA面の情報を使用し、高輝度側の情報についてはB面の情報を使用して、A面とB面の情報を合成することによって、図2(C)に示す通り、4倍にダイナミックレンジを拡大した1つのダイナミックレンジ拡大画像データを取得することができる。
撮影方式2は、撮像部11において、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、画像処理部12において、撮影により取得された画像データを処理して1つのダイナミックレンジ拡大画像データを取得するものであり、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部11において可能であり、かつフラッシュを発光させる場合に用いる方式である。
この理由としては、上記撮影方式1のように異なる露光で複数回の撮影を行なう際に、設定した露光比に合わせてフラッシュの光量を精密に制御するのは非常に困難であるため、フラッシュを発光させる必要がある場合には、複数回の撮影を行なわずにダイナミックレンジを拡大する処理を行う方が好ましいからである。
本方式における画像処理部12の処理については、図3(A)に示す通り、白トビが発生しないように通常露光量からアンダー露光にして撮影を行なうことにより取得された画像データに対して、図3(B)に示す通り、所望のダイナミックレンジ(ここでは4倍)にゲイン補正を行うことにより、4倍にダイナミックレンジを拡大した1つのダイナミックレンジ拡大画像データを取得することができる。
撮影方式3は、撮像部11において、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、画像処理部12において、撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得するものであり、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部11において不可能な場合に用いる方式である。
本方式における画像処理部12の処理について、まず所望のダイナミックレンジとするために必要な露光比が決定されると、主に低輝度側の情報を取得するためのA面と、このA面よりも露光量を少なくし、主に高輝度側の情報を取得するためのB面の2つの画像データが取得される。ただし、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部11において不可能であるため、露光量の少ないB面の露光量を基準に、撮像部11において可能な露光比の上限となるまで露光量を増加させてA面の撮影を行なう。例えばダイナミックレンジを8倍に拡大したいが、撮像部11におけるハードウェアの制約により露光比を1:1/4までしか設定できない場合には、図4(A)に示す通り、B面の露光比が1/8となり、これを基準にA面の露光比は上限の1/2となる。次に図4(B)に示す通り、A面とB面の2つの画像データにおける輝度−信号値の傾き特性を一致させるために、A面について2倍のゲイン補正を行い、B面について8倍のゲイン補正を行い、低輝度側の情報についてはA面の情報を使用し、高輝度側の情報についてはB面の情報を使用して、A面とB面の情報を合成することによって、図4(C)に示す通り、8倍にダイナミックレンジを拡大した1つのダイナミックレンジ拡大画像データを取得することができる。
次に、撮影時における撮影方式の選択の流れについて図5のフローチャートを用いて説明する。
撮影が開始されると、検出部16の各種センサにより被写体情報や被写界情報が検出される。CPU10では、これに基づいて最終的に取得する画像データについて、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する(ステップA1)。次に、設定したダイナミックレンジに基づいて、撮像部11が行なう複数回の撮影毎の露光比を決定し、この露光比による撮影が撮像部11で可能か不可能かを判定する(ステップA2)。
ステップA2において、撮影が可能であると判定された場合、さらに検出部16の各種センサにより検出された被写体情報や被写界情報に基づいてフラッシュを発光するか否かを判断する(ステップA3)。
ステップA3において、フラッシュを発光しないと判断された場合には、上記撮影方式1を選択し(ステップA4)、フラッシュを発光すると判断された場合には、上記撮影方式2を選択する(ステップA5)。また、ステップA2において、撮影が不可能であると判定された場合には、上記撮影方式3を選択する(ステップA6)。
上記のようにして選択された撮影方式に基づいて撮影を行ない、最終的にダイナミックレンジ拡大画像データを取得して処理を終了する(ステップA7)。
上記のような構成とすることにより、ハードウェアの仕様上の限界の内外に関わらず常に好適な撮影方式を選択して撮影を行ない、ダイナミックレンジ拡大画像データを取得することが可能となる。
次に、本発明の第2の実施の形態の撮影装置を適用したデジタルカメラについて説明する。図6は本実施の形態のデジタルカメラに用いるCCDの概略構成図、図7は本実施の形態のデジタルカメラにおける撮影方式の選択方法を示すフローチャートである。
本実施の形態は上記第1の実施の形態と比べ、撮像部11の構成、および撮影方式の選択方法を変更したものであり、具体的には、撮像部11のCCDを、被写体からの光を光電変換する互いに独立に駆動制御可能な第1の受光素子および第2の受光素子が所定の配列形態によって多数配置されてなるものとしている。なお、変更点以外の構成は上記第1の実施の形態と同様であるため、変更点以外の説明については省略する。
本実施の形態のCCD11aは、ハニカム状に配置された多数の受光素子を有する光センサであり、図6に示すように、画像の1画素に対応する八角形の受光素子30がハニカム状に配置されており、各受光素子30は受光面積が大きい主画素30Sと、主画素30Sよりも受光面積が小さい副画素30Rとからなる。主画素30Sは、副画素30Rに較べてその面積比に応じて信号電荷生成量が多く受光感度が高くなるため主画素30Sは同一光量を受光する場合、副画素30Rと比較して早く飽和する。
このようなCCD11aを用いて、ダイナミックレンジ拡大画像データを生成するための複数の画像データを取得する場合、一度の撮影で主画素30Sと副画素30Rで異なる露光比による撮影が可能であるが、その露光比は主画素30Sと副画素30Rの受光感度の比で決定されてしまうため、CCD11aで取得可能な露光比以外の撮影を行なうことができない。本実施の形態では、このようなCCD11aを用いた場合に、最適な撮影方法を選択できるようにしている。
本実施の形態では、上記撮影方法1および3を用いる。
次に、撮影時における撮影方式の選択の流れについて図7のフローチャートを用いて説明する。
撮影が開始されると、検出部16の各種センサにより被写体情報や被写界情報が検出される。CPU10では、これに基づいて最終的に取得する画像データについて、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する(ステップB1)。次に、設定したダイナミックレンジに基づいて、撮像部11が行なう複数回の撮影毎の露光比を決定し、この露光比による撮影が撮像部11で可能か不可能かを判定する(ステップB2)。
ステップB2において、撮影が可能であると判定された場合には、上記撮影方式1を選択し(ステップB3)、撮影が不可能であると判定された場合には、上記撮影方式3を選択する(ステップB4)。
上記のようにして選択された撮影方式に基づいて撮影を行ない、最終的にダイナミックレンジ拡大画像データを取得して処理を終了する(ステップB5)。
このような構成としても、上記第1の実施の形態と同様に、ハードウェアの仕様上の限界の内外に関わらず常に好適な撮影方式を選択して撮影を行ない、ダイナミックレンジ拡大画像データを取得することが可能となる。
次に、本発明の第3の実施の形態の撮影装置を適用したデジタルカメラについて説明する。本実施の形態のデジタルカメラにおける撮影方式の選択方法を示すフローチャートは、上記第2の実施の形態の説明で用いた図7と同様である。
本実施の形態は上記第2の実施の形態と比べ、撮像部11の構成を変更したものであり、具体的には、撮像部11の構成について、同一被写体に対して撮影条件が互いに異なる複数の撮影を行なう場合に、上記第2の実施の形態のように互いに感度の異なる主画素と副画素の2種類の画素を備えたCCDを用いるのではなく、複数の撮影についてシャッター速度を変えることにより撮影条件を変えるものである。
なお、変更点以外の構成は上記第2の実施の形態と同様であるため、変更点以外の説明については省略する。
主に低輝度側の情報を取得するためのA面と、このA面よりも露光量を少なくし、主に高輝度側の情報を取得するためのB面の少なくとも2つの画像データを取得する場合、ダイナミックレンジの拡大に伴ってB面の露光量を少なくする、すなわちB面の撮影時におけるシャッター速度を高速にする必要があるが、シャッター速度には限界があるため、シャッター速度限界を超えて露光量を少なくすることはできない。本実施の形態では、このような場合に、最適な撮影方法を選択できるようにしている。
本実施の形態では、上記撮影方法1および3を用いる。
次に、撮影時における撮影方式の選択の流れについて図7のフローチャートを用いて説明する。
撮影が開始されると、検出部16の各種センサにより被写体情報や被写界情報が検出される。CPU10では、これに基づいて最終的に取得する画像データについて、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する(ステップB1)。次に、設定したダイナミックレンジに基づいて、撮像部11が行なう複数回の撮影毎の露光比を決定し、この露光比による撮影が撮像部11で可能か不可能かを判定する(ステップB2)。
ステップB2において、撮影が可能であると判定された場合には、上記撮影方式1を選択し(ステップB3)、撮影が不可能であると判定された場合には、上記撮影方式3を選択する(ステップB4)。
上記のようにして選択された撮影方式に基づいて撮影を行ない、最終的にダイナミックレンジ拡大画像データを取得して処理を終了する(ステップB5)。
このような構成としても、上記第1の実施の形態と同様に、ハードウェアの仕様上の限界の内外に関わらず常に好適な撮影方式を選択して撮影を行ない、ダイナミックレンジ拡大画像データを取得することが可能となる。
1 デジタルカメラ
10 CPU
11 撮像部
11a CCD
11b アナログ処理部
11c A/D変換部
12 画像処理部
13 記憶部
14 操作部
15 表示部
16 検出部
17 発光部
18 記録媒体読取部
19 記録媒体
10 CPU
11 撮像部
11a CCD
11b アナログ処理部
11c A/D変換部
12 画像処理部
13 記憶部
14 操作部
15 表示部
16 検出部
17 発光部
18 記録媒体読取部
19 記録媒体
Claims (8)
- 同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、該複数の撮影に対応した複数の画像データを取得する撮像手段と、
前記複数の画像データの中から少なくとも1枚の画像データを処理して1つのダイナミックレンジ拡大画像データを取得する画像データ処理手段と、
前記ダイナミックレンジ拡大画像データのダイナミックレンジを設定するダイナミックレンジ設定手段と、
該ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいて、各撮影毎の露光比を決定する露光比決定手段と、
該露光比決定手段により決定された露光比に基づいて、前記撮像手段および前記画像データ処理手段の動作を規定した複数の撮影方式の中から、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択する撮影方式選択手段と、
該撮影方式選択手段により選択された撮影方式によって撮影を行う撮影手段とを備えていることを特徴とする撮影装置。 - 前記被写体を測光する測光手段と、
前記測光手段による測光結果に基づいて前記被写体に向けてフラッシュを発光するか否かを判断する判断手段とを備え、
前記複数の撮影方式について、
前記撮像手段が、異なる露光で少なくとも2回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、
前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、前記画像処理手段が、前記撮影により取得された画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第2の撮影方式、
および、前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式
の3つの撮影方式を有し、
前記撮影方式選択手段が、前記露光比決定手段により決定された露光比に基づいて、前記第1の撮影方式、前記第2の撮影方式、もしくは前記第3の撮影方式のいずれかを選択するものであることを特徴とする請求項1記載の撮影装置。 - 前記撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第1の受光素子および第2の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、前記第1の受光素子と前記第2の受光素子とで異なる露光特性を有し、該露光特性の差を利用して前記第1の受光素子および前記第2の受光素子の露光差を生じさせるものであり、
前記複数の撮影方式について、
前記撮像手段が、異なる露光で少なくとも2回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、
および、前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式
の2つの撮影方式を有し、
前記撮影方式選択手段が、前記露光比決定手段により決定された露光比に基づいて、前記第1の撮影方式、もしくは前記第3の撮影方式のいずれかを選択するものであることを特徴とする請求項1記載の撮影装置。 - 前記撮像手段が、前記複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、該シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、
前記複数の撮影方式について、
前記撮像手段が、異なる露光で少なくとも2回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、
および、前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式
の2つの撮影方式を有し、
前記撮影方式選択手段が、前記露光比決定手段により決定された露光比に基づいて、前記第1の撮影方式、もしくは前記第3の撮影方式のいずれかを選択するものであることを特徴とする請求項1記載の撮影装置。 - 撮影装置における動作を規定した撮影方法であって、
同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、該複数の撮影に対応した複数の画像データを取得する撮像手段を用いて撮影を行ない、
前記複数の画像データの中から少なくとも1枚の画像データを処理して1つのダイナミックレンジ拡大画像データを取得する撮影方法において、
前記ダイナミックレンジ拡大画像データのダイナミックレンジを設定し、
設定したダイナミックレンジに基づいて、各撮影毎の露光比を決定し、
決定した露光比に基づいて、前記撮像手段の動作や前記画像データの処理の内容を規定した複数の撮影方式の中から、設定したダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択し、
選択した撮影方式によって撮影を行うことを特徴とする撮影方法。 - 前記複数の撮影方式について、
異なる露光で少なくとも2回の撮影を行い、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、
設定したダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、前記撮影により取得された画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第2の撮影方式、
および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式
の3つの撮影方式を有し、
決定した露光比に基づいて、前記第1の撮影方式、前記第2の撮影方式、もしくは前記第3の撮影方式のいずれかを選択することを特徴とする請求項5記載の撮影方法。 - 前記撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第1の受光素子および第2の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、前記第1の受光素子と前記第2の受光素子とで異なる露光特性を有し、該露光特性の差を利用して前記第1の受光素子および前記第2の受光素子の露光差を生じさせるものであり、
前記複数の撮影方式について、
異なる露光で少なくとも2回の撮影を行い、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、
および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式
の2つの撮影方式を有し、
決定した露光比に基づいて、前記第1の撮影方式、もしくは前記第3の撮影方式のいずれかを選択することを特徴とする請求項5記載の撮影方法。 - 前記撮像手段が、前記複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、該シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、
前記複数の撮影方式について、
異なる露光で少なくとも2回の撮影を行い、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第1の撮影方式、
および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも2回の撮影を行い、前記撮影により取得された少なくとも2つの画像データを処理して1つのダイナミックレンジ拡大画像データを取得する第3の撮影方式
の2つの撮影方式を有し、
決定した露光比に基づいて、前記第1の撮影方式、もしくは前記第3の撮影方式のいずれかを選択することを特徴とする請求項5記載の撮影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200205A JP2013031205A (ja) | 2012-09-12 | 2012-09-12 | 撮影装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200205A JP2013031205A (ja) | 2012-09-12 | 2012-09-12 | 撮影装置および方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008240880A Division JP5090302B2 (ja) | 2008-09-19 | 2008-09-19 | 撮影装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013031205A true JP2013031205A (ja) | 2013-02-07 |
Family
ID=47787727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012200205A Abandoned JP2013031205A (ja) | 2012-09-12 | 2012-09-12 | 撮影装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013031205A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10924653B2 (en) | 2017-02-17 | 2021-02-16 | Fujifilm Corporation | Imaging apparatus, control method and non-transitory computer readable medium |
US10931869B2 (en) | 2016-11-30 | 2021-02-23 | Fujifilm Corporation | Imaging apparatus and control method therefor |
US11012615B2 (en) | 2017-02-14 | 2021-05-18 | Fujifilm Corporation | Imaging apparatus, control method and non-transitory computer readable medium that determines a confused state |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205661A (ja) * | 1998-01-16 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP2003179819A (ja) * | 2001-12-12 | 2003-06-27 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2003264738A (ja) * | 2002-03-07 | 2003-09-19 | Olympus Optical Co Ltd | デジタルカメラ |
JP2008160190A (ja) * | 2006-12-20 | 2008-07-10 | Fujifilm Corp | 撮像装置、およびその方法 |
JP2010074618A (ja) * | 2008-09-19 | 2010-04-02 | Fujifilm Corp | 撮影装置および方法 |
-
2012
- 2012-09-12 JP JP2012200205A patent/JP2013031205A/ja not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205661A (ja) * | 1998-01-16 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP2003179819A (ja) * | 2001-12-12 | 2003-06-27 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2003264738A (ja) * | 2002-03-07 | 2003-09-19 | Olympus Optical Co Ltd | デジタルカメラ |
JP2008160190A (ja) * | 2006-12-20 | 2008-07-10 | Fujifilm Corp | 撮像装置、およびその方法 |
JP2010074618A (ja) * | 2008-09-19 | 2010-04-02 | Fujifilm Corp | 撮影装置および方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10931869B2 (en) | 2016-11-30 | 2021-02-23 | Fujifilm Corporation | Imaging apparatus and control method therefor |
US11012615B2 (en) | 2017-02-14 | 2021-05-18 | Fujifilm Corporation | Imaging apparatus, control method and non-transitory computer readable medium that determines a confused state |
US10924653B2 (en) | 2017-02-17 | 2021-02-16 | Fujifilm Corporation | Imaging apparatus, control method and non-transitory computer readable medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5090302B2 (ja) | 撮影装置および方法 | |
JP6555863B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6278713B2 (ja) | 撮像装置および撮像方法 | |
JP6082274B2 (ja) | 撮像装置、及びその制御方法 | |
JP2017108309A (ja) | 撮像装置および撮像方法 | |
KR20070070010A (ko) | 촬상 장치 및 촬영 방법 | |
JP5009880B2 (ja) | 撮像装置及び撮像方法 | |
JP4834425B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5138521B2 (ja) | 撮像装置及び撮像方法 | |
JP5984975B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP4934123B2 (ja) | 撮影装置および方法 | |
JP2013031205A (ja) | 撮影装置および方法 | |
JP2014222899A (ja) | 撮像装置及びその制御方法 | |
JP2014060578A (ja) | 撮像装置 | |
JP6231814B2 (ja) | 露出決定装置、撮像装置、制御方法、及びプログラム | |
JP2012095116A (ja) | 撮像装置及びその制御方法 | |
JP2008083243A (ja) | 撮影装置及び露出制御方法 | |
JP2003032556A (ja) | 撮像装置 | |
JP2006157342A (ja) | カメラモジュール | |
JP6360409B2 (ja) | 撮像装置、撮像方法 | |
JP4781147B2 (ja) | 撮像装置及び画像処理方法 | |
JP2007139874A (ja) | 撮像装置 | |
JP2005333491A (ja) | 撮像装置 | |
JP2014171146A (ja) | 撮影装置 | |
JP6012333B2 (ja) | 撮像装置及び撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20130906 |