JP2022083147A - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】露光中ピント位置を変え続けて撮像された複数の画像に対して合成を行うと、合成画像に輝度ムラが出てしまう。
【解決手段】上記課題を解決するため、本願発明に係る撮像装置は、ピント位置の異なる複数の画像を撮像し、かつ、前記複数の画像のそれぞれの画像を撮像する間でも前記ピント位置を変更し続ける撮像手段と、前記撮像手段が、１枚の前記画像を撮像する間に前記ピント位置の変更に起因する露出差を補正する補正手段と、を有し、前記補正手段が補正した後の前記複数の画像の間の前記露出差が、補正する前によりも低減する。
【選択図】図８

Description

本発明は、ピント位置の異なる複数の画像を撮像する撮像装置に関するものである。

デジタルカメラなどからの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

また、深度合成の処理時間をなるべく低減するために、特許文献２に記載のような、露光中にピント位置を変え続ける技術が開示されている。

特開２０１５－２１６５３２号公報 国際公開１２／１１７７３３号

しかし、上述したように露光中にピント位置を動かす撮像を行うと、撮像素子の上部と下部を露光したタイミングでの実効絞り値の変化に伴い、画像の面内での輝度ムラが発生する。このように撮像した複数画像を合焦領域のみを抽出して１枚の画像に合成すると、輝度ムラによって合成境界が目立ってしまい、合成画像に粗が出てしまうことがあるという課題がある。

本発明は、上述した課題を鑑みてなされたものであり、深度合成のための撮像において露光中にピント位置を動かす場合、合成画像における粗を低減することを目的とする。

上記課題を解決するため、本願発明は、ピント位置の異なる複数の画像を撮像し、かつ、前記複数の画像のそれぞれの画像を撮像する間でも前記ピント位置を変更し続ける撮像手段と、前記撮像手段が、１枚の前記画像を撮像する間に前記ピント位置の変更に起因する露出差を補正する補正手段と、を有し、前記補正手段が補正した後の前記複数の画像の間の前記露出差が、補正する前によりも低減することを特徴とする撮像装置ことを特徴とする撮像装置を提供する。

本発明の構成によれば、ピントの異なる複数の画像を撮像する撮像時間を短縮しつつ、輝度ムラとノイズ感の違いに伴う合成境界の粗を低減した深度合成画像を得ることができる。

本発明の実施形態における撮像装置としてのデジタルカメラのハードウェア構成を示すブロック図である。 本発明の実施形態における表示絞り値、実効絞り値とピント位置との関係を説明するためのグラフである。 本発明の実施形態における露光時間を補正しない場合でのピント位置変化による実効絞り値変化と露光タイミングとの関係を説明するためのグラフである。 本発明の実施形態における露光時間を補正しない場合での複数枚の画像のピント位置変化による実効絞り値変化と露光タイミングとの関係を説明するためのグラフである。 本発明の実施形態における深度合成の処理について説明するためのフローチャートである。 本発明の実施形態における行ごとの画素リセットタイミングと実効絞り値との関係を説明するためのグラフである。 本発明の実施形態における露光時間を補正した後の行ごとの画素リセットタイミングと実効絞り値との関係を説明するためのグラフである。 本発明の実施形態における露光時間を補正した後の複数の画像の行ごとの画素リセットタイミングと実効絞り値との関係を説明するためのグラフである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

図１は本実施形態に係る撮像装置としてのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、後述するＲＯＭ１０５に予め内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、撮像素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。撮像部１０４は、光学系１０３を通した被写体の輝度を測光することができる。撮像部１０４での測光の代わりに、ＡＥセンサなどを用いてもよい。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。

ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリング、合成処理など、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

次に、図を用いながら、ローリングシャッターによる露光中にピント位置を動かす撮像を行った場合に面内に輝度ムラが発生する理由について説明する。

デジタルカメラ１００がマニュアル露出モードまたは絞り優先露出モードであるとき、ユーザは操作部１１０を用いてデジタルカメラ１００に対し絞り値を設定することができる。また、デジタルカメラ１００がオートモードやシャッター速度優先であるときは、デジタルカメラ１００が自動的に絞り値を決定する。ユーザがデジタルカメラ１００に設定する絞り値は「表示絞り値」または「公称絞り値」などと呼ばれる。

デジタルカメラ１００は制御部１０１を通して駆動部１０２に対し、光学系１０３の絞りをユーザが設定した絞りまたはデジタルカメラが自動的に決定した絞り値になるように指示する。しかしながら、光学系１０３の絞りが表示絞り値になったとしても、実際に光学系１０３を通して撮像部１０４が受光する光量は光学系１０３と撮像部１０４との位置関係に依存するので、撮像部１０４は表示絞り値相当の光量を受光することができない場合がある。撮像部１０４が実際に受光する光量を絞り値で表現したものが「実効絞り値」である。実際の絞り値が「実効絞り値」と呼ばれる。

しかし、一般的にレンズはピント位置を動かすと実効絞り値が変化するという特徴があり、レンズの実際の絞り値はレンズの状態によって表示絞り値とは異なる値になる場合がある。表示絞り値と実効絞り値の差はフォーカスレンズの位置、つまりピント位置に依存する。また、深度合成撮像では大量の画像を撮像するため、ローリングシャッターを用いることが多い。ローリングシャッターによる撮像では、行ごとに画素リセット、画素読み出しを順次実効するため、各行の露光タイミングが少しずつずれていくという特徴がある。各行のなかの画素の露光時間が基本的に同じである。

図２は、本実施形態における表示絞り値、実効絞り値とピント位置との関係を説明するためのグラフである。図２に示したグラフのように、本実施形態における光学系では、ピント位置が最至近にある場合は実効絞り値が表示絞り値より大きく、ピント位置を無限遠に近づくに従い実効絞り値が表示絞り値に近づく関係を持つこととする。ただし、ピント位置による実効絞り値の変化が線形成か非線形か、単調増加か単調減少か、表示絞り値との差の絶対量などはレンズの種類によって異なる。図２に示すような実効絞り値とピント位置との関係が一例に過ぎない。

図３は、本実施形態における露光時間を補正しない場合でのピント位置変化による実効絞り値変化と露光タイミングとの関係を説明するためのグラフである。図４は、本実施形態における露光時間を補正しない場合での複数枚の画像のピント位置変化による実効絞り値変化と露光タイミングとの関係を説明するためのグラフである。撮像部１０４がローリングシャッターによって露光中に、駆動部１０２を用いてピント位置を無限遠側へ動かし続ける撮像を行った場合、実効絞り値が小さくなっていく。そのため、図３では、画素配列の１行目よりもＮ行目（最終行目）の方が明るくなるなり、面内にピント位置の変更に起因する輝度ムラが発生する。また、図４では、深度合成のための複数の画像を撮像する場合、複数の画像のいずれも図３に示したような面内の輝度ムラの発生の様子を示している。輝度ムラが発生した複数画像を合焦領域を抽出して１枚の画像に合成すると、輝度ムラによって合成境界が目立ってしまい、合成画像に粗が出てしまう。

次に、本実施形態における露光時間を補正しない場合での深度合成の処理について説明する。図５は、本実施形態における深度合成の処理について説明するためのフローチャートである。

ステップＳ５０１で、ユーザが操作部１１０を操作し、露出設定やフォーカスブラケット設定など撮像のための各パラメータの設定を行う。制御部１０１は、ユーザの操作に応じて、シャッター速度から露光時間を算出し、フォーカスブラケット設定に基づいて、光軸方法でのピント位置の移動量を算出する。または、制御部１０１は、撮像の直前のユーザの操作でなく、デフォルト設定など、あらかじめ定められた設定に基づいて、撮像のための各パラメータの設定を行ってもよい。

ステップＳ５０２で、制御部１０１は、輝度ムラを低減する露光時間補正量を算出する。以下では、図面を用いながら、露光時間補正量の算出方法について説明する。制御部１０１は、ステップＳ５０１で設定されたピント位置の移動量と図２に示すようなピント位置と実効絞り値との関係とから、１枚の画像の撮像において実効絞り値の変化量を算出する。なお、図２に示したようなピント位置と実効絞り値との関係に関する情報は、あらかじめＲＯＭ１０５などに記憶されてよい。または、レンズ装着式のカメラの場合、レンズに保存された情報を撮像開始時制御部１０１が読みだしてもよい。

図６は、本実施形態における行ごとの画素リセットタイミングと実効絞り値との関係を説明するためのグラフである。制御部１０１は、ステップＳ５０１で設定した露光時間とステップＳ５０２で算出した１枚目の撮像における光学系１０３の実効絞り値変化量から、１行目とＮ行目の実効絞り値の差分量を算出し、実効絞り値の差分量を露光時間に換算する。ここで制御部１０１が換算で得られた結果が、１枚目の面内における輝度ムラ低減のための露光時間補正量となる。制御部１０１は、１行目と２行目～Ｎ行目（図６では「最終行目」と記載）のそれぞれとの間の露出差を使って、２行目～Ｎ行目と１行目との露出の差を低減するための露光時間補正量を算出する。そして、制御部１０１は、２行目～Ｎ行目のそれぞれに対して算出された露光時間補正量を適用し、補正された露光時間で撮像することにより、１枚の画像内の輝度ムラを低減することが期待できる。

ただし、ここでもし実効絞り値の差分量が極めて小さければ、補正による効果が僅少だと考えられる。したがって、ここで制御部１０１が実効絞り値の差分量とあらかじめ定められた閾値とを比較し、実効絞り値の差分量が閾値以下であれば、露光時間の補正を行わないように実施してもよい。

図７は、本実施形態における露光時間を補正した後の行ごとの画素リセットタイミングと実効絞り値との関係を説明するためのグラフである。図７に示したように、制御部１０１は、２行目～Ｎ行目と１行目との露出の差を低減するために、露光時間を補正することによって、各行の露光時間が同一でなくなる。本実施形態の図７に示したような状況では、１行目からＮ行目まで、制御部１０１は、露光時間を順次に減らすが、これに限らない。また、制御部１０１は、行ごとに露光時間を補正するのに、図７に示したように画素のリセットタイミングを変更してもよく、画素の読み出しタイミングを変更してもよい。さらに、図７では、制御部１０１は、１行目の露光時間を基準にし、ほかの行を１行目の実効絞り値に合わせるように補正するが、これに限らず、どの行の露光時間を基準にしてもよい。

図８は、本実施形態における露光時間を補正した後の複数の画像の行ごとの画素リセットタイミングと実効絞り値との関係を説明するためのグラフである。図８に示した場合では、制御部１０１は、すべての画像のすべての行の実効絞り値を、１枚目の１行目と合わせるように、露光時間の補正を行う。このような補正により、合成画像における輝度ムラが低減されると期待できる。

ステップＳ５０３で、制御部１０１は、ユーザから撮像指示があるかどうかを検出する。ユーザから操作部１１０での操作を通して撮像指示がされれば、ステップＳ５０４に進み、ユーザから撮像指示がなければ、ステップＳ５０２に戻る。

ステップＳ５０４で、制御部１０１は、ステップＳ５０１で決定した撮像条件に基づいて、ピント位置を次のステップＳ５０５で撮像されるピント位置まで、駆動部１０２を駆動させ、フォーカス駆動を行わせる。

ステップＳ５０５で、撮像部１０４が、ステップＳ５０２で決定した補正量で補正された露光時間を用いて、ステップＳ５０４で設定した光軸方向でのピント位置で、撮像を行う。前述した通り、本実施形態における撮像は、撮像中においてもピント位置を動かす（フォーカス駆動を停止しない）。図８に示したように、本実施形態では、露光時間の補正をしながら、ピント位置を動かし、撮像を行う。

ステップＳ５０６で、制御部１０１は、撮像終了かどうかを判断する。ここで、制御部１０１が撮像終了の判断の基準として、たとえば、あらかじめ定められた撮像枚数を達したかどうかを使う。また、たとえば、あらかじめ定められた画像の保存用の容量に達したかどうかを基準にする。また、あらかじめ定められたフォーカスの範囲に達したかどうかを基準にする。

撮像終了の後、ステップＳ５０７で、駆動部１０２がフォーカス駆動を停止する。

ステップＳ５０８で、画像処理部１０７が撮像した画像に対して深度合成の処理を行い、合成画像を生成する。深度合成の方法の一例について説明する。まず、制御部１０１は、合成の対象となる２つの画像の位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、片方の画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、もう片方の画像に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、もう片方の画像のそれぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部２１０は、最初に設定したブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。制御部２１０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。次に、制御部１０１は位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。次に、画像処理部１０７は、位置合わせを行った後のそれぞれの画像に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式７）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・式（１）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の式（２）、（３）、（４）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。次に、画像処理部１０７は、合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の最も高い画素の合成比率を１００％とし、同じ位置にあるほかの画素の合成比率を０％とする。画像処理部１０７は、こうした合成比率の設定を、画像のすべての位置に対して行う。最後に、画像処理部１０７は、合成マップに従い画素の置き換えを行い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。

本実施形態によれば、露光中にピント位置を動かしながら撮像することで撮像時間を短縮しつつ、輝度ムラの違いに伴う合成境界の粗を低減した深度合成画像を得ることができる。

（その他の実施形態）
以上に説明した実施形態では、デジタルカメラ１００が深度合成を行う前提に説明した。多くの場合、デジタルカメラ１００が深度合成以外、１枚の画像のみ撮像し、撮像した１枚の画像を記録するという機能も搭載されている。本発明を実施するための別の実施形態としては、１枚の画像のみ記録または深度合成を行うかによって、露光時間を補正するか決定すると考えられる。

デジタルカメラ１００が露光中にピント位置を動かす撮像を行うと、深度合成を行わず、たとえ１枚の画像だけを撮像するとしても、１枚の画像の面内でも、輝度ムラが発生してしまう。しかしながら、１枚の画像の面内で輝度ムラが発生しても、深度合成の合成画像の輝度ムラと比べて少ない。したがって、デジタルカメラ１００が露光中にピント位置を動かす撮像を行う場合では、１枚の画像のみ記録するとき、前述したような露光時間を補正せず、深度合成を行う場合、前述したような露光時間の補正を行うようにしてもよい。

なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (20)

1. ピント位置の異なる複数の画像を撮像し、かつ、前記複数の画像のそれぞれの画像を撮像する間でも前記ピント位置を変更し続ける撮像手段と、
   前記撮像手段が、１枚の前記画像を撮像する間に前記ピント位置の変更に起因する露出差を補正する補正手段と、を有し、
   前記補正手段が補正した後の前記複数の画像の間の前記露出差が、補正する前によりも低減することを特徴とする撮像装置。
2. 前記ピント位置の変更に起因する露出差があらかじめ定められた閾値以下であれば、
   前記補正手段が補正しないことを特徴とする請求項１に記載の撮像装置。
3. さらに、前記複数の画像に対して合成を行い、合成画像を生成する合成手段を有し、
   前記合成画像の被写界深度は、前記複数の画像の前記被写界深度よりも深いことを特徴とする請求項１または２に記載の撮像装置。
4. 前記合成手段は、前記複数の画像のそれぞれの合焦している領域を抽出して前記合成を行うことを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段は、前記撮像手段が撮像する間での露光時間を変更させることにより補正することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
6. 前記補正手段は、前記撮像手段のそれぞれの画素のリセットのタイミングと読み出しのタイミングとの少なくともどちらかを変更させることにより前記露光時間を変更させることを特徴とする請求項５に記載の撮像装置。
7. 前記補正手段は、前記複数の画像のそれぞれを撮像するときの実効絞り値が同じになるように補正し、かつ前記複数の画像の前記実効絞り値が同じになるように補正することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 前記撮像手段が撮像するとき、撮像素子から一部ずつ順次に画像信号を読み出し、
   前記補正手段は、前記撮像手段が前記複数の画像のそれぞれの前記画像信号を読み出すとき、前記一部ずつの画像信号を読み出すときの実効絞り値を揃えるように補正することを特徴とする前記請求項７に記載の撮像装置。
9. 前記撮像素子の前記一部に含まれる画素のそれぞれは、前記露光時間が同じであることを特徴とする請求項８に記載の撮像装置。
10. 前記撮像素子の一部は、撮像素子の画素配列の行であることを特徴とする請求項８または９に記載の撮像装置。
11. 前記補正手段は、前記複数の画像の実効絞り値を、前記複数の画像のうちのいずれかの画像のいずれかの行の前記実効絞り値を基準にして合わせ、前記露光時間を補正することを特徴とする請求項１０に記載の撮像装置。
12. 前記補正手段は、前記複数の画像のうち、１枚目の画像の１行目の前記実効絞り値を前記基準とすることを特徴とする請求項１１に記載の撮像装置。
13. ローリングシャッターを含む光学系を有し、
    前記撮像手段は、前記光学系を通して受光して撮像することを特徴とする請求項１ないし１２のいずれか１項に記載の撮像装置。
14. ピント位置の異なる複数の画像を撮像し、かつ、前記複数の画像のそれぞれの画像を撮像する間でも前記ピント位置を変更し続ける撮像手段と、
    前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、
    前記撮像手段が、１枚の前記画像を撮像する間に前記ピント位置の変更に起因する露出差の補正を行う補正手段と、を有し、
    前記補正手段が前記補正を行った後の前記複数の画像の間の前記露出差が、前記補正を行う前によりも低減し、
    前記合成画像の被写界深度は、前記複数の画像の前記被写界深度よりも深く、
    前記合成手段が前記合成を行う場合に、前記補正手段が前記補正を行い、
    前記合成手段が前記合成を行わない場合に、前記補正手段が前記補正を行わないことを特徴とする撮像装置。
15. 撮像素子から行ごとに画像信号を読み出し、ピント位置の異なる複数の画像を撮像する撮像手段と、
    前記ピント位置を変更する駆動手段と、
    前記複数の画像の前記行のうち、少なくとも一部の前記行の実効絞り値が同じになるように、前記複数の画像を撮像するときの前記行に対する露光時間を補正し、前記ピント位置の変更による露出差を低減する補正手段と、を有することを特徴とする撮像装置。
16. ピント位置の異なる複数の画像を撮像し、かつ、前記複数の画像のそれぞれの画像を撮像する間でも前記ピント位置を変更し続ける撮像ステップと、
    前記撮像ステップにおいて、１枚の前記画像を撮像する間に前記ピント位置の変更に起因する露出差を補正する補正ステップと、を有し、
    前記補正ステップにおいて補正した後の前記複数の画像の間の前記露出差が、補正する前によりも低減することを特徴とする撮像方法。
17. ピント位置の異なる複数の画像を撮像し、かつ、前記複数の画像のそれぞれの画像を撮像する間でも前記ピント位置を変更し続ける撮像ステップと、
    前記複数の画像に対して合成を行い、合成画像を生成する合成ステップと、
    前記撮像ステップにおいて１枚の前記画像を撮像する間に前記ピント位置の変更に起因する露出差の補正を行う補正ステップと、を有し、
    前記補正ステップにおいて前記補正を行った後の前記複数の画像の間の前記露出差が、前記補正を行う前によりも低減し、
    前記合成画像の被写界深度は、前記複数の画像の前記被写界深度よりも深く、
    前記合成ステップにおいて前記合成を行う場合に、前記補正ステップにおいて前記補正を行い、前記合成を行わない場合に、前記補正ステップにおいて前記補正を行わないことを特徴とする撮像方法。
18. 撮像素子から行ごとに画像信号を読み出し、ピント位置の異なる複数の画像を撮像する撮像ステップと、
    前記ピント位置を変更する駆動ステップと、
    前記複数の画像の前記行のうち、少なくとも一部の前記行の実効絞り値が同じになるように、前記複数の画像を撮像するときの前記行に対する露光時間を補正し、前記ピント位置の変更による露出差を低減する補正ステップと、を有することを特徴とする撮像方法。
19. コンピュータに動作させるコンピュータのプログラムであって、
    前記請求項１６ないし１８のいずれかに記載の撮像方法の各ステップをコンピュータに行わせるプログラム。
20. 請求項１９に記載のプログラムを記録したコンピュータが読み出し可能な記録媒体。
    
    

Images