JP2008092416A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】適切にかつノイズの少ない逆光補正を行うことができる撮像装置及び画像処理方法を提供する。
【解決手段】高輝度の被写体を最適に撮影できるシャッタ速度で１回の撮影を、低輝度の被写体を最適に撮影できるシャッタ速度で少なくとも１回の撮影を行い、高輝度の被写体を最適に撮影できるシャッタ速度で行った撮影の画像データと、低輝度の被写体を最適に撮影できるシャッタ速度で行った画像データに所定の係数αを乗じたものを加算する。
【選択図】図１

Description

本発明は、逆光時にも適切な撮影を行うことができるよう逆光補正を行う撮像装置及び画像処理方法に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等、固体撮像素子を用いたデジタルカメラが普及している。こうしたデジタルカメラにおいては、逆光状態で撮影した場合には被写体が黒くつぶれて写ってしまう。このため、例えば特許文献１には、画面中央のエリアから得られる出力レベルと、画面周囲部のエリアから得られる出力レベルとの差から逆光状態を検出し、逆光状態でないときには画面全体をＡＧＣ（Auto Gain Control）処理し、逆光状態であるときには中央エリアのみＡＧＣ処理を行うことによって、逆光補正を行う逆光補正回路が開示されている。

また、他の方法で逆光補正を行う技術として、特許文献２に開示された技術がある。特許文献２には、比較回路で撮像した画面中の暗い領域の面積が占める面積の割合から順光で撮影した画像か逆光で撮影した画像かを判断し、逆光であった場合にはアイリスの搾り量を制御する、或いは、電子シャッタ速度を低速にすることにより逆光補正を行う逆光補正装置が開示されている。

さらに他の逆光補正方法として、撮影した画像の信号処理の際にγ特性を変化させ、暗い被写体の部分を持ち上げることによって補正する方法がある。
特開平２−１０８３７４号公報 特開平８−１９１４１３号公報

しかし、上述した特許文献１に開示された技術では、逆光状態ではＡＧＣ処理で被写体のゲインを上げているが、このためにノイズも増幅されてしまうので、Ｓ／Ｎ比が落ち、画像の品質が落ちてしまう、という不利益があった。また、逆光中の暗い被写体に関してはＡＧＣ処理により見えるようにすることはできるが、その周囲の明るい部分がＡＧＣ処理によって明るさが飽和し白つぶれを起こしてしまう、という不利益があった。

また、上述した特許文献２に開示された技術は、自動で調節できる絞りを有していないレンズ機構を用いたカメラでは利用できない、という不利益があった。また、特許文献１に開示された技術と同様に、元々輝度が高い部分が白つぶれしてしまう、という不利益があった。
また、γ特性を変化させる方法では、ソラリゼーション（階調が滑らかに表示されず、階段状に表示される）が起こってしまう、という不利益があった。

本発明は、上述した不利益を解消するために、適切にかつノイズの少ない逆光補正を行うことができる撮像装置及び画像処理方法を提供することを目的とする。

上述した目的を達成するために、第１の発明の撮像装置は、逆光状態において、高輝度の被写体に対応した露光時間で１回の撮影を行い、低輝度の被写体に対応した露光時間で少なくとも１回の撮影を行う撮像部と、前記撮像部が高輝度の被写体に対応した前記露光時間で行って得た画像データと、低輝度の被写体に対応した前記露光時間で行って得た画像データに所定の係数を乗じたものとを加算して逆光補正画像を生成する逆光補正部と、を有する。

第２の発明の画像処理方法は、逆光状態において、高輝度の被写体に対応した露光時間で１回の撮影を行い、低輝度の被写体に対応した露光時間で少なくとも１回の撮影を行い、高輝度の被写体に対応した前記露光時間で行った画像データと、低輝度の被写体に対応した前記露光時間で行った画像データに所定の係数を乗じたものとを加算して逆光補正画像を生成する。

本発明によれば、適切にかつノイズの少ない逆光補正を行うことができる撮像装置及び画像処理方法を提供することができる。

以下、本発明の撮像装置１００について説明する。
本発明の撮像装置１００は、逆光状態において撮影した画像の補正を行うことができる。
図１は、撮像装置１００の構成を示すブロック図である。

図１に示すように、撮像装置１００は、レンズユニット１、イメージセンサ２、ゲイン調整部３、ＤＳＰ４、メモリ５、タイミング発生器６を有する。
以下、各構成について説明する。

イメージセンサ２は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を受光素子として有し、レンズユニット１を通した被写体からの光を電気信号（画像データ）に変換する。イメージセンサ２は、逆光補正を行う場合には一定期間（１フィールド期間）内に同一の被写体に対して非常に短い間隔で複数回の撮影を行い、複数枚の画像データを生成する。なお、それぞれの撮影において撮影条件（露光時間等）を変化させて撮影を行うものとする（ただし、全ての撮影において撮影条件を変化させる必要はない）。なお、レンズユニット１とイメージセンサ２とによって撮像部１０が形成されている。

ゲイン調整部３は、イメージセンサ２が出力したアナログの画像データをゲイン調整し、デジタル化する。
ゲイン調整部３は、図１に示すように、ＣＤＳ（Correlated Double Sampling＝相関２重サンプリング）回路３１と、ＡＧＣ回路３２と、Ａ／Ｄ変換部３３とを有する。
ＣＤＳ回路３１は、相関２重サンプリング法によりイメージセンサ２からのアナログの画像データをサンプルホールドする。
ＡＧＣ回路３２は、ＣＤＳ回路３１でサンプリングされたデータにＡＧＣ処理を行い、適正なレベルにゲイン調整する。
Ａ／Ｄ変換部３３は、ＡＧＣ回路３２がゲイン調整したアナログのデータをデジタルの画像データに変換する。

ＤＳＰ（Digital Signal Processor）４は、ゲイン調整部３が出力したデジタル画像データを信号処理し、アナログデータに戻してから出力する信号処理装置である。
ＤＳＰ４は、ゲイン調整部３が出力したデジタル画像データをメモリ５に書き込み、また、当該デジタル画像データを読み出して逆光補正をし、信号処理を行った後にアナログの画像データに戻してメモリ５に再度記憶させる。
ＤＳＰ４は、逆光補正部４１、信号処理部４２、Ｄ／Ａ変換部４３、自動露光制御部４４を有する。
逆光補正部４１は、ゲイン調整部３が出力した画像データに逆光補正処理を行う。逆光補正処理については後に詳述する。
信号処理部４２は、逆光補正部４１が逆光補正処理を行った画像データに対し、色信号処理（ホワイトバランス調整、γ処理等）や輝度信号処理（低周波部分抽出、γ処理等）を行う。
Ｄ／Ａ変換部４３は、信号処理部４２が出力したデジタルの画像データをアナログの画像データに変換する。
自動露光制御部４４は、イメージセンサ２の露光時間（電子シャッタ速度）を制御する。具体的には、高輝度の被写体に対応した露光時間（高輝度の被写体が最適な明るさで撮影される露光時間）と、低輝度の被写体に対応した露光時間（低輝度の被写体が最適な明るさで撮影される露光時間）との両方でイメージセンサ２に撮影を行わせるために、後述するタイミング発生器６を制御し、それぞれの露光時間に対応した電子シャッタパルスを供給させる。

メモリ５は、上述した画像データや、各構成が行う各処理に必要な種々のデータを記憶する。
タイミング発生器６は、上述した各構成の各処理に必要なパルスを供給する。例えば、ゲイン調整部３のＣＤＳ回路３１にサンプルホールドパルス、Ａ／Ｄ変換部３３にＡ／Ｄ変換のためのクロック等を供給する。さらに、自動露光制御部４４の制御結果としてイメージセンサ２に電子シャッタパルスを供給する。

次に、逆光補正部４１が行う逆光補正処理について説明する。
逆光補正部４１は、画像データ全体の輝度により異なる所定の係数を複数の画像データに乗算した後、合成することにより逆光補正を行う。
図２は、逆光補正のために画像データに乗じる係数と、画像の輝度との関係の一例を示す図である。この係数を以下係数αとする。係数αは、例えば図２に示すように、低輝度の画像に対しては１に設定し、高輝度の画像に対しては０に近いように予め設定されている。低輝度と高輝度との間は、低輝度の方に重みをおくように全体としてＳ字型のカーブを描くように設定される。
なお、図２に示した係数αと輝度との関係は一例であり、本発明の所定の係数は図２に示した係数αに限定されない。本発明では、逆光処理のための係数αを利用し、低輝度のデータをできるだけ生かし、高輝度のデータをできるだけ合成しないようにするように、低輝度では１に、高輝度では０に近くし、その間は低輝度から高輝度にかけて直線状にかつなだらかに変化するような係数αであればよい。
逆光補正部４１は、こうした係数αを予め（例えば撮像装置１００の製造時や工場出荷時に）設定しておく。ただし、係数αは例えばユーザの操作等により上述した条件を満たす範囲で変化できるようにしても良い。

上述したような係数αを複数の画像データに乗算して全て合成することにより、逆光補正部４１は、低輝度の画像データを明るくして黒つぶれ（ある程度以上輝度の低い部分が黒くつぶれてより低い階調が失われる状態）を防ぎ、同時に、高輝度の画像データは写っている状態を保持することによって逆光による画像の白つぶれ（ある程度以上輝度の高い部分が白につぶれてより高い階調が失われる状態）をなくすことができる。

また、逆光補正部４１は、画像データ内の被写体の明暗の差が激しい場合（画像データのダイナミックレンジが広い場合）には、画像データに乗算する上述した係数αを変化させてもよい。
すなわち、逆光補正部４１は、画像データ内の被写体の明暗の差が激しい場合には、係数αを、低輝度では１より大きく、高輝度ではより０に近づけた係数α´を新たに作成し、被写体の明暗の差が激しい画像データに対しては係数α´を乗算するようにしてもよい。また逆に、明暗の差が小さい（ダイナミックレンジが狭い）場合には、低輝度では１に近い１未満の値、高輝度では係数αと比較して大きい値をとり、低輝度と高輝度における係数の差が小さい係数α´´を新たに作成し、被写体の明暗の差が小さい画像データに対しては係数α´´を乗算するようにしてもよい。

次に、本実施形態の撮像装置１００の逆光補正時の動作例について説明する。
図３は、撮像装置１００の逆光補正時の動作例について説明するためのフローチャートである。
なお、図３においては、上述した複数の画像データとして、４枚の画像データを合成する場合について説明する。

ステップＳＴ１：
タイミング発生器６は、自動露光制御部４４の自動露光制御の結果として、高輝度の被写体に対応した露光時間（高輝度の被写体が最適な明るさで露光されるようなシャッタ速度）で撮影を行わせるための電子シャッタパルスをイメージセンサ２に供給する。高輝度の被写体に対応したシャッタ速度は、通常の撮影（逆光時でない撮影）におけるシャッタ速度と比較して非常に短いシャッタ速度であり、ここでは一例として１／２０００秒とする。
ステップＳＴ２：
イメージセンサ２は、ステップＳＴ１においてタイミング発生器６から送信された電子シャッタパルスを基に、第１回目の露光（撮影）を行い１回目の撮影のアナログの画像データを得る。

ステップＳＴ３：
ゲイン調整部３は、ステップＳＴ２においてイメージセンサ２が得た１回目の撮影のアナログの画像データをゲイン調整した後デジタル画像データに変換する。
ステップＳＴ４：
ＤＳＰ４は、ステップＳＴ３においてゲイン調整部３がデジタルに変換した１回目の撮影のデジタル画像データをメモリ５に記憶させる。

ステップＳＴ５：
タイミング発生器６は、自動露光制御部４４の自動露光制御の結果として、低輝度の被写体に対応した露光時間（低輝度の被写体が最適な明るさで露光されるようなシャッタ速度）で撮影を行わせるための電子シャッタパルスをイメージセンサ２に供給する。低輝度の被写体に対応したシャッタ速度は、高輝度の被写体画最適な状態で露光されるシャッタ速度と比較して遅いシャッタ速度であり、ここでは一例として１／２４０秒とする。
ステップＳＴ６：
イメージセンサ２は、ステップＳＴ５においてタイミング発生器６から供給された電子シャッタパルスを基に、低輝度の被写体が最適な状態で露光されるようなシャッタ速度で第２回目の露光（撮影）を行いアナログの画像データを得る。

ステップＳＴ７：
ゲイン調整部３は、ステップＳＴ６においてイメージセンサ２が得た２回目の撮影のアナログの画像データをゲイン調整した後デジタル画像データに変換する。
ステップＳＴ８：
ＤＳＰ４の逆光補正部４１は、ステップＳＴ７においてゲイン調整部がデジタルに変換した２回目の撮影のデジタル画像データに係数αを乗算し、乗算した画像データと、メモリ５から読み出した１回目の撮影のデジタル画像データとを加算して、２回目の撮影の逆光補正画像データを生成する。

ステップＳＴ９：
ＤＳＰ４は、ステップＳＴ８において逆光補正部４１が生成した２回目の撮影の逆光補正画像データをメモリ５に記憶させる。
ステップＳＴ１０：
イメージセンサ２は、ステップＳＴ５においてタイミング発生器６から供給された電子シャッタパルスを基に、低輝度の被写体が最適な状態で露光されるようなシャッタ速度で第３回目の露光（撮影）を行いアナログの画像データを得る。

ステップＳＴ１１：
ゲイン調整部３は、ステップＳＴ１０においてイメージセンサ２が得た３回目の撮影のアナログの画像データをゲイン調整した後デジタル画像データに変換する。
ステップＳＴ１２：
ＤＳＰ４の逆光補正部４１は、ステップＳＴ１０においてゲイン調整部がデジタルに変換した３回目の撮影のデジタル画像データに係数αを乗算し、乗算した画像データと、メモリ５から読み出した２回目の撮影の逆光補正画像データとを加算して、３回目の撮影の逆光補正画像データを生成する。

ステップＳＴ１３：
ＤＳＰ４は、ステップＳＴ１２において逆光補正部４１が生成した３回目の撮影の逆光補正画像データをメモリ５に記憶させる。
ステップＳＴ１４：
イメージセンサ２は、ステップＳＴ５においてタイミング発生器６から供給された電子シャッタパルスを基に、低輝度の被写体が最適な状態で露光されるようなシャッタ速度で第４回目の露光（撮影）を行いアナログの画像データを得る。

ステップＳＴ１５：
ゲイン調整部３は、ステップＳＴ１４においてイメージセンサ２が得た４回目の撮影のアナログの画像データをゲイン調整した後デジタル画像データに変換する。
ステップＳＴ１６：
ＤＳＰ４の逆光補正部４１は、ステップＳＴ１５においてゲイン調整部がデジタルに変換した４回目の撮影のデジタル画像データに係数αを乗算し、乗算した画像データと、メモリ５から読み出した３回目の撮影の逆光補正画像データとを加算して、４回目の撮影の逆光補正画像データを生成する。

ステップＳＴ１７：
ＤＳＰ４は、ステップＳＴ１６において逆光補正部４１が生成した４回目の撮影の逆光補正画像データをメモリ５に記憶させる。
ステップＳＴ１８：
ＤＳＰ４の信号処理部４２は、ステップＳＴ１７においてメモリ５に記憶された４回目の撮影の逆光補正画像データを色信号と輝度信号とに分離し、ＴＶフォーマット等、所定の形式の画像データに変換してから逆光補正済みのデジタル画像データとし、Ｄ／Ａ変換部４３がアナログの画像データに変換して出力する。

撮像装置１００は、以上のように逆光補正を行う。
なお、図３のフローチャートでは一例として、高輝度の被写体に対応した電子シャッタ速度を１／２０００秒、低輝度の被写体に対応した電子シャッタ速度を１／２４０秒としたが、これは一例であり、本発明の撮像装置１００では上述した以外の電子シャッタ速度で高輝度の被写体、低輝度の被写体それぞれに対し撮影を行い、逆光補正を行っても良い。

上述した図３のフローチャートで示した、高輝度の被写体を最適に露光する電子シャッタ速度が１／２０００秒、低輝度の被写体を最適に露光する電子シャッタ速度が１／２４０秒である場合、逆光補正部４１が低輝度の被写体を最適に露光する電子シャッタ速度で撮影した２〜４回目の撮影に乗ずる係数αを１とすると、１〜４回目の撮影を合成した４回目の撮影の逆光補正データは、
１／２０００［ｓ］＋１／２４０［ｓ］＊３≒１／７７［ｓ］
と計算されるように、約１／７７秒のシャッタ速度の撮影と等価となっている。
すなわち、自動露光制御部４４は、４回目の撮影の逆光補正データが最適な状態で撮影された画像データとなるように、高輝度の被写体を最適に露光する電子シャッタ速度及び低輝度の被写体を最適に露光する電子シャッタ速度を設定し、タイミング発生器６に設定された電子シャッタ速度に対応したシャッタパルスをイメージセンサ２に供給させればよい。

撮像装置１００は、上述したように逆光補正を行うことにより、逆光状態において高輝度の被写体が白つぶれせず、かつ低輝度の被写体が黒つぶれしない画像データを得ることができる。
図４は、撮像装置１００が図３に示したフローチャートに則り逆光補正を行った場合の、１回目の撮影の画像データと、２〜４回目の撮影の逆光補正画像データにおける輝度と出力との関係を示す図である。

図４に示すように、１回目の撮影の画像データでは、低輝度の出力が低く、低輝度の被写体が黒つぶれしてしまっている。
２〜４回目の撮影の逆光補正画像データは、低輝度では１であり高輝度では殆ど０である所定の係数αが乗じられた２〜４回目の逆光補正データが加算されている。所定の係数αが乗じられた２〜４回目の逆光補正データは低輝度では撮影された画像どおりの出力であり、高輝度では殆ど０である。すなわち、２〜４回目の撮影の逆光補正画像データでは、補正の回数が増えるにつれて、徐々に低輝度の出力がアップするが、高輝度の出力は殆ど変化しない。すなわち、４回目の撮影の逆光補正画像データでは、低輝度では黒つぶれしないほどの出力を得ることができ、高輝度では白つぶれしない程度の適正な出力に収まっているため、逆光による低輝度の被写体の黒つぶれを防ぎ、かつ高輝度の被写体の白つぶれを防ぐことができた画像データを得ることができる。

また、図３に示したフローチャートでは、４回分の撮影を行い合成して逆光補正を行っていたが、これは一例であり、本発明はこれには限定されない。すなわち、例えば、逆光補正画像データにおいて低輝度及び高輝度の両方で十分な出力を得ることができていない場合には、逆光補正部４１がさらに撮影を行い、より低輝度の出力を増加させてより適切に逆光補正を行うようにしても良い。また、その逆に、４回より少ない撮影回数で低輝度及び高輝度の両方で十分な出力を得ることができた場合には、その時点で撮影を終了し信号処理を行い所定の形式に変換して出力しても良い。

以上説明したように、本実施形態の撮像装置１００によれば、高輝度の被写体を最適に撮影できるシャッタ速度で１回の撮影を、低輝度の被写体を最適に撮影できるシャッタ速度で少なくとも１回の撮影を行い、高輝度の被写体を最適に撮影できるシャッタ速度で行った撮影の画像データと、低輝度の被写体を最適に撮影できるシャッタ速度で行った画像データに所定の係数αを乗じたものを加算することにより、高輝度の被写体が白つぶれせず低輝度の被写体が黒つぶれしていない逆光補正された画像データを得ることができる。
また、通常の撮影（１フィールドに１回の撮影）と比較して短いシャッタ速度で撮影した複数枚の画像にほぼ１未満の所定の係数αを乗じて加算しているため、それぞれの画像のノイズが加算時に増幅されることがなく、ノイズの少ない逆光補正画像を得ることができる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

図１は、撮像装置１００の構成を示すブロック図である。 図２は、逆光補正のために画像データに乗じる係数と、画像の輝度との関係の一例を示す図である。 図３は、撮像装置１００の逆光補正時の動作例について説明するためのフローチャートである。 図４は、撮像装置１００が図３に示したフローチャートに則り逆光補正を行った場合の、１回目の撮影の画像データと、２〜４回目の撮影の逆光補正画像データにおける輝度と出力との関係を示す図である。

符号の説明

１００…撮像装置、１…レンズユニット、２…イメージセンサ、３…ゲイン調整部、３１…ＣＤＳ回路、３２…ＡＧＣ回路、３３…Ａ／Ｄ変換部、４…ＤＳＰ、４１…逆光補正部、４２…信号処理部、４３…Ｄ／Ａ変換部、４４…自動露光制御部、５…メモリ、６…タイミング発生器、１０…撮像部

Claims (6)

1. 逆光状態において、高輝度の被写体に対応した露光時間で１回の撮影を行い、低輝度の被写体に対応した露光時間で少なくとも１回の撮影を行う撮像部と、
   前記撮像部が高輝度の被写体に対応した前記露光時間で行って得た画像データと、低輝度の被写体に対応した前記露光時間で行って得た画像データに所定の係数を乗じたものとを加算して逆光補正画像を生成する逆光補正部と、
   を有する撮像装置。
2. 前記所定の係数は、低輝度では１に近く、高輝度では０に近く、低輝度から高輝度にかけて直線状に変化する
   請求項１に記載の撮像装置。
3. 前記逆光補正部は、画像内の被写体の明暗の差に応じて、前記所定の係数を変化させる
   請求項２に記載の撮像装置。
4. 前記逆光補正部は、画像内の被写体の明暗の差が大きい場合には、前記所定の係数を、低輝度では１より大きく、高輝度では前記所定の係数と比較して０に近づけるように変化させて画像内の被写体の明暗の差が大きい画像データに乗じ、画像内の被写体の明暗の差が小さい場合には、前記所定の係数を、低輝度では１に近い１未満の値、高輝度では前記所定の係数と比較して大きい値であり、低輝度と高輝度における差が小さくなるように変化させて画像内の被写体の明暗の差が小さい画像データに乗じる
   請求項３に記載の撮像装置。
5. 高輝度の被写体に対応した前記露光時間及び低輝度の被写体に対応した前記露光時間を自動的に変更できる自動露光制御部
   をさらに有する請求項１に記載の撮像装置。
6. 逆光状態において、高輝度の被写体に対応した露光時間で１回の撮影を行い、低輝度の被写体に対応した露光時間で少なくとも１回の撮影を行い、高輝度の被写体に対応した前記露光時間で行った画像データと、低輝度の被写体に対応した前記露光時間で行った画像データに所定の係数を乗じたものとを加算して逆光補正画像を生成する
   画像処理方法。

Images