JP2010263533A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置において、外部閃光による高輝度の横帯ノイズを抑制し、かつ動画としての連続性を確保した画像を出力すること。
【解決手段】光量センサ部６と、撮像部１と、ゲイン調整部２と、駆動部４と、ゲイン制御部５と、を備え、光量センサで検出した外部閃光などによる光量変化と駆動タイミングから外部閃光の影響ラインを特定し、ライン単位で画像信号のゲインを制御することで、外部閃光による高輝度の横帯ノイズを抑制し、かつ動画としての連続性を確保した画像を得ることができる。
【選択図】図１

Description

本発明は、連続画像を撮像するデジタルカメラやビデオカメラなどの撮像装置に活用される技術であって、外部閃光などによる画像への悪影響を抑制する技術に関する。

外部閃光などによる画像への悪影響を抑制する従来の信号処理装置（撮像装置）としては、例えば、特許文献１に記載されているようなものがある。図９は従来の撮像装置９００のブロック図である。前記特許文献１では、記録部に画像記録する処理について記載されているが、ここでは、画像信号を外部出力する例について説明する。

図９に示すように、撮像装置９００は、ＣＭＯＳセンサ、センサ駆動回路、アナログ／デジタル変換器を有し、連続画像を撮像して垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数６０Ｈｚのデジタル順次走査画像信号を出力する撮像部９５０と、撮像部９５０の出力に対しガンマ処理や輪郭強調を行う画像処理部９５１と、を備える。また、撮像装置９００は、撮像部９５０の出力に対し連続するフレームの画像を比較し外部閃光の有無を検出する閃光検出部９５２と、閃光検出部９５２の出力信号（閃光検出信号）に基づいて、画像処理部９５１から出力される画像信号をそのまま出力するか、あるいは蓄積した画像を出力するかの切換制御を行う出力制御部９５３と、を備える。

図１０に、従来の撮像装置９００における出力制御部９５３のブロック図を示す。出力制御部９５３は、例えば、図１０に示す回路で構成される。

図１０に示すように、出力制御部９５３は、画像処理部９５１から出力される画像信号を１フレーム分記憶するメモリ回路９５４と、閃光検出部９５２の出力信号（閃光検出信号）に基づいて、メモリ回路９５４から出力される信号と画像処理部９５１からの入力信号とを切り換えて出力する切換回路９５５と、を備える。

以上のように構成された従来の撮像装置９００について、その動作を説明する。

まず、撮像部９５０では、センサ駆動回路から駆動信号をＣＭＯＳセンサに供給し、ＣＭＯＳセンサに入射した光信号（被写体からの光）を光電変換により電気信号に変換し、さらに、光電変換により取得した電気信号をアナログ／デジタル変換によりデジタル順次走査画像信号に変換する。そして、撮像部９５０により生成されたデジタル順次走査画像信号が、撮像部９５０から出力される。このデジタル順次走査画像信号は、画像処理部９５１と閃光検出部９５２とに供給（出力）される。

画像処理部９５１では、入力されたデジタル順次走査画像信号に対して、ガンマ処理、輪郭強調処理等を施し、処理された画像信号は、出力制御部９５３に出力される。

一方、閃光検出部９５２では、入力されたデジタル順次走査画像信号に対して、１フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像が撮像部９５０により取得されたと判断する。例えば、入力された信号のフレーム平均輝度レベルが直前のフレームの平均輝度レベルに対して１００％以上増加した場合、閃光検出部９５２は、フラッシュのような外部閃光が検出された（外部閃光が存在する環境下で撮像された）と判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。なお、閃光検出部９５２は、外部閃光を検出していないときは、閃光検出信号の信号値を「０」として、閃光検出信号を出力する。この閃光検出信号と画像処理部９５１から出力される画像信号とは、出力制御部９５３に入力される。

出力制御部９５３では、画像処理部９５１から出力される画像信号がメモリ回路９５４に入力される。メモリ回路９５４は、画像信号１フレーム分を書き込み記憶させ１フレームに相当する時間だけ遅延させて、画像信号を出力する。閃光検出部９５２から出力される閃光検出信号の信号値が「１」である場合、すなわち、閃光を検出している場合、メモリ回路９５４は、新たな画像信号の書き込みを行わず、前のフレームの画像信号を保持し、同じフレームの画像信号を繰り返し出力する。切換回路９５５は、画像処理部９５１から出力される画像信号とメモリ回路９５４から出力される画像信号とを、閃光検出信号に基づいて、切り換えて出力する。閃光検出部９５２から出力される閃光検出信号の信号値が「１」である場合、すなわち、閃光検出信号が閃光を検出していることを示している場合、切換回路９５５は、メモリ回路９５４から出力される画像信号を選択して出力し、閃光検出部９５２から出力される閃光検出信号の信号値が「０」の場合、すなわち、閃光検出信号が閃光を検出していないことを示している場合、切換回路９５５は、画像処理部９５１から出力される画像信号を選択して出力する。

次に、図１１を用いて、撮像装置９００の動作を詳しく説明する。

図１１は、従来の撮像装置９００において、外部閃光により画像（撮像装置９００による撮像画像）が受ける悪影響を説明するための模式図である。

図１１の（１）〜（４）は、連続したフレームを示しており、ＣＭＯＳセンサが受光しているタイミングを、垂直同期信号（図１１の最上段）を基準にして、示している。

図１１に示す「画像上側」とは、有効画面（撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面（同期信号等の部分を除いた画面）に相当する画面）の上側を意味している。ＣＭＯＳセンサにおいて、有効画面の１ライン目は、図１１の中の矢印で示した期間受光している。ＣＭＯＳセンサでは、ライン毎に受光タイミングが少しずつずれていくため、７２０ライン目では、１ライン目に対して、およそ１／６０秒ずれている。ここで、図１１の星印で示したタイミングで外部閃光があった場合、（２）のフレームの下方画面を構成するラインと（３）のフレームの上方画面を構成するラインで、閃光を受光することになる。このような状況で、撮像部９５０により取得された画像信号を表示装置に表示させた場合、表示画面（映像）において、連続した２フレームにわたって高輝度な横帯が発生することになる。この高輝度な横帯の発生は、視覚的に違和感をユーザに抱かせることになる。さらに、連続するフレームの相関を利用して圧縮する方式、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式で圧縮する処理において、上記高輝度な横帯を発生させる画像信号を処理すると、ブロックノイズが発生したり、圧縮率が低下したりするという悪影響が発生する。

そこで、図９で示した従来の撮像装置９００では、外部閃光を検出した際には、閃光を受光したフレームの画像は出力せず、直前のフレームの画像を出力する。このため、撮像装置９００では、高輝度な横帯の発生を防ぐことができる。

特開２００７−３０６２２５号公報

しかしながら、上記従来の撮像装置では、連続する２フレームにわたって外部閃光を検出した場合、同じフレームの画像を３フレームにわたって出力することになり、動画として連続性が失われてしまうという課題がある。

例えば、図１１の場合、外部閃光により高輝度な横帯が発生するのは２フレーム（フレーム（２）とフレーム（３））であり、撮像装置９００では、この２フレームの直前のフレーム（フレーム（１））の画像を繰り返し出力することになる。つまり、撮像装置９００では、３フレームにわたって同じ画像（フレーム（１）に相当する画像）を出力することになるので、撮像装置９００により取得された画像（映像）を表示装置に表示させた場合、一時的に静止した画像として表示されることになる。

本発明は、上記従来の課題を解決するもので、外部閃光による高輝度の横帯の悪影響を抑制し、かつ、動画としての連続性を確保した画像を出力する高性能な撮像装置を提供することを目的とする。

第１の発明は、光量センサ部と、撮像部と、ゲイン調整部と、駆動部と、ゲイン制御部と、を備える撮像装置である。

光量センサ部は、外部閃光による光量変化を検出する。撮像部は、撮像素子を有し、撮像素子に入射する光信号を電気信号に変換して画像信号を取得する。ゲイン調整部は、撮像部からの画像信号のゲインを調整する。駆動部は、撮像素子の駆動パルスを生成するとともにタイミング情報をゲイン制御部に送る。ゲイン制御部は、光量センサ部の出力と駆動タイミングから、外部閃光の影響ラインを特定し、ライン単位で画像信号のゲインを制御するゲイン制御信号を出力する。

この撮像装置では、外部閃光の影響ラインを特定し、そのラインのゲインを制御することで、高輝度な横帯映像となる悪影響を抑制することができ、かつ、同じフレーム画像が複数枚連続して出力されることもない。このため、この撮像装置により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。

第２の発明は、光量センサ部と、撮像部と、ゲイン調整部と、ノイズ抑制部と、駆動部と、ゲイン＆ノイズ抑制制御部と、を備える撮像装置である。

光量センサ部は、外部閃光による光量変化を検出する。撮像部は、撮像素子を有し、撮像素子に入射する光信号を電気信号に変換して画像信号を取得する。ゲイン調整部は、撮像部からの画像信号のゲインを調整する。駆動部は、撮像素子の駆動パルスを生成するとともにタイミング情報をゲイン＆ノイズ抑制制御部に送る。ノイズ抑制部は、ゲイン調整後の画像信号にノイズ抑制処理を行う。ノイズ抑制処理とは、例えば、上下左右の画素との相関をチェックし、最も相関の高い画素と加算平均するなどの処理を示す。ゲイン＆ノイズ抑制制御部は、光量センサ部の出力と駆動タイミングから、外部閃光の影響ラインを特定し、ライン単位で画像信号のゲインおよびノイズ抑制度合いを制御する制御信号を出力する。すなわち、ゲインを低くする場合は、ノイズ抑制度合いを小さく制御し、ノイズ抑制効果を少なく制御する。

これにより、第１の発明と同様の効果を奏するとともに、さらにゲイン可変によるノイズ感の変化を抑制することができるため、より自然な動画を得ることができる。

本発明によれば、外部閃光による高輝度の横帯となる悪影響を抑制し、かつ、動画として連続性を確保した画像を出力することができる撮像装置を実現することができる。

また本発明によれば、外部閃光による高輝度の横帯となる悪影響を抑制し、かつ、動画として連続性を確保し、かつ、ノイズ感の変化を抑制したより自然な画像を出力することができる撮像装置を実現することができる。

第１実施形態に係る撮像装置１００のブロック図 第１実施形態に係るゲイン制御部５のブロック図 第１実施形態に係る撮像装置１００の外部閃光が発生した場合の動作の様子を説明する模式図 第１実施形態に係る撮像装置１００の外部閃光が発生した場合の補正効果を説明するための模式図 第１実施形態に係る撮像装置１００の外部閃光が複数回発生した場合の動作の様子を説明する模式図 第１実施形態に係る撮像装置１００の外部閃光が複数回発生した場合の補正効果を説明するための模式図 第２実施形態に係る撮像装置７００のブロック図 第２実施形態に係る撮像装置７００の外部閃光が発生した場合の動作の様子を説明する模式図 従来の撮像装置９００のブロック図 従来の撮像装置９００の出力制御部９５３のブロック図 従来の撮像装置９００で外部閃光により画像が受ける悪影響を説明する模式図

以下、実施形態について、図面を参照しながら説明する。

［第１実施形態］
＜１．１：撮像装置の構成＞
図１は第１実施形態に係る撮像装置１００のブロック図である。

図１に示すように、撮像装置１００は、外部閃光などによる光量変化を検出する光量センサ部６と、被写体からの光を電気信号に変換する撮像部１と、撮像部１から出力される画像信号のゲインを調整するゲイン調整部２と、ゲイン調整部２からの出力信号にガンマ補正や、輪郭強調などの信号処理を実施する信号処理部３と、撮像部１の駆動パルスを生成し、さらに駆動タイミング情報をゲイン制御部５に出力する駆動部４と、光量センサ部６の出力と駆動タイミングとから外部閃光などによる光量変化の影響ラインを特定し、ライン単位で画像信号のゲインを制御するゲイン制御信号を出力するゲイン制御部５と、を備えている。

撮像部１は、ＣＭＯＳセンサ（ＣＭＯＳ型イメージセンサ（撮像素子））およびアナログ／デジタル変換部を有し、被写体からの光を光電変換により電気信号に変換し、デジタルの画像信号として、ゲイン調整部２に出力する。撮像部１は、連続画像を撮像して、例えば、垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数６０［Ｈｚ］のデジタル順次走査画像信号を出力する。また、本実施形態ではＣＭＯＳセンサでの蓄積時間（受光時間）は、フレーム周波数で決まる１フレーム期間と同じ１／６０秒とする。すなわち、撮像部１は、１フレーム期間全体に渡って電荷蓄積を行うものとする。

ゲイン調整部２は、撮像部１から出力される画像信号の遅延調整と全体のゲインをリニアに調整するもので、メモリおよび乗算器などで構成され、ゲイン制御部５からのゲイン制御信号で制御される。本実施形態では以後、ゲイン調整部２の信号処理におけるゲインを信号処理ゲインと呼ぶことにする。

信号処理部３は、ガンマ補正処理や、輪郭強調処理、マトリクス処理などを実施し、映像規格に合致した画像信号に整形して出力する。

駆動部４は、ＣＭＯＳを駆動するためのパルスを生成し、撮像部１に供給するとともに、現在の読み出しラインの番号および蓄積時間を駆動タイミング情報として、ゲイン制御部５に出力する。

光量センサ部６は、例えば光量に対応した電圧を出力するようなセンサなどで構成されており、外部閃光などによる光量の変化を刻々と出力するものである。

ゲイン制御部５は、駆動部４からの駆動タイミング情報と光量センサ部６からの外部光量の変化から、ゲイン調整部２の信号処理ゲインをライン単位で算出し、信号処理ゲイン制御信号として出力する。

ゲイン制御部５の具体的構成の一例を図２に示す。図２に示すようにゲイン制御部５は、光量情報積算部５０と、逆数化部５１と、乗算部５２と、出力画像ゲイン生成部５３と、を有する。

光量情報積算部５０は、光量センサ部６の出力を一定期間、例えば蓄積時間分積算した結果を光量ゲイン情報として逆数化部５１および出力画像ゲイン生成部５３に出力する。光量ゲイン情報は、撮像部１が出力する一定期間毎の画像信号において、外部閃光の影響が無い画像信号の画像レベルを基準とした、外部閃光の影響を受けた画像信号の画像レベルの比を示すことになる（詳細については後述）。逆数化部５１は、光量情報積算部５０からの出力の逆数を算出し、出力する。出力画像ゲイン生成部５３は、駆動タイミング情報である読み出しライン番号と、光量ゲイン情報とから、１画面単位で一定になるようなトータルゲインの波形を生成する。トータルゲインとは、撮像部１が出力する外部閃光の影響が無い画像信号の画像レベル（以後、基準画像レベルとする）を基準とした、ゲイン調整部２が出力する（外部閃光の影響を受けた画像信号も含めた）画像信号の画像レベルの比を示す。トータルゲインは、光量ゲイン情報と信号処理ゲインとを加算したものとなる。乗算部５２は、トータルゲイン波形を光量ゲイン情報の逆数と乗算することで、刻々と変化する光量に対して、１画面単位でトータルゲインが一定になるような信号処理ゲイン制御信号を算出する（詳細については後述）。

＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１００について、その動作を説明する。ここでは、ライン毎に順次読み出しされる結果、ライン毎に受光タイミングが少しずつずれていくタイプのＣＭＯＳセンサを用いた場合について説明する。

まず、撮像部１では、駆動部４からの駆動パルスに従って、ＣＭＯＳセンサに入射した光信号を光電変換し、さらに、アナログ／デジタル変換を行うことによってデジタル順次走査画像信号が出力される。ＣＭＯＳセンサでは画面上側から順次出力し、ライン毎に少しずつ受光タイミングがずれていくため、１ライン目と７２０ライン目とでは、おおよそ１／６０秒も受光タイミングがずれていることになる。

外部閃光が発生した場合について考えると、外部閃光が発生した時刻の直後に読み出されるラインの画像から明るくなり、次のフレームの前記ラインから、再び暗い画像が出力される結果となる。

図３に３６０ラインの読み出し直前に外部閃光が発生した場合の動作の様子を説明する模式図を示す。

例えば、フレーム（２）の３６０ラインの読み出し直前に外部閃光が発生したとする。直前の３５９ライン目に注目すると、３５９ライン目は既に読み出し中のため、外部閃光は次のフレームの３５９ライン目の読み出し時に影響を与える。すなわち、おおよそ１／６０秒後の次のフレーム（３）の３５９ライン目が、明るい画像となる。フレーム（２）の３６０ライン目は、読み出し直前に外部閃光が発生しているので、外部閃光を受光した画像が出力される。すなわち、明るい画像となる。フレーム（２）の３６１ライン目は、読み出し少し前に外部閃光が発生しているので、同様に明るい画像となる。以降同様であるため、結果としてフレーム（２）の３６０ライン目から次のフレーム（３）の３５９ライン目までが明るい画像となる。従って、外部閃光が発生した前後のフレーム（１）から（４）をコマ送りで表示すると、全体に暗いフレーム（１）、画面上部１〜３５９ラインが暗く、画面下部の３６０〜７２０ラインが明るいフレーム（２）、画面上部１〜３５９ラインが明るく、画面下部３６０〜７２０ラインが暗いフレーム（３）、全体に暗いフレーム（４）が表示され、フレーム（２）、（３）に明るい横帯が発生した画像となる。

図３に示すようなタイミングで外部閃光が発生した場合には、撮像部１から、フレーム（２）および（３）に明るい横帯のある画像信号が、ゲイン調整部２に出力される。

ゲイン調整部２では、ゲイン制御部５からの信号処理ゲイン制御信号に従って画像のゲイン調整を行い、フレーム（２）および（３）の横帯現象を補正して、信号処理部３へ出力する。

ゲイン制御部５からの信号処理ゲイン制御信号は、フレーム（２）および（３）の横帯現象を抑制するため、暗い部分には高いゲインを、また明るい部分には低いゲインを乗算することで、フレーム単位でのトータルゲインを一定にするものである。従って、ゲイン調整部２は、外部閃光が発生した場合の横帯現象を、信号処理ゲイン制御信号に基づいてゲインをライン単位で調整することにより、フレーム単位でトータルゲインが一定の画像レベルになるように補正して、信号処理部３へ出力する。

駆動部４では、撮像部１を駆動するための駆動パルスを生成し、撮像部１に供給する。同時に、ＣＭＯＳセンサの駆動タイミング情報をゲイン制御部５に出力する。

光量センサ部６は、常に外部の光量を計測し、ゲイン制御部５に光量情報として出力しており、外部閃光などが発生した場合には、光量情報が大きく変化することになる。

ゲイン制御部５は、前記フレーム単位でのトータルゲインを一定にするための信号処理ゲイン制御信号を算出している。

フレーム（２）および（３）の横帯現象は、フレーム（２）および（３）の１〜３５９ラインが受光した光量と、フレーム（２）および（３）の３６０〜７２０ラインが受光した光量とが異なるために発生する。したがって、受光した光量変化を示す光量ゲイン情報の逆数とフレーム単位でのトータルゲイン波形とから、信号処理ゲイン制御信号を算出することができる。

具体的には、ゲイン制御部５では、光量センサ部６から光量情報を取得するとともに、光量情報が撮像部１のどの駆動タイミングで発生しているかを検出するため、駆動部４から蓄積時間や読み出しライン番号などの駆動タイミング情報を取得し、光量情報を積算、逆数化し、フレーム単位で画像レベルが一定な出力画像ゲインとの差を穴埋めするための信号処理ゲイン制御信号を算出している。

ゲイン制御部５の動作をふまえた補正動作の様子を図２から図４を用いて詳しく説明する。

図２は、ゲイン制御部５の具体的構成の一例を示すブロック図である。

図３は、３６０ラインの読み出し直前に外部閃光が発生した場合の各制御信号波形の様子を説明する模式図である。

図４は、補正の効果を説明するための出力画像を模式的に示した模式図である。図において、各フレームの出力画像の横に、各ラインに対応する光量情報積算結果を併記している。

図３に示すように、フレーム（２）の３６０ライン目が読み出される直前に外部閃光が発生したとする。

図３に示すように、撮像部１の出力は、フレーム（２）の３６０ラインからフレーム（３）の３５９ラインまで明るくなり、横帯現象となっている。光量センサ部６の出力は、外部閃光が発生したときにインパルス的に大きくなるような変化が検出され、ゲイン制御部５に入力される。入力された光量情報は、光量情報積算部５０に入力される。光量情報積算部５０は、過去一定期間（蓄積時間に相当）の間に入力された光量情報を積算して光量ゲイン情報として出力する。ここで、外部閃光が発生したタイミングを含む一定期間における光量ゲイン情報が、外部閃光がない期間における光量ゲイン情報の２倍になったとすると、図３の光量情報積算結果に示すように、フレーム（２）の３６０ラインから一定期間、すなわちフレーム（３）の３５９ラインまでが、２倍の光量であるという出力結果になる。なおここでは便宜上、外部閃光が無い期間における光量ゲイン情報を１、外部閃光を含む光量ゲイン情報をその２倍の２として説明する。

この光量ゲイン情報は、すなわち、各ラインがそれぞれずれた受光タイミングで受光した光量を示すことになるため、外部閃光の影響をなくしてフレーム（１）〜（４）まで一定のトータルゲインとするには、光量ゲイン情報を打ち消す逆数のゲインを用いてゲイン調整すればよい。

出力画像ゲイン生成部５３では、外部閃光が発生した場合に得たい理想画像のトータルゲイン波形を生成する。

例えば、外部閃光が発生した場合の補正後画像として、横帯現象の発生するフレームのみ全ラインとも横帯ラインと同様に明るい画像としたい場合は、図３のトータルゲイン波形に示すような、フレーム（２）およびフレーム（３）の全体のトータルゲインを、外部閃光の影響を受けた部分の光量ゲイン情報に相当する２．０倍になる画像とすればよい。出力画像ゲイン生成部５３は、このトータルゲイン波形を、光量ゲイン情報と駆動タイミング情報とから生成する。

最終的に、基準画像レベルに対するゲイン調整部２が出力する画像信号の画像レベルがトータルゲインとなるように、ゲイン調整部２で調整するゲインとしては、光量ゲイン情報の逆数とトータルゲインとを乗算したものであるため、乗算部５２で乗算した結果を信号処理ゲイン制御信号として出力する。

このように算出された信号処理ゲイン制御信号を用いて、ゲイン調整部２でゲイン調整を行うと、外部閃光による横帯現象の画像をフレーム単位で一定のトータルゲインである画像に補正することができる。すなわち、図４に示すように、補正前の画像は、フレーム（２）およびフレーム（３）に白い横帯が入った画像となっているが、補正後の画像は、フレーム（２）およびフレーム（３）のうち、横帯以外の部分のトータルゲインが２．０倍とされることにより、フレーム全体のトータルゲインが一定になり、横帯の妨害のない画像でかつ、時間的な連続性を確保した自然な画像出力を得ることができる。

また、外部閃光が複数回（２回）あった場合について、図５および図６を用いて説明する。

図５は、３６０ラインおよび５４０ラインの読み出し直前に２回外部閃光が発生した場合の各制御信号波形の様子を説明する模式図である。

図６は、２回外部閃光が発生した場合の補正の効果を説明するための出力画像を模式的に示した模式図である。

図５に示すように、フレーム（２）の３６０ライン目が読み出される直前に１回目の外部閃光(1)（光量小）と５４０ライン目が読み出される直前に２回目の外部閃光(2)（光量大）が発生したとする。

図５および図６に示すように、撮像部１の出力は、フレーム（２）の３６０ラインから５３９ラインまで、外部閃光(1)の影響で２倍に明るくなり、フレーム（２）の５４０ラインからフレーム（３）の３５９ラインまで、外部閃光(1)および(2)の影響で４倍に明るくなり、フレーム（３）の３６０ラインから５３９ラインまで、外部閃光(2)の影響で３倍に明るくなったものとし、補正前は、複数の横帯画像となっている。

光量センサ部６の出力は、同様に外部閃光が発生したときにインパルス的に大きくなるような変化が検出され、ゲイン制御部５に入力される。入力された光量情報は、光量情報積算部５０に入力され、一定時間（蓄積時間分）積算され光量ゲイン情報として出力される。積算した結果、光量ゲイン情報が外部閃光がない場合の２倍、４倍、３倍になったとすると、図５の光量ゲイン情報に示すようにフレーム（２）の３６０ラインから５３９ラインまでが２倍、フレーム（２）の５４０ラインからフレーム（３）の３５９ラインまで４倍、フレーム（３）の３６０ラインから５３９ラインまで３倍であるという出力結果になる。

この光量ゲイン情報は、すなわち、各ラインがそれぞれずれた受光タイミングで受光した光量を示すことになるため、同様に外部閃光の影響をなくしてフレーム（１）〜（４）まで一定のトータルゲインとするには、光量ゲイン情報を打ち消す逆数のゲインを用いてゲイン調整すればよい。

出力画像ゲイン生成部５３では、外部閃光が発生した場合に得たい理想画像のトータルゲイン波形を生成する。

同様に、外部閃光が発生した場合の補正後画像として、横帯現象の発生するフレームのみ全ラインとも外部閃光(1)のみの影響を受けた横帯ラインと同様の明るい画像とする場合は、図５のトータルゲインに示すような、フレーム（２）およびフレーム（３）が２．０倍になる画像となり、光量ゲイン情報と駆動タイミング情報とから出力画像ゲイン生成部５３で生成される。

最終的にトータルゲインになるように外部閃光の影響を受けた光量ゲイン情報に基づいた画像信号に調整するゲインとしては、光量ゲイン情報の逆数とトータルゲインを乗算したものであるため、乗算部５２で乗算した結果を信号処理ゲイン制御信号として出力する。

すなわち、図５の信号処理ゲイン制御信号に示すような、
１．０倍→２．０倍→１．０倍→１／２倍→２／３倍→２．０倍→１．０倍
となる信号処理ゲイン制御信号で、ゲイン調整部２でゲイン調整を行うと、外部閃光による横帯現象の画像をフレーム単位で一定のトータルゲインである画像に補正することができる。すなわち、図６に示すように、補正前の画像は、フレーム（２）およびフレーム（３）に複数の白い横帯が入った画像となっているが、補正後の画像は、フレーム（２）およびフレーム（３）のトータルゲインが２．０倍の一定になっている横帯の妨害のない画像でかつ、時間的な連続性を確保した自然な画像出力を得ることができる。

また、さらに複雑な複数の外部閃光が発生した場合についても、同様で、高輝度の複数の横帯となる悪影響を抑制し、かつ、動画として連続性を確保した自然な画像出力を得る効果を発揮する。

以上のように、本実施形態における撮像装置１００では、外部閃光による高輝度の横帯となる悪影響を抑制し、かつ、動画として連続性を確保した画像を出力することができる撮像装置を実現することができる。

また本実施形態における撮像装置１００では、複数の外部閃光による高輝度の複数の横帯となる悪影響を抑制し、かつ、動画として連続性を確保した画像を出力することができる撮像装置を実現することができる。

なお、出力画像ゲイン生成部５３のフレーム（２）およびフレーム（３）でのトータルゲインは、前記説明においては、光量ゲイン情報と同じ２．０倍としたが、フレーム単位で一定なトータルゲインであれば、どのような値でもよく、予め固定された値でも、メニュなどで決定される値でも、光量ゲイン情報から算出される値でもよい。光量ゲイン情報から算出される値としては、例えば、光量ゲイン情報の増加分を平均化した値などでもよい。すなわち、図３の場合であれば、光量ゲイン情報として、１．０倍→２．０倍に増加しているので、増加分を平均化し１．５倍のように決定する。従って、フレーム（２）およびフレーム（３）の暗い部分（１．０倍）と、明るい部分（２．０倍）をその中間レベル（１．５倍）で一定になるように補正することになる。

またなお、前記説明においては、補正後の明るくなるフレームはフレーム（２）および（３）の２フレームとしたが、これに限定されることなく、例えばフレーム（２）のみ明るいフレームにしても、フレーム（１）〜（４）とも暗いままとしてもよい。これらは、全て出力画像ゲイン生成部５３でのトータルゲイン波形を調整することで実現可能であることは、明らかである。

またなお、ゲイン制御信号は、乗算部５２の出力にさらにＬＰＦなどの処理を行ったものでもよい。

［第２実施形態］
＜２．１：撮像装置の構成＞
図７は第２実施形態に係る撮像装置７００のブロック図である。

第２実施形態に係る撮像装置は、第１実施形態に係る撮像装置１００にノイズ抑制部７を追加し、ゲイン制御部５をゲインおよびノイズ抑制を連動して制御するゲイン＆ノイズ抑制制御部８に変更した構成である。

すなわち、図７に示すように、撮像装置７００は、外部閃光などによる光量変化を検出する光量センサ部６と、被写体からの光を電気信号に変換する撮像部１と、撮像部１から出力される画像信号のゲインを調整するゲイン調整部２と、ゲイン調整部２からの出力信号にノイズ抑制処理を施すノイズ抑制部７と、ノイズ抑制部７からの出力信号にガンマ補正や、輪郭強調などの信号処理を実施する信号処理部３と、撮像部１の駆動パルスを生成し、さらに駆動タイミング情報をゲイン＆ノイズ抑制制御部８に出力する駆動部４と、光量センサ部６の出力と駆動タイミングとから外部閃光などによる光量変化の影響ラインを特定し、ライン単位で画像信号のゲインおよびノイズ抑制度合いを制御するゲイン＆ノイズ抑制制御部８と、を備えている。

ノイズ抑制部７は、ノイズ抑制度合いを調整可能なものであれば、どのようなノイズ抑制回路でもよい。また、ゲイン＆ノイズ抑制制御部８は、ゲイン制御部５と同じ構成で作成された信号を、ゲイン制御信号およびノイズ抑制制御信号として２系統出力する構成である。

ノイズ抑制部７およびゲイン＆ノイズ抑制制御部８以外は、第１実施形態に係る撮像装置１００と同じものである。

＜２．２：撮像装置の動作＞
以上のように構成された第２実施形態における撮像装置の動作について説明する。

図８は、３６０ラインの読み出し直前に外部閃光が発生した場合の各制御信号波形の様子を説明する模式図であり、第１実施形態での模式図（図３）にゲイン制御信号と同じ波形のノイズ抑制制御信号が追加されている。

第１実施形態の動作と同様にゲイン制御信号波形が生成され、同じ波形の制御信号をノイズ抑制制御信号としても出力し、ゲインが高く制御されるラインに対してノイズ抑制が強く制御されるようにする。

第２実施形態に係る撮像装置７００の特筆すべき動作の特徴は、第１実施形態と同様のゲイン制御に加えて、大きくゲインアップするラインにはノイズ抑制を大きく効かせる制御を同時に行うという点である。すなわち、信号処理ゲイン制御信号と同様に生成されたノイズ抑制制御信号をノイズ抑制部７に出力し、ノイズ抑制効果を制御する。大きくゲインアップされたラインは、同時にノイズも増幅されているが、後段のノイズ抑制部７で、ノイズを強く抑制するように制御される。これにより、同一フレーム中のゲイン変化による出力画像の違和感を抑制するものである。

以上のように、本実施形態における撮像装置７００では、外部閃光による高輝度の横帯となる悪影響を抑制し、かつ、動画として連続性を確保し、かつ、同一フレームのノイズ感の変化を抑制したより自然な画像を出力することができる撮像装置を実現することができる。

なお、ノイズ抑制部７は、ノイズ抑制度合いを調整可能なものであれば、どのようなノイズ抑制回路であってもよい。

またなお、ノイズ抑制部７は、ゲイン調整部２の直後に配置した例について説明したが、信号処理部３の中に配置してもよい。

またなお、信号処理ゲイン制御信号およびノイズ抑制制御信号は、第１実施形態のゲイン制御部５の構成で作成された制御信号そのものを、信号処理ゲイン制御信号およびノイズ抑制制御信号の２系統に出力する構成で説明したが、さらにゲイン制御信号用ＬＰＦおよびノイズ抑制制御信号用ＬＰＧなどの処理を行った後に出力したものでもよい。

本発明にかかる撮像装置は、外部閃光による高輝度の横帯を除外し、かつ動画として連続性を確保した画像を出力することが可能になるため、連続画像を撮像するデジタルカメラやビデオカメラ等にも大変有用である。

１、９５０ 撮像部
２ ゲイン調整部
３ 信号処理部
４ 駆動部
５ ゲイン制御部
６ 光量センサ部
７ ノイズ抑制部
８ ゲイン＆ノイズ抑制制御部
５０ 光量情報積算部
５１ 逆数化部
５２ 乗算部
５３ 出力画像ゲイン生成部
１００、７００、９００ 撮像装置
９５１ 画像処理部
９５２ 閃光検出部
９５３ 出力制御部
９５４ メモリ回路
９５５ 切換回路

Claims (6)

1. 光量変化を検出する光量センサ部と、
   被写体の撮像信号を出力する撮像部と、
   前記撮像信号のゲインを調整するゲイン調整部と、
   前記撮像部の駆動部と、
   前記ゲイン調整部のゲインを制御するゲイン制御部とを備え、
   前記ゲイン制御部は、前記光量センサ部の出力と駆動タイミングとから、外部閃光の影響ラインを特定し、ライン単位でゲインを制御することを特徴とする撮像装置。
2. 前記ゲイン制御部は、前記光量センサ部で検出された光量を一定期間積算した値の逆数に基づいて制御ゲインを決定することを特徴とする請求項１記載の撮像装置。
3. 前記ゲイン制御部は、前記光量センサ部で検出された光量を一定期間積算した値の逆数と光量変化のあるフレームは一定の値であり光量変化のないフレームは１となる係数とを乗算した結果を制御ゲインとして用いることを特徴とする請求項１記載の撮像装置。
4. 前記光量変化のあるフレームの一定の値は、前記光量センサ部で検出された光量を一定期間積算した値の増加分を平均した値とすることを特徴とする請求項３記載の撮像装置。
5. 光量変化を検出する光量センサ部と、
   被写体の撮像信号を出力する撮像部と、
   前記撮像信号のゲインを調整するゲイン調整部と、
   前記撮像信号のノイズを抑制する信号処理を行うノイズ抑制部と、
   前記撮像部の駆動部と、
   前記ゲイン調整部のゲインおよび前記ノイズ抑制部のノイズ抑制度合いを制御するゲイン＆ノイズ抑制制御部とを備え、
   前記ゲイン＆ノイズ抑制制御部は、前記光量センサ部の出力と駆動タイミングとから、外部閃光の影響ラインを特定し、ライン単位でゲインおよびノイズ抑制効果を制御することを特徴とする撮像装置。
6. 前記ゲイン＆ノイズ抑制制御部は、ゲインが大きいほどノイズ抑制を強く実施するような制御信号を出力することを特徴とする請求項５記載の撮像装置。