JP3749038B2 - Solid-state imaging device - Google Patents
Solid-state imaging device Download PDFInfo
- Publication number
- JP3749038B2 JP3749038B2 JP18614499A JP18614499A JP3749038B2 JP 3749038 B2 JP3749038 B2 JP 3749038B2 JP 18614499 A JP18614499 A JP 18614499A JP 18614499 A JP18614499 A JP 18614499A JP 3749038 B2 JP3749038 B2 JP 3749038B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- flicker
- value
- unit
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、Ｘ−Ｙアドレス方式の固体撮像素子、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子を用いた固体撮像装置に係り、特に電源周期と同期して点滅する蛍光灯等のように交流点滅する電灯の下で撮像画面の輝度や色相が変化するいわゆるフリッカを改善した固体撮像装置に関する。
【０００２】
【従来の技術】
従来より蛍光灯照明の下でテレビジョンカメラによる撮影を行なうと、テレビジョンカメラの垂直同期周波数と蛍光灯の明滅周波数の間のずれにより干渉が生じ、蛍光灯フリッカと呼ばれる現象が発生している。ＣＣＤ（Charge Coupled Device）型撮像装置を用いたカメラにおいては、１フレームあるいは１フィールド単位にて電荷の蓄積を行なうためにフリッカの影響はフレームあるいはフィールド間において生じている。したがって、ＣＣＤ型撮像装置においては、蛍光灯フリッカの補正を比較的簡単に行なうことができ、既に実用化されている。
【０００３】
ＩＴ型ＣＣＤイメージセンサを例にとって説明すると、フォトダイオードで同一期間に露光された信号の全画面分を一旦、素子上の垂直転送ＣＣＤに転送し、１水平ライン分ずつを読み出している。つまり、ＩＴ型ＣＣＤイメージセンサは素子上にアナログのフレームまたはフィールドメモリを有している。このため、ＩＴ型ＣＣＤイメージセンサを用いたＮＴＳＣ（National Television System Committee）方式のカメラを用いて、５０Ｈｚで交流点灯する照明の下で撮影を行なった場合、略々３フィールド周期の画面全体の輝度および色相変化となる。
【０００４】
ＩＴ型ＣＣＤイメージセンサにおいてこのフリッカを補正する手段としては、電子シャッタのモードで露光時間を１／１００秒に設定してフィールド毎の露光時間を等しくする方法と、フリッカが略々３フィールド周期で発生することを利用して、各フィールドの映像信号の平均値が一定になるように、３フィールド前の映像信号から現在の輝度および色相の変動を予測して補正値を生成し、フリッカを抑圧する方法が用いられている。
【０００５】
これに対し、例えばＣＭＯＳ型撮像装置はＸ−Ｙアドレス走査型で、画素毎に露光期間が読み出しクロック周期ずつ順次移動していくため、すべての画素で露光しているタイミングが異なっている。このため、各画素が蓄積期間に積分する蛍光灯照明の光量に違いが生じることになり、これが１画面内においてフリッカとして表れることになる。このことを式を用いて表わすと、１周期がＴの蛍光灯明滅する波形ｆ（ｔ）を時間ｘから期間Ｘだけ積分することになるので、
【数１】
【０００６】
図４２（ａ）にはフリッカ発生モデルの一例を示してある。ここでは説明を簡略化するため蛍光灯明滅波形およびその周期、蓄積期間をそれぞれ
【数２】
【数３】
【数４】
【数５】
【０００７】
因みに、図４２におけるｉとｘの間にはｘ＝Ｔｓ×ｉ（Ｔｓは１水平ライン読み出し時間）の関係が成り立っている。このフリッカは蛍光灯の明滅周期と露光タイミングのずれを原因として生じるため、ＣＣＤ型撮像装置とは違って電灯線のサイクルが５０Ｈｚ，６０Ｈｚいずれの場合でも生じる。前述したように、ここでは１水平ライン分ずつを纏めて読み出す撮像装置に限定して考えると、この場合は同一水平ライン上の画素の露光期間が同じなので横縞状の蛍光灯フリッカ波形が垂直方向に表れる。
【０００８】
蛍光灯フリッカを補正する１つの手段としては、図４２（ｂ）に示すように、露光時間を蛍光灯の明滅周期の１周期あるいはその整数倍に設定する方式が考えられる。このようにして蓄積時間を設定すると、たとえ蛍光灯が明滅していてもすべての画素における蛍光灯波形の積分量が同じになるため蛍光灯フリッカを抑圧できる。これを上述の式を用いて説明する。一例として、「Ｘ＝１０ｍｓ」の場合について考えると、この時
【数６】
【数７】
【０００９】
露光時間を任意に設定できる別の補正方法として、撮像素子の出力あるいはこの出力を信号処理した映像信号からフリッカ成分を抽出し、このフリッカ変動パターンを抑えるように輝度信号や色信号の利得を画像フレーム内の場所毎に制御してフリッカを補正する方式や、フリッカ波形をメモリにテンプレートとして記憶し、外部センサにより検出した蛍光灯の明滅タイミングによって、このテンプレートとイメージセンサ出力との同期を得て補正する方式も考案されている。
【００１０】
しかしながら、映像信号からフレーム内のフリッカ波形を検出するのは白い壁のような無彩色かつ絵柄のない画像を撮影する場合を除いて一般的に非常に困難である。映像信号からフレーム内のフリッカ成分を抽出するにはフレーム内およびフレーム間での積分によるローパス効果あるいはアナログあるいはデジタルのローパスフィルタを用いてフリッカ成分以外を取り除く方法が取られている。
【００１１】
しかし、撮影被写体中にもフリッカ成分と略々同じ周波数帯域のパターンが混在していることは往々にしてあり、これにより正確なフリッカ波形の抽出が妨害されることになる。特に、撮像装置の画角を固定した場合、５０Ｈｚの周波数により点灯されている蛍光灯下においてフレーム間でのフリッカの周期が３フレームなので、時定数を長く取ってフレーム間で平均を求めても３フレーム周期でフリッカ波形が同じ場所に来るため、絵柄の影響を取り除くことはできない。
【００１２】
一方のフリッカ波形をテンプレートとしてメモリに記憶させておく方式については、蛍光灯の明滅波形は蛍光灯の点灯器毎に特有であることが良く知られている。このためフリッカ補正システムを構築するために、非常に多くのフリッカ波形を調査しこれをデータベースとして用意しなければならず、実際に多数のフリッカは径パターンをデータベース化できたとしても、将来開発される蛍光灯用の点灯器に対しては対応することができない。このように、Ｘ−Ｙアドレス方式による固体撮像装置においては、フリッカ波形の抽出がＣＣＤ固体撮像装置のように簡単には予測できないため、これまで有効な補正手段がなく、蛍光灯フリッカが画像内に残留して画質を劣化させているという問題があった。
【００１３】
【発明が解決しようとする課題】
上述したように、従来は画素単位あるいはライン単位で蓄積期間の異なる読み出しを行なうＸ−Ｙアドレス方式による固体撮像装置を用いて蛍光灯照明下において撮像した場合、撮像面の場所毎に露光量が異なることになり、いわゆる蛍光灯フリッカが発生するという問題があった。本発明は上記事情に鑑み、蛍光灯の照明下において任意の蓄積時間で撮像した場合、垂直方向において輝度および色相が変化するような横縞状蛍光灯フリッカを十分に抑圧して画質を向上させることが可能なＸ−Ｙアドレス方式の固体撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の第１の構成に係る固体撮像装置は、所定の条件を満たす電子シャッタ値により、直交する２方向に画面をアドレス走査して対象を撮像する固体撮像素子と、前記固体撮像素子の前記電子シャッタ値を所定の値に設定する電子シャッタ値設定手段と、前記固体撮像素子の出力信号をアナログ信号からデジタル信号へと変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力信号を所定の単位で記憶する記憶手段と、前記記憶手段に記憶された所定の単位の信号に対し、外光条件に適した第１の電子シャッタ値と蛍光灯明滅周期と所定関係となる蛍光灯条件下での第２の電子シャッタ値の２条件による画像の信号波形をそれぞれ求め、２つの信号を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すような補正信号値を演算する補正演算手段と、前記補正演算手段により演算された前記補正信号値を用いて蛍光灯照明下における画像の波形を打ち消すことにより横縞状蛍光灯フリッカを補正する補正手段と、を備えることを特徴としている。
【００１５】
本発明の第２の構成に係る固体撮像装置は、Ｘ−Ｙアドレス方式の撮像素子と、前記固体撮像素子の電子シャッタ値を設定する電子シャッタ設定部と、前記固体撮像素子が出力するアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器によりデジタル信号に変換された映像信号を記録する複数個のフレームメモリと、前記電子シャッタ設定部の電子シャッタ値を外光条件に適した第１の電子シャッタ値から蛍光灯条件下での第２の電子シャッタ値へと変更すると共に、変更されたシャッタ値に基づいて前記フレームメモリヘの記録出力を設定するモード設定部と、前記複数のフレームメモリより入力される映像信号と前記モード設定部で設定されたそれぞれのフレームにおける電子シャッタ値とを用いて前記映像信号のフリッカを抑圧するための演算処理を行ない、フリッカ補正値を算出する補正テーブル算出部と、前記補正テーブル算出部にて作成された補正テーブルを記録保存する補正テーブル記録部と、前記補正テーブル記録部に保存されている補正テーブルを用いて前記撮像素子からの映像信号である前記Ａ／Ｄ変換手段の出力信号の利得を制御することによりフリッカを抑圧する補正演算部と、を備えることを特徴とする。
【００１６】
前記固体撮像装置は、前記補正テーブル算出部から出力された補正テーブルを画像フレ一ムの水平方向において平均する処理を行なう水平ライン平均値算出部をさらに備え、水平方向において平均化された値を前記補正テーブル記録部に保存するものであってよい。前記固体撮像装置は、前記補正演算部の出力を入力とし補正された映像信号にフリッカ成分が含まれているかの検出を行なうフリッカ検出器をさらに備え、フリッカが検出されたときには、前記モード設定部に補正テーブルの再生成を促すものであってよい。
【００１７】
前記フレームメモリは複数個備えており、この複数のフレームメモリに記録された画像を平均化するフレーム平均算出部をさらに備えるものであってもよい。前記補正テーブル記録部は、複数個備えられて、複数個の補正テーブルを記録保存すると共に、これら複数個の補正テーブルから必要とされる補正テーブルを選び出す補正テーブル選択部をさらに備えるものであっても良い。前記補正テーブル記録部はフリッカ波形の１周期のみを保存し、また現在の画像フレームに含まれるフリッカの位相を計測する位相計測部をさらに備え、この１周期分のフリッカ波形と位相情報から補正テーブルを生成する補正テーブル生成部をさらに備えるものであってもよい。
【００１８】
また、本発明の第３の構成に係る固体撮像装置は、Ｘ−Ｙアドレス走査型固体撮像素子と、前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、各スキャンライン毎にそのラインの周辺の領域を選択する領域選択部と、前記領域選択部によって選択された領域を読み出しこのデータの平均値を算出する領域平均値算出部と、前記領域平均値算出部の出力を保持するラインメモリと、複数の前記ラインメモリの１つを選択し、そのラインメモリとの間でデータを入出力するラインメモリ管理部と、前記ラインメモリに保持されている領域平均値を複数のラインメモリから選択し平均演算を行なうライン間平均値算出部と、前記領域平均値を保存するラインメモリの１つと前記ライン間平均値を保存するラインメモリそれぞれから前記領域平均値と前記ライン間平均値とを選択しこれらの領域平均値とライン間平均値を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、を備えることを特徴とする。
【００１９】
また、上記構成において、前記領域平均値算出部は、前記領域平均値を保存するラインメモリの何れかより任意のデータを呼び出すデータ呼び出し部と、この呼び出したデータと現在の選択領域での平均値との間で平均を算出する時間平均算出部と、を備えるようにしても良い。
【００２０】
また、本発明の第４の構成に係る固体撮像装置は、Ｘ−Ｙアドレス走査型固体撮像素子と、前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、各スキャンライン毎にこのスキャンライン内において必要とするデータの範囲を選択する範囲選択部と、前記範囲選択部によって選択された領域を読み出し、このデータの平均値を算出するライン内平均値算出部と、前記領域平均値算出部の出力を保持するラインメモリと、複数の前記ラインメモリの１つを選択し、そのラインメモリからデータを入出力するラインメモリ管理部と、前記ラインメモリに保持されているライン内平均値を複数のラインメモリから選択し平均演算を行なってライン間平均値を算出するライン間平均値算出部と、前記ラインメモリに保存されているライン内平均値から複数個を選択し、かつこれらの読み出しを前記ラインメモリ管理部に命令する窓幅選択部と、前記窓幅選択部の命令により読み出されたライン内平均値のうちの選択された複数個の平均を演算して窓内平均値を算出する窓内平均値算出部と、前記ライン間平均値と前記窓内平均値算とのそれぞれの間で比較演算を行なって蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、を備えることを特徴とする。
【００２１】
また、上記構成において、前記補正係数算出部の出力を保持するラインメモリを備えるようにしても良い。
【００２２】
また、上記ように構成された固体撮像装置は、撮像装置周辺の光量の変化を計測する外部測光素子と、前記外部測光素子の出力を現在の電子シャッタ設定値によって決定される蓄積時間にて積分する積分器と、前記積分器出力の振幅を前記補正テーブル記憶部に保存された補正テーブルの振幅と比較して補正するゲイン補正部とをさらに備え、前記ゲイン補正部出力によりフリッカ抑圧処理を行なうものであっても良い。前記外部測光素子は、撮像素子により確保されている画角による領域と同じ領域の光量の変化を検出するために、その上部に撮像レンズおよびレンズ駆動部をさらに備えるものであっても良い。
【００２３】
【発明の実施の形態】
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。まず、本発明の基本概念を示す第１実施形態について図１を参照して説明する。
【００２４】
図１において、第１実施形態に係る固体撮像装置は、所定の条件を満たす電子シャッタ値により、直交する２方向に画面をアドレス走査して対象を撮像する固体撮像素子１と、前記固体撮像素子１の前記電子シャッタ値を所定の値に設定する電子シャッタ値設定手段２と、固体撮像素子１の出力信号をアナログ信号からデジタル信号へと変換するＡ／Ｄ変換手段３と、Ａ／Ｄ変換手段３の出力信号を所定の単位で記憶する記憶手段４と、記憶手段４に記憶された所定の単位の信号に対し、外光条件に適した第１の電子シャッタ値と蛍光灯明滅周期と所定関係となる第２の電子シャッタ値の２条件による画像の信号波形をそれぞれ求め、２つの信号を比較することにより蛍光灯フリッカを補正した補正信号値を演算する補正演算手段１０と、を備えている。
【００２５】
通常、固体撮像装置において、フリッカ補正を行なおうとする場合、電子シャッタ設定値を電灯線用明滅周期の整数倍に設定するとフリッカが発生しないことを利用している。任意の電子シャッタ設定値において撮影する場合、まず電子シャッタ設定値をこの任意の値より短い電灯線明滅周期の整数倍に電子シャッタを設定して撮影する。この場合に露光時間が所定の時間よりも短いためゲインが不足するので、この不足分を増幅して出力することによりフリッカを抑えている。これに対して、本発明においては、撮影時にリアルタイム或いは準リアルタイムにてフリッカ波形を推定し、この波形に応じてそれぞれのライン毎にゲインを調節することによりフリッカ補正を実現しようとしており、本発明の基本概念としては、外光条件下の第１の電子シャッタ値による画像の信号波形と、蛍光灯条件下での第２の電子シャッタ値による画像の信号波形とを比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すような補正信号値を演算してフリッカを補正するようにしている。以下、上記基本概念をより具体的に示す実施形態について説明する。
【００２６】
本発明の第２実施形態による固体撮像装置は、図２に示されるように、ＭＯＳ型固体撮像素子１０１、電子シャッタ設定部１０２、Ａ／Ｄ変換器１０３、フレームメモリ１０４１，１０４２、補正テーブル算出部１０５、モード設定部１０６、補正テーブル記録部１０７、補正演算部１０８、同期信号発生部１０９を備えている。図１に示す基本概念図からも明らかなように、フレームメモリ１０４１および１０４２が図１における記憶手段４に相当しており、補正テーブル算出部１０５，補正テーブル記録部１０７，補正演算部１０８により第１実施形態における補正演算手段１０が構成されている。
【００２７】
ＭＯＳ型固体撮像素子１０１は、この上にマトリクス状に配置された画素により入射光を信号電荷に変換する。この電荷は、順次走査されて画素から読み出された後、撮像素子１０１内においてアナログ信号処理され、映像信号として固体撮像素子１０１より出力されるものである。
【００２８】
電子シャッタ設定部１０２は、固体撮像素子１０１から出力された信号量に基づいて電子シャッタ値を設定する。またモード設定部１０６から入力されるコマンドにより、任意の電子シャッタ値に設定することも可能である。この電子シャッタ設定値は、固体撮像素子１０１とモード設定部１０６とに出力されている。Ａ／Ｄ変換器１０３は、固体撮像素子１０１から出力される映像信号をデジタル信号に変換した後、フレームメモリ１０４１，１０４２、補正演算部１０８に出力している。
【００２９】
記憶手段４としてのフレームメモリ１０４１，１０４２は、Ａ／Ｄ変換器１０３によってデジタル信号に変換された映像信号を１フレーム分保存する。このフレームメモリ１０４１，１０４２への書き込み、読み出しはモード設定部１０６からのコマンドにより制御されている。補正テーブル算出部１０５は、フレームメモリ１０４１，１０４２より入力される映像信号と、モード設定部内のレジスタに保存されているそれぞれのフレームにおける電子シャッタ設定値とを用いて後述する処理を行なうことにより、フリッカを抑圧する補正テーブルを算出し、補正テーブル記録部１０７に出力するものである。
【００３０】
モード設定部１０６は、電子シャッタ設定部１０２の設定値の変更、Ａ／Ｄ変換器１０３出力のフレームメモリ１０４１，１０４２への書き込みおよび読み出しを制御すると共に、内部レジスタヘ変更前後の電子シャッタ設定値を保存し、必要なタイミングで補正テーブル算出部１０５へこれらの電子シャッタ値の出力を行なうものである。
【００３１】
補正テーブル記録部１０７は、補正テーブル算出部１０５により算出され、補正演算部１０８において使用されるフリッカ抑圧テーブルを記録保持すると共にこの補正テーブルを同期信号発生部１０９から与えられるタイミング信号に合わせて補正演算部１０８に出力するものである。
【００３２】
補正演算部１０８は、補正テーブル記録部１０７から必要なタイミングにより入力される補正テーブルを用いて、Ａ／Ｄ変換器１０３からのデジタル映像信号のゲインを画素単位あるいはライン単位で変動させることにより、フレーム内に見られるフリッカを抑圧するものである。
【００３３】
このような構成を備えた本実施形態によるフリッカ抑制機能を有する固体撮像装置は、次のように動作する。固体撮像素子１０１によって取り込まれた映像信号は、Ａ／Ｄ変換器１０３に入力されると同時に、電子シャッタ設定を行なうために電子シャッタ設定部１０２に渡される。電子シャッタ設定部ではこの入力を受けて、適正な電子シャッタ値（第１の電子シャッタ値）を決める。
【００３４】
ここでモード設定部１０６の現在のモードがフリッカ補正準備モードであるとき、電子シャッタ値はモード設定部１０６にも入力される。モード設定部１０６では、この第１の電子シャッタ値を内部レジスタに保存すると共に、現在の電子シャッタ設定値が蛍光灯明滅周期の整数倍であるかどうかのチェックを行なう。整数倍である場合には蛍光灯フリッカは生じないのでフリッカ補正準備モードをフリッカ補正非適用モードとしてフリッカ補正準備の処理を終了する。
【００３５】
整数倍でない場合には、まず現在の電子シャッタ設定値をこの値に最も近い蛍光灯明滅周期の整数倍値（第２の電子シャッタ値）あるいは現在の電子シャッタ設定値より短くかつ最も近い蛍光灯明滅周期の整数倍値の何れかに変更すると同時に、この値をモード設定部１０６内のレジスタに記録される。
【００３６】
この後、フレームメモリ１０４２（第２のフレームメモリ)が書き込み可能状態にされる。ここで、第２の電子シャッタ値に設定された固体撮像素子１０１は映像の取り込みを行ない、Ａ／Ｄ変換後フレームメモリ２に保存し、モード設定部はこのフレームメモリを書き込み禁止、読み出し可能状態にされる。
【００３７】
次に、モード設定部１０６は、電子シャッタ値を元の第１の電子シャッタ値に戻すため、内部レジスタに保存してある第１の電子シャッタ値を電子シャッタ設定部１０２に送ると同時に、フレームメモリ１０４１（第１のフレームメモリ）のステータスを書き込み可能状態に変更される。第１の電子シャッタ値に設定された固体撮像素子１０１は１フレーム取り込みを行ない、Ａ／Ｄ変換後フレームメモリ２に保存する。保存が完了した時点で第１のフレームメモリ１０４１はモード設定部１０９により書き込み禁止で、読み出し可能状態にされる。
【００３８】
第１のフレームメモリ１０４１と第２のフレームメモリ１４０２それぞれが読み出し可能状態になった時点で、モード設定部１０６は補正テーブル算出部１０５に補正テーブルの作成を開始させるコマンドと内部レジスタに保存してある第１の電子シャッタ値と第２の電子シャッタ値を補正テーブル算出部１０５に送る。第１のフレームメモリ１０４１と第２のフレームメモリ１０４２の画像はそれぞれ第１の電子シャッタ値と第２の電子シャッタ値にて撮影されており平均輝度レベルに違いがあるので、第２のフレームメモリ１０４２の平均輝度レベルを第１のフレームメモリ１０４１のレベルに合わせる。
【００３９】
次に、第１のフレームメモリ１０４１と第２のフレームメモリ１０４２のそれぞれの画素位置毎に割り算を行ない、フリッカ成分あるいはフリッカ成分を補正する係数を算出する。ただし、２つのフレーム間で割り算をすることでフリッカ成分を推定するには、２つのフレームの絵柄成分が同じである必要がある。その必要性について式を用いて説明する。フリッカ成分を含まないフレーム２の信号をＳ２（ｘ、ｙ）、フリッカ成分を含むフレーム１の信号をＳ１’（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｆ（ｘ，ｙ）と表す。ここでｘは画像フレームの水平方向の座標、ｙは垂直方向の座標、Ｓｎ（ｘ，ｙ）はフリッカのない映像信号、Ｆ（ｘ，ｙ）はフリッカ信号である。ここで撮像装置を固定した状態で、動きのないものを撮影すれば、
Ｓ１（ｘ，ｙ）≒Ｓ２（ｘ，ｙ）×Ｃ （ただしＣは比例定数）
という関係が成り立つはずで、この条件下でＳ１’（ｘ，ｙ）をＳ２（ｘ，ｙ）により除すると、
｛Ｓ１（ｘ，ｙ）×Ｆ（ｘ，ｙ）｝／｛Ｓ２（ｘ，ｙ）×Ｃ｝≒Ｆ（ｘ，ｙ）
となりフリッカ波形を推定することが出来る。因みにＳ２（ｘ，ｙ）をＳ１’（ｘ、ｙ）で割ると１／Ｆ（ｘ，ｙ）となるが、これはフリッカ補正係数であり、つまりフリッカ波形とフリッカ補正係数は逆数の関係にある。
【００４０】
もしこの時カメラを固定しないで撮影を行なったとすると、手ぶれなどによりＳ１’（ｘ，ｙ）とＳ２（ｘ，ｙ）の間に微小な画角の移動が起こりうる。この場合には、Ｓ１’（ｘ，ｙ）とＳ２（ｘ，ｙ）の間で空間的に相互相関関数を取ることでその移動量を求め、フリッカを持たないＳ２をこの移動量だけ平行移動してこのずれを補正した上で、上記の補正テーブル算出を行なえばよい。あるいは、第１のフレームメモリ１０４１と第２のフレームメモリ１０４２への書き込みの間が短ければ、この平行移動を行なわなくても補正テーブルの算出を充分に行なうことができる。
【００４１】
補正テーブル算出部１０５にて作成した補正テーブルは補正テーブル記録部１０７に保存される。補正テーブルのメモリヘの保存が終了した時点で、補正テーブル記録部１０７はモード設定部１０６へ通知を行ない、内部モードをフリッカ補正準備モードからフリッカ補正モードに切り替え、フレームメモリ１０４１，１０４２、補正テーブル算出部１０５の機能を停止させる。以後、補正演算部１０８は補正テーブル算出部１０５から適正なタイミングにて送られてくる補正テーブルに基づいてフリッカを打ち消す処理を実行する。
【００４２】
上記の処理においては、第２の電子シャッタ値にて１フレーム分の画像を取り込んだ後、第１の電子シャッタ値に戻しているが、この順序については第１の電子シャッタ値の後に第２の電子シャッタ値にて撮影を行なっても何ら問題はない。上記の処理により生成された補正テーブルは、電子シャッタ設定値が変更されるまで有効である。もし電子シャッタ値が変更された際には、電子シャッタ設定部１０２がモード設定部１０６に変更があったことを通知し、これを受けてモード設定部１０６は、補正テーブルの生成を再び行なえば良い。
【００４３】
ここまでの説明において補正テーブル記録部はフレーム構造を持ち、各画素毎に補正値を有していたが、ＭＯＳ型固体撮像素子１０１が水平ライン単位読み出し構造ならば、同一水平ライン上のすべての画素が同じ蓄積タイミングを持つことから、各行に１つのフリッカ補正値を持てば十分であり、抽正テーブル記録部を１次元のカラム型メモリとすることが可能である。例えば図３に示すように、補正テーブル算出部１０５の出力を水平ライン平均値算出部１１１において画像フレームの水平方向において平均化処理を行ない１行に対して１つの補正係数を割り当ててこれを補正テーブル記録部１０７に保存すれば良い。
【００４４】
さらに、図４に示すように、Ａ／Ｄ変換器１０３の出力を水平方向において平均化すれば、第１の電子シャッタ値と第２のシャッタ値のそれぞれの設定における参照画像を一時的に保存するメモリを２次元のフレーム型メモリから１次元のカラム型メモリ１１８１，１１８２に置き換えることが可能となり、必要とされるメモリ容量を減らすことが可能である。
【００４５】
この撮像装置に必要とされるメモリの量を減らす別の方法として、図５に示すような構成とすることにより、補正テーブル算出のために一時的にフレーム画像を保存するフレームメモリを１つに減らすことが可能である。ここでは、まず第２の電子シャッタ値にて取り込んだ画像は補正テーブル算出部１０５に入力され、補正テーブル算出部１０５が管理するフレームメモリ１０４に一時保存される。
【００４６】
次に、電子シャッタ設定部１０２により設定値を第１の電子シャッタ値に戻して次のフレーム画像を撮影する。このフレーム画像は固体撮像素子１０１からは順次走査によりシーケンシャルに読み出され、Ａ／Ｄ変換した後、補正テーブル算出部１０５に入力される。補正テーブル算出部１０５ではこのシーケンシャルに入力される画像の画素位置と対応する画素情報をフレームメモリ１０４から読み出して、順次補正値算出を行ない、その結果を補正テーブル記録部１０７に保存している。
【００４７】
さらに、図６に示すように、Ａ／Ｄ変換されたデジタル信号を水平ライン平均値算出部１１１を解して補正テーブル算出部１０５に供給すると共にフレームメモリ１０４をカラム型平均値記憶部１１８により構成すると、水平ライン平均値算出部１１１によって１行に対して１個のデータとすることができるので、一時保存のためのメモリを１次元のカラム型メモリによる簡易な構成で実現することが可能である。
【００４８】
また、必要とされるメモリの量を減らす別の手段として、図７に示すように、補正テーブル算出のために画像フレームを一時保存するメモリと補正テーブルを記録するためのメモリを共通化したフレーム型データ記憶部１１９を用いることでも可能である。この場合フリッカ補正テーブルは以下のような手順にて算出される。まず第２の電子シャッタ値において取り込んだ画像は補正テーブル算出部１０５経由でフレーム型データ記憶部１１９に保存される。
【００４９】
次に、モード設定部１０６が固体撮像素子１０１の電子シャッタ設定を第１の電子シャッタ値に変更後画像の撮影を行なう。このフレーム画像は固体撮像素子１０１から順次走査によりシーケンシャルに読み出され、Ａ／Ｄ変換後補正テーブル算出部１０５内のレジスタに一時保存される。補正テーブル算出部１０５はレジスタにあるデータの画素位置（ｘｎ，ｙｎ）と同じ位置にある画素データをフレーム型データ記憶部１１９から読み出し補正値算出の演算を行なう。こうして算出された補正値はフレーム型データ記憶部１１９の（ｘｎ，ｙｎ）に上書き保存される。
【００５０】
フリッカ補正テーブルの精度を確認するために、図８のように補正演算部１０８の出力にフリッカ成分が含まれてないかを検出するフリッカ検出器１１２を置くことも考えられる。Ｘ−Ｙアドレス走査型固体撮像装置におけるフリッカは、時間領域、空間領域いずれにおいてもある一定の周波数を持つ。フリッカ検出器１１２では、画像フレーム中の１点あるいは数点の時間的変化を周波数領域にて調べると共に、垂直方向に走るある任意の１ライン分のデータあるいは水平方向において平均された１ライン分のデータを同様に周波数領域にて解析し、もしフリッカ特有の周波数成分が検出されたときには、モード設定部１０６に通知し補正テーブルの再生成を行なう。
【００５１】
本発明の第３実施形態は図９に示されたような構成を備え、補正テーブルの算出に使用する参照画像として複数のフレームの平均を使用する点に特徴がある。平均化した参照画像を使用することによりノイズレベルが抑えられ、補正テーブルの精度を向上させることが可能である。必要とするフレームの数については特に制限はないが、この例においては３フレームの平均としている。
【００５２】
撮像装置が起動され撮影が開始されると、まず電子シャッタ設定部１０２が固体撮像素子１０１からの信号を受けて第１の電子シャッタ値に設定する。この設定値が蛍光灯明滅周波数の整数倍でない場合、モード設定部１０６はそのモードをフリッカ補正準備モードとし、電子シャッタ設定値を第２の電子シャッタ値へ変更すると共に、複数用意されているフレームメモリ２（フレームメモリ２群）の１つ（フレームメモリ２−１）のステータスを書き込み可能状態へと変更する。
【００５３】
この第２の電子シャッタ値にて撮影した映像はフレームメモリ２−１に保存される。モード設定部はこのフレームメモリ２−１を書き込み禁止にした後、第１の電子シャッタ値への変更と第１のフレームメモリ群の１つ（フレームメモリ１−１）のステータスを書き込み可能状態ヘと変更し、第１の電子シャッタ値での映像をフレームメモリ１−１に保存する。そして再び、電子シャッタ設定の第２の電子シャッタ値への変更と、第２のフレームメモリ群の１つ（フレームメモリ２−２）のステータスの書き込み可能状態ヘの変更、そして映像の取り込みと保存を行なう。以後この処理をフレームメモリ群に属するフレームメモリの数だけ繰り返す。
【００５４】
３フレーム画像が準備できた時点で、これらのフレーム画像はそれぞれの群毎に平均値算出部１１３へと渡されて第１のフレームメモリ群、第２のフレームメモリ群のそれぞれの平均が算出される。そして、この平均化されたそれぞれの電子シャッタ値設定でのフレーム画像は補正テーブル算出部１０５へと入力されて、補正テーブルが算出される。
【００５５】
この例では、フレーム画像の取り込みを電子シャッタ値を交互に変えて行なったが、始めに第１の電子シャッタ値にて連続して３フレーム分の取り込みを行ない、その後第２の電子シャッタ値に変えて同様に３フレームの取り込みを行なうことも可能である。これとは別に、図１０にあるような構造にすることにより、必要とされるフレームメモリの数を減らすことも可能である。
【００５６】
ここでは一例として第１の電子シャッタ値、第２の電子シャッタ値それぞれにおいて４つのフレームを加算して平均を求める場合について説明する。ここで、まずこれら４つのフレームを、取り込んだ順にＤ１，Ｄ２，Ｄ３，Ｄ４とする。まず最初に、Ｄ１を取り込みフレームメモリ１０４に保存する。次に、Ｄ２を取り込んだとき、フレーム平均順次算出部１１４では、フレームメモリ１０４の座標（ｘ，ｙ）にある画素値Ｄ１（ｘ，ｙ）を読み出し、
Ｄ２（ｘ，ｙ）／２＋Ｄ１（ｘ，ｙ）／２＝Ａｖｅ１（ｘ，ｙ）
を実行し、フレームメモリのそれぞれの所定位置に上書きしていく。
【００５７】
これ以降は順番に、Ｄ３を取り込んだときは、
Ｄ３（ｘ，ｙ）／３＋Ａｖｅ１（ｘ，ｙ）×（２／３）＝Ａｖｅ２（ｘ，ｙ）
の演算を行ない、フレームメモリのそれぞれの画素位置に上書きし、Ｄ４の場合は、
Ｄ４（ｘ，ｙ）／４＋Ａｖｅ２（ｘ，ｙ）×（３／４）＝Ａｖｅ３（ｘ，ｙ）
の演算を行ない、フレームメモリのそれぞれの画素位置に上書きする。この方式により必要とするメモリの量を減らすことが可能である。
【００５８】
本発明の第４実施形態は、図１１に示されたような構成を備え、複数の補正テーブル記録部と、これらの補正テーブル記憶部のうちの１つを選択する補正テーブル選択部を持つことに特徴がある。これまで述べてきた第１、２の実施の形態においては補正テーブルが１つしか用意されてなかったが、補正テーブルが１つで済むのは、白黒カメラでかつ撮像フレームレートと電灯線のサイクルとの比が整数倍である時のみで、これ以外の場合には複数の補正テーブルを用意する必要がある。
【００５９】
複数の補正テーブル記録部が必要なケースとしてまず挙げられるのが、その上にカラーフィルタが配置された撮像素子を使用する場合である。蛍光灯から放射される光の振幅および波形の特性はその色毎によって異なるため、それぞれの色毎にフリッカ補正テーブルを用意するのが、正確でかつ簡便な補正となる。３板式カラーカメラのようにそれぞれの撮像素子毎に別のカラーフィルタが配置されている場合ならば、それぞれの撮像素子出力毎に補正テーブルを算出し、フレーム構造を持つ補正テーブル記録部に画素配列そのままを保存するかあるいは水平ライン毎にテーブルを平均化してコラム型の補正テーブル記録部に保存すればよい。
【００６０】
単板カラーカメラにおいては補正テーブルをその画素配列そのままにフレーム構造の補正テーブル記録部に保存するか、あるいは図１２に示すようにフレーム構造の補正テーブルをそれぞれの色毎に分離してから水平方向において平均化処理を行ない、ライン別色別に用意した補正テーブル記憶部１０７６に保存すればよい。上述したように、水平方向において平均化できるのは撮像素子が水平ライン単位読み出し構造を持っているときのみである。
【００６１】
次のケースとして挙げられるのが撮像フレームレートと電灯線のサイクルとの比が整数倍でない場合である。この場合フリッカ波形はある一定の位相速度を持って画面内を移動する。図１３には、撮像フレームレートが毎秒３０フレーム（３０ｆｐｓ）の撮像装置を５０Ｈｚの電灯線のもとで使用した場合のフレーム間でのフリッカ周期について示している。５０Ｈｚの電灯線のもとでの蛍光灯の明滅周期は１００Ｈｚであり、１周期は１０ｍｓとなる。一方の３０ｆｐｓの撮像装置は１フレーム期間は３３．３ｍｓ（＝１００／３ｍｓ）なので、画像フレームに表れるフリッカの周期は３フレームとなる。したがってこの場合、連続する３フレーム分の補正テーブルを用意しておけば良いことが分かる。
【００６２】
ここで図１１の動作について説明する。まず第２の電子シャッタ値にてフリッカを含まないリファレンス画像を取り込み、第２のフレームメモリ１０４２に保存する。次に電子シャッタ設定値を電子シャッタ１に戻し、フリッカを含む参照画像を取り込み第１のフレームメモリ１０４１に保存する。
【００６３】
次に、これらの参照画像を用いて補正テーブルを算出し、順次補正テーブル記録部１（１０７１）に保存する。補正テーブル選択部１１５はテーブルの保存が終わった時点で保存の終了をモード設定部１０６に知らせる。モード設定部１０６では取り込む画像のｐｈａｓｅを、補正テーブルの算出が垂直ブランキング期間に終わっていればｐｈａｓｅ２とし、次のフレーム期間まで掛かってしまった場合にはｐｈａｓｅ３と決め、このｐｈａｓｅ値を補正テーブル選択部１１５に知らせると同時に第１のフレームメモリ１０４１を書き込み可能状態にされる。
【００６４】
補正テーブル算出部１０５は、ここで新たに取り込んだ第１のフレームメモリ１０４１の画像と既に取り込んである第２のフレームメモリ１０４２の画像から補正テーブルを算出し、補正テーブル選択部１１５によって現在のｐｈａｓｅが、２ならば補正テーブル記録部２（１０７２）へ、３ならば補正テーブル記録部３（１０７３）へと保存する。この後、残りのｐｈａｓｅでの補正テーブルの生成を同様の手順で行なう。このようにして、連続する３フレームのそれぞれに補正テーブルを用意する。
【００６５】
フリッカ補正処理においては、モード設定部１０６から現在のｐｈａｓｅを入力として受けた補正テーブル選択部１１５が、そのｐｈａｓｅにおける補正テーブルのデータを補正演算部１０８へと送り、フリッカ補正処理が実行される。このように補正テーブル記憶部１から３を順に算出するのとは別の構成例として、図１４のように第１のフレームメモリ１０４１を３つ用意しておき、第１の電子シャッタ値において連続する３フレームを順に１−１，１−２，１−３に保存した後、補正テーブル算出を行なうことも可能である。
【００６６】
また、ここではそれぞれの補正テーブル記録部はフレーム構造を有しているが、図１１の手法により３フレーム分の補正テーブルそれぞれをライン別色別に４つのテーブルに置き換えることも可能である。補正テーブル選択部１１５は同期信号にてタイミングを取りつつ、必要とされる色と位相のテーブルから補正を行なう位置のデータを選択し補正演算部１０８に送るか、あるいは図１５に示すように、補正演算部１０８が補正テーブル選択部１１５に必要な色・位相・位置のデータを要求し、補正テーブル選択部１１５が補正テーブルからこのデータを読み出し、補正演算部１０８に送ることも可能である。
【００６７】
また、図１６に示すように、第１の電子シャッタ値と第２の電子シャッタ値で撮影したリファレンス画像それぞれを水平方向において平均化することにより第１のフレームメモリ１０４１，２をカラム型平均値記憶部１１５に置き換えることも可能である。次に撮像フレームレートと電灯線のサイクルとの比が整数倍でない撮影条件において、図９と同様に参照画像を平均化する構成を図１７に示す。ここにおいても必要とするフレームの数については特に制限はないが、この例においては３フレームの平均としている。
【００６８】
ここで、第１のフレームメモリ１０４１群には１から３までのグループが用意されている。第１のフレームメモリ１０４１群の第１グループ（フレームメモリ１−１）が図１２におけるｐｈａｓｅ１における画像を、第２グループ（フレームメモリ１−２）がｐｈａｓｅ２、第３グループ（フレームメモリ１−３）がｐｈａｓｅ３をそれぞれ保存する。撮像装置はまず電子シャッタ設定値を第２の電子シャッタ値へ変更し連続する３フレームを取り込み、それぞれをフレームメモリ２−１から２−３へ順に保存する。次に第１の電子シャッタ値へと変更後、連続する９フレームを１−１−１，１−２−１，１−３−１，１−１−２，１−２−２，１−３−２，１−１−３，１−２−３，１−３−３の順に保存する。
【００６９】
これらすべてが取り終えたら、フレーム平均算出部１１３２はフリッカを含まないフレームの平均を算出し、フレームメモリ２−１に上書き保存する。このデータは補正テーブル算出部によって必要な時に呼び出される。次にフレーム平均算出部１１３１はフレームメモリ１−１の平均を算出する。補正テーブル算出部ではフレームメモリ２の平均とフレームメモリ１−１の平均からｐｈａｓｅ１でのフリッカ補正テーブルを算出し、補正テーブル記録部１に保存する。以下同様の処理をフレームメモリ１−２と１−３において行ない、それぞれｐｈａｓｅ２とｐｈａｓｅ３における補正テーブルを求め、補正テーブル記録部に保存すればよい。
【００７０】
また、本構成のフレームメモリの部分を図１０に示したフレームメモリ構成に置き換えれば、補正テーブル算出に使用するフレームメモリ１０４の量を半分に減らすことも可能である。フレーム内に表れるフリッカの位相毎にテーブルを用意する方法とは別に、基本的にフリッカ波形が同じ形状の波の繰り返しであることを利用してフリッカ波形１周期分のみのフリッカ補正テーブルからそれぞれの位相条件におけるテーブルを算出することも可能である。１００Ｈｚで点滅する蛍光灯下で３０ｆｐｓにて撮影する場合、図１３からわかるように電灯線の１周期を２πとすると、その位相速度はπ／３となっているので、フリッカ波形１周期分の波形をフレーム毎にπ／３づつ進めて補正テーブルを算出すればよい。位相速度が一定でない場合には図１８に示すように位相計測部１１６がそれぞれのフレームにおけるフリッカの位相を同期信号を使って算出し、補正テーブル生成部１１７にてこの位相値と基本フリッカ波形から補正テーブルを生成すればよい。
【００７１】
次に、本発明の第５実施形態に係る固体撮像装置について説明する。本発明の第５実施形態による蛍光灯フリッカ抑圧機能を有する固体撮像装置は、図１９に示されるように、ＭＯＳ型撮像素子１０１、Ａ／Ｄ変換器１０３、フレームメモリ１０４、領域選択部１３０、領域平均値算出部１０５、ラインメモリ管理部１０７、ラインメモリ１０６、ライン平均値算出部１０８、補正係数算出部１０９、補正演算部１１０、を備えている。
【００７２】
ＭＯＳ型固体撮像素子１０１は、この上にマトリクス状に配置された画素により入射光を信号電荷に変換する。この電荷は順次走査されて画素から読み出された後、撮像素子内にてアナログ信号処理され映像信号として撮像素子外に出力するものである。
【００７３】
Ａ／Ｄ変換器１０３は、固体撮像素子１０１から出力される映像信号をデジタル信号に変換した後、フレームメモリ１０４に出力するものである。フレームメモリ１０４は、Ａ／Ｄ変換器１０３によってデジタル信号に変換された映像信号を１フレーム分保存するものである。領域選択部１３０は、フリッカ補正を行なうフレーム内のある領域内に属する１ラインにおいてその周辺の領域を選択するものである。
【００７４】
領域平均値算出部１３１は、領域選択部１３０によって指定された領域をフレームメモリ１０４より読み出し、この領域内のデータの平均値を算出するものである。ラインメモリ１３６は、領域平均値算出部にて求めた値を一時的に保存するものである。ラインメモリ管理部１３２は、領域平均値算出部１３１にて求められた値をいずれのラインメモリ１３６に保存するか選択し、さらにそのラインメモリ１３６のどの位置に保存するかを決めその場所にこの平均値を保存するようラインメモリ１３６に命令するものであると同時に他の機能ブロックからの要求に応じて必要とされる領域平均値をラインメモリ１３６から取り出すものでもある。
【００７５】
ライン間平均値算出部１３３はラインメモリ１３６に保存されている領域平均値を複数のラインメモリの任意の位置から呼び出し、これら複数の領域平均値の平均を求めるものである。補正係数算出部１３４はフリッカ補正対象のフレームと同じフリッカ位相を有するラインメモリ１０６からターゲットラインにおける領域平均値を呼び出すとともに、ライン間平均値算出部１３３にて算出されたターゲットラインでのライン間平均値との間で演算を行い補正係数を算出するものである。
【００７６】
補正演算部１１０はフレームメモリ１０４よりフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すとともに、補正係数によってこのラインのゲインを制御して出力するものである。
【００７７】
ここはまずこのような構成を備えた本実施形態によるフリッカ抑制機能を有する固体撮像装置の原理を簡単に説明する。任意のフレームにおけるフリッカを含まない信号をＳ（ｘ，ｙ）、フリッカをＦ（ｘ，ｙ）とすると、フリッカを含む映像信号はＳ（ｘ，ｙ）・Ｆ（ｘ，ｙ）と書ける。ここでｘは画像フレームにおける水平方向の座標を、ｙは垂直方向の座標をあらわす。ＭＯＳ型固体撮像装置の場合、フリッカはｙ方向において周期性を有する波形として表れるのでＦ（ｙ）と簡略化する。もしｘ方向での変動を考慮する必要がある場合には、処理領域を別に設定して処理する。フリッカ補正を実現するにはＦ（ｙ）を推定すれば良い。ここでは５０Ｈｚの照明下にて毎秒３０フレーム取り込む固体撮像装置について考えると、この時、フリッカは図２０に示すようにフレーム間周期が３フレームで、位相速度が１０／３ｍｓの波形として表れる。ここでフレーム内のある点（ｘ１，ｙ１）においてその信号Ｓ（ｘ１，ｙ１）がフレーム間において一定であり、かつ１周期分のフリッカ値の合計が常に一定であると仮定する。これを式で表わすならばＳ１（ｘ１，ｙ１）＝Ｓ２（ｘ１，ｙ１）＝Ｓ３（ｘ１，ｙ１）＝Ｓ（ｘ１，ｙ１）であり、かつ、Ｆ１（ｙ１）＋Ｆ２（ｙ１）＋Ｆ３（ｙ１）＝Ｃとなる。ここでＣは定数を意味する。この仮定において最初のフレームにおける任意の座標（ｘ１，ｙ１）での値を連続する３フレームでの平均で割る次式の計算を行なう。
【００７８】
Ｓ（ｘ１，ｙ１）・Ｆ１（ｙ１）／｛Ｓ（ｘ１，ｙ１）Ｆ１（ｙ１）＋Ｓ（ｘ１，ｙ１）・Ｆ２（ｙ１）＋Ｓ（ｘ１，ｙ１）・Ｆ３（ｙl）｝＝Ｓ（ｘ１，ｙ１）・Ｆ１（ｙ１）／Ｓ（ｘ１，ｙ１）・Ｃ＝Ｆ１（ｙ１）・Ｃ’となりｙ１でのフリッカ値が推定できる。この方式を実際の撮像装置に用いる場合、最も問題となるのが「フレーム内のある点（ｘ１，ｙ１）における信号Ｓ（ｘ１，ｙ１）がフレーム間においては一定である」という仮定である。撮影対象は常に動いているため、Ｓ（ｘ１，ｙ１）はフレーム間において一定とならない。
【００７９】
この問題を解消するために、ここでは（ｘ１，ｙ１）の周辺の領域を選定し、この領域の平均値をこの座標の最尤値とする方法を用いている。「１周期分のフリッカ値の合計が常に一定」という仮定に関しては、蛍光灯波形がサイン波形の絶対値に近似できることから略々問題ないとみなすことができる。
【００８０】
このような構成を備えた第５実施例形態によるフリッカ抑制機能を有する固体撮像装置は、次のように動作する。固体撮像素子１０１によって取り込まれた映像信号は、Ａ／Ｄ変換器１０３にてディジタル信号に変換され、フレームメモリ１０４に保存される。領域選択部１３０ではユーザあるいはシステムによって指定されたフリッカ補正指定領域内のある１ラインの周辺を選択する。この選択領域は例えば図２１のように指定ラインを中心としてその前後ｎラインの領域やその領域から動きのある領域を削除したものなど任意の形状が考えられる。この領域指定は領域平均値算出部１０５に渡され、ここではフレームメモリからこの指定領域内のデータを読み出すとともにこれらのデータの平均値を算出する。この値は先ほど選択されたあるラインの最尤値として用いられる。
【００８１】
この算出値はラインメモリ管理部１３２によってラインメモリ１０６に保存される。このラインメモリ管理部１３２では、複数用意されているラインメモリ１３６のうちの１つを選択し、このラインメモリ１３６の任意の位置にこの平均値を保存する。この処理はフリッカ補正を行なう領域内のラインの数だけ繰り返し行なわれる。ここで使用するラインメモリ１３６の数だが、システムの構成に依存する。例えば毎秒３０フレームにて取り込みを行なう撮像システムならば、５０Ｈｚの蛍光灯下において図２のようにフレーム間におけるフリッカの周期は３フレームとなるので図１９のように３つのラインメモリ１３６１〜１３６３を有する構成とすればよい。１５ｆｐｓ，６０ｆｐｓの場合も同様にフレーム間フリッカの周期は３フレームなので３つのラインメモリが必要である。
【００８２】
また、この撮像素子上にカラーフィルタが設けられている場合には、フリッカ補正を信号処理の前に行なうならば、色フィルタの種類毎にフレーム間フリッカ周期分のラインメモリが必要となる。また、フリッカ補正を信号処理の後に行なうならば、図２２に示すように、信号処理部にてＹＣ分離した後にフリッカ補正をＹ信号のみにおいて行なえば良いので、必要とされるラインメモリは白黒センサの場合と同じくフレーム間フリッカ周期分、この場合ならば３本だけ用意すれば良いことになる。
【００８３】
これら複数本のラインメモリ１３６の内容はラインメモリ管理部１３２により管理される。ラインメモリ１０６１，１０６２，１０６３には連続するフレームにおける領域平均値が保存されているが、この内容の更新は１０６２を１０６３に、１０６１をl０６２に順次移動して１０６１を常に最新のフレームにおいて使用するか、あるいは最も古い内容を持つラインメモリを最新のフレーム用に割り当てこれに上書きすれば良い。
【００８４】
現在のフレームにおいて補正領域内のすべてのラインにおいて領域平均が求められたら、ラインメモリ１０６２に１つ前のフレームでの領域平均値、ラインメモリ１０６３に２つ前のフレームでの領域平均値が記録されているか確認する。もしされてない場合には、これらがすべて用意できるまで領域平均算出のみを繰り返す。既に用意されている場合には、補正係数算出処理を行なう。
【００８５】
補正係数算出処理部１３９はまずこれから補正係数を求めようとしているターゲットラインにおけるラインメモリ１０６１，１０６２，１０６３の平均をライン間平均値算出部１０８にて求める。この値は補正係数算出部１３４へと渡される。次にラインメモリ管理部１３２はラインメモリ１０６１からターゲットラインにおける領域平均値を呼び出しこれを補正係数算出部１３４へと渡す。補正係数算出部１３４ではライン間平均値算出部１３３からの値を領域平均値にて割りフリッカ補正係数を算出する。この補正係数は補正演算部１１０に渡され、フレームメモリ１０４から読み出されるターゲットライン上のデータのゲインを変えてフリッカを抑圧する。
【００８６】
補正係数算出部１３４では補正係数を算出するとともに補正係数の良否の判定も同時に行なう。まずこの判断基準としてフリッカ補正係数の振幅を検査する。フリッカの振幅は撮像素子の蓄積時間設定によってどの程度であるか原理的かつ実験的にある程度決まってくる。図１９の場合ならば、蛍光灯が５０Ｈｚにて点灯しているので、その１周期は１０ｍｓとなる。蓄積時間がこれよりも長い場合には、図４２（ａ）における積分区間が蛍光灯波形の１周期以上となるためその振幅が小さくなり、フリッカ振幅対ダイナミックレンジ幅が数パーセント程度となる。これに対して１０ｍｓ以下の場合、積分波形
【数８】
【００８７】
ここでの補正係数推定では平均する領域を調節し絵柄の影響を減らして、Ｓ１（ｘ，ｙ）=Ｓ２（ｘ，ｙ）=Ｓ３（ｘ，ｙ）が成り立つようにしているが、撮像装置が大きく動いた場合あるいは撮影対象が移動した場合にはこの仮定が成り立たなくなり、補正係数に誤差が生じることになる。これを検出するために補正係数算出部では蓄積時間によって決定される上記のフリッカ振幅を閾値とし、これよりも大きい値になってしまった場合には、領域選択部１３０に設定領域が適正でないことを知らせる。また別の判定方法としては、推定されたフリッカ補正係数のラインメモリ上での波形をチェックすることでも可能である。このフリッカ補正係数波形はフリッカ波形の逆数であるので、基本的にはその基となる蛍光灯波形の周期性をそのまま持っているはずなので、図２３（ａ）の右側のようにその周期性が損なわれている部分がないかを調べることによりその適性度を検査できる。
【００８８】
この通知を受けて領域選択部１３０はその平均領域を変更したり、あるいは動きのある部分を検出しその部分を除くように変更し、領域平均値を計算し直す。ここでの構成例では選択された領域において平均値を算出し、その値を任意の行の代表値としていたが、このターゲットライン周辺の値を重視するように重み付けしたりするなどして最尤値算出の精度を向上させることも可能である。
【００８９】
本発明の第６実施形態は、図２４に示されたような構成を備え、時間平均値算出部１３５を持つことに特徴がある。前述の第５実施形態においては絵柄の影響あるいはノイズの影響を減らすために、フレーム内においてあるターゲットライン周辺にて平均化していた。しかしながらフレーム内を移動するものがあった時などはこれの影響がラインメモリ１３６１，１３６２，１３６２にそれぞれ独立に乗るため補正係数の推定値にこの物体の影響を及ぼしてしまう。この問題については時間的に平滑化する手法が有効である。
【００９０】
図２４において、平均値算出部１３５は、領域平均値算出部１３１の他に、ラインメモリに保存されているデータを呼び出すデータ呼び出し部１３５１と、このデータと現在のフレームにおいて得られた平均値との間で平均を求める時間平均値算出部１３５２とを備えている。あるフリッカ補正領域内のあるターゲットラインにおいて、その周辺領域から求められた領域平均値Ａｍ（ｔ）とラインメモリのいずれかに保存されているフリッカ周期１周期前での領域平均値Ａ’ｍ（ｔ−１）の間で平均を算出した後、Ａ’ｍ（ｔ−１）が保存されていた位置に保存する。この処理は次のように表される。
【００９１】
【数９】
【００９２】
本発明の第７実施形態は図２５に示されたような構成を備え、画像フレーム内に設定したフリッカ補正領域内の任意の水平ラインにおいて、一定範囲を選択する範囲選択部１４０と、その選択された範囲内の平均を算出するライン内平均算出部１３９と、ラインメモリに保存されているある任意のライン内平均データにおけるそのデータ周辺のデータを取り出す窓の幅を決める窓幅選択部１３８と、窓幅選択部によって設定された窓領域内のデータを読み出し平均値を算出する窓内平均値算出部１３７とを有することに特徴がある。
【００９３】
これまで述べてきた第５，第６実施形態においては、図２０に示すように、任意の範囲を有する選択領域における平均を求めて、これをあるターゲットラインにおける最尤値としていたが、領域の設定の自由度が高いためその設定に手間がかかる場合があり得る。
【００９４】
ここでは、まずフリッカ補正を行なう領域を図２６の補正領域＃１あるいは＃２のように、縦方向において区切り、その領域内においてまず各行の平均を求め、これを一旦ラインメモリに保存しておき、次に窓幅選択部１３８によって設定された窓領域内のデータを読み出して平均化する構成となっている。これはあるターゲットラインの周辺に長方形の領域を割り当てこの領域内において平均化しているのと同じことである。補正領域は＃１のように画像フレーム全体に渡るものであっても良いし、＃２のように１部分であってもよい。このようにあらかじめ区切っておくことで平均化に用いる領域の選択の自由度を減らし処理を簡略化するものである。区切り方は画像フレームを等分割したり、照明条件の分かれ目を検出し分割するなどの方法で行なう。
【００９５】
範囲選択部１４０では補正領域内のターゲットラインが画像フレームのどの行のどの範囲に相当するかライン内平均値算出部１３９に指定し、ライン内平均値算出部１３９はフレームメモリ１０４からデータを読み出した後平均を求める。このデータはラインメモリ１３６に一旦保存される。補正領域内すべての行において平均値を求め終えると、窓幅選択部１３８は図２７のように現在必要としている位置の前後のデータを選択し、このデータの読み出しをラインメモリ管理部１３２に指示し、読み出されたデータは窓内平均値算出部１３７に渡される。
【００９６】
またラインメモリ管理部１３２はラインメモリ１３６１，１３６２，１３６３から現在のターゲットライン位置ｍでのデータをそれぞれから読み出し、ライン間平均値算出部１３３にてこれらの平均を求める。フリッカ補正係数の算出および補正は前述の第１実施形態での処理と同じで良い。補正係数算出部１３４では前述の例と同様に補正係数の良否を判定し、良くなければ窓幅選択部１３８にこれをフィードバックし再度係数を算出する。平均窓幅選択部が設定する範囲の幅は、はじめ１あるいは実験的に求めた適当な値に設定し以降は補正係数算出部１３４でのフリッカ係数の判定によって動的に変更させるか、あるいは処理を簡略化する意味でこれを固定にすることも可能である。
【００９７】
図２５においては平均値算出部を２つ持っているが、図２８のようにこれを共有化しライン間平均値と窓内平均値を交互に計算する構成とすれば、回路規模を小さくすることが可能である。また図２９のようにフレーム間において平均を取る処理を持たせることによりフレーム内を移動する物体などによる影響を減らすことが可能である。
【００９８】
本発明の第８実施形態は、図３０に示されたような構成を備え、補正係数算出部１３４が推定した補正係数を一時保持するラインメモリ１３６４を持つことに特徴がある、画像フレームの１部分において被写体が動いていたりした場合は、その部分においてのみ補正係数の推定に失敗することがある。この場合は、図３０のように補正係数を一旦ラインメモリに保存しておき、係数の推定がうまくいかなかった範囲を良好な係数推定ができた範囲のもので置き換えることにより、補正の効果を上げることができる。例えば、図２３のようにある範囲において係数の推定に失敗した時には、フリッカ波形の前あるいは後の周期のデータにて置きかえることで良好なフリッカ補正が可能となる。
【００９９】
画像フレーム全体に渡って動きがあった場合などは、図３０の方式でも十分でない。この場合に対処するには図３１のような構成が有効である。この構成では品質の良いフリッカ推定係数が得られたときには、これをラインメモリ１３６５に保存しておく。係数推定が略々全域に渡って失敗したときあるいはその品質が悪いときには、ラインメモリからフリッカ係数を読み出しこれと置き換えている。フリッカ推定波形の品質の良否は、図１９の補正係数算出部における補正係数の良否判定に使用したアルゴリズムを用いれば良い。フリッカ補正係数波形の振れ幅が基準値以下であり、かつ、その波形にフリッカ波形と同じ波長を有する周期性が見られるならば、推定波形の品質が高いと考えるのが適当である。
【０１００】
これまでの例においてはＭＯＳ型固体撮像素子の出力は一旦フレームメモリに保存されていたが、フレームメモリを使用することは本撮像装置を実現する際にコスト上問題となる。これを解消する構成として図３２が挙げられる。この構成は前述のいづれの構成例とも異なり、フリッカ補正係数はこれを算出したそのフレームにおいて使用されるのではなく、フレーム間フリッカ周期の１周期後に、この構成例ならば３フレーム後に使用する方式を用いている。
【０１０１】
この処理手順は以下の通りである。まず撮像素子出力はそのライン毎に順次読み出され、ラインメモリに一旦保存される。このラインメモリにおいて必要な範囲のみを読み出しライン内平均を算出し、一旦ラインメモリ１３６に保存する。その後、ターゲットライン位置における３つのラインメモリ間での平均値とターゲットのフレームと同じ位相のラインメモリにおいて算出した平均値との比から補正係数を求める。この係数はラインメモリ管理部１３２によって係数保存用ラインメモリ１３６１から１３６２のいずれかの適切な位置に保存される。このデータはフレーム間フリッカ周期において１周期後に補正演算部１１０にロードされフリッカ補正に使用される。
【０１０２】
図３２の構成においては、フレーム間フリッカ周期分だけラインメモリを備えているが、フリッカ波形はフレーム内のいずれの場所でも略々同様の形状を有しているものと仮定して、この波形のうち１波長分だけを記録しておき、補正演算部１１０はこの１波長分の波形から各フレーム毎のフリッカ補正波形を算出するように構成しても良い。ここまでの構成例では画像フレームのある領域を選択し、その部分においてのみフリッカ補正を行なっているが、図３３あるいは図３４のような構成とすることで、複数の領域を選択し、それぞれの領域毎に最適なパラメータを設定することで補正効率を上げることが可能である。特に、この方式は蛍光灯照明の照明条件が非均一的であるとき有効である。例えば画像フレームのある一部分のみ蛍光灯照明が使用されているときに、すべての領域が蛍光灯にて照明されているとの仮定で補正を行なうと、蛍光灯が当たっている領域は問題ないが、それ以外の蛍光灯フリッカがない部分に逆にフリッカを作ってしまうことにもなる。これを防ぐ方法としては画像フレームを図３５のように分割し、それぞれの領域毎にフリッカ補正係数の算出とその係数波形の振幅の検査を行なってフリッカがあるかを検出し、もしなければその領域は補正対象から外せば良い。 図３３においては、係数推定およびフリッカ補正をそれぞれ別個のモジュールにより行なっている。それぞれの領域において補正された画像データは画像マッピング処理部１４１により１つに合成される。また、図３４に示すように、それぞれの領域を順番に１つのフリッカ補正処理モジュールにて処理し、画像マッピング処理部１４１にて順次合成する構成も可能である。
【０１０３】
ここまでの構成例においてはいずれも画像フレーム全体ではなく一部分のみを補正しているため、補正領域とそれ以外の領域との境界で不連続が生じ見苦しくなる可能性がある。この問題を解消するする手段としてその境界において補正係数を抑圧する図３６のような方法が考えられる。例えば、図３５（ａ）において、＃１と＃３は補正処理を必要とせず、＃２のみを補正するような場合、その境界を目立たなくするためは補正係数をその境界付近において抑圧すればよい。その抑圧方法はいろいろ考えられるが、例えばある任意のラインｙ１における補正係数Ｃ（ｙ１）を図３６（ａ）のように、「く」の字型に折り曲げたり、あるいは図３６（ｂ）のように階段状したりすれば良い。図３５（ａ）において、＃１、＃２において補正処理が必要な場合、補正領域が隣接しているので、２つの補正領域をオーバーラップさせ、それぞれの境界において図３６（ｃ）のようにそれぞれの領域の補正係数Ｃ１（ｙ１）とＣ２（ｙ２）を抑圧すれば良い。
【０１０４】
また、複数の領域を補正する方法として、図３７のような構成も可能である。この構成では補正係数算出部１３４は１つだけで、それぞれのフリッカ領域は同じ係数テーブルを参照し補正を行なう。この構成では、フリッカ係数を算出するのに使用した領域以外でフリッカ補正が十分でない可能性はあるが、いずれの蛍光灯も同じ電灯周期にて動作しているのでフリッカ位相がずれる可能性はないことから極端な補正誤差が生じることはなく、撮像装置の簡略化に適した構成となる。
【０１０５】
またこの構成のもう１つの特徴は、一旦フリッカ補正テーブルを作成したらこのフリッカ推定および補正部の機能を止めてフリッカ補正部のみを駆動させるようにし、後は数秒に一回フリッカ推定および補正部を動作させてフリッカテーブルを更新するようにすれば、撮像装置の低消費電力化が図れる。
【０１０６】
本発明の第９実施形態は、図３８に示されたような構成を備え、ＭＯＳ型固体撮像素子１０１の周辺に測光素子２０１を配置させている点に特徴がある。上記第１、２および３実施形態では予め補正テーブルを算出してフリッカ抑圧を行なっているため、照明条件が変わった場合には、画像の取り込みを中断して再度このテーブルを作り直す必要がある。
【０１０７】
これに対し、この第９実施形態においては、固体撮像素子１０１による画像の取り込みと平行して、撮像素子１０１の周辺に配置された測光素子２０１が常にフリッカの状態を観測し、この観測データに基づいてフリッカ抑圧を実現する方式である。
【０１０８】
外部に設けた測光素子を用いてフリッカ補正を行なう場合、一番の問題点は撮像素子１０１との感度の違いの補正にある。測光素子の感度特性が撮像素子の画素の感度特性と異なるばかりでなく、撮像素子はその前面にあるレンズ系の特性や設定により撮像素子面が受ける光量の条件が一定ではない。
【０１０９】
この問題点を解決するためにここでは第２ないし第４実施形態に使われている補正テーブルを用いる。前記実施形態における補正テーブルは画像フレーム内に表れるフリッカＦ（ｙ）の逆数であるので、外部測光系２０４の出力波形の振幅を補正テーブルを利用して合わせれば良い。この処理は以下の順序により行なわれる。まず外部測光素子２０１により撮像装置周辺の光量の変動を計測する。この計測波形Ｌ（ｔ）から映像の垂直方向に表れるフリッカＦ（ｙ）を得るには、それぞれの画素において、それぞれの画素の電荷蓄積期間分だけ計測波形Ｌ（ｔ）を積分する必要がある。
【０１１０】
ここでは説明を簡略化するために、水平方向での電荷蓄積のタイミングが同じ、すべての行で電荷蓄積時間が同じであるとする。この条件のもとで撮像素子１０１のｙ行目の画素が電荷蓄積を開始した時刻Ｔｓから蓄積を終了する時刻Ｔｅまで計測波形を積分すると、この積分値Ｉ（ｙ）
【数１０】
Ｆ（ｙ）＝Ｉ（ｙ）×Ｃ
（Ｃは撮像素子の画素と測光素子の感度の違いによって決定される比例定数）の関係が成り立っている。
【０１１１】
次にこの比例定数Ｃを求める必要がある。ここではＦ（ｙ）が補正テーブルという形で分かっているので、補正テーブルの逆数をＩ（ｙ）で割ることによりこの比例係数Ｃが求められる。この計算はゲイン補正部２０３にて行われ、この結果はゲイン補正部２０３内のレジスタに保存される。これ以降の動作は外部測光系２０４から得られるフリッカ波形Ｉ（ｙ）と比例係数Ｃから補正テーブルを作りフリッカ抑圧を行なえばよいので、比例係数Ｃが求められた時点でモード設定部１０６はフリッカ補正準備モードをフリッカ補正モードに変更すると共に、フレームメモリ１０４や補正テーブル算出部１０５を停止できる。
【０１１２】
また、図３９に示すように外部測光素子２０１の上にレンズとレンズ設定部２０７を設置することにより、撮像素子が取り込んでいる画角における光量の変化を測定することが可能である。レンズ設定部２０７は、撮像素子１０１のレンズ設定部２０７１からレンズ設定値あるいは設定コマンドを受け、測光素子用のレンズの設定を変更すればよい。これにより例えば、蛍光灯照明と太陽光が混在するような環境において、太陽光を受けている領域を撮影している場合、外部測光素子が蛍光灯フリッカを誤って測定してしまうことを防ぐことができる。
【０１１３】
図３９の場合、撮像素子用撮像レンズと外部測光素子用撮像レンズの２つの光学系を必要とするためコストが高くなる。これを低減し構成を簡略化するために、図４０にあるように撮像素子用レンズと撮像素子の間にハーフミラー等の光路を２つのパスに分ける分光器２０８を置いたり、図４１のように測光素子を撮像素子の近傍に設置することで、レンズを共用させることも可能である。図４１においては、測光素子が撮像素子と同じレンズの下に設置されているため絵柄成分の影響を受けやすいので、測光素子上部にすりガラスのような光を散乱させる構造物を設置したり、測光素子それ自体が広い領域から集光するような構造にしたり、あるいはその設置位置を撮像素子面より前後にずらして非焦点位置になるようにしたりすることで絵柄成分の影響を排除することが可能である。
【０１１４】
なお、図示詳細説明は省略するが、この第８実施形態に係る固体撮像装置は、第２ないし第４実施形態に係るフリッカ補正演算手段を備えたもののみに適用を限定されることなく、第１および第５ないし第８実施形態に係るフリッカ補正演算手段を備えたものにも適用可能である。したがって、図１９ないし図３７を用いて説明した固体撮像装置に外部光量測定計２０４を組み合わせて適用することにより本発明のより好適な実施形態とすることもできる。
【０１１５】
また、第８実施形態に係る固体撮像装置においては、光学系を通して得られる光量データのみを制御要素として取り込んでいるが、本発明はこれにも限定されず、外部測光のみに依存するのではなく電子シャッタ設定手段により得られた電子シャッタ値により外部光量を推定して用いるようにしても良い。
【０１１６】
【発明の効果】
上述したように本発明によれば、推定したフリッカ波形に基づいて撮像素子から出力される映像信号の利得を制御することにより、蛍光灯照明下における蛍光灯フリッカを抑圧し高画質を実現することが可能である。
【図面の簡単な説明】
【図１】本発明の第１実施形態による固体撮像装置の構成を示すブロック図。
【図２】本発明の第２実施形態による固体撮像装置の構成を示すブロック図。
【図３】同固体撮像装置のフレーム構造を持った補正テーブルをライン構造に変換する水平ライン平均値算出部を備える構成を示すブロック図。
【図４】同固体撮像装置のＡ／Ｄ変換出力を水平ラインにおいて平均化する水平ライン平均値算出部を備える構成を示すブロック図。
【図５】同固体撮像装置の２つのフレームメモリを１つにし、簡略化された構成であることを示すブロック図。
【図６】第２実施形態におけるＡ／Ｄ変換出力を水平ラインにおいて平均化する水平ライン平均値算出部を備える構成を示すブロック図。
【図７】第２実施形態においてフレームメモリと補正テーブル記憶部の機能をフレーム型データ記録部に置き換えた構成を示すブロック図。
【図８】同固体撮像装置のフリッカ補正出力の補正度を検査するフリッカ検出器を備える構成を示すブロック図。
【図９】本発明の第３実施形態による平均化されたフレームメモリにより補正テーブルを算出する構成を示すフロック図。
【図１０】第３実施形態において１つのフレームメモリにより画像フレームの平均を算出する構成を示すブロック図。
【図１１】本発明の第４実施形態による複数の補正テーブル記憶部とこれらの１つを選択する補正テーブル選択部を備える構成を示すフロック図。
【図１２】第４実施形態において水平ライン平均値算出部を備える構成を示すブロック図。
【図１３】固体撮像装置において蛍光灯フリッカのフレーム間での周期性を示す説明図。
【図１４】上記第４実施形態のフレームテーブルにおいて、フリッカの周期分だけフレームメモリを備える構成を示すブロック図。
【図１５】第４の実施の形態の補正テーブル選択部において、補正演算部からの要求によって補正テーブルを選択する構成を示すブロック図。
【図１６】第４実施形態においてＡ／Ｄ変換出力を水平ラインにおいて平均化する水平ライン平均値算出部を備える構成を示すブロック図。
【図１７】第４実施形態において平均化されたフレームメモリにより補正テーブルを算出する構成を示すブロック図。
【図１８】上記第４実施形態において、位相計測部と補正テーブル生成部とを備える構成を示すブロック図。
【図１９】本発明の第５実施形態による固体撮像装置の構成を示すブロック図。
【図２０】ＭＯＳ型撮像素子におけるフリッカ発生の原理を示す説明図。
【図２１】任意のターゲットラインにおける最尤値推定に使用する領域を示す説明図。
【図２２】同固体撮像装置において、フリッカ補正処理を行なう前に、映像信号処理を行なう構成を示すブロック図。
【図２３】フリッカ補正係数波形に関する説明図。
【図２４】本発明の第６実施形態による平均値算出部に時間平均算出部を具備づる構成を示すブロック図。
【図２５】本発明の第７実施形態によるライン平均値算出部、窓幅選択部と窓内平均値算出部を備える構成を示すブロック図。
【図２６】第７実施形態のフリッカ補正を行なう領域とその領域内の任意のターゲットラインにおけるライン平均値算出の構成を示す説明図。
【図２７】上記第７実施形態において、窓内平均値とライン間平均値それぞれの算出方法を示す説明図。
【図２８】上記第７実施形態において、窓内平均値とライン間平均値両方を算出する平均値算出部を備える構成を示すブロック図。
【図２９】上記第７実施形態における時間平均算出部を備える構成を示すブロック図。
【図３０】本発明の第８実施形態による補正係数を保持するラインメモリを備える構成を示すブロック図。
【図３１】上記第８実施形態における補正係数を保持するラインメモリを備える別の構成を示すブロック図。
【図３２】同固体撮像装置において、ＭＯＳ型撮像素子出力を保持するラインメモリを備える構成を示すブロック図。
【図３３】同固体撮像装置において、複数のフリッカ補正処理部を備える構成を示すブロック図。
【図３４】同固体撮像装置における１つのフリッカ補正処理部が複数の領域のフリッカを補正する構成を示すブロック図。
【図３５】フリッカ検出検査における検査領域の設定方法に関する説明図。
【図３６】同固体撮像装置において、フリッカ補正領域と非フリッカ補正領域との境界における処理に関する説明図。
【図３７】同固体撮像装置におけるフリッカ補正部を備える構成を示すブロック図。
【図３８】本発明の第９実施形態による外部測光系を備える構成を示すブロック図。
【図３９】上記第９実施形態における外部測光系に撮像レンズを備える構成を 示すブロック図
【図４０】上記第９実施形態における外部測光系に備える撮像レンズを固体撮像素子に使用するものと共有する構成を示すブロック図。
【図４１】上記第９の実施の形態における外部測光系を固体撮像素子の近傍に設置する構成を示すブロック図。
【図４２】ＭＯＳ型撮像素子における電荷蓄積時間とフリッカの関係を示す説明図。
【符号の説明】
１ 固体撮像素子
２ 電子シャッタ値設定手段
３ Ａ／Ｄ変換手段
４ 記憶手段
１０ 補正演算手段
１０１ ＭＯＳ型固体撮像素子
１０２ 電子シャッタ設定部
１０３ Ａ／Ｄ変換器
１０４，１０４１，１０４２ フレームメモリ
１０５ 補正テーブル算出部
１０６ モード設定部
１０７，１０７１，１０７２，１０７３ 補正テーブル記録部
１０７５ カラム型補正テーブル記憶部
１０７６ ライン別色別補正テーブル記憶部
１０８ 補正演算部
１０９ 同期信号発生部
１１１ 水平ライン平均値算出部
１１２ フリッカ検出器
１１３，１１３１，１１３２ フレーム平均算出部
１１４ フレーム平均順次算出部
１１５ 補正テーブル選択部
１１６ 位相計測部
１１７ 補正テーブル生成部
１１８，１１８１，１１８２ カラム型平均値記憶部
１１９ フレーム型データ記憶部
１３０ 領域選択部
２０１ 外部測光素子
２０２ 積分器
２０３ ゲイン補正部
２０４ 外部測光系
２０５ 補正値生成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a solid-state image pickup device using an XY address type solid-state image pickup device, for example, a CMOS (Complementary Metal Oxide Semiconductor) type image pickup device, and in particular, an alternating current such as a fluorescent lamp flashing in synchronization with a power cycle. The present invention relates to a solid-state imaging device that improves so-called flicker in which the luminance and hue of an imaging screen change under a flashing light.
[0002]
[Prior art]
Conventionally, when shooting with a television camera under fluorescent lighting, interference occurs due to a shift between the vertical synchronization frequency of the television camera and the flickering frequency of the fluorescent lamp, and a phenomenon called fluorescent lamp flicker occurs. . In a camera using a CCD (Charge Coupled Device) type imaging device, the effect of flicker occurs between frames or fields because charges are accumulated in units of one frame or one field. Therefore, in the CCD type image pickup device, the correction of the fluorescent lamp flicker can be performed relatively easily and has already been put into practical use.
[0003]
Taking an IT type CCD image sensor as an example, the entire screen of the signal exposed in the same period by the photodiode is once transferred to the vertical transfer CCD on the element, and one horizontal line is read out. In other words, the IT CCD image sensor has an analog frame or field memory on the element. For this reason, when photographing is performed under an illumination that is AC-lit at 50 Hz using a NTSC (National Television System Committee) type camera using an IT type CCD image sensor, the brightness of the entire screen with a period of approximately three fields. And hue change.
[0004]
As a means for correcting this flicker in the IT type CCD image sensor, the exposure time is set to 1/100 second in the electronic shutter mode and the exposure time for each field is made equal, and the flicker is approximately three field cycles. By using this phenomenon, the current luminance and hue fluctuations are predicted from the video signal three fields before so that the average value of the video signal in each field becomes constant, and flicker is suppressed. Method is used.
[0005]
On the other hand, for example, a CMOS type image pickup apparatus is an XY address scanning type, and since the exposure period sequentially moves for each pixel by the read clock cycle, the exposure timings of all the pixels are different. For this reason, a difference occurs in the amount of light of the fluorescent lamp illumination that each pixel integrates during the accumulation period, and this appears as flicker in one screen. If this is expressed using an equation, the waveform f (t) of one cycle of T, which is flickering, is integrated from time x to period X.
[Expression 1]
[0006]
FIG. 42A shows an example of a flicker generation model. In order to simplify the explanation here, the fluorescent lamp flickering waveform, its cycle, and the accumulation period are each shown.
[Expression 2]
[Equation 3]
[Expression 4]
[Equation 5]
[0007]
Incidentally, x = T between i and x in FIG. s Xi (
[0008]
As one means for correcting the fluorescent lamp flicker, as shown in FIG. 42 (b), a method of setting the exposure time to one cycle of the blinking cycle of the fluorescent lamp or an integral multiple thereof is conceivable. When the accumulation time is set in this way, even if the fluorescent lamp is flickering, the fluorescent lamp flicker can be suppressed because the integral amount of the fluorescent lamp waveform is the same in all pixels. This will be described using the above formula. As an example, consider the case of “X = 10 ms”.
[Formula 6]
[Expression 7]
[0009]
As another correction method that can arbitrarily set the exposure time, the flicker component is extracted from the output of the image sensor or a video signal obtained by signal processing of this output, and the gain of the luminance signal and color signal is imaged so as to suppress this flicker fluctuation pattern. Control the flicker by controlling each location in the frame, and store the flicker waveform as a template in the memory, and obtain the synchronization between this template and the image sensor output by the blinking timing of the fluorescent lamp detected by the external sensor A correction method has also been devised.
[0010]
However, it is generally very difficult to detect a flicker waveform in a frame from a video signal except when shooting an achromatic image such as a white wall and having no picture. In order to extract a flicker component in a frame from a video signal, a method of removing components other than the flicker component by using a low pass effect by integration within a frame or between frames or using an analog or digital low pass filter is employed.
[0011]
However, it is often the case that a pattern of substantially the same frequency band as the flicker component is mixed in the photographic subject, and this interferes with accurate flicker waveform extraction. In particular, when the field angle of the imaging device is fixed, the flicker cycle between frames is 3 frames under a fluorescent lamp that is lit at a frequency of 50 Hz. Since the flicker waveform comes to the same place every three frames, the influence of the pattern cannot be removed.
[0012]
As for the method of storing one flicker waveform in a memory as a template, it is well known that the flickering waveform of the fluorescent lamp is unique to each lighting device of the fluorescent lamp. For this reason, in order to construct a flicker correction system, it is necessary to investigate a large number of flicker waveforms and prepare them as a database. It cannot respond to the lighting device for fluorescent lamps. As described above, in the solid-state imaging device based on the XY address method, flicker waveform extraction cannot be easily predicted as in the case of the CCD solid-state imaging device. There is a problem that the image quality is deteriorated.
[0013]
[Problems to be solved by the invention]
As described above, conventionally, when an image is taken under fluorescent lamp illumination using a solid-state imaging device of the XY address method that performs readout with different accumulation periods in units of pixels or lines, the exposure amount is different for each location on the imaging surface. There is a problem that so-called fluorescent flicker occurs. In view of the above circumstances, the present invention improves image quality by sufficiently suppressing horizontal stripe-like fluorescent lamp flicker in which luminance and hue change in the vertical direction when imaging is performed with an arbitrary accumulation time under the illumination of a fluorescent lamp. An object of the present invention is to provide an XY address type solid-state imaging device capable of performing the above.
[0014]
[Means for Solving the Problems]
Of the present invention First The solid-state imaging device according to the configuration has a solid-state imaging device that images an object by address scanning the screen in two orthogonal directions according to an electronic shutter value that satisfies a predetermined condition, and the electronic shutter value of the solid-state imaging device is a predetermined value. Electronic shutter value setting means for setting the value, A / D conversion means for converting the output signal of the solid-state imaging device from an analog signal to a digital signal, and the output signal of the A / D conversion means are stored in predetermined units And a second unit under a fluorescent lamp condition having a predetermined relationship between a first electronic shutter value suitable for an external light condition and a fluorescent lamp blinking period, with respect to a predetermined unit of signal stored in the storage unit. A signal waveform of an image according to two conditions of the electronic shutter value of each is obtained, a signal waveform affected by fluorescent lamp flicker is obtained by comparing the two signals, and a correction signal value that cancels this is calculated. Computation means and correction means for correcting horizontal stripe-like fluorescent lamp flicker by canceling the waveform of an image under fluorescent lamp illumination using the correction signal value calculated by the correction calculation means. .
[0015]
Of the present invention Second Solid-state imaging device according to configuration X A Y-address image sensor, an electronic shutter setting unit that sets an electronic shutter value of the solid-state image sensor, an A / D converter that converts an analog video signal output from the solid-state image sensor into a digital signal, and A plurality of frame memories for recording video signals converted into digital signals by an A / D converter, and an electronic shutter value of the electronic shutter setting unit from a first electronic shutter value suitable for an external light condition to a fluorescent lamp condition A mode setting unit for setting a recording output to the frame memory based on the changed shutter value, and a video signal input from the plurality of frame memories; An arithmetic process for suppressing flicker of the video signal is performed using the electronic shutter value in each frame set by the mode setting unit. A correction table calculation unit that calculates a flicker correction value, a correction table recording unit that records and saves the correction table created by the correction table calculation unit, and a correction table that is stored in the correction table recording unit. A correction calculation unit that suppresses flicker by controlling a gain of an output signal of the A / D conversion unit that is a video signal from the image pickup device.
[0016]
The solid-state imaging device further includes a horizontal line average value calculation unit that performs a process of averaging the correction table output from the correction table calculation unit in the horizontal direction of the image frame, and calculates a value averaged in the horizontal direction. It may be stored in the correction table recording unit. The solid-state imaging device further includes a flicker detector that detects whether a flicker component is included in the corrected video signal using the output of the correction calculation unit as an input, and when the flicker is detected, the mode setting unit It is also possible to prompt the regeneration of the correction table.
[0017]
A plurality of the frame memories may be provided, and a frame average calculating unit that averages images recorded in the plurality of frame memories may be further provided. The correction table recording unit is provided with a plurality, and further includes a correction table selection unit that records and saves a plurality of correction tables and selects a necessary correction table from the plurality of correction tables. Also good. The correction table recording unit stores only one cycle of the flicker waveform and further includes a phase measurement unit for measuring the phase of the flicker included in the current image frame, and the correction table is obtained from the flicker waveform and phase information for the one cycle. A correction table generation unit that generates
[0018]
In addition, the present invention Third Solid-state imaging device according to configuration X -Y address scanning type solid-state imaging device, A / D conversion means for converting the output signal of the solid-state imaging device into a digital signal, a frame memory for storing and holding the output signal of the A / D conversion means, and each scan line An area selection unit that selects an area around the line every time, an area average value calculation unit that reads an area selected by the area selection unit and calculates an average value of the data, and an output of the area average value calculation unit A line memory that stores data, a line memory management unit that selects one of the line memories and inputs / outputs data to / from the line memory, and a plurality of area average values held in the line memory An interline average value calculation unit that performs an average operation by selecting from the line memory, a line memory that stores the area average value, and a line that stores the interline average value Flicker suppression coefficient for selecting the area average value and the interline average value from each memory and comparing the area average value and the interline average value to obtain a signal waveform affected by fluorescent flicker and canceling the signal waveform A correction coefficient calculation unit that calculates the value of the flicker correction coefficient that is output from the frame memory and that is currently proportional to the coefficient value of the flicker suppression coefficient of the correction coefficient calculation unit. And a correction operation unit for controlling the gain of the output signal of the A / D conversion means output from the frame memory for each line.
[0019]
Further, in the above configuration, the area average value calculation unit includes a data calling unit that calls arbitrary data from any of the line memories that store the area average value, and the called data and the average value in the currently selected area And a time average calculation unit that calculates an average between the time average and the time average.
[0020]
In addition, the present invention 4th Solid-state imaging device according to configuration X -Y address scanning type solid-state imaging device, A / D conversion means for converting the output signal of the solid-state imaging device into a digital signal, a frame memory for storing and holding the output signal of the A / D conversion means, and each scan line A range selection unit that selects a range of data required in the scan line every time, an area selected by the range selection unit, an average value calculation unit in a line that calculates an average value of the data, A line memory that holds the output of the area average value calculation unit, a line memory management unit that selects one of the plurality of line memories and inputs / outputs data from the line memory, and a line held in the line memory An interline average value calculating unit that calculates an average value between lines by selecting an average value from a plurality of line memories and performing an average operation, and the line memory A plurality of existing average values within the line, and a window width selection unit that instructs the line memory management unit to read these, and an average value within the line read by the command of the window width selection unit An average value calculation unit for calculating an average value in a window by calculating an average of a plurality of selected ones, and a comparison operation between each of the average value between lines and the average value calculation in a window A correction coefficient calculation unit that calculates a flicker suppression coefficient that obtains a signal waveform affected by fluorescent light flicker and cancels it, and a line that is currently being corrected in a region where flicker correction is output from the frame memory And the gain of the output signal of the A / D conversion means output from the frame memory in proportion to the coefficient value of the flicker suppression coefficient of the correction coefficient calculation unit. Characterized in that it comprises a correction arithmetic unit for controlling each in the.
[0021]
In the above configuration, a line memory that holds the output of the correction coefficient calculation unit may be provided.
[0022]
Further, the solid-state imaging device configured as described above integrates an external photometric element that measures a change in the amount of light around the imaging apparatus, and an output of the external photometric element with an accumulation time determined by a current electronic shutter setting value. And a gain correction unit that corrects the amplitude of the integrator output by comparing it with the amplitude of the correction table stored in the correction table storage unit, and performs flicker suppression processing by the output of the gain correction unit. It may be a thing. The external photometric element may further include an imaging lens and a lens driving unit on the upper part in order to detect a change in the amount of light in the same area as the area based on the angle of view secured by the imaging element.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. First, a first embodiment showing the basic concept of the present invention will be described with reference to FIG.
[0024]
In FIG. 1, the solid-state imaging device according to the first embodiment includes a solid-
[0025]
Normally, in a solid-state imaging device, when flicker correction is to be performed, it is used that flicker does not occur when the electronic shutter setting value is set to an integral multiple of the flashing cycle for the power line. When shooting with an arbitrary electronic shutter setting value, first, the electronic shutter setting value is set to an integral multiple of the power line blinking cycle shorter than the arbitrary value, and shooting is performed. In this case, since the exposure time is shorter than the predetermined time, the gain is insufficient. Flicker is suppressed by amplifying and outputting the shortage. On the other hand, in the present invention, flicker waveform is estimated in real time or near real time at the time of photographing, and the flicker correction is realized by adjusting the gain for each line according to this waveform. As a basic concept, the signal waveform of the image based on the first electronic shutter value under the external light condition is compared with the signal waveform of the image based on the second electronic shutter value under the fluorescent light condition, and Flicker is corrected by calculating a correction signal value that obtains an affected signal waveform and cancels it. Hereinafter, an embodiment that more specifically shows the basic concept will be described.
[0026]
As shown in FIG. 2, the solid-state imaging device according to the second embodiment of the present invention includes a MOS solid-
[0027]
The MOS type solid-
[0028]
The electronic
[0029]
[0030]
The
[0031]
The correction
[0032]
The
[0033]
The solid-state imaging device having such a configuration and having a flicker suppressing function according to the present embodiment operates as follows. The video signal captured by the solid-
[0034]
Here, when the current mode of the
[0035]
If it is not an integer multiple, first, the current electronic shutter setting value is set to an integer multiple value (second electronic shutter value) of the fluorescent lamp blinking cycle closest to this value or the fluorescent lamp shorter and closest to the current electronic shutter setting value. At the same time as changing to any integer multiple of the blink cycle, this value is recorded in the register in the
[0036]
Thereafter, the frame memory 1042 (second frame memory) is made writable. Here, the solid-
[0037]
Next, in order to return the electronic shutter value to the original first electronic shutter value, the
[0038]
When the
[0039]
Next, division is performed for each pixel position in the
S1 (x, y) ≈S2 (x, y) × C (where C is a proportional constant)
If S1 ′ (x, y) is divided by S2 (x, y) under this condition,
{S1 (x, y) × F (x, y)} / {S2 (x, y) × C} ≈F (x, y)
Thus, the flicker waveform can be estimated. Incidentally, dividing S2 (x, y) by S1 ′ (x, y) gives 1 / F (x, y), which is a flicker correction coefficient, that is, the flicker waveform and the flicker correction coefficient have a reciprocal relationship. is there.
[0040]
If photographing is performed without fixing the camera at this time, a small movement of the angle of view may occur between S1 ′ (x, y) and S2 (x, y) due to camera shake or the like. In this case, the amount of movement is obtained by spatially taking a cross-correlation function between S1 ′ (x, y) and S2 (x, y), and S2 having no flicker is translated by this amount of movement. Then, the correction table may be calculated after correcting the deviation. Alternatively, if the time between writing to the
[0041]
The correction table created by the correction
[0042]
In the above processing, an image for one frame is captured with the second electronic shutter value and then returned to the first electronic shutter value. In this order, the second electronic shutter value is followed by the second electronic shutter value. There is no problem even if shooting is performed with the electronic shutter value. The correction table generated by the above processing is valid until the electronic shutter setting value is changed. If the electronic shutter value is changed, the electronic
[0043]
In the description so far, the correction table recording unit has a frame structure and has a correction value for each pixel. However, if the MOS type solid-state
[0044]
Furthermore, as shown in FIG. 4, if the output of the A /
[0045]
As another method for reducing the amount of memory required for this image pickup apparatus, by adopting a configuration as shown in FIG. 5, a single frame memory for temporarily storing frame images for correction table calculation is provided. It is possible to reduce. Here, first, the image captured with the second electronic shutter value is input to the correction
[0046]
Next, the electronic
[0047]
Further, as shown in FIG. 6, the A / D converted digital signal is supplied to the correction
[0048]
As another means for reducing the amount of memory required, as shown in FIG. 7, a frame in which a memory for temporarily storing an image frame for calculating a correction table and a memory for recording the correction table are used in common. It is also possible to use the mold
[0049]
Next, the
[0050]
In order to confirm the accuracy of the flicker correction table, it is conceivable to place a
[0051]
The third embodiment of the present invention has a configuration as shown in FIG. 9 and is characterized in that an average of a plurality of frames is used as a reference image used for calculation of a correction table. By using the averaged reference image, the noise level can be suppressed and the accuracy of the correction table can be improved. There is no particular limitation on the number of frames required, but in this example, the average of three frames is used.
[0052]
When the imaging apparatus is activated and shooting is started, first, the electronic
[0053]
An image shot with the second electronic shutter value is stored in the frame memory 2-1. After the mode setting unit prohibits writing to the frame memory 2-1, the change to the first electronic shutter value and the status of one of the first frame memory groups (the frame memory 1-1) are changed to the writable state. And the video with the first electronic shutter value is stored in the frame memory 1-1. Then, again, the electronic shutter setting is changed to the second electronic shutter value, the status of one of the second frame memory groups (frame memory 2-2) is changed to the writable state, and the video is captured and stored. To do. Thereafter, this process is repeated for the number of frame memories belonging to the frame memory group.
[0054]
When 3 frame images are ready, these frame images are group The first frame memory group and the second frame memory group are passed to the average value calculation unit 113 every time. of The average of each is calculated. And , The averaged frame image at each electronic shutter value setting is input to the correction
[0055]
In this example , Change the electronic shutter value alternately to capture the frame image Line However, it is also possible to capture three frames continuously at the first electronic shutter value first, and then capture three frames in the same manner by changing to the second electronic shutter value. Aside from this , With the structure as shown in FIG. 10, the number of frame memories required can be reduced.
[0056]
Here, as an example, a case where an average is obtained by adding four frames in each of the first electronic shutter value and the second electronic shutter value will be described. Here, first, these four frames are set as D1, D2, D3, and D4 in the order of taking them. First, D1 is captured and stored in the
D2 (x, y) / 2 + D1 (x, y) / 2 = Ave1 (x, y)
To overwrite each predetermined position in the frame memory.
[0057]
After this, in order, when D3 is imported,
D3 (x, y) / 3 + Ave1 (x, y) × (2/3) = Ave2 (x, y)
Is overwritten on each pixel position in the frame memory, and in the case of D4,
D4 (x, y) / 4 + Ave2 (x, y) × (3/4) = Ave3 (x, y)
The above calculation is performed to overwrite each pixel position in the frame memory. This method can reduce the amount of memory required.
[0058]
The fourth embodiment of the present invention has a configuration as shown in FIG. 11, and has a plurality of correction table recording units and a correction table selection unit that selects one of these correction table storage units. There is a feature. In the first and second embodiments described so far, only one correction table is prepared. However, only one correction table is required for a monochrome camera and an imaging frame rate and a power line cycle. Only when the ratio is an integer multiple, in other cases it is necessary to prepare a plurality of correction tables.
[0059]
A case in which a plurality of correction table recording units are necessary is a case where an image sensor having a color filter disposed thereon is used. Since the amplitude and waveform characteristics of the light emitted from the fluorescent lamp vary depending on the color, it is accurate and simple correction to prepare a flicker correction table for each color. If a separate color filter is arranged for each image sensor as in a three-plate color camera, a correction table is calculated for each image sensor output, and a pixel array is arranged in a correction table recording unit having a frame structure. What is necessary is just to preserve | save as it is or to average a table for every horizontal line and to preserve | save it in a column type correction table recording part.
[0060]
In a single-panel color camera, the correction table is stored in the correction table recording unit of the frame structure as it is in the pixel arrangement, or the correction table of the frame structure is separated for each color as shown in FIG. Then, the averaging process may be performed and stored in the correction
[0061]
The next case is when the ratio between the imaging frame rate and the power line cycle is not an integral multiple. In this case, the flicker waveform moves in the screen with a certain phase velocity. FIG. 13 shows a flicker cycle between frames when an imaging apparatus having an imaging frame rate of 30 frames per second (30 fps) is used under a 50 Hz electric power line. The blinking cycle of the fluorescent lamp under the 50 Hz power line is 100 Hz, and one cycle is 10 ms. On the other hand, the 30 fps imaging device has a frame period of 33.3 ms (= 100/3 ms), and thus the flicker cycle appearing in the image frame is 3 frames. Therefore, in this case, it is understood that it is sufficient to prepare a correction table for three consecutive frames.
[0062]
Here, the operation of FIG. 11 will be described. First, a reference image that does not include flicker is captured using the second electronic shutter value, and is stored in the
[0063]
Next, a correction table is calculated using these reference images, and sequentially stored in the correction table recording unit 1 (1071). The correction
[0064]
Correction table The
[0065]
In the flicker correction process, the correction
[0066]
In addition, although each correction table recording unit has a frame structure here, the correction table for three frames can be replaced with four tables for each line color by the method of FIG. The correction
[0067]
In addition, as shown in FIG. 16, the
[0068]
Here,
[0069]
When all of these have been taken, the frame
[0070]
If the frame memory portion of this configuration is replaced with the frame memory configuration shown in FIG. 10, the amount of the
[0071]
Next, a solid-state imaging device according to a fifth embodiment of the present invention will be described. As shown in FIG. 19, a solid-state imaging device having a fluorescent lamp flicker suppression function according to a fifth embodiment of the present invention includes a
[0072]
The MOS type solid-
[0073]
The A /
[0074]
The area average
[0075]
The inter-line average
[0076]
The
[0077]
First, the principle of the solid-state imaging device having such a configuration and having the flicker suppressing function according to the present embodiment will be briefly described. If a signal not including flicker in an arbitrary frame is S (x, y) and flicker is F (x, y), a video signal including flicker can be written as S (x, y) · F (x, y). Here, x represents the horizontal coordinate in the image frame, and y represents the vertical coordinate. In the case of a MOS type solid-state imaging device, flicker appears as a waveform having periodicity in the y direction, and is thus simplified to F (y). If it is necessary to consider the fluctuation in the x direction, the processing area is set separately and processed. To realize flicker correction, F (y) may be estimated. Here, considering a solid-state imaging device that captures 30 frames per second under illumination of 50 Hz, at this time, flicker appears as a waveform with a period between frames of 3 frames and a phase speed of 10/3 ms as shown in FIG. Here, it is assumed that the signal S (x1, y1) is constant between frames at a certain point (x1, y1) in the frame, and the total flicker value for one period is always constant. If this is expressed by an equation, S1 (x1, y1) = S2 (x1, y1) = S3 (x1, y1) = S (x1, y1) and F1 (y1) + F2 (y1) + F3 (y1 ) = C. Here, C means a constant. Under this assumption, the following equation is calculated by dividing the value at an arbitrary coordinate (x1, y1) in the first frame by the average of three consecutive frames.
[0078]
S (x1, y1) .F1 (y1) / {S (x1, y1) F1 (y1) + S (x1, y1) .F2 (y1) + S (x1, y1) .F3 (yl)} = S (x1 , Y1) · F1 (y1) / S (x1, y1) · C = F1 (y1) · C ′, and the flicker value at y1 can be estimated. When this method is used in an actual imaging apparatus, the most serious problem is the assumption that “the signal S (x1, y1) at a certain point (x1, y1) in the frame is constant between frames”. Since the shooting target is constantly moving, S (x1, y1) is not constant between frames.
[0079]
In order to solve this problem, here, a region around (x1, y1) is selected, and the average value of this region is used as the maximum likelihood value of this coordinate. Regarding the assumption that “the total flicker value for one period is always constant”, the fluorescent lamp waveform can be approximated to the absolute value of the sine waveform, so that it can be regarded as almost no problem.
[0080]
The solid-state imaging device having the flicker suppressing function according to the fifth embodiment having such a configuration operates as follows. The video signal captured by the solid-
[0081]
This calculated value is stored in the
[0082]
If a color filter is provided on the image sensor, a line memory corresponding to the inter-frame flicker period is required for each type of color filter if flicker correction is performed before signal processing. Further, if flicker correction is performed after signal processing, as shown in FIG. 22, the flicker correction may be performed only on the Y signal after YC separation in the signal processing unit. In the same way as in the case of the above, it is necessary to prepare only three inter-frame flicker cycles.
[0083]
The contents of the plurality of
[0084]
When the area average is obtained for all the lines in the correction area in the current frame, the area average value in the previous frame is recorded in the
[0085]
The correction coefficient
[0086]
The correction
[Equation 8]
[0087]
In this correction coefficient estimation, the area to be averaged is adjusted to reduce the influence of the picture so that S1 (x, y) = S2 (x, y) = S3 (x, y) holds. This assumption does not hold when the subject moves greatly or the object to be photographed moves, and an error occurs in the correction coefficient. In order to detect this, the correction coefficient calculation unit uses the flicker amplitude determined by the accumulation time as a threshold, and if the value is larger than this, the setting region is not appropriate for the
[0088]
Upon receiving this notification, the
[0089]
The sixth embodiment of the present invention is characterized by having a configuration as shown in FIG. 24 and having a time average
[0090]
In FIG. , The average
[0091]
[Equation 9]
[0092]
The seventh embodiment of the present invention has a configuration as shown in FIG. 25, and a
[0093]
In the fifth and sixth embodiments described so far, as shown in FIG. 20, the average in a selected area having an arbitrary range is obtained and set as the maximum likelihood value in a certain target line. Since the degree of freedom of setting is high, it may take time and effort.
[0094]
Here, first, the area to be subjected to flicker correction is divided in the vertical direction as in
[0095]
In the
[0096]
The line
[0097]
In FIG. 25, there are two average value calculation units. However, if this is shared and the average value between lines and the average value in the window are calculated alternately as shown in FIG. 28, the circuit scale can be reduced. Is possible. Further, by giving a process of taking an average between frames as shown in FIG. 29, it is possible to reduce the influence of an object moving in the frame.
[0098]
The eighth embodiment of the present invention has a configuration as shown in FIG. 30 and is characterized by having a
[0099]
When there is a movement over the entire image frame, the method of FIG. 30 is not sufficient. In order to cope with this case, the configuration as shown in FIG. 31 is effective. With this configuration, when a flicker estimation coefficient with good quality is obtained, it is stored in the
[0100]
In the examples so far, the output of the MOS type solid-state imaging device is once stored in the frame memory. However, the use of the frame memory is a problem in terms of cost when realizing the imaging apparatus. FIG. 32 shows a configuration for solving this problem. This configuration is different from any of the above-described configuration examples, and the flicker correction coefficient is not used in the frame in which it is calculated, but is used after one cycle of the inter-frame flicker cycle, and in this configuration example, after 3 frames. Is used.
[0101]
This processing procedure is as follows. First, the image sensor output is sequentially read out for each line and temporarily stored in the line memory. Only the necessary range in this line memory is read out, the average in the line is calculated, and once stored in the
[0102]
In the configuration of FIG. 32, the line memory is provided for the inter-frame flicker cycle, but the flicker waveform is assumed to have substantially the same shape everywhere in the frame. Of these, only one wavelength may be recorded, and the
[0103]
In all of the configuration examples so far, only a part of the image frame is corrected instead of the entire image frame, so that there is a possibility that discontinuity occurs at the boundary between the correction region and the other region, and it becomes unsightly. As a means for solving this problem, a method as shown in FIG. 36 for suppressing the correction coefficient at the boundary can be considered. For example, in FIG. 35A, when correction processing is not required for # 1 and # 3 and only # 2 is corrected, in order to make the boundary inconspicuous, the correction coefficient is suppressed in the vicinity of the boundary. Good. Various suppression methods can be considered. For example, the correction coefficient C (y1) in an arbitrary line y1 is bent into a “<” shape as shown in FIG. 36A, or as shown in FIG. Or just step up. In FIG. 35 (a), when correction processing is required in # 1 and # 2, the correction regions are adjacent to each other. Therefore, the two correction regions are overlapped with each other as shown in FIG. 36 (c). The correction coefficients C1 (y1) and C2 (y2) for the respective regions may be suppressed.
[0104]
Further, as a method for correcting a plurality of regions, a configuration as shown in FIG. 37 is also possible. In this configuration, there is only one correction
[0105]
Another feature of this configuration is that once the flicker correction table is created, the function of the flicker estimation / correction unit is stopped and only the flicker correction unit is driven. If the flicker table is updated by operating it, the power consumption of the imaging apparatus can be reduced.
[0106]
The ninth embodiment of the present invention has a configuration as shown in FIG. 38 and is characterized in that a
[0107]
On the other hand, in the ninth embodiment, in parallel with the image capture by the solid-
[0108]
When flicker correction is performed using a photometric element provided outside, the biggest problem is correction of the difference in sensitivity with the
[0109]
In order to solve this problem, the correction table used in the second to fourth embodiments is used here. Since the correction table in the embodiment is the reciprocal of the flicker F (y) appearing in the image frame, the amplitude of the output waveform of the external
[0110]
Here, in order to simplify the description, it is assumed that the charge accumulation timing in the horizontal direction is the same and the charge accumulation time is the same in all rows. Under this condition, when the measurement waveform is integrated from the time Ts at which the pixel in the y-th row of the
[Expression 10]
F (y) = I (y) × C
(C is a proportionality constant determined by the difference in sensitivity between the pixels of the image sensor and the photometric element).
[0111]
Next, it is necessary to obtain this proportionality constant C. Since F (y) is known in the form of a correction table here, this proportionality coefficient C can be obtained by dividing the reciprocal of the correction table by I (y). This calculation is performed by the
[0112]
Also, as shown in FIG. 39, by installing a lens and a
[0113]
In the case of FIG. 39, since two optical systems, that is, an imaging lens for an imaging element and an imaging lens for an external photometric element are required, the cost increases. In order to reduce this and simplify the configuration, as shown in FIG. 40, a
[0114]
Although not shown in the drawings, the solid-state imaging device according to the eighth embodiment is not limited to the one provided with the flicker correction calculating means according to the second to fourth embodiments, and the application is not limited. The present invention is also applicable to those provided with flicker correction calculation means according to the first and fifth to eighth embodiments. Therefore, by applying the external
[0115]
In the solid-state imaging device according to the eighth embodiment, only the light amount data obtained through the optical system is captured as a control element. However, the present invention is not limited to this, and does not depend only on external photometry. The external light quantity may be estimated and used based on the electronic shutter value obtained by the electronic shutter setting means.
[0116]
【The invention's effect】
As described above, according to the present invention, by controlling the gain of the video signal output from the imaging device based on the estimated flicker waveform, fluorescent light flicker under fluorescent light illumination is suppressed and high image quality is realized. Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a solid-state imaging device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a solid-state imaging device according to a second embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration including a horizontal line average value calculation unit that converts a correction table having a frame structure of the solid-state imaging device into a line structure;
FIG. 4 is a block diagram showing a configuration including a horizontal line average value calculation unit that averages A / D conversion outputs of the solid-state imaging device in horizontal lines.
FIG. 5 is a block diagram showing a simplified configuration in which two frame memories of the solid-state imaging device are combined into one;
FIG. 6 is a block diagram showing a configuration including a horizontal line average value calculation unit that averages A / D conversion outputs in a horizontal line in the second embodiment.
FIG. 7 is a block diagram showing a configuration in which functions of a frame memory and a correction table storage unit are replaced with a frame type data recording unit in the second embodiment.
FIG. 8 is a block diagram showing a configuration including a flicker detector for inspecting the correction degree of the flicker correction output of the solid-state imaging device.
FIG. 9 is a block diagram showing a configuration for calculating a correction table by using an averaged frame memory according to the third embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration for calculating an average of image frames by one frame memory in the third embodiment.
FIG. 11 is a block diagram showing a configuration including a plurality of correction table storage units and a correction table selection unit for selecting one of them according to a fourth embodiment of the present invention.
FIG. 12 is a block diagram showing a configuration including a horizontal line average value calculation unit in the fourth embodiment.
FIG. 13 is an explanatory diagram showing periodicity between frames of fluorescent lamp flicker in a solid-state imaging device.
FIG. 14 is a block diagram showing a configuration including frame memories for flicker periods in the frame table of the fourth embodiment.
FIG. 15 is a block diagram showing a configuration for selecting a correction table in response to a request from a correction calculation unit in a correction table selection unit according to the fourth embodiment.
FIG. 16 is a block diagram showing a configuration including a horizontal line average value calculation unit that averages A / D conversion outputs in horizontal lines in the fourth embodiment.
FIG. 17 is a block diagram showing a configuration for calculating a correction table by using an averaged frame memory in the fourth embodiment.
FIG. 18 is a block diagram showing a configuration including a phase measurement unit and a correction table generation unit in the fourth embodiment.
FIG. 19 is a block diagram showing a configuration of a solid-state imaging apparatus according to a fifth embodiment of the present invention.
FIG. 20 is an explanatory diagram illustrating the principle of flicker generation in a MOS image sensor.
FIG. 21 is an explanatory diagram showing a region used for maximum likelihood estimation in an arbitrary target line.
FIG. 22 is a block diagram showing a configuration for performing video signal processing before performing flicker correction processing in the solid-state imaging device;
FIG. 23 is an explanatory diagram regarding flicker correction coefficient waveforms.
FIG. 24 is a block diagram showing a configuration in which a time average calculation unit is included in an average value calculation unit according to a sixth embodiment of the present invention.
FIG. 25 is a block diagram showing a configuration including a line average value calculation unit, a window width selection unit, and an in-window average value calculation unit according to the seventh embodiment of the present invention.
FIG. 26 is an explanatory diagram showing a configuration for calculating line average values in a region where flicker correction is performed and an arbitrary target line in the region according to the seventh embodiment;
FIG. 27 is an explanatory diagram showing a calculation method for each of the average value in the window and the average value between lines in the seventh embodiment.
FIG. 28 is a block diagram showing a configuration including an average value calculation unit for calculating both an average value in a window and an average value between lines in the seventh embodiment.
FIG. 29 is a block diagram showing a configuration including a time average calculation unit in the seventh embodiment.
FIG. 30 is a block diagram showing a configuration including a line memory for holding a correction coefficient according to an eighth embodiment of the present invention.
FIG. 31 is a block diagram showing another configuration including a line memory for holding correction coefficients in the eighth embodiment.
FIG. 32 is a block diagram showing a configuration including a line memory for holding a MOS type image sensor output in the solid-state imaging device.
FIG. 33 is a block diagram showing a configuration including a plurality of flicker correction processing units in the solid-state imaging device.
FIG. 34 is a block diagram showing a configuration in which one flicker correction processing unit corrects flicker in a plurality of areas in the solid-state imaging device.
FIG. 35 is an explanatory diagram relating to an inspection area setting method in flicker detection inspection;
FIG. 36 is an explanatory diagram regarding processing at the boundary between the flicker correction area and the non-flicker correction area in the solid-state imaging device.
FIG. 37 is a block diagram showing a configuration including a flicker correction unit in the solid-state imaging device.
FIG. 38 is a block diagram showing a configuration including an external photometry system according to a ninth embodiment of the present invention.
FIG. 39 is a block diagram showing a configuration including an imaging lens in the external photometry system in the ninth embodiment.
FIG. 40 is a block diagram showing a configuration in which an imaging lens provided in an external photometry system in the ninth embodiment is shared with that used for a solid-state imaging device.
FIG. 41 is a block diagram showing a configuration in which an external photometric system in the ninth embodiment is installed in the vicinity of a solid-state image sensor.
FIG. 42 is an explanatory diagram showing a relationship between charge accumulation time and flicker in a MOS type image pickup device.
[Explanation of symbols]
1 Solid-state image sensor
2 Electronic shutter value setting means
3 A / D conversion means
4 storage means
10 Correction calculation means
101 MOS solid-state image sensor
102 Electronic shutter setting unit
103 A / D converter
104, 1041, 1042 Frame memory
105 Correction table calculation unit
106 Mode setting section
107, 1071, 1072, 1073 Correction table recording unit
1075 Column type correction table storage unit
1076 Line-specific color correction table storage unit
108 Correction calculation unit
109 Sync signal generator
111 Horizontal line average value calculator
112 Flicker detector
113, 1131, 1132 Frame average calculation unit
114 frame average sequential calculation unit
115 Correction table selection unit
116 Phase measurement unit
117 Correction table generation unit
118,1181,1182 Column type average value storage unit
119 Frame type data storage unit
130 Area selection part
201 External photometric element
202 integrator
203 Gain correction unit
204 External metering system
205 Correction value generator
Claims (9)
前記固体撮像素子の前記電子シャッタ値を所定の値に設定する電子シャッタ値設定手段と、
前記固体撮像素子の出力信号をアナログ信号からデジタル信号へと変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力信号を所定の単位で記憶する記憶手段と、
前記記憶手段に記憶された所定の単位の信号に対し、外光条件に適した第１の電子シャッタ値と蛍光灯明滅周期と所定関係となる蛍光灯条件下での第２の電子シャッタ値の２条件による画像の信号波形をそれぞれ求め、２つの信号を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すような補正信号値を演算する補正演算手段と、
前記補正演算手段により演算された前記補正信号値を用いて蛍光灯照明下における画像の波形を打ち消すことにより横縞状蛍光灯フリッカを補正する補正手段と、
を備えることを特徴とする固体撮像装置。A solid-state image sensor that images an object by address scanning the screen in two orthogonal directions with an electronic shutter value that satisfies a predetermined condition;
Electronic shutter value setting means for setting the electronic shutter value of the solid-state imaging device to a predetermined value;
A / D conversion means for converting the output signal of the solid-state imaging device from an analog signal to a digital signal;
Storage means for storing an output signal of the A / D conversion means in a predetermined unit;
A second electronic shutter value under a fluorescent lamp condition having a predetermined relationship with a first electronic shutter value suitable for an external light condition and a fluorescent lamp blinking period is obtained for a signal of a predetermined unit stored in the storage means. Correction calculation means for calculating the signal waveform of the image under the two conditions, calculating the correction signal value so as to calculate the signal waveform affected by the fluorescent lamp flicker by comparing the two signals,
Correction means for correcting horizontal stripe fluorescent lamp flicker by canceling the waveform of the image under fluorescent lamp illumination using the correction signal value calculated by the correction calculation means;
A solid-state imaging device comprising:
前記固体撮像素子の電子シャッタ値を設定する電子シャッタ設定部と、
前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換手段の出力信号を記憶保持する複数のフレームメモリと、
前記電子シャッタ設定部の電子シャッタ値を外光条件に適した第１の電子シャッタ値から蛍光灯条件下での第２の電子シャッタ値へと変更すると共に、変更されたシャッタ値に基づいて前記フレームメモリヘの記録出力を設定するモード設定部と、
前記複数のフレームメモリより入力される映像信号と前記モード設定部で設定されたそれぞれのフレームにおける電子シャッタ値とを用いて前記映像信号のフリッカを抑圧するための演算処理を行ない、フリッカ補正値としての補正テーブルを算出する補正テーブル算出部と、
前記補正テーブル算出部の出力としての補正テーブルを記憶保持する補正テーブル記憶部と、
前記補正テーブルを用いて前記Ａ／Ｄ変換手段の出力信号の利得を制御することによりフリッカを抑圧する補正演算部と、
を備えることを特徴とする固体撮像装置。An XY address scanning solid-state imaging device;
An electronic shutter setting unit for setting an electronic shutter value of the solid-state imaging device;
An A / D converter that converts an output signal of the solid-state imaging device into a digital signal;
A plurality of frame memories for storing and holding output signals of the A / D conversion means;
The electronic shutter value of the electronic shutter setting unit is changed from a first electronic shutter value suitable for an external light condition to a second electronic shutter value under a fluorescent lamp condition, and based on the changed shutter value A mode setting unit for setting the recording output to the frame memory;
A calculation process for suppressing flicker of the video signal is performed using a video signal input from the plurality of frame memories and an electronic shutter value in each frame set by the mode setting unit, and is used as a flicker correction value. A correction table calculation unit for calculating the correction table of
A correction table storage unit that stores and holds a correction table as an output of the correction table calculation unit;
A correction calculation unit that suppresses flicker by controlling the gain of the output signal of the A / D conversion means using the correction table;
Solid-state image sensor you comprising: a.
前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、
各スキャンライン毎にそのラインの周辺の領域を選択する領域選択部と、
前記領域選択部によって選択された領域を読み出しこのデータの平均値を算出する領域平均値算出部と、
前記領域平均値算出部の出力を保持するラインメモリと、
複数の前記ラインメモリの１つを選択し、そのラインメモリとの間でデータを入出力するラインメモリ管理部と、
前記ラインメモリに保持されている領域平均値を複数のラインメモリから選択し平均演算を行なうライン間平均値算出部と、
前記領域平均値を保存するラインメモリの１つと前記ライン間平均値を保存するラインメモリそれぞれから前記領域平均値と前記ライン間平均値とを選択しこれらの領域平均値とライン間平均値を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、
前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、
を備えることを特徴とする固体撮像装置。An XY address scanning solid-state imaging device;
A / D conversion means for converting the output signal of the solid-state imaging device into a digital signal;
A frame memory for storing and holding the output signal of the A / D conversion means;
An area selection unit that selects an area around the line for each scan line;
An area average value calculation unit that reads an area selected by the area selection unit and calculates an average value of the data;
A line memory for holding the output of the area average value calculation unit;
A line memory management unit that selects one of the plurality of line memories and inputs / outputs data to / from the line memory;
An interline average value calculation unit that selects an area average value held in the line memory from a plurality of line memories and performs an average operation;
The area average value and the interline average value are selected from one of the line memories storing the area average value and the line memory storing the interline average value, and the area average value and the interline average value are compared. A correction coefficient calculation unit that calculates a flicker suppression coefficient that obtains a signal waveform affected by the fluorescent light flicker and cancels the signal waveform;
The data of the line to be corrected currently in the flicker correction area output from the frame memory is read out and output from the frame memory in proportion to the coefficient value of the flicker suppression coefficient of the correction coefficient calculation unit. A correction calculation unit for controlling the gain of the output signal of the A / D conversion means for each line;
Solid-state image sensor you comprising: a.
前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、
各スキャンライン毎にこのスキャンライン内において必要とするデータの範囲を選択する範囲選択部と、
前記範囲選択部によって選択された領域を読み出し、このデータの平均値を算出するライン内平均値算出部と、
前記領域平均値算出部の出力を保持するラインメモリと、
複数の前記ラインメモリの１つを選択し、そのラインメモリからデータを入出力するラインメモリ管理部と、
前記ラインメモリに保持されているライン内平均値を複数のラインメモリから選択し平均演算を行なってライン間平均値を算出するライン間平均値算出部と、
前記ラインメモリに保存されているライン内平均値から複数個を選択し、かつこれらの読み出しを前記ラインメモリ管理部に命令する窓幅選択部と、
前記窓幅選択部の命令により読み出されたライン内平均値のうちの選択された複数個の平均を演算して窓内平均値を算出する窓内平均値算出部と、
前記ライン間平均値と前記窓内平均値算とのそれぞれの間で比較演算を行なって蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、
前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、
を備えることを特徴とする固体撮像装置。An XY address scanning solid-state imaging device;
A / D conversion means for converting the output signal of the solid-state imaging device into a digital signal;
A frame memory for storing and holding the output signal of the A / D conversion means;
A range selection unit for selecting a range of data required in the scan line for each scan line;
Read the area selected by the range selection unit, and calculate the average value of this data, the in-line average value calculation unit,
A line memory for holding the output of the area average value calculation unit;
A line memory management unit that selects one of the plurality of line memories and inputs / outputs data from the line memory;
An average value between lines calculating an average value between lines by selecting an average value within a line held in the line memory from a plurality of line memories and performing an average calculation; and
A window width selection unit for selecting a plurality of average values in the line stored in the line memory and instructing the line memory management unit to read them;
An average value calculation unit in the window that calculates an average value in the window by calculating an average of a plurality of selected average values in the line read by the command of the window width selection unit;
A correction coefficient calculation unit that performs a comparison operation between the average value between lines and the average value calculation within the window to obtain a signal waveform affected by fluorescent flicker and calculate a flicker suppression coefficient that cancels the signal waveform; ,
The data of the line to be corrected currently in the flicker correction area output from the frame memory is read out and output from the frame memory in proportion to the coefficient value of the flicker suppression coefficient of the correction coefficient calculation unit. A correction calculation unit for controlling the gain of the output signal of the A / D conversion means for each line;
Solid-state image sensor you comprising: a.
前記撮像素子の露光期間と、前記測光素子から出力された光量波形とに基づいて、撮像装置周辺の光量の変動を検出する光量変動算出部と、
前記補正テーブル記憶部に保持されているフリッカ補正値と前記光量変動算出部から出力された光量変動波形とに基づいて、フリッカ補正値を算出する動的補正テーブル算出部と、
をさらに備えることを特徴とする請求項１ないし８の何れかに記載の固体撮像装置。A photometric element that performs photoelectric conversion and outputs a light intensity waveform;
A light amount fluctuation calculating unit that detects fluctuations in the amount of light around the imaging device based on an exposure period of the image pickup element and a light amount waveform output from the photometric element;
A dynamic correction table calculation unit that calculates a flicker correction value based on a flicker correction value held in the correction table storage unit and a light amount fluctuation waveform output from the light amount fluctuation calculation unit;
The solid-state imaging device according to claim 1, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18614499A JP3749038B2 (en) | 1999-06-30 | 1999-06-30 | Solid-state imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18614499A JP3749038B2 (en) | 1999-06-30 | 1999-06-30 | Solid-state imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016508A JP2001016508A (en) | 2001-01-19 |
| JP3749038B2 true JP3749038B2 (en) | 2006-02-22 |
Family
ID=16183160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18614499A Expired - Fee Related JP3749038B2 (en) | 1999-06-30 | 1999-06-30 | Solid-state imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3749038B2 (en) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4416959B2 (en) * | 2001-04-26 | 2010-02-17 | 富士通マイクロエレクトロニクス株式会社 | Flicker noise reduction method for XY address type solid-state imaging device |
| JP4736239B2 (en) * | 2001-05-25 | 2011-07-27 | 大日本印刷株式会社 | Pattern image creating method and apparatus |
| JP3826904B2 (en) * | 2003-07-08 | 2006-09-27 | ソニー株式会社 | Imaging apparatus and flicker reduction method |
| JP4106554B2 (en) * | 2003-09-08 | 2008-06-25 | ソニー株式会社 | Imaging environment determination method and imaging apparatus |
| JP4487640B2 (en) | 2004-06-01 | 2010-06-23 | ソニー株式会社 | Imaging device |
| JP4646655B2 (en) * | 2005-03-01 | 2011-03-09 | キヤノン株式会社 | Solid-state imaging device, driving method thereof, and imaging system |
| JP4207926B2 (en) | 2005-05-13 | 2009-01-14 | ソニー株式会社 | Flicker correction method, flicker correction apparatus, and imaging apparatus |
| JP4908939B2 (en) * | 2005-06-24 | 2012-04-04 | キヤノン株式会社 | Imaging device |
| JP4483744B2 (en) | 2005-08-26 | 2010-06-16 | ソニー株式会社 | Imaging apparatus and imaging control method |
| JP4904749B2 (en) * | 2005-09-08 | 2012-03-28 | ソニー株式会社 | Flicker reduction method, flicker reduction circuit, and imaging apparatus |
| JP4757013B2 (en) * | 2005-12-19 | 2011-08-24 | キヤノン株式会社 | Imaging apparatus, control method therefor, computer program, and storage medium |
| JP4739998B2 (en) * | 2006-03-16 | 2011-08-03 | 三洋電機株式会社 | Imaging device |
| JP2008109370A (en) * | 2006-10-25 | 2008-05-08 | Sanyo Electric Co Ltd | Image correcting device and method, and imaging apparatus |
| KR101085802B1 (en) * | 2007-03-05 | 2011-11-22 | 르네사스 일렉트로닉스 가부시키가이샤 | Imaging apparatus and flicker detection method |
| JP4101281B1 (en) | 2007-03-15 | 2008-06-18 | キヤノン株式会社 | Solid-state imaging device and driving method of solid-state imaging device |
| JP2009017214A (en) * | 2007-07-04 | 2009-01-22 | Canon Inc | Flicker detection device, and flicker detection method |
| JP5022802B2 (en) * | 2007-07-23 | 2012-09-12 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP4626689B2 (en) * | 2008-08-26 | 2011-02-09 | ソニー株式会社 | Imaging apparatus, correction circuit, and correction method |
| JP2010114674A (en) | 2008-11-06 | 2010-05-20 | Sanyo Electric Co Ltd | Video camera |
| JP2011030093A (en) | 2009-07-28 | 2011-02-10 | Sanyo Electric Co Ltd | Video camera |
| JP5625371B2 (en) | 2010-01-29 | 2014-11-19 | ソニー株式会社 | Image processing apparatus, signal processing method, and program |
| JP2012109794A (en) * | 2010-11-17 | 2012-06-07 | Toshiba Corp | Solid state image pickup device |
| JP5616861B2 (en) * | 2011-08-31 | 2014-10-29 | 富士通フロンテック株式会社 | Image capturing apparatus and method |
| JP6060824B2 (en) * | 2013-06-20 | 2017-01-18 | 株式会社Ｊｖｃケンウッド | Imaging apparatus and flicker reduction method |
| US11368639B2 (en) | 2019-09-30 | 2022-06-21 | Canon Kabushiki Kaisha | Photoelectric conversion apparatus, image capturing system, method for driving photoelectric conversion apparatus, and moving object |
-
1999
- 1999-06-30 JP JP18614499A patent/JP3749038B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001016508A (en) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3749038B2 (en) | Solid-state imaging device | |
| US7546026B2 (en) | Camera exposure optimization techniques that take camera and scene motion into account | |
| US7602418B2 (en) | Digital image with reduced object motion blur | |
| US8823808B2 (en) | Method for improved digital video image quality | |
| US7995097B2 (en) | Techniques of motion estimation when acquiring an image of a scene that may be illuminated with a time varying luminance | |
| JP4840578B2 (en) | Flicker detection method and apparatus for imaging apparatus | |
| US20110149111A1 (en) | Creating an image using still and preview | |
| KR20090008139A (en) | Image pickup apparatus, image processing method, and computer program | |
| JP2007174678A (en) | Flicker detecting circuit and method in image sensor | |
| JP2006245784A (en) | Solid-state imaging apparatus and driving method thereof, and imaging system | |
| US8842195B2 (en) | Image pickup apparatus having image pickup element that includes pixels used as both focus detection pixels and image pickup pixels | |
| US9979876B2 (en) | Imaging apparatus, imaging method, and storage medium | |
| JP2000023040A (en) | Solid-state image pickup device and system on-chip solid- state image pickup device | |
| WO2019225071A1 (en) | Signal processing device, signal processing method, and imaging device | |
| JP2011030207A (en) | Imaging device, and flash determining method and program | |
| JP4378599B2 (en) | Imaging apparatus and control method thereof | |
| JPS63308484A (en) | Solid-state image pickup device | |
| JP2008113237A (en) | Flicker detecting method and device in imaging apparatus | |
| JP4908939B2 (en) | Imaging device | |
| CN111131667B (en) | Image pickup apparatus that performs flicker detection, control method therefor, and storage medium | |
| KR20040095249A (en) | Imager and stripe noise removing method | |
| JP2016096551A (en) | Imaging device | |
| JP2007329604A (en) | Fluorescent light flicker detection circuit | |
| JP3796421B2 (en) | Imaging apparatus and imaging method | |
| JP2018050346A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051130 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |