JP2009212909A - 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器 - Google Patents

Abstract

【課題】部品点数やチップサイズの増大を抑えかつフリッカノイズを効果的に検出する。
【解決手段】被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に、画像信号用と兼用したフリッカ検出用の一または複数のフリッカ検出用画素が設けられた画素配列部１と、このフリッカ検出用画素の露光時間を通常画素の露光時間に合せるように、フリッカ検出用画素からの受光素子出力を積算する積算回路４と、フリッカ検出用画素からの受光素子出力からフリッカを判定するフリッカ検出回路６と、フリッカ検出回路６で判定したフリッカ情報に基づいてフリッカを特定し、特定したフリッカに対してフリッカの発生を防ぐシャッター速度に制御するシャッター速度制御回路７とを有し、積算回路４により積算した出力を複数の通常画素からの受光素子出力間に戻す構成としている。
【選択図】図１

Description

本発明は、被写体からの画像光を光電変換して撮像すると共に、フリッカノイズを検出してフリッカノイズを除去する固体撮像装置、この固体撮像装置に用いられる固体撮像装置のフリッカ検出方法、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、車載用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器に関する。

上述した従来の固体撮像装置では、複数の光電変換領域を有する各画素（受光部）が平面状に配列された受光面を形成し、この受光面に入射した光信号を画素単位で電気信号に変換する。受光面上に複数種類のカラーフィルタを一定の空間周期（例えばベイヤー色配列）で配置し、一つの固体撮像装置で複数の色信号を得るようにした単板式式固体撮像装置が知られている。特に、画素サイズの縮小化に伴い、各画素中の光電変換領域への光の入射効率を高めるために、各画素毎に集光用のマイクロレンズを形成した構造が広く用いられている。

このような従来の固体撮像装置において、例えば蛍光灯であれば商用周波数６０Ｈｚに対して１２０Ｈｚで点滅しており、人間の目にはその点滅は伝わらないが、固体撮像装置では、１秒間に例えば３０フレーム、１フレームに数百ラインがあり、１ライン毎に露光が行われるから、その露光タイミングが順次、ライン毎に時系列にずれて行くので、画像としてあるタイミングでは明るく、あるタイミングでは暗いという事態が発生する。これによって、波打ったようなもやもやした画像になってしまう。このため、点滅によるフリッカを検出してフリッカによる画像への影響を防止する信号処理技術が必要になる。

関西圏では商用周波数６０Ｈｚであり、関東圏では商用周波数５０Ｈｚであるため、シャッタースピードを１／１２０ｓｅｃにするかまたは、１／１００ｓｅｃにするかが分からなければ、このフリッカを除去することができない。例えば関西圏では、シャッタースピードを１／１２０ｓｅｃにすれば、蛍光灯の点滅の周期であるから、明るさと暗さを共に含み、どのタイミングであっても、各画素での露光時間が一定になる。これを実現するために、点滅の周期が１／１２０ｓｅｃか１／１００ｓｅｃかを検出するフリッカノイズ検出部が特許文献１に開示され、また同様に、フリッカ検出回路が特許文献２に開示されている。

図７は、特許文献１に開示されている従来の固体撮像装置のシステム構成例を示すブロック図である。

図７に示すように、従来の固体撮像装置１００は、半導体が光に反応する性質を最大限に発揮させるために、複数の画素がＮ行、Ｍ列（Ｎ，Ｍは正の整数）に配列され、外部から入力されるイメージに対する画像情報を検出するための画素配列部１１０と、フリッカノイズを検出するために画素配列部１１０の行が拡張された構造であって、Ｘ行(Ｘは偶数)、Ｍ列に画素が配列され、配列されたそれぞれ１対行が同じ露出時間を有するように構成されたフリッカノイズ検出用画素部１２０と、奇数行、偶数行にて露光時間を変化させることにより、フリッカノイズを検出するためのフリッカノイズ検出部１３０と、このフリッカノイズ検出部１３０からのフリッカノイズ検出信号に基づき、フリッカノイズを除去するためにシャッター速度を変更する制御および外部システムインタフェース部１４０と、アナログラインバッファ部１５０と、カラムデコーダ１６０と、アナログバス１７０と、アナログ信号処理部１８０(以下ＡＳＰという)と、エラー補正、色相補間、ガンマ補正、色空間変換などの機能を有するディジタル信号処理部１９０(以下ＤＳＰという)とを備えている。

このように、フリッカノイズ検出のために、フリッカノイズ検出用画素部１２０およびフリッカノイズ検出部１３０が用いられ、また、検出したフリッカノイズに基づいてフリッカノイズを除去するための制御および外部システムインタフェース部１４０が用いられ、通常の画像情報を信号処理するために、制御および外部システムインタフェース部１４０、アナログラインバッファ部１５０、カラムデコーダ１６０、アナログバス１７０、ＡＳＰ１８０およびＤＳＰ１９０が用いられている。

フリッカノイズ検出用画素部１２０は、例えば４ラインの画素で構成され、各１対の行が相互に異なる露出始点を有するように、一つのフレーム間の一つのイメージに関する画像情報を検出し、次のフレームでは、各１対の列の露出始点を変化させた後で、イメージに関する情報を検出する。このように、フリッカノイズ検出用画素部１２０は、複数のフレーム間の露出始点を変更しながら動作する。

フリッカノイズ検出部１３０は、このフリッカノイズ検出用画素部１２０からの信号を受信して、フリッカであるか否かを確認する。

制御および外部システムインタフェース部１４０は、フリッカノイズ検出信号によりシャッター速度を変更する機能の他に、ＦＳＭ(Finite State Machine)を使用して、イメージセンサ全体の動作を制御し、外部システムに対するインタフェースとして機能する。また、配置レジスタ(図示せず)を備えており、様々な内部動作に関連した事項をプログラムすることが可能であり、このプログラムされた情報によってチップ全体の動作を制御する機能を有している。

アナログラインバッファ部１５０は、選択されたある行の画素の電圧を検出して格納する機能を備えており、アナログラインバッファ部１５０に格納されたアナログデータのうち、カラムデコーダ１７０の制御により選択された行のデータ値を、アナログバス１６０を介してＡＳＰ１８０の可変増幅部に伝送する。

この可変増幅部、例えばＰＧＡは、アナログラインバッファ部１５０に格納された画素の電圧が低い場合、この電圧を増幅する機能を備えている。この可変増幅部を経たアナログデータは、色相補正などの処理を経た後、ＡＤＣによりディジタル値に変換される。また、ディジタル値は、ＤＳＰ１９０で上述した処理が施された後、４：２：２または４:４:４などのビデオ規格に合うように変換される。

また、特許文献２に開示されている従来の固体撮像装置の概略システム構成は、図８に示されている。

図８に示すように、特許文献２に開示されている従来の固体撮像装置２００では、レンズ２０１を通して入射光を撮像する撮像素子２０２からの撮像信号を信号処理回路２０３で各種信号処理した後に、補正回路２０４でシャッタースピードなどを補正するが、これとは別に外光センサ２０５およびフリッカ検出回路２０６を設けている。その検出フリッカが１００Ｈｚか１２０Ｈｚかどうかを検出し、その検出結果を補正回路に入力してフリッカを除去するようにシャッタ速度の補正を行う。このフリッカ検出回路２０６では、画像情報をフレーム毎に複数回読み出してレベルの変化でフリッカの周期を検出している。
特開２００５−３１８５０４号公報 特開平１−３４０７０号公報

しかしながら、上記特許文献１に開示されている従来の固体撮像装置１００の構成では、このフリッカノイズ検出の特定動作のために、新たに専用のフリッカノイズ検出用画素部１２０を用意する必要がある。このため、少なくともフリッカノイズ検出用画素部１２０の分だけチップサイズが増大するというデメリットが発生する。

また、上記特許文献２に開示されている従来の固体撮像装置２００の構成では、フリッカノイズを検出するために、外光センサ２０５を別途設置する必要がある。これは、少なくとも外光センサ２０５の分だけシステム全体の部品点数の増加を招くというデメリットがある。

したがって、上記特許文献１、２に開示されている従来の固体撮像装置１００，２００では、フリッカ検出用の専用のセンサや画素部が別途必要になるため、部品点数の増加やチップサイズの増大というデメリットがある。

本発明は、上記従来の問題を解決するもので、部品点数やチップサイズの増大を抑えかつ、フリッカノイズを効果的に検出してフリッカ成分を除去することができる固体撮像装置、この固体撮像装置を用いた固体撮像装置のフリッカ検出方法、このフリッカ検出方法の各処理をコンピュータに実行させるためのコンピュータプログラムである制御プログラム、この制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体、この固体撮像装置を画像入力デバイスとして撮像部に用いたカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。

本発明の固体撮像装置は、被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に、該画像信号用と兼用した一または複数のフリッカ検出用画素が設けられた画素配列部と、該フリッカ検出用画素からの受光素子出力からフリッカを判定するフリッカ検出手段とを有し、判定したフリッカ情報に基づいてフリッカの発生を防止する構成とされているものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の固体撮像装置において、前記一または複数のフリッカ検出用画素の受光素子からも、前記複数の通常画素の受光素子の場合と同様に画像信号を取り出すように構成されている。

さらに、好ましくは、本発明の固体撮像装置において、前記複数の通常画素中の前記フリッカ検出用画素の配列位置に対応するように、該フリッカ検出用画素からの受光素子出力を該複数の通常画素からの受光素子出力間に戻すように構成されている。

さらに、好ましくは、本発明の固体撮像装置における画素配列部は、前記フリッカ検出用画素からの受光素子出力として信号電荷を１フレーム期間に複数回読み出し、前記通常画素からの受光素子出力として信号電荷を該１フレーム期間に１回読み出すように制御が為されており、前記フリッカ検出用画素からの受光素子出力を該複数回だけ積算する積算手段をさらに有し、該フリッカ検出用画素の露光時間を該通常画素の露光時間に合せるように該積算手段により積算した出力を該複数の通常画素からの受光素子出力間に戻すように構成されている。

さらに、好ましくは、本発明の固体撮像装置におけるフリッカ検出用画素に対して信号電荷を読み出す回数を内部または外部から設定可能とし、フリッカの検出を行わない場合に、該フリッカ検出用画素と前記通常画素との全ての受光素子が１フレーム期間に同じ読み出し回数に設定されている。

さらに、好ましくは、本発明の固体撮像装置における積算手段は、前記フリッカ検出用画素の露光時間を、前記通常画素の露光時間と同じ露光時間になるようにシャッター速度に応じた複数回分だけ加算して画素値を算出する。

さらに、好ましくは、本発明の固体撮像装置における積算手段は、加算開始からの時間をカウントするカウンタと、該カウンタによるカウント時間と前記シャッタ速度とを比較する比較回路と、該比較回路による比較結果が一致するまで加算する加算回路とを有している。

さらに、好ましくは、本発明の固体撮像装置において、前記フリッカ検出用画素からの受光素子出力を前記複数の通常画素からの受光素子出力間に戻すように、該複数の通常画素からの受光素子出力と前記積算手段からの積算出力とを所定のタイミングで切り替えて出力する出力手段をさらに有する。

さらに、好ましくは、本発明の固体撮像装置におけるフリッカ検出手段は、前記フリッカ検出用画素からの受光素子出力におけるフリッカ成分の１周期を算出し、予め設定した複数の周期と比較することにより、現状のフリッカ成分が、該予め設定した複数の周期のいずれであるかを判定する。

さらに、好ましくは、本発明の固体撮像装置におけるフリッカ検出手段は、前記フリッカ検出用画素からの受光素子出力におけるフリッカ成分のピークからピークの期間を算出するピーク検出回路と、既知の複数の電源周期と比較して前記現状の光源周期がどの電源周期であるかを判定するピーク周期比較回路とを有する。

さらに、好ましくは、本発明の固体撮像装置において、前記フリッカ検出手段で判定したフリッカ情報に基づいてフリッカを特定し、特定したフリッカに対してフリッカの発生を防ぐシャッター速度に自動制御または選択制御するシャッター速度制御手段をさらに有する。

さらに、好ましくは、本発明の固体撮像装置におけるシャッター速度制御手段は、前記フリッカ情報に対応した前記シャッター速度に切り替える切り替えスイッチを有する。

さらに、好ましくは、本発明の固体撮像装置におけるシャッター速度は、ｎ（ｎは正の整数）／１００ｓｅｃ、ｍ（ｍは正の整数）／１２０ｓｅｃおよび任意設定値ｓｅｃのうちの少なくともいずれかである。

本発明の固体撮像装置のフリッカ検出方法は、被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に設けられ、該画像信号用と兼用した一または複数のフリッカ検出用画素からの受光素子出力に基づいてフリッカを判定するフリッカ検出処理と、該複数の通常画素中の該フリッカ検出用画素の配列位置に対応するように、該フリッカ検出用画素からの受光素子出力を該複数の通常画素からの受光素子出力間に戻す処理とを有するものであり、そのことにより上記目的が達成される。

本発明の固体撮像装置のフリッカ検出方法において、前記フリッカ検出処理で判定したフリッカ情報に基づいてフリッカを特定し、特定したフリッカに対してフリッカの発生を防ぐシャッター速度に自動制御または選択制御するシャッター速度制御処理をさらに有する。

本発明の制御プログラムは、本発明の上記固体撮像装置のフリッカ検出方法の各処理をコンピュータに実行させるためのものであり、そのことにより上記目的が達成される。

本発明の可読記録媒体は、本発明の上記制御プログラムが記録されたコンピュータ読み出し可能なものであり、そのことにより上記目的が達成される。

本発明の電子情報機器は、本発明の上記固体撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用を説明する。

本発明においては、被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に、画像信号用と兼用したフリッカ検出用の一または複数のフリッカ検出用画素が設けられた画素配列部と、フリッカ検出用画素からの受光素子出力からフリッカを判定するフリッカ検出手段とを有し、判定したフリッカ情報に基づいてフリッカの発生を防止する構成とされている。

これによって、フリッカ検出手段により検出されたフリッカ周波数が例えば１００Ｈｚか１２０Ｈｚかを検出し、検出したフリッカ周波数に応じて、シャッタースピードを例えば１／１００ｓｅｃにするか例えば１／１２０ｓｅｃにするかを選択することにより、フリッカノイズを効果的に除去することが可能となる。この場合には、フリッカの検出のために別途画素部や外光センサを用いる必要がないので、従来のように部品点数やチップサイズの増大がなくなる。

以上により、本発明のよれば、部品点数やチップサイズの増大を抑えかつ、フリッカノイズを効果的に検出することができる。これによって、フリッカ成分を効果的に除去することができる。したがって、従来のように部品点数やチップサイズの増大を防止することができる。

以下に、本発明のフリッカ検出方法の実施形態１を固体撮像装置に適用した場合の他、この固体撮像装置を画像入力デバイスとして撮像部に用いたカメラ付き携帯電話装置などの電子情報機器の実施形態２について図面を参照しながら説明する。

（実施形態１）
図１は、本発明の実施形態１に係る固体撮像装置の信号処理システムの要部構成例を示すブロック図である。

図１において、本実施形態１の固体撮像装置２０は、撮像領域としての画素配列部１と、通常画素からの撮像信号をＡ／Ｄ変換するＡ／Ｄ変換回路２と、特定のフリッカ検出用画素（ＦＬＤ画素）からの撮像信号をＡ／Ｄ変換するＡ／Ｄ変換回路３と、Ａ／Ｄ変換回路３からのデジタルデータを順次積算する積算手段としての積算回路４と、Ａ／Ｄ変換回路２からのデジタル値および、積算回路４からの積算値を各種信号処理する信号処理手段としての信号処理回路５と、Ａ／Ｄ変換回路３からの１フレーム期間で複数回読み出されたデジタル値からレベルの変化を求めてその変化の周期からフリッカがどの周期のフリッカであるのかを検出するフリッカ検出手段としてのフリッカ検出回路６と、フリッカ検出回路６による検出結果に基づいて、フリッカの発生を防止するべくシャッター速度を制御するシャッター制御手段としてのシャッター制御回路７とを有している。

画素配列部１は、被写体からの画像光を光電変換して撮像する複数の受光素子（受光部）がマトリクス状で規則的に行列方向に配列されているが、複数の受光素子は、図２に示すように、デコーダ１１（ＤＥＣＶ）により１フレーム期間に信号電荷を複数回だけ読み出すことのできる特定のフリッカ検出用画素（ＦＬＤ画素）である一または複数の受光素子と、デコーダ１１（ＤＥＣＶ）により、特定のフリッカ検出用画素（ＦＬＤ画素）とは別に、１フレーム期間で信号電荷を１回だけ読み出すことのできる通常画素の受光素子とから構成されている。デコーダ１１（ＤＥＣＶ）は、通常画素の受光素子の露光時間と、特定のフリッカ検出用画素（ＦＬＤ画素）の合計の露光時間とは同じ露光時間に設定されている。フリッカの周波数を知るために、特定のフリッカ検出用画素（ＦＬＤ画素）から複数回の読み出しを行っている。

画素配列中の通常画素は、ＣＣＤ型固体撮像装置でもよいが、例えばＣＭＯＳ型固体撮像装置であれば、リセットトランジスタ、電荷転送用トランジスタ、増幅用トランジスタおよびアドレス選択用トランジスタの４個のトランジスタにより構成されている。受光素子であるフォトダイオード１２からの信号電荷は電荷転送用トランジスタを介してフローティングディフージョンＦＤに読み出され、ここで電圧変換された電圧に応じて増幅用トランジスタにより増幅されて垂直信号線１３を通ってＡ／Ｄ変換回路２に入力される。また同様に、特定のフリッカ検出用画素（ＦＬＤ画素）であるフォトダイオード１２からの信号電荷は電荷転送用トランジスタを介してフローティングディフージョンＦＤに読み出され、ここで電圧変換された電圧に応じて増幅用トランジスタにより増幅されて専用の第２垂直信号線１４を通ってＦＲＤ画素専用のＡ／Ｄ変換回路３に入力される。なお、この通常画素や特定のフリッカ検出用画素（ＦＬＤ画素）は、アドレス選択用トランジスタがないセレクトレス構成であってもよい。

Ａ／Ｄ変換回路２は、通常画素の複数の受光素子からの撮像信号（アナログ信号）をデジタルデータに変換する。

Ａ／Ｄ変換回路３は、特定のフリッカ検出用画素（ＦＬＤ画素）である一または複数の受光素子からの撮像信号（アナログ信号）をデジタルデータに変換する。

積算回路４は、図３に示すように、加算開始からの時間（ライン数）をカウントするカウンタ４１と、カウント時間（カウントライン数）とシャッタ速度とを比較する比較回路４２と、比較回路４２による比較結果が一致するまで加算する加算回路４３とを有し、入力したフリッカ検出用画素値を、通常の画素値と同じ露光時間になるようにシャッター速度に応じた回数分加算して画素値を算出する。フリッカ検出画素の露光時間は各読み出し動作、リセット動作（掃き出し動作）の１Ｈ期間（１水平期間）の時間であるが、他の通常画素の露光時間と同一にするために例えば５回分の読み出し動作を加算回路４３で積算することにより、５Ｈ分の露光時間による読み出し信号（画素値出力）を検出する。

信号処理回路５は、Ａ／Ｄ変換回路２からの通常画素のデジタル信号値と、積算回路４からの積算されたフリッカ検出用画素（ＦＬＤ画素）のデジタル信号値とが切り替え部で切り替えられて入力されて、各種信号処理、例えばエラー補正、色相補間、ホワイトバランス補正、ガンマ補正および色空間変換などの各種のディジタル信号処理を施す。

フリッカ検出回路６は、ピーク検出回路６１と、既知の電源周期（５０Ｈｚ周期）と比較して周波数を判定するピーク周期比較回路６２と、既知の電源周期（６０Ｈｚ周期）と比較して周波数を判定するピーク周期比較回路６３とを有し、入力したフリッカ検出用画素値について、ピークからピークの期間（１周期）を算出し、予め与えられた電源周期（６０Ｈｚ周期）および電源周期（５０Ｈｚ周期）と比較することにより、現状の光源が電源周期（６０Ｈｚ周期）であるのかまたは電源周期（５０Ｈｚ周期）であるのかを判定する。これらの電源周期（６０Ｈｚ周期）および電源周期（５０Ｈｚ周期）の他に、任意の設定周期を設定することもできる。

シャッター制御回路７は、周波数に応じたシャッター速度（ｎ／１００ｓｅｃ、ｍ／１２０ｓｅｃおよび任意ｓｅｃのいずれか）を選択する切り替えスイッチ７１を有しており、フリッカ検出回路６の検出結果に基づいて、シャッター速度をｎ／１００ｓｅｃおよびｍ／１２０ｓｅｃ（さらに任意ｓｅｃを含んでいてもよい）のいずれかに選択することにより、フリッカのイズを除去することができる。なお、ｎ、ｍは正の整数で明るさに応じて決定される。

上記構成により、まず、画素配列部１内にて、複数の受光素子（受光部）のうち、通常画素については１フレーム期間に１回、また、一または複数の特定のフリッカ検出用画素については１フレーム期間に複数回、通常画素およびフリッカ検出用画素の各受光素子から撮像信号をそれぞれ読み出す。

次に、読み出された撮像信号のアナログレベルは、Ａ／Ｄ変換回路２、３によりそれぞれデジタルデータ（デジタル値）に変換する。

続いて、Ａ／Ｄ変換回路３からのデジタルデータはフリッカ検出回路６に入力される。この入力されデジタル信号のレベル変化（ピークと次のピークまでの期間）から、フリッカが１／１２０ｓｅｃであるのかまたは１／１００ｓｅｃであるのか、さらには設定した任意ｓｅｃであるのかのフリッカ情報を検出する。

その後、この検出結果（フリッカが如何なるフリッカであるのか）としてのフリッカ情報がシャッター制御回路７に入力される。入力されたフリッカ情報に基づいて、シャッター制御回路７が、フリッカを防止するシャッター速度に選択制御することにより、フリッカの見られない画像を出力することが可能となる。

一方、Ａ／Ｄ変換回路３により得られた撮像信号のデジタルデータ（デジタル値）は積算回路４に入力される。この入力されたデジタルデータ（デジタル値）を、積算回路４が順次信号を積算することにより、通常画素の受光素子から読み出された撮像信号のデジタルレベルがＡ／Ｄ変換回路３により変換されたデジタルレベルと同じレベルの信号を生成することができる。

これによって、画素配列部１内の通常画素からＡ／Ｄ変換回路２によりデジタル値に変換された信号と同様に、フリッカ検出用画素から得られた積算回路４からの積算出力（デジタル値）を信号処理回路５に所定のタイミング（切り替え部による切り替えタイミング）で入力させることができるため、フリッカ検出用画素も通常画素と同様に各種信号処理されて画素抜けすることなく画像表示することができる。これによって、従来のようにフリッカノイズ検出用に画素部を別途設ける必要がなく、チップサイズの増大を抑えることが可能になる。

上記フリッカノイズ検出からフリッカノイズ除去動作について、図４および図５を用いてさらに詳細に説明する。

図４に画素アレイ中の通常画素とフリッカ検出画素との配置状態および各行のＡライン、Ｂライン、Ｃライン、Ｄライン、Ｅライン、ＦラインおよびＧラインを示している。

また、図５（ａ）は、上記図４の画素アレイを使用した場合の通常画素およびフリッカ検出画素（ＦＬＤ画素）のアクセスタイミングを示しており、図４の画素アレイ中のＡラインの通常画素が、読出し動作、リセット動作(掃き出し)を実行した後に、例えば５Ｈ（５水平走査期間）の露光時間後に、再び読出し動作、リセット動作(掃き出し）を実行する様子を示している。

これと同様に、図４の画素アレイ中のＢライン、Ｃライン、ＤラインおよびＥラインの通常画素が、読出し動作、リセット動作(掃き出し)を実行した後に、例えば５Ｈ（５水平走査期間)の露光時間後に、再び読出し動作、リセット動作(掃き出し)を実行する様子を示している。また、各ラインの動作間のタイミング差は例えば１Ｈ（１水平走査期間)とすることができる。

図５（ｂ）は、図４の画素アレイ中のフリッカ検出画素（ＦＬＤ画素）が、読出し動作およびリセット動作(掃き出し)を実行するタイミングを示している。このタイミングは上記図５（ａ）にて示した通常画素が、読出し動作およびリセット動作(掃き出し)を実行するタイミングと同じタイミングである。

図５（ｃ）は、フリッカ検出回路６からの出力値を示している。このフリッカ回路出力のデジタル出力値は、図５（ｄ）に示すような信号包絡線を持っている。この信号包絡線の半周期幅が１／１２０ｓｅｃならば家庭用交流電源は６０Ｈｚであり、この信号包絡線の半周期幅が１／１００ｓｅｃならば家庭用交流電源は５０Ｈｚであることが判明する。

シャッター制御回路７では、フリッカ検出回路６からの出力値にて判明した１／１２０ｓｅｃまたは１／１００ｓｅｃのフリッカ情報に基づいて、シャッター速度を１／１２０ｓｅｃの整数倍または１／１００ｓｅｃの整数倍に設定することにより、システム上に存在するフリッカを除去することが可能となる。

図５（ｅ）では、積分回路４の出力値であって、各タイミングにてＡ／Ｄ変換回路３から出力された出力値を、積分回路４により積算された値を示している。この値は、画素配列部１中の通常画素からの信号をＡ／Ｄ変換回路２によりデジタル値に変換した値と同様にして、信号処理回路５に入力して、信号処理回路５で各種の信号処理を実行することができる。

したがって、本実施形態１においては、１フレーム期間に複数回（ここでは５回）だけ信号電荷を読み出すことのできるフリッカ検出画素（ＦＬＤ画素）の受光素子からの出力を積算する積分回路４で信号を積算することにより、１フレーム期間で１回だけ信号電荷を読み出すことのできる通常画素の受光素子からの出力と同じレベルの信号を生成し、１フレーム期間で１回だけ信号電荷を読み出すことのできる通常画素の受光素子からの出力と、積分回路４からの積算出力とを切り替えて出力する出力部（信号処理回路５に設けられていてもよい）で信号を切り替えて出力する。１フレーム期間に複数回だけ信号電荷を読み出すことができる受光素子の出力を元にフリッカを判定するフリッカ検出回路６で複数回読み出した信号のレベル変化から、フリッカが如何なるフリッカであるかを検出し、この検出結果（フリッカ情報）、即ち、如何なるフリッカであるかに応じて、シャッター制御回路７により、フリッカの発生を防ぐシャッター速度に制御してフリッカの発生を防止することができる。

また、１フレーム期間に複数回の信号電荷を読み出すことのできるフリッカ検出画素（ＦＬＤ画素）の受光素子において、信号電荷を読み出す回数を切り替えてフリッカの検出を行う場合は、１フレーム期間に複数回、信号電荷を読み出し、その信号のレベル変化から、如何なるフリッカであるかを検出し、フリッカの検出を行わない場合は、全ての受光素子が同じ動作（１フレーム期間に１回の読み出し動作）をさせることにより、特性のそろった信号電荷を各受光素子から出力させることができる。

以上により、従来例では、フリッカを検出するために、別途検出用のセンサが必要となる場合や、センサの一部を特別な動作を行わせるため、新たに専用の画素部が必要となることにより、部品点数の増加やチップサイズ増大などのデメリットが発生していたが、本実施形態１によれば、この従来のデメリットの解決が可能となって、部品点数の減少やチップサイズ減少を図ることができる。
（実施形態２）
図６は、本発明の実施形態２として、本発明の実施形態１の固体撮像装置２０を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。

図６において、本実施形態２の電子情報機器８０は、上記実施形態１の固体撮像装置２０と、この固体撮像装置２０からのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部８１と、この固体撮像装置２０からのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示手段８２と、この固体撮像装置２０からのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信手段８３とを有している。なお、この電子情報機器８０として、これに限らず、固体撮像装置２０の他に、メモリ部８１と、表示手段８２と、通信手段８３と、プリンタなどの画像出力手段８４とのうちの少なくともいずれかを有していてもよい。

この電子情報機器８０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。

したがって、本実施形態２によれば、この固体撮像装置２０からのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力手段８４により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部８１に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。

なお、本実施形態１では、特に説明しなかったが、被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に、画像信号用と兼用したフリッカ検出用の一または複数のフリッカ検出用画素が設けられた画素配列部１と、このフリッカ検出用画素の露光時間を通常画素の露光時間に合せるように、フリッカ検出用画素からの受光素子出力を積算する積算回路４と、フリッカ検出用画素からの受光素子出力からフリッカを判定するフリッカ検出回路６と、フリッカ検出回路６で判定したフリッカ情報に基づいてフリッカを特定し、特定したフリッカに対してフリッカの発生を防ぐシャッター速度に制御するシャッター速度制御回路７とを有し、積算回路４により積算した出力を複数の通常画素からの受光素子出力間に戻す構成としている。また、この固体撮像装置２０のフリッカ検出方法としては、被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に設けられ、画像信号用と兼用した一または複数のフリッカ検出用画素からの受光素子出力に基づいてフリッカを判定するフリッカ検出処理と、複数の通常画素中のフリッカ検出用画素の配列位置に対応するように、フリッカ検出用画素からの受光素子出力を複数の通常画素からの受光素子出力間に戻す処理とを有している。これらによって、従来のような部品点数やチップサイズの増大を抑えかつ、フリッカノイズを効果的に検出してフリッカ成分を除去することができる本発明の目的を達成することができる。

さらに、上記実施形態１のように、フリッカ周波数や、フリッカが除去されるシャッター速度を予め準備しておくのではなく、検出したフリッカの周波数が如何なるものかを検出し、その検出したフリッカの周波数に合せて、フリッカが除去されるシャッター速度に自動設定することもできる。

また、本実施形態１では、特に説明しなかったが、ハードウェア構成だけではなく、ソフトウェア構成とすることもできる。ソフトウェア構成では、上記固体撮像装置２０のフリッカ検出方法の各処理をコンピュータに実行させるための制御プログラムに基づいて、制御手段としてのＣＰＵ（中オ運演算処理装置）が、被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に設けられ、画像信号用と兼用した一または複数のフリッカ検出用画素からの受光素子出力に基づいてフリッカを判定するフリッカ検出処理と、複数の通常画素中のフリッカ検出用画素の配列位置に対応するように、フリッカ検出用画素からの受光素子出力を複数の通常画素からの受光素子出力間に戻す処理とを実行する。

ソフトウェア構成としては、全体の制御を行う制御手段としてのＣＰＵ（中央演算処理装置）と、このＣＰＵに対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などの操作部と、表示画面上に、初期画面、選択場面、ＣＰＵ１による制御結果画面および操作入力画面などを表示する表示部と、制御プログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体としてのＲＯＭと、起動時に制御プログラムおよびそのデータなどが読み出されて、ＣＰＵによる制御毎にデータを読み出し・記憶するワークメモリとして働く記憶部としてのＲＡＭとを有している。

可読記録媒体としてのＲＯＭとしては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭに記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ４にダウンロードされてもよい。

以上のように、本発明の好ましい実施形態１，２を用いて本発明を例示してきたが、本発明は、この実施形態１，２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１，２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、フリッカを検出するフリッカ検出装置、このフリッカ検出装置が設けられてフリッカノイズを除去すると共に、被写体からの画像光を光電変換して撮像する固体撮像装置、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、車載用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器の分野において、部品点数やチップサイズの増大を抑えかつ、フリッカノイズを効果的に検出することができる。

本発明の実施形態１に係る固体撮像装置の信号処理システムの要部構成例を示すブロック図である。 図１の画素配列部の詳細を説明するための図である。 図１の積算回路、フリッカ検出回路およびシャッター制御回路の具体的構成例を示すブロック図である。 図１の画素配列部中の通常画素とフリッカ検出画素との配置状態および各行のＡライン、Ｂライン、Ｃライン、Ｄライン、Ｅライン、ＦラインおよびＧラインを模式的に示す平面図である （ａ）は通常画素およびフリッカ検出画素（ＦＬＤ画素）のアクセスタイミング、（ｂ）はフリッカ検出画素（ＦＬＤ画素）が読出し動作およびリセット動作(掃き出し)を実行するタイミング、（ｃ）はフリッカ回路出力、（ｄ）は（ｃ）のフリッカ回路出力の信号包絡線、（ｅ）は積分回路からの積算回路出力を示す図である。 本発明の実施形態２として、本発明の実施形態１の固体撮像装置２０を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 特許文献１に開示されている従来の固体撮像装置のシステム構成例を示すブロック図である。 特許文献２に開示されている従来の固体撮像装置の概略システム構成例を示すブロック図である。

符号の説明

１ 画素配列部
２ Ａ／Ｄ変換回路
３ Ａ／Ｄ変換回路
４ 積算回路
４１ カウンタ
４２ 比較回路
４３ 加算回路
５ 信号処理回路
６ フリッカ検出回路
６１ フリッカ検出回路
６２、６３ ピーク周期比較回路
７ シャッター制御回路
７１ 切り替えスイッチ
２０ 固体撮像装置
８０ 電子情報機器
８１ メモリ部
８２ 表示手段
８３ 通信手段
８４ 画像出力手段

Claims (18)

1. 被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に、該画像信号用と兼用した一または複数のフリッカ検出用画素が設けられた画素配列部と、該フリッカ検出用画素からの受光素子出力からフリッカを判定するフリッカ検出手段とを有し、判定したフリッカ情報に基づいてフリッカの発生を防止する構成とされている固体撮像装置。
2. 前記一または複数のフリッカ検出用画素の受光素子からも、前記複数の通常画素の受光素子の場合と同様に画像信号を取り出すように構成されている請求項１に記載の固体撮像装置。
3. 前記複数の通常画素中の前記フリッカ検出用画素の配列位置に対応するように、該フリッカ検出用画素からの受光素子出力を該複数の通常画素からの受光素子出力間に戻すように構成されている請求項１または２に記載の固体撮像装置。
4. 前記画素配列部は、前記フリッカ検出用画素からの受光素子出力として信号電荷を１フレーム期間に複数回読み出し、前記通常画素からの受光素子出力として信号電荷を該１フレーム期間に１回読み出すように制御が為されており、
   前記フリッカ検出用画素からの受光素子出力を該複数回だけ積算する積算手段をさらに有し、該フリッカ検出用画素の露光時間を該通常画素の露光時間に合せるように該積算手段により積算した出力を該複数の通常画素からの受光素子出力間に戻すように構成されている請求項１に記載の固体撮像装置。
5. 前記フリッカ検出用画素に対して信号電荷を読み出す回数を内部または外部から設定可能とし、フリッカの検出を行わない場合に、該フリッカ検出用画素と前記通常画素との全ての受光素子が１フレーム期間に同じ読み出し回数に設定されている請求項４に記載の固体撮像装置。
6. 前記積算手段は、前記フリッカ検出用画素の露光時間を、前記通常画素の露光時間と同じ露光時間になるようにシャッター速度に応じた複数回分だけ加算して画素値を算出する請求項４に記載の固体撮像装置。
7. 前記積算手段は、加算開始からの時間をカウントするカウンタと、該カウンタによるカウント時間と前記シャッタ速度とを比較する比較回路と、該比較回路による比較結果が一致するまで加算する加算回路とを有する請求項６に記載の固体撮像装置。
8. 前記フリッカ検出用画素からの受光素子出力を前記複数の通常画素からの受光素子出力間に戻すように、該複数の通常画素からの受光素子出力と前記積算手段からの積算出力とを所定のタイミングで切り替えて出力する出力手段をさらに有する請求項４、６および７のいずれかに記載の固体撮像装置。
9. 前記フリッカ検出手段は、前記フリッカ検出用画素からの受光素子出力におけるフリッカ成分の１周期を算出し、予め設定した複数の周期と比較することにより、現状のフリッカ成分が、該予め設定した複数の周期のいずれであるかを判定する請求項１に記載の固体撮像装置。
10. 前記フリッカ検出手段は、前記フリッカ検出用画素からの受光素子出力におけるフリッカ成分のピークからピークの期間を算出するピーク検出回路と、既知の複数の電源周期と比較して前記現状の光源周期がどの電源周期であるかを判定するピーク周期比較回路とを有する請求項９に記載の固体撮像装置。
11. 前記フリッカ検出手段で判定したフリッカ情報に基づいてフリッカを特定し、特定したフリッカに対してフリッカの発生を防ぐシャッター速度に自動制御または選択制御するシャッター速度制御手段をさらに有する請求項１に記載の固体撮像装置。
12. 前記シャッター速度制御手段は、前記フリッカ情報に対応した前記シャッター速度に切り替える切り替えスイッチを有する請求項１１に記載の固体撮像装置。
13. 前記シャッター速度は、ｎ（ｎは正の整数）／１００ｓｅｃ、ｍ（ｍは正の整数）／１２０ｓｅｃおよび任意設定値ｓｅｃのうちの少なくともいずれかである請求項１１または１２に記載の固体撮像装置。
14. 被写体からの画像光を光電変換して撮像する画像信号用の複数の通常画素中に設けられ、該画像信号用と兼用した一または複数のフリッカ検出用画素からの受光素子出力に基づいてフリッカを判定するフリッカ検出処理と、該複数の通常画素中の該フリッカ検出用画素の配列位置に対応するように、該フリッカ検出用画素からの受光素子出力を該複数の通常画素からの受光素子出力間に戻す処理とを有する固体撮像装置のフリッカ検出方法。
15. 前記フリッカ検出処理で判定したフリッカ情報に基づいてフリッカを特定し、特定したフリッカに対してフリッカの発生を防ぐシャッター速度に自動制御または選択制御するシャッター速度制御処理をさらに有する請求項１４に記載の固体撮像装置のフリッカ検出方法。
16. 請求項１４または１５に記載の固体撮像装置のフリッカ検出方法の各処理をコンピュータに実行させるための制御プログラム。
17. 請求項１６に記載の制御プログラムが記録されたコンピュータ読み出し可能な可読記録媒体。
18. 請求項１〜１３のいずれかに記載の固体撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。

Images