JP2011014957A - 撮像素子 - Google Patents

Abstract

【課題】周期的に発光量が変動する光源を照明として利用する撮影環境下でローリングシャッタ方式のＣＭＯＳ撮像素子を用いて撮影を行った際に発生する縞状のフリッカを効率よく検出し、高精度に抑圧する。
【解決手段】撮像素子上に被写体の撮影を行うための第１のフォトダイオードと、光源の発光強度の変動を検出するための第２のフォトダイオードを配し、該第１のフォトダイオードと該第２のフォトダイオードの露光時間を個別に設定することで、該第１のフォトダイオードでは適正露光時間の設定を保ちつつ該第２のフォトダイオードの露光時間を光源の発光強度の変動周期を検出するときに適した値に設定することが可能となる。そのことによって、被写体の撮影と並行して動的に点滅光源の点滅周期や変動量のトレースを行って、その結果を用いてフリッカの効率的な検出と、高精度な抑圧を可能とする。
【選択図】図１

Description

本発明は撮像素子に係る。

本技術分野の背景技術として、例えば、特開２００８−１４７７１３号公報がある。該公報には「［課題］撮像素子を用いて画像を撮像する撮像装置において、時間を掛けずにフリッカ周波数を判定できるようにすること。［解決手段］撮像素子（４）を用いて画像を撮像する撮像装置において、前記撮像素子の予め設定された領域から、複数の周波数にそれぞれ対応する複数の異なる時間差で、それぞれ２周期分ずつ同じ電荷蓄積時間の電気信号を順次読み出す読み出し（Ｓ２１、Ｓ２３、Ｓ２８）、前記読み出し工程で読み出した前記２周期分の電気信号の差が、１つの時間差について予め設定された範囲内であって、且つ、少なくとも１つの他の時間差について予め設定された範囲外である場合に（Ｓ２２、Ｓ２４、Ｓ２９）、前記予め設定された範囲内となる時間差に対応する周波数を前記フリッカの周波数として判定する（Ｓ２５）。」と記載されている（要約参照）。

特開２００８−１４７７１３号公報

撮影フォーマットがＨｉｇｈ‐ｄｅｆｉｎｉｔｉｏｎ（一般的にＨＤと表記される）のビデオカメラや画素数の多いデジタルスチルカメラでは、高速読み出しに適したＣＭＯＳ撮像素子が好適な撮像デバイスとされている。一般的なＣＭＯＳ撮像素子は、ライン単位で露光時間がシフトするローリングシャッタ動作により駆動されるため、周期的に照明の発光強度が変動する撮影環境下において、シャッタスピードと照明の点滅速度が同期しない場合に、ライン単位の露光斑が発生し、動画撮影時のラインフリッカ（静止画撮影時ではライン単位の露光斑）となって画質を低下させてしまうことがあるため、露光斑の発生を予測して低減することが求められる。

かかる問題を解決するための技術として、特開２００８−１４７７１３号公報には被写体を撮影する前にラインフリッカの周波数を検出するための予備撮影的なものを行いフリッカの有無を検出して対応する技術が記載されている。

しかしながら、実際の照明の発光強度変動は複雑な波形を示すことが多いため、動画撮影時にラインフリッカを良好に抑圧する為には、ラインフリッカの周波数を判定するだけではなく、ラインごとにリアルタイムでラインフリッカの補正量を算出することが必要であり、特開２００８−１４７７１３号公報に記載の技術では対応することが難しい。

周期的に発光量が変動する光源を照明として利用する撮影環境下でローリングシャッタ方式のＣＭＯＳ撮像素子を用いて撮影を行った際に発生する縞状のフリッカを抑圧するには、フリッカ発生の有無を検出してシャッタスピードを点滅光源の点滅周期の整数倍に設定するか、露光斑によるライン単位の信号レベルの変動量を相殺するようにゲイン調整を行う必要があるが、撮像素子のフォトダイオードの露光時間を一律に設定する従来方式の撮像素子では、フリッカの検出やゲイン調整のために信号レベルの変動量の推定を行う過程において、本来設定すべきである適正露光時間から変更する必要があるため、その間良好な動画撮影が行えないという問題があった。

本発明は、特許請求の範囲に記載の解決手段を提供する。例えば、１つの撮像素子上に被写体の撮影を行うための第１のフォトダイオードと、光源の発光強度の変動を検出するための第２のフォトダイオードを配し、該第１のフォトダイオードと該第２のフォトダイオードの露光時間を個別に設定することが可能な手段を有することを特徴とする。

本発明による撮像素子は、例えば、該第１のフォトダイオードには適正露光時間を設定し、該第２のフォトダイオードには発光強度の変動の特徴検出するときに適した値に露光時間を設定することができる。そのため、該第１のフォトダイオードが適正な露光状態を保ったままで被写体の撮影を行うここと並行して、該第２のフォトダイオードを用いて動的に点滅光源の点滅周期や変動量のトレースをすることが可能であるという利点がある。

撮像素子を機能のブロック図で表した一例 図式化した撮像素子の画素の構成 第１のフォトダイオード群を構成する画素の接続 第２のフォトダイオード群を構成する画素の接続 一般的なローリングシャッタの露光時間制御タイミング 本発明のローリングシャッタの露光時間制御タイミング 撮像素子を機能のブロック図で表した一例 ５０Ｈｚの商用電源で点灯される蛍光灯の発光強度の変動 露光タイミングと照明発光強度の変動の関係 露光タイミングと照明発光強度の変動の関係 撮像素子を機能のブロック図で表した一例 偶数画素と奇数画素の撮像信号のレベルの推移 第２のフォトダイオードに設定する露光時間の設定方法の一例 撮像信号レベルの変動の推移 本発明の撮像素子を機能のブロック図で表した一例 撮像素子からの出力信号の種類と順番の一例 照明の発光強度の変動と露光タイミングの関係 照明の発光強度の変動と露光タイミングの関係 偶数画素と奇数画素の並び 本発明の撮像素子を機能のブロック図で表した一例 本発明の撮像素子を機能のブロック図で表した一例 第２のフォトダイオード群を構成する画素の接続 露光タイミングと照明発光強度の変動の関係

以下、図面を用いて実施形態を説明する。

図１は、本発明の撮像素子を機能のブロック図で表した一例である。
同図において、１０１は第１のフォトダイオード群、１０２は第２のフォトダイオード群、１０３は画素アンプ群、１０４は信号読出しスイッチ群、１０５は第１の電荷排出スイッチ群、１０６は第２の電荷排出スイッチ群、１０７は第３の電荷排出スイッチ群、１０８はカラム選択スイッチ群、１０９はスイッチ開閉手段、１１０はアナログゲイン調整アンプ、１１１はＣＤＳ及びＡＤＣ回路を示している。

１０１の第１のフォトダイオード群及び１０２のフォトダイオード群は撮像素子の受光面に一定間隔で並ぶように配置されている。該第１のフォトダイオード群は被写体の撮像行うためのフォトダイオードを総称するものであり、その一部はフォトダイオードの受光部をアルミなどの金属で遮蔽された黒レベルを特定する為のフォトダイオードとして使用される。また、該第２のフォトダイオード群は点滅光源の検出や特徴量を抽出するためのフォトダイオードの総称するものである。通常固体カラー撮像素子では、色分離の為の色フィルタ（光学的な帯域通過フィルタ）が各フォトダイオードの受光部に配されるが、該第２のフォトダイオード群の受光部にはそれを配さない状態を理想的とする。

１０３の画素アンプ群は、フォトダイオードから読み出される微弱な撮像信号を増幅するための増幅回路の総称であり、第１のフォトダイオード群及び第２のフォトダイオード群を形成するフォトダイオードに接続される。１０４の信号読出しスイッチ群は、画素アンプで増幅された撮像信号を読み出す際に開かれる電子式のスイッチの総称であり、該画素アンプに接続され、１０９のスイッチ開閉手段により電子的にスイッチの開閉制御が行われる。１０５の第１の電荷排出スイッチ群、１０６の第２の電荷排出スイッチ群及び１０６の第２の電荷排出スイッチ群は、個々のフォトダイオードに接続された基板上に不要な電荷を排出するための電子スイッチの総称であり、１０４の信号読出しスイッチ群と同様に１０９のスイッチ開閉手段により電子的にスイッチの開閉制御が行われる。

１０８のカラム選択スイッチ群は、行単位（横方向）でフォトダイオードから読み出される撮像信号のうち、どの列を選択して出力するかを制御する電子スイッチの総称であり、前記の１０４、１０５、１０６，１０７のスイッチ群と同様に、１０９のスイッチ開閉手段により電子的にスイッチの開閉制御が行われる。１０９のスイッチ開閉手段は前記の通り、撮像信号を読み出すフォトダイオード行と列の選択や、電気的エネルギーを排出するフォトダイオードの行を選択する制御を行う役割を果たし、フォトダイオードから信号読出しを行うタイミングや電気的エネルギーを排出するタイミングを管理することで露光時間を制御する。１１０のアナログゲイン調整アンプは、１０８のカラム選択スイッチ群を通って各画素から読み出された撮像信号のゲイン調整を行う。

１１１のＣＤＳ（Correlated Double Sampling）及びＡＤＣ（analog-to-digital converter）回路は、ＣＤＳ回路によって相関２重サンプリングによって、１１０のアナログゲイン調整アンプでゲイン調整された撮像信号の黒のレベルを一定にするよう調整した後、ＡＤＣ回路によって黒レベル調整が行われた撮像信号をアナログ信号からデジタル信号に変換する。

図２は本発明の撮像素子に於ける画素の構成の一例を示したものであり、同図において、２０１はフォトダイオード、２０２は画素アンプ、２０３は信号読み出し用電子スイッチ、２０４はＲＯＷ読み出し制御パルス用信号線、２０５は読出し信号線、２０６は電荷排出用電子スイッチ、２０７はＲＯＷリセット制御パルス用信号線、２０１のフォトダイオード、２０２の画素アンプ、２０３の信号読み出し用電子スイッチで構成される２０８は画素を示している。

図３は１０１の第１のフォトダイオード群を構成する画素の一部と１０８のカラム選択スイッチ群を形成するカラム選択電子スイッチの接続を示したものである。

同図において、３０１はカラム選択電子スイッチを示しており、２０４、２０５、２０７、２０８については図２のそれと同様の内容をしめしている。

さらにまた、図４は１０２の第２のフォトダイオード群を構成する画素の一部と１０８のカラム選択スイッチ群を形成するカラム選択電子スイッチとの接続を示したものである。

同図において、３０１、２０４、２０５、２０７、２０８については図２のそれと同様の内容をしめしている。

以下、前述のコンポーネントがそれぞれどのような働きをして課題を解決するのかについて説明するが、まず始めに本発明に於ける撮像素子から撮像信号を発生させる仕組みについてのべる。

１０１の第１のフォトダイオード群及び、１０２の第２のフォトダイオード群を形成するフォトダイオードに対して、画素アンプ、信号読み出し用電子スイッチ及び電荷排出用電子スイッチが電気的に接続された状態で構成される画素は、該フォトダイオードで光を電気的なエネルギーに変換して蓄積する。

ここで、該フォトダイオードで発生する電気的なエネルギーは、該フォトダイオードに照射される光の強度と露光時間の積に比例する。

該フォトダイオードは、1つの撮像面を形成するようにアレー上に配置されており、個々のフォトダイオードに対する露光時間を一定した状態で該フォトダイオードに蓄積された電気的エネルギーを２０３の信号読み出し用電子スイッチ通して電気的信号として読み出すことにより、撮像素子の撮像面上に投射された被写体の光の像を示す撮像信号を撮像素子で発生させることができる。

一般的にフォトダイオードから発生する電気的信号は微弱であることから、図２に示した様に、フォトダイオードと信号読み出しようスイッチの間に発生したさせた撮像信号を増幅する２０２の画素アンプを設けていることが多く、本発明でも同様の構成をとることとする。

次に本発明の撮像素子に於いて、各々の画素から発生する撮像信号を個別に読み出すときの信号読出し動作について説明する。

図３及び図４に示したように、本撮像素子では、２０４のＲＯＷ読み出し制御パルス用信号線が行単位（図面横の方向）で共通化されており、２０５の読みだ信号線は列単位（図面たての方向）に共通化されているという特徴をもつ。

そのことから、本撮像素子において各々の画素から信号を読み出す場合には、まず始めに、１０９のスイッチ開閉手段により信号を読出す画素ある行を選択して信号読み出し用スイッチを開き、ついで、信号を出力する列を選択してカラム選択電子スイッチを開けば、所望の行と列における撮像信号を読み出すことが出来る。

以上によれば、本撮像素子における撮像信号の読出しは、信号を読み出す行と列の選択を１０９のスイッチ開閉手段で制御することが可能であり、通常の読出し動作時において、全ての画素から撮像信号を読み出すときは、任意の1行に行選択を固定しつつ、信号を読み出す列の選択を端から順番にシフトしていく動作を、順番に全ての行に対して端か順序良く行うことで達成させられる。

ところで、２０１のフォトダイオードに蓄積可能なエネルギーの容量には限りがあるため、該フォトダイオードを露光することによって、光電変換による電気的エネルギーが、その容量を満たしてしまうと、該フォトダイオードに照射される光の強度と露光時間の積と該フォトダイオードから出力される撮像信号レベルの比例関係を維持することが出来なくなる。

この状態を一般的には、飽和と言うが、この飽和が発生すると、撮像素子から正確に被写体の像を示す撮像信号を取得することが出来なくなってしまう。

そこで、本発明における撮像素子を含め、一般的な固体撮像素子ではフォトダイオードに蓄積された電気的なエネルギーを定期的に基板上に排出することで、フォトダイオードに蓄積された電気的なエネルギーをリセットする機能が設けられている。

一般的なローリングシャッタ方式を採用する撮像素子では、フォトダイオードがなるべく飽和状態にならないように、図５に示したようなフレームリセットパルス、フレームリセットパルスを基準としたＲＯＷリセット制御パルスによるフォトダイオードのリセットタイミング管理と、フレームリセットパルスを基準としたＲＯＷ読み出し制御パルスによる撮像信号の読出しタイミングの管理が行われており、フレームリセットパルスを基準にして、ＲＯＷリセット制御パルスのタイミング（Ｔｒｅｓｅｔ）とＲＯＷ読み出し制御パルスのタイミング（Ｔｒｅａｄ）を設定することで、フォトダイオードで被写体の像を示す電気的エネルギーを蓄積するための露光時間（Ｔｅｘ）を定義している。

本撮像素子における露光制御も一般的なローリングシャッタを採用する撮像素子と同様に、ＲＯＷリセット制御パルスとＲＯＷ読み出し制御パルスのタイミングを制御することにより露光時間の制御を行うが、ＲＯＷリセット制御パルスのタイミング管理と同時にリセットをかけるフォトダイオードの組み合わせにおいて、本撮像素子における最も特徴的な部分が存在する。

そこで次に、この本発明における特徴的な部分についての説明をする。
まず、構造に関して説明すると、一般的なＣＭＯＳ撮像素子では、フォトダイオードのＲＯＷリセットを行単位で行全体に共通化される構造を持つが、本発明では図３及び図４で示されるように、ＲＯＷリセット制御パルス用信号線の制御を第１のフォトダイオード群、第２のフォトダイオード群の偶数画素、第２のフォトダイオード群の奇数画素で分割してＲＯＷリセット制御パルス用信号線を行単位で共通化する構造を持つ。

その効果を説明すると以下の通りとなる。

図６は本発明に適用する撮像素子の画素のある任意の行に注目したときの、ローリングシャッタの露光制御タイミングの１例を示しており、ＲＯＷリセット制御パルスＡは、第１のフォトダイオード群のリセット、ＲＯＷリセット制御パルスＢは、第２のフォトダイオード群の偶数画素のリセット、ＲＯＷリセット制御パルスＣは、第２のフォトダイオード群の奇数画素のリセット、ＲＯＷ読出し制御パルスは、第１のフォトダイオード及び第２のフォトダイオードの行単位で読出しを行うタイミングを示している。

これら、ＲＯＷリセット制御パルスＡ、ＲＯＷリセット制御パルスＢ、ＲＯＷリセット制御パルスＣ、ＲＯＷ読出し制御パルスは、１０９のスイッチ開閉手段の設定によって制御され、それぞれのパルスが図６に示したようなタイミングを取るとき、同一の行内にある第１のフォトダイオード群に属する画素、第２のフォダイオード群に属する偶数画素、第２のフォダイオード群に属する奇数画素のそれぞれの露光時間をＴｅｘＡ、ＴｅｘＢ、ＴｅｘＣというように３通りの露光時間を設定することが可能である。

以上によれば、一定間隔で面状に配置される被写体撮影のための第１のフォトダイオード群と、光源の発光強度の変動を検出するための第２のフォトダイオード群と、該第１及び第２のフォトダイオード群の個々に接続された電荷排出又は電荷読み出しのための電子スイッチ群と、該電子スイッチ群の開閉を制御するスイッチ開閉制御手段とを有する撮像素子であって、該スイッチ開閉手段により制御される露光時間としては、該第１のフォトダイオード群と該第２のフォトダイオード群で個別の設定が可能であり、尚且つ第２のフォトダイオード群に対してはさらにエリアを分割して同時に２通り以上の設定が可能である。

図７は、本発明の撮像素子を機能のブロック図で表した一例である。
同図において、図１と同じ符号が付けられた部分はそれぞれ図1と同様の役割を果たす。

図１の実施例と図７の実施例の違いは、７０１の検波回路が追加された点であり、該検波回路が第２のフォトダイオードから得られる撮像信号の検波を行って、周期的に発光強度が変動する点滅光源の有無を検出する点である。

以下、本発明において７０１の検波回路が点滅光源の有無を検出する仕組みについて説明する。

社会インフラとして整備されている商用電源周波数には５０Ｈｚと６０Ｈｚが混在している。このとき、電圧変動に追従して発光強度が変わる蛍光灯などの照明の点滅速度は一般的に電源周波数の倍速となり、５０Ｈｚの電源では１００Ｈｚ、６０Ｈｚの電源では１２０Ｈｚで光源の発光強度が変化する。例えば、５０Ｈｚの商用電源で点灯される蛍光灯の発光強度の変動は、横軸を時間、縦軸を発光強度とすると図８に示すような０．０１秒周期となる。

以上を踏まえた上で、まずは商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期しない場合について、本発明において検波回路が点滅光源の有無を検出する仕組みについて説明する。

図９は本発明の撮像素子を６０Ｈｚのフレームレートで撮像信号を読み出す場合において、１／１００で点滅する点滅光源の有無を検出するための第２のフォトダイオードに設定する露光時間を設定したときのある任意の行のフォトダイオードにおける露光タイミングと照明発光強度の変動の関係を示したものである。

同図は、点滅光源の有無を検出するために第２のフォトダイオードに対して、偶数画素には１／１００秒、奇数画素には１／１２０秒を設定することを想定したものになっており、１／６０秒ごとに訪れる読出しタイミングの直前１／１００秒と１／１２０秒が偶数画素及び奇数画素のそれぞれの露光タイミングとなる。

ところで、照明の発光強度が一定の場合にはフォトダイオードから出力される撮像信号レベルは露光時間に比例することと、一般的な被写体を撮影する場合には隣接するフォトダイオードから出力される撮像信号が急激に変化することがなく強い相関性を持っていることから、隣あった偶数画素と奇数画素から出力される撮像信号のレベルは単純に露光時間の比率になる確率が非常に高い。つまりこのことは、照明の発光強度が変動しない環境下で撮影を行う場合において、露光時間１／１００秒で撮影した偶数画素の撮像信号レベルを１とすると露光時間１／１２０秒で撮像した撮像信号レベルは１０／１２となる確率が非常に高いことを示すことになる。

そこで、本発明における撮像素子では、点滅光源の有無を検出ために、第２のフォトダイオードに設定する露光時間を撮影環境に存在することが予想される点滅光源の点滅周期にあわせた上で、隣接する偶数画素のフォトダイオードと奇数画素のフォトダイオードが出力する実際の撮像信号レベルの比と設定された露光時間の比率で決まる理論的な撮像信号レベルの比の乖離率を７０１の検波回路で複数の画素に対して監視して、その乖離率が一定条件を超えた場合に点滅光源があると判定させ、逆にその乖離率が一定条件に満たなければ点滅光源がないと判定させるようにした。

次に、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合について、本発明において検波回路が点滅光源の有無を検出する仕組みについて説明する。

図１０は本発明の撮像素子を５０Ｈｚのフレームレートで撮像信号を読み出す場合において、１／１００で点滅する点滅光源の有無を検出するための第２のフォトダイオードに設定する露光時間を設定したときのある任意の行のフォトダイオードにおける露光タイミングと照明発光強度の変動の関係を示したものである。

第２のフォトダイオードに設定する露光時間については、図９と同様に、偶数画素には１／１００秒、奇数画素には１／１２０秒を設定することを想定したものになっている。

同図によれば、偶数画素の露光期間の平均輝度レベルと奇数画素の平均輝度レベルが異なることがわかる。

この場合、図９の条件で撮像素子を駆動した場合と同様に、図１０の条件で撮像素子が駆動されているときに隣接する偶数画素のフォトダイオードと奇数画素のフォトダイオードが出力する実際の撮像信号レベルと設定された露光時間の比率で決まる理論的な撮像信号レベルの比は一致しない。

そのため、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合についても、フレームレートが同期する場合と同様に、実際に偶数画素と奇数画素が出力する撮像信号レベルの比と理論値の乖離率を監視して、点滅光源の有無を監視させるようにすれば良い。

以上が、７０１の検波回路が点滅光源の有無を検出する仕組みとなる。

図１１は、本発明の撮像素子を機能のブロック図で表した一例である。
同図において、図７と同じ符号が付けられた部分はそれぞれ図７と同様の役割を果たす。

図７の実施例と図１１の実施例の違いは、１１０１の記憶手段及び１１０２の比較及び統計手段を追加した点であり、１１０１の記憶手段に記録された過去の撮像信号と、現在の撮像信号を１１０２の比較及び統計手段で比較を行った上に統計的に比較結果を評価することで、周期的に発光強度が変動する点滅光源の点滅周波数を検出できるようにした点である。

以下、本発明において１１０１の記憶手段及び１１０２の比較及び統計手段を用いて、周期的に発光強度が変動する点滅光源の点滅周波数を検出する仕組みについて説明する。

第２の実施例において、点滅光源の有無を検出する際に商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合としない場合とに分けて説明したが、ここでも同様に商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合としない場合とに分けて説明する。

まず、同期しない場合についてだが、第２の実施例と同様に、５０Ｈｚの商用電源で点灯される蛍光灯を照明光に使用したときに、第２のフォトダイオードに対して、偶数画素には１／１００秒、奇数画素には１／１２０秒を設定したという前提で説明をする。

図１２は、１／１００周期で発光強度が変動する照明のもとで静止する被写体を６０Ｈｚのフレームレートで撮影する場合において、第２のフォトダイオード群に属する任意の偶数画素と奇数画素のフォトダイオードから読み出される撮像信号のレベルの推移を示した図である。

同図において、グラフの横軸方向は時間の推移、縦軸はある任意の画素に着目した時のフォトダイオードから読み出される撮像信号のレベルを示している。

同図によれば、露光時間を１／１００秒に設定した偶数画素の露光タイミングは、点滅光源の発光量が変動する１周期の間露光する形に成っているため、照射される光の強度と露光時間の積で決まるフォトダイオードが発生させる撮像信号のレベルはフレーム単位で変化することが殆ど無いといえる。

これに対して、露光時間を１／１２０秒に設定した奇数画素の露光タイミングは、照明の発光強度が変動する１周期に満たない上に３フレーム単位で露光量が変動することを示している。

以上の様に、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期しない場合では、露光時間の設定を点滅光源の整数倍に設定した方には、フレーム間の輝度レベルの変動は見られず、露光時間の設定を点滅光源の整数倍に設定しなかった方に、輝度レベルの変動が見られる性質がある。

この性質を手がかりにして、１１０２の比較及び統計手段では、フレーム間で輝度レベルを比較した結果を統計的に処理することで、電源の周波数の検出をおこなう。

次に、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合の点滅周波数の検出方法を説明する。

商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合にある特定の画素に着目すると、第２の実施例で用いた図１０の様に露光時間が固定されている限り、照明の発光強度の変動履歴の周期を示すグラフ上の同じ区間が露光タイミングになるため、フォトダイオードから読み出される撮像信号のレベルが殆ど変動しない。

そこでまず、図１２の条件で、偶数画素と奇数画素のどちらにおいてもフレーム単位での撮像信号レベルの変動が無い場合は、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期している可能性があるとして、第２のフォトダイオードの露光タイミングを１０９のスイッチ開閉手段で制御して、読出しタイミングをずらした場合における撮像信号のレベルを算出できるように撮像素子を駆動させる。

そして、点滅光源を照明とする静止した被写体を撮影する場合において、露光時間が点滅光源の点滅周期の整数倍であれば、露光タイミングと光源の点滅タイミングとの位相関係が変わっても撮像信号レベルが変動しない性質を利用して、１１０２の比較及び統計手段において、露光タイミングをずらした場合の撮像信号レベル算出結果と露光タイミングをずらさなかった場合の撮像信号レベルの算出結果を比較して、比較結果を統計的に処理することで点滅光源の点滅周波数を特定する。

図１３は、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合に第２のフォトダイオードに設定する露光時間の設定方法の一例を示したものである。

同図においてＦ１からＦ６は第２のフォトダイオードが為す画素に属するある任意の画素から撮像信号を読み出すタイミングを示している。また、ＴｅｘＢ１からＴｅｘＢ４とＴｅｘＣ１からＴｅｘＣ４はそれぞれ偶数画素に設定される露光時間と奇数画素に設定される露光時間の一例を示している。

また、同図において、Ｆ６以降の露光時間の設定については記載されていないが、設定される露光時間としては、偶数画素に対してはフィールド単位でＴｅｘＢ１からＴｅｘＢ４の露光時間が、奇数画素に対してはＴｅｘＣ１からＴｅｘＣ４が順番に設定されることを繰り返すものとする。

前記を踏まえて以下、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合の点滅周波数を検出するために、ＴｅｘＢ１からＴｅｘＢ４とＴｅｘＣ１からＴｅｘＣ４に持たせる関係を以下の計算式に示す。

（式１） ＴｅｘＢ１＝α
（式２） ＴｅｘＢ２＝α＋Ｔ１
（式３） ＴｅｘＢ３＝０
（式４） ＴｅｘＢ４＝Ｔ１
（式５） ＴｅｘＣ１＝β
（式６） ＴｅｘＣ２＝β＋Ｔ２
（式７） ＴｅｘＣ３＝０
（式８） ＴｅｘＣ４＝Ｔ２
これらの８つの式において、αは点滅光源１の周期の整数倍ではない時間、Ｔ１は点滅光源１の周期の整数倍の時間、βは点滅光源２の周期の整数倍ではない時間、Ｔ２は点滅光源２の周期の整数倍の時間を示しており、図１３ではα＝１／２００、Ｔ１＝１／１００、β＝１／２４０、Ｔ２＝１／１２０を設定することを想定している。

図１４は、図１３に示した露光タイミングで本発明における撮像素子で撮影を行ったときに、フレーム単位で発生する撮像信号レベルの変動の推移をグラフで示したものである。

同図において、縦軸方向は露光時間がゼロになる時の撮像信号レベルを０基準とする撮像信号のレベルを示している。

同図からフォトダイオードの読み出したミングから位相をずらした、点滅光源の点滅周期の１周期分に相当する撮像信号レベルを算出するには、Ｆ１のタイミングで読み出した撮像信号のレベルとＦ２のタイミングで読み出した撮像信号のレベルとの差分を取ればよい。

また、フォトダイオードの読み出したミングに位相を合わせた時に得られる撮像信号レベルを算出するには、Ｆ３のタイミングで読み出した撮像信号のレベルとＦ４のタイミングで読み出した撮像信号のレベルとの差分を取ればよい。

以上が第３の実施例において、点滅光源の点滅周波数を特定する仕組みである。

図１５は、本発明の撮像素子を機能のブロック図で表した一例である。
同図において、１５０１は露光斑推定値演算部、１５０２はバッファレジスタ、１５０３は出力選択スイッチを示している。

また同図において、図１１と同じ符号が付けられた部分はそれぞれ図１１と同様の役割を果たす。

また、本実施例において、図１１に示された１１０１の記憶手段及び、１１０２の比較及び統計手段も有するが図１５には図面の大きさの都合で表記していない。

図１５の実施例が図１の実施例と異なる部分は、１５０１の露光斑推定補正値演算部、１５０２のバッファレジスタ、１５０３の出力選択スイッチが追加された点である。

１５０１の露光斑推定補正値演算部は、第２のフォトダイオードから読み出した撮像信号から、露光斑を抑圧するための行単位のゲイン調整値となる推定補正値を算出して出力する。

１５０２のバッファレジスタはＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式のレジスタであり、撮像データの出力タイミングを調整する。

１５０３の出力選択スイッチは、１１１のＣＤＳ及びＡＤＣ回路が出力する撮像信号、１５０１の露光斑推定補正値演算部が出力する推定補正値、１５０２のバッファレジスタが出力するタイミング調整後の撮像信号の何れかを選択して撮像素子から出力する。

図１６は任意の水平同期期間に出力される撮像素子からの出力信号の種類と順番の一例を示している。

同図において、ブランキングは無効データ、データ列Ａは黒レベルを特定する為の信号、データ列Ｂは第２のフォトダイオードから読み出された信号、データ列Ｃは推定補正値を示す信号、データ列Ｄは撮像信号を示している。

これらの選択は、１５０３の出力選択スイッチにより行われ、第４の実施例では、データ列Ａとデータ列Ｂとしては、ＣＤＳ及びＡＤＣ回路の出力をそのまま、データ列Ｃとしては、露光斑推定補正値演算部が出力する推定補正値、データ列Ｄとしては、バッファレジスタが出力するタイミング調整後の撮像信号をそれぞれ出力するようにする。

次に、露光斑推定補正値演算部が出力する推定補正値についてもう少し詳しく説明する。

露光斑推定補正値演算部で推定補正値を算出するには、光源の発光強度の変動周波数を特定する必要がある。

そこで、まず始めに第３の実施例の手順で光源の発光強度の変動周波数を特定する。

光源の発光強度の変動周波数を特定することが出来たら、露光斑推定補正値演算部による推定補正値の算出の実行に遷る。

図１７及び図１８は偶数画素と奇数画素に推定補正値の算出のための露光時間の設定を行ったときの、ある任意の行における照明の発光強度の変動と露光タイミングの関係を示した図であり、図１７商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期しない場合、図１８は商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合を示している。

図１７及び図１８において、ＴｅｘＢは特定された発光強度の変動する照明の変動周期の整数倍（図では１倍）の期間を露光する露光時間、ＴｅｘＣは第１のフォトダイオード群で被写体を撮影する際に被写体の明るさを適正にする適正露光時間示している。

図１７に示したように、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期しない場合では、ＴｅｘＣ（適正露光）の露光タイミングで露光される画素は、露光期間中にフォトダイオードで電気的エネルギーに変換される光のエネルギー量がフレーム単位で異なるので、撮影する被写体の明るさが変動しなくても撮像信号のレベルはフレーム単位で異なってしまう。

また、図１８に示したように、商用電源の周波数と撮像素子から撮像信号を読み出すフレームレートが同期する場合では、ＴｅｘＣの露光タイミングで露光される画素は、露光期間中にフォトダイオードで電気的エネルギーに変換される光のエネルギー量がフレーム単位で異なることは無いが、撮影する被写体の明るさが変動しなくても照明の発光タイミングと露光タイミングがずれていくので、行ごとに撮像信号のレベルは異なってしまう。

これらの変動は、奇数画素と同様の露光タイミングで露光される第１のフォトダイオードで得られる撮像信号の変動を反映したものであり、露光斑推定補正値演算部では、フレーム単位や行単位で撮像信号のレベルが変動しない偶数画素の撮像信号レベルから、露光時間の比率で算出される奇数画素の理論的な撮像信号レベルを算出して、奇数画素から得られる実際の撮像信号レベルと理論的な信号レベルの比を統計的に処理して推定補正値を算出する。

次に、推定補正値の算出方法について説明する。

図１９は第２のフォトダイオードを形成する偶数画素と奇数画素の並びの一部を切り出して示した図である。

同図に示したように、適正露光時間で露光される奇数画素は行方向で見たときに偶数画素にはさまれる形となっている。

ところで、一般的な被写体を撮影する場合においては、隣接する画素から得られる撮像信号の出力レベルには強い相関性が存在するため、奇数画素を光源の変動周期1周期分の露光時間で露光した場合の撮像信号レベルは、該奇数画素をはさむ光源の変動周期1周期分の露光時間で露光した偶数画素から推測することが出来る。

推測方法として最も単純な方法は、該Ｄ群画素をはさむＢ群画素とＣ群画素の平均値を求める方法であり、例えば図１９のi＋１行目のｊ＋２列目のＤ群画素を光源の変動周期1周期分の露光時間で露光した場合の撮像信号レベルの推定値となるＤｐｒ（ｉ＋１，ｊ＋２）は、図１９におけるｉ行ｊ列目で発生した露光による電気的エネルギーを反映した撮像信号レベルをＤ（ｉ，ｊ）として次の計算式で計算できる。

（式９）Ｄｐｒ（ｉ＋１，ｊ＋２）＝｛ Ｄ（ｉ＋１，ｊ＋１）＋Ｄ（ｉ＋１，ｊ＋１） ｝÷２
そして、フォトダイオードに一定の光量で光が照射されるときにフォトダイオードで露光により発生する電気的エネルギーは露光時間に比例することから、i＋１行目のｊ＋２列目のＤ群画素を適正露光時間で露光した場合に得られる理論値Ｄｔｈ（ｉ＋１，ｊ＋２）の推定値は、周期的に発光強度が変動する光源の平均の明るさを基準として次の式で計算できる。

（式１０）Ｄｔｈ（ｉ＋１，ｊ＋２）＝ＴexC÷TexD×Ｄｐｒ（ｉ＋１，ｊ＋２）
一方、i＋１行目のｊ＋２列目のＤ群画素で実際に適正露光時間で露光した場合に発生する電気的エネルギーはＤ（ｉ＋１，ｊ＋２）で定義されており、ｉ＋１行目のｊ＋２列目における推定補正値Ｒｅｖ（ｉ＋１，ｊ＋２）はＤｔｈ（ｉ＋１，ｊ＋２）を用いて次の式で算出することが出来る。

（式１１）Ｒｅｖ（ｉ＋１，ｊ＋２）＝Ｄｔｈ（ｉ＋１，ｊ＋２）÷Ｄ（ｉ＋１，ｊ＋２）
以上が推定補正値の算出方法であるが、実際に撮像素子から出力する推定補正値しては、この推定補正値を複数の画素で算出して、行単位で平均値を取ったｉ＋１行目全体の推定補正値Ｒｅｂ（ｉ＋１）を用いることが望ましい。

以上が、推定補正値の算出方法である。

図２０は本発明の撮像素子を機能のブロック図で表した一例である。

同図は第４の実施例における１５０２のバッファレジスタに変わり、２００１の補正処理部を採用する形態をとっている。

また、本実施例においても図１１に示された１１０１の記憶手段及び、１１０２の比較及び統計手段も有するが図１５と同様に図２０には図面の大きさの都合で表記していない。

同図において２００１の演算処理部は１５０２のバッファレジスタと同様のＦＩＦＯ機能に加えて、第４の実施例の手順により１５０１の露光斑量推定補正値演算部算出され行単位の推定補正値を保持する機能と該保持された推定補正値を用いて第１のフォトダイオード群で撮影された被写体の撮像信号のレベルを補正する機能を持つ。

このことにより、本実施例による撮像素子では、周期的に発光強度が変動する点滅光源を照明とする環境下で、被写体を適正露光にするために露光時間を照明の発光周期の整数倍から変更にしたときに発生する露光斑を抑圧することが出来る。

ここまで、第２のフォトダイオード群を偶数画素と奇数画素の２つのグループに分けた場合について説明してきたが、次は、第２のフォトダイオード群を３グループに分けた場合を例にして、想定される点滅光源が増える場合の対応について説明しておく。

図２１は図２０の実施例をベースに２１０１の第４の電荷排出スイッチ群と２１０２の第４のＲＯＷリセット機能を有するスイッチ開閉制御手段を追加したものであり、本発明の撮像素子を機能のブロック図で表した一例を示している。

以下、これらの変更点によって、本発明における撮像素子において新たに実現可能となる機能について説明する。

まず、２１０１の第４のＲＯＷリセット機能を有するスイッチ開閉制御手段と１０９のスイッチ開閉制御手段の違いに説明する。

本発明における撮像素子のフォトダイオードの露光時間は、フォトダイオードダイオードに溜まった余分な電気的なエネルギーをＲＯＷリセットによって基板上に排出してから、ＲＯＷ読出しを行うまでの時間で定義されることを第１の実施例で説明をした。その第１の実施例では、同一の行内にあるフォトダイオードのＲＯＷリセットのタイミングを３通り選択可能構成として、同一の行内にあるフォトダイオードの露光時間を３通りの設定が行えるようにした。

これに対して、第４の実施例では２１０１の第４のＲＯＷリセット機能を有するスイッチ開閉制御手段は、同一行内にあるフォトダイオードの露光時間を４通り選択可能なように、第１の実施例におけるスイッチ開閉制御手段に追加でＲＯＷリセット機能を１系統追加した合計４系統のＲＯＷリセット制御が行える構成とした。

次に、新たに追加した第４のＲＯＷリセット機能の利用法について説明する。

新たに追加した第４のＲＯＷリセット制御は、図１５におけるＲＯＷリセット制御パルスＤがそれに相当し、同図に示したように２１０１の第４の電荷排出スイッチ群に供給される。

該第４の電荷排出スイッチ群は、第２のフォトダイオード群を形成するダイオードの一部に接続されており、１５０１の第４のＲＯＷリセット機能を有するスイッチ開閉制御手段が発生するＲＯＷリセット制御パルスＤのタイミングで基板上に電気的エネルギーを排出する。

次に、第２のフォトダイオードに接続される第２の電荷排出スイッチ群、第３の電荷排出スイッチ群及び、第４の電荷排出スイッチ群について説明する。

図２２はは１０２の第２のフォトダイオード群を構成する画素の一部と１０８のカラム選択スイッチ群を形成するカラム選択電子スイッチとの接続を示したものである。

同図において、Ｂ群画素、Ｃ群画素及びＤ群画素は、第１の実施例で示した図２と同様の構成を持つ画素である。

同図に示したように、１０２の第２のフォトダイオード群は、該第２のフォトダイオード群が形成する画素を行単位（横方向）で見たときに、３画素おきにＲＯＷリセット制御パルスが共通化するようにＢ群画素、Ｃ群画素及びＤ群画素が並べられており、行方向に隣接する３画素に個別の露光時間が設定できる構成を取るようにした。

以上によれば、図２３に示しめしたＴｅｘＢ、ＴｅｘＣ、ＴｅｘＤのように同時に３通りの露光時間を第２のフォトダイオード設定できるため、同時に３種類の発光強度が周期的に変動する光源について検波することが可能である。

また、露光斑の補正に関しては、例えばＤ群画素に適正露光時間を設定して、Ｂ群画素とＤ群画素に特定された発光強度の変動する照明の変動周期の整数倍（図では１倍）の期間を露光する露光時間を設定することで、第４の実施例と同様に推定補正値を算出することが可能である。

以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

例えば、ローリングシャッタ方式を採用する撮像素子に利用でき、本撮像素子を用いた撮像装置では、ローリングシャッタで露光する場合に、蛍光灯など周期的に点滅する照明による光源の影響で発生することのある露光斑の発生を効率よく検出したり、高精度に抑圧したりするのに有用である。

１０１ 第１のフォトダイオード群
１０２ 第２のフォトダイオード群
１０３ 画素アンプ群
１０４ 信号読出しスイッチ群
１０５ 第１の電荷排出スイッチ群
１０６ 第２の電荷排出スイッチ群
１０７ 第３の電荷排出スイッチ群
１０８ カラム選択スイッチ群
１０９ スイッチ開閉手段
１１０ アナログゲイン調整アンプ
１１１ ＣＤＳ及びＡＤＣ回路
２０１ フォトダイオード
２０２ 画素アンプ
２０３ 信号読み出し用電子スイッチ
２０４ ＲＯＷ読み出し制御パルス用信号線
２０５ 読出し信号線
２０６ 電荷排出用電子スイッチ
２０７ ＲＯＷリセット制御パルス用信号線
３０１ カラム選択電子スイッチ
７０１ 検波回路
１１０１ 記憶手段
１１０２ 比較及び統計手段
１５０１ 露光斑推定値演算部
１５０２ バッファレジスタ
１５０３ 出力選択スイッチ
２００１ 補正演算部

Claims (6)

1. 一定間隔で面状に配置される被写体撮影のための第１のフォトダイオード群と、光源の発光強度の変動を検出するための第２のフォトダイオード群と、該第１及び第２のフォトダイオード群の個々に接続された電荷排出又は電荷読み出しのための電子スイッチ群と、該電子スイッチ群の開閉を制御するスイッチ開閉制御手段とを有する撮像素子であって、該スイッチ開閉手段により制御される露光時間としては、該第１のフォトダイオード群と該第２のフォトダイオード群で個別の設定が可能であり、尚且つ第２のフォトダイオード群に対してはさらにエリアを分割して並行して２通り以上の設定が可能である撮像素子。
2. 請求項１に記載の撮像素子であって、該第１及び第２のフォトダイオード群の露光タイミングをラインごとにシフトさせるように電荷を読み出すローリングシャッタ動作を行う際、同一ライン上に配置された該第２のフォトダイオード群に対して異なった２通り以上の露光時間を設定し、該第２のフォトダイオード群から出力される信号レベルを監視することで、周期的に発光強度が変動する点滅光源の有無を検出することが可能である撮像素子。
3. 請求項１または請求項２に記載の撮像素子であって、該第２のフォトダイオード群に設定される２通り以上の露光時間に撮像素子が撮影を行う撮影環境に存在することが予測される周期的に発光強度が変動する点滅光源の点滅周期の整数倍を採用し、該第２のフォトダイオード群から出力される信号レベルのフレーム間での変動を監視することで、撮像素子が撮影を行う撮影環境に存在する周期的に発光強度が変動する点滅光源の点滅周期を特定することが可能である撮像素子。
4. 請求項１乃至請求項３のいずれかに記載の撮像素子であって、被写体を露光撮影する為の第１のフォトダイオードに設定する第１の露光時間、及び、光源の発光強度の変動による露光斑の起きない光源の発効強度の変動周期の整数倍となる第２の露光時間を該第２のフォトダイオードに設定した際に該第２のフォトダイオードから得られる該第１の露光時間による出力信号と該第２の露光時間による出力信号の比率から、第１のフォトダイオード群で発生する光源の発光強度の変動による信号読み出しライン単位の露光斑を補正する補正量の推定結果を出力することが可能である撮像素子。
5. 請求項１乃至請求項４のいずれかに記載の撮像素子であって、信号読み出しライン単位の露光斑の推定結果を用いて、ライン単位の露光斑を抑圧するように信号レベルのゲイン調整を行う機構を有する撮像素子。
6. 第１のフォトダイオード群と、
   第２のフォトダイオード群と、
   該第１のフォトダイオード群と該第２のフォトダイオード群の露光時間を個別に設定し、かつ、該第２のフォトダイオード群の異なるエリアに対して異なる露光時間を並行して設定する露光時間設定手段と、
   該第１のフォトダイオード群の出力を撮像信号として出力する出力部と、
   該露光時間設定手段により異なるエリアに対して異なる露光時間が並行して設定された該第２のフォトダイオード群の出力を用いて、周期的に発光強度が変動する点滅光源の有無を検出する検出手段と、
   を備えることを特徴とする撮像素子。

Images