JP2016134908A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 フレーム間、もしくは画面内の領域間で、信号レベルの段差が発生したり、段差のレベルが変化するような不自然な映像となることを防ぐこと。
【解決手段】 互いに異なる傾きを有する複数の参照信号を用いるアナログデジタル変換手段（１５０）と、複数の異なる出力レベルのアナログ信号をアナログデジタル変換手段に供給する定電圧回路（４００）と、複数の異なる出力レベルのアナログ信号を複数の参照信号によりそれぞれ変換して得られた複数のデジタル信号に基づいて、傾きの比とオフセット量とを算出し、撮像素子の画素部（１１０）からの出力に対応するデジタル信号を補正するための補正係数をフレーム毎に算出する算出手段（１７０、２）とを有する。補正係数は、前記傾きの比とオフセット補正値とを含み、オフセット補正値は、オフセット量と、前のフレームで算出されたオフセット補正値とを巡回係数により重み付けするフィルタリング処理を行って得る。
【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関し、特に、撮像素子から読み出したアナログ信号をデジタル信号に変換する撮像装置及びその制御方法に関する。

従来、テレビジョンの規格として、水平１９２０画素、垂直１０８０画素のフルハイビジョンと呼ばれる規格が一般的によく用いられていた。しかし近年では、水平３８４０画素、垂直２１６０画素の４Ｋ２Ｋと呼ばれるテレビジョン規格への移行が進んできている。さらに今後、水平７６８０画素、垂直４３２０画素の８Ｋ４Ｋ（スーパーハイビジョン）と呼ばれる、次世代テレビジョン規格への移行が予定されている。また、多画素化と共に、フレームレートにおいても高速化の一途を辿っている。

このようなテレビジョン規格の移行に伴い、テレビジョン映像を撮影する撮像装置に対して多画素化・高フレームレート化が要求されており、これを満足するために、撮像素子が映像を読み出す速度を高速化していくことが一つの課題となっている。読み出し速度を高速化するためには、撮像素子が有するＡＤ変換器の処理速度を高速化することが必要不可欠であり、ＡＤ変換器の高速化に関する様々な技術が提案されている。

また、読み出し速度の高速化に加え、Ｓ／Ｎ比の改善とダイナミックレンジの拡大を目的とした、階調精度の向上に対する要求も高い。そのため、回路規模が増大したり、処理時間が延びるようなこと無く階調精度を向上させることが、今後の画像性能を向上させる上で、重要な課題となっている。

このような課題に対し、特許文献１では、次のような構成を有する撮像装置を開示している。すなわち、撮像素子内にある列アンプ回路を用いて、画素信号を第１のゲインで増幅した第１の画素信号と、第１のゲインより大きい第２のゲインで増幅した第２の画素信号とを、それぞれ異なるＡＤコンバータ回路を用いてアナログデジタル（ＡＤ）変換する。そして、画素信号のレベルに応じて、ＡＤ変換後の第１の画素信号と第２の画素信号のうち、いずれか一方を選択的に出力させる。このような構成にすることで、ダイナミックレンジの拡大と、Ｓ／Ｎ比の改善を実現することが可能となる。

更に、特許文献１では、選択的に読み出した第１の画素信号と第２の画素信号を同じゲインレベルにレベルシフトした後に、ゲイン誤差もしくはオフセット誤差を検出し、この検出値に基づいて画素信号を補正する技術についても提案している。このような処理を行うことで、選択的に読み出した第１の画素信号と第２の画素信号とから１枚の画像を合成した際に生じる、信号レベルの段差を低減させることができる。

特開２０１２−０８０２５２号公報

しかしながら、特許文献１では、検出値を用いて算出された補正値のばらつき（変動）については考慮されていない。補正値が変動する主な要因としては、急激な温度変化、撮像素子の駆動方法の切替え、列アンプに供給している電源のノイズ、配線ノイズ、外乱ノイズ（例えば、モーター駆動等で発生する磁気ノイズの飛び込み）などがある。このような要因により補正値が変動した状態で、特許文献１に開示されているように第１の画素信号及び第２の画素信号とから１枚の画像を合成した場合、信号レベルの段差が見えてしまう。

例えば、フレーム毎に補正値を算出し、更新していくような補正方法を用いた場合、信号レベルの段差が発生するフレームと、信号レベルの段差が発生しないフレームが存在すると、見た目上違和感のある映像となってしまう。

また、１フレーム分の画像を分割した領域毎に別々の補正値を算出し、補正する方法を用いた場合、領域毎に段差が発生する領域と発生しない領域が存在するため、見た目上違和感のある画像となってしまう。特に、被写体のコントラストが低く、徐々に輝度レベルが変化するような映像では、顕著に目立つ。

本発明は上記問題点を鑑みてなされたものであり、フレーム間、もしくは画面内の領域間で、信号レベルの段差が発生したり、段差のレベルが変化するような不自然な映像となることを防ぐことを目的とする。

上記目的を達成するために、本発明の撮像装置は、互いに異なる傾きを有する複数の参照信号を用いてアナログ信号をデジタル信号に変換するアナログデジタル変換手段と、予め決められた複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段に供給する電圧供給手段と、前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた複数のデジタル信号に基づいて、前記複数の異なる傾きの比とオフセット量とを算出し、前記傾きの比とオフセット量とに基づいて、撮像素子の画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正係数をフレーム毎に算出する算出手段と、を有し、前記補正係数は、前記傾きの比とオフセット補正値とを含み、前記オフセット補正値は、前記オフセット量と、前のフレームで算出されたオフセット補正値とを巡回係数により重み付けするフィルタリング処理を行って得る。

本発明によれば、フレーム間、もしくは画面内の領域間で、信号レベルの段差が発生したり、段差のレベルが変化するような不自然な映像となることを防ぐことができる。

本発明の実施形態における撮像装置で用いられる撮像素子の概略構成を示すブロック図。 撮像素子の列アンプ群の概略構成及び動作タイミングを示す図。 第１の実施形態におけるＡＤ変換の動作を説明するためのタイミング図。 信号レベルに応じて傾きの異なるランプ信号を用いる場合の、出力レベルとＡＤ変換結果との関係を示す図。 第１の実施形態における撮像素子の画素部の構成例を示す図。 第１の実施形態のダミー画素の読み出し期間における固定電圧Ｖ１を第一のランプ信号ＶＲＡＭＰ（小）でＡＤ変換処理する場合のタイミング図。 第１の実施形態のダミー画素の読み出し期間における固定電圧Ｖ１を第二のランプ信号ＶＲＡＭＰ（大）でＡＤ変換処理する場合のタイミング図。 第１の実施形態のダミー画素の読み出し期間における固定電圧Ｖ２を第一のランプ信号ＶＲＡＭＰ（小）でＡＤ変換処理する場合のタイミング図。 第１の実施形態のダミー画素の読み出し期間における固定電圧Ｖ２を第二のランプ信号ＶＲＡＭＰ（大）でＡＤ変換処理する場合のタイミング図。 第１の実施形態におけるノイズが発生している時のオフセット補正値βの変動の一例を示す図。 第１の実施形態における外乱ノイズ発生時におけるオフセット補正値のフィルタリング処理を説明する図。 第１の実施形態における電源起動時、及び撮像素子の駆動方法切替え時における巡回係数の設定値を説明する図。 第１の実施形態における温度変化に対する巡回係数の設定値を示す図。 第１の実施形態における１フレーム分の画像の輝度分布の例を示す図。 第１の実施形態におけるコントラストに応じて巡回係数を決定する場合の重み付け係数と巡回係数を示す図。 第１の実施形態におけるフレームレートに応じて巡回係数を決定する場合の巡回係数を示す図。 第１の実施形態におけるオフセット補正値の安定度に応じて巡回係数を変更する場合の巡回係数の設定値を示す図。 第１の実施形態における被写体の動き量に応じて巡回係数を変更する場合の巡回係数に関する図である。 第１の実施形態におけるカラーフィルタの色に応じて巡回係数を変更する場合の巡回係数に関する図。 第１の実施形態における列アンプのゲイン切替えに応じて基準信号レベルを変更する場合の巡回係数に関する図。 本発明の撮像素子における領域ごとにオフセット補正値を算出する場合の説明図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置で用いられる撮像素子１の構成を示すブロック図であり、撮像素子１と、撮像素子１により得られた画像データの出力先である画像処理部２とを示している。第１の実施形態における撮像素子１は、並列型ＡＤ変換器を実装したＣＭＯＳイメージセンサである。画像処理部２は、撮像素子１が出力する画像データに対し、ホワイトバランス処理や、ガンマ処理などの現像処理を行い、最終的に記録媒体に記録する。また、画像処理部２はＣＰＵを内蔵しており、このＣＰＵにより、撮像装置の動作モードに応じて撮像素子１と通信（例えばシリアル通信）し、制御を行う。

撮像素子１において、タイミング制御部１００は撮像素子１の各ブロックに対して動作クロック信号及びタイミング信号を供給し、動作を制御する。

画素部１１０は、２次元に配置された複数の画素を含み、各画素の光電変換素子において入射光量に応じて光電変換して得られた電荷を、電圧に変換して出力する。各々の画素には、カラーフィルタとマイクロレンズが実装されている。なお、カラーフィルタとして、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の、いわゆるＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとっているのが一般的であるが、必ずしもこの限りではない。

垂直走査回路１２０は、画素部１１０の各画素により得られた画素信号を１フレーム期間内に順次読み出すためのタイミング制御を行う。一般的に読み出しは、１フレーム中の上部の行から下部の行にかけて、行単位で順次行われる。

列アンプ群１３０は、各列にそれぞれ設けられた複数の列アンプから成り、画素部１１０から読みだされた画素信号を電気的に増幅するために用いられる。列アンプ群１３０で画素信号を増幅することにより、後段のランプ回路１４０や列アナログデジタル変換器群（列ＡＤＣ群）１５０が出すノイズとのＳ／Ｎ比を改善させる。ただし、画素部１１０の出すノイズに対し、ランプ回路１４０や列ＡＤＣ群１５０が出すノイズが十分小さい回路構造においては、列アンプ群１３０は必ずしも必須ではない。

定電圧回路４００は、画素部１１０と列アンプ群１３０とを繋ぐ信号線に、固定の電圧を供給する電圧供給手段として動作する。なお、第１の実施形態では定電圧回路４００を用いるが、ある一定の電圧で信号をクリップするようなクリップ回路などに応用できる回路を用いても良い。

ランプ回路１４０は、時間方向に一定のスロープ（傾き）を持つランプ形状の電圧信号（ランプ信号）を発生する信号発生器である。列ＡＤＣ群１５０は、列毎に比較部１５１とカウンタ・ラッチ回路１５２とからなる列ＡＤＣを有する。比較部１５１は、列アンプ群１３０により増幅された画素信号（アナログ信号）と、ランプ回路１４０からのランプ信号とを比較して、信号の大小関係を示す信号を出力する。そしてカウンタ・ラッチ回路１５２が、比較部１５１からの信号に応じてカウンタ値をラッチすることで、アナログ−デジタル変換が行われる。なお、比較部１５１とカウンタ・ラッチ回路１５２の詳細な動作は後述する。カウンタ・ラッチ回路１５２に保持された１行分のデジタル画像データは、水平転送回路１６０により端の行から順に読みだされる。

水平転送回路１６０により読み出された画像データは信号処理回路１７０に入力される。信号処理回路１７０はデジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加える他に、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部１１０に、遮光した画素領域（ＯＢ画素部）を形成し、ＯＢ画素部の画素から得られる信号を利用したデジタルの黒レベルクランプ動作を行っても良い。更に、入力された画像データに基づいて、後述するように、ランプ回路１４０から出力されるランプ信号を、タイミング制御部１００を介して制御する。

信号処理回路１７０により処理された画像データは、外部出力回路１８０に渡される。外部出力回路１８０は、シリアライザー機能を有し、信号処理回路１７０からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、画像処理部２に出力する。

コントローラ回路３００は、画像処理部２とのＩ／Ｆ部であり、シリアル通信回路などを用いて、画像処理部２のＣＰＵから撮像素子１への制御を受ける。

次に、撮像素子１の列ＡＤＣ群１５０を用いた基本的なＡＤ変換の原理について、図２を用いて説明する。列ＡＤＣ群１５０は、上述したように、列毎に比較部１５１とカウンタ・ラッチ回路１５２を有している。また、図２（ａ）に示すように、比較部１５１は、列アンプ群１３０から出力される画素信号ＶＡＭＰと、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰとを比較し、その結果を出力する。

図２（ｂ）に示すように、画素部１１０からの画素信号ＶＡＭＰの読み出し開始に先立って比較部１５１の動作を開始する（時刻ｔ１）。列アンプ群１３０の各列アンプの動作が安定すると、時刻ｔ２において、カウンタ・ラッチ回路１５２のカウント値をリセットする。このカウンタ・ラッチ回路１５２のカウントリセットタイミングと同期して、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰの信号レベルは、時刻ｔ２から時間の経過とともに増加する。比較部１５１の出力は、列アンプ群１３０から出力される画素信号ＶＡＭＰの信号レベルをランプ回路１４０から出力されるランプ信号ＶＲＡＭＰの信号レベルが超えた時に反転する（時刻ｔ３）。カウンタ・ラッチ回路１５２は、カウント値をリセットしてから、比較部１５１の出力が反転するまでの期間（時刻ｔ２〜時刻ｔ３）、カウント動作を行う。この動作により、列アンプ群１３０により増幅された画素信号の出力レベルに比例したカウント値が得られるため、こうして得られたカウント値がＡＤ変換結果となる。なお、ここで説明した画素信号とランプ信号の比較方法、カウンタ・ラッチ回路によるカウント方法などはあくまで一例であり、カウント値をリセットしてから比較部１５１の出力が反転するまでの期間を検出できれば、他の方法で実施してもかまわない。

図３は、第１の実施形態におけるランプ回路１４０及び列ＡＤＣ群１５０の動作を説明する図である。図３において、横軸は時間、グラフ上部の縦軸は出力レベル、グラフ下部は、比較部１５１の出力を示している。図３を参照して、列アンプ群１３０の出力信号ＶＡＭＰの信号レベルに応じて、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰのスロープを変える例について説明する。

一般的に、単位画素からの信号の読み出し処理においては、まずＮ信号（ノイズレベル）の読み出し及びＡＤ変換を行い、その後にＳ信号（ノイズレベル＋信号レベル）の読み出し及びＡＤ変換を行う。そして、信号処理回路１７０で変換されたＳ信号とＮ信号との差分をとることでノイズ成分を打ち消すことで、Ｓ／Ｎの良い信号を得る。

まず、Ｎ信号のＡＤ変換を行うために、時刻ｔ１１で比較部１５１の動作を開始し、時刻ｔ１２でカウンタ・ラッチ回路１５２のカウントをリセットすると共に、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰの信号レベルを変化させる。ここで、ノイズレベルであるＮ信号の信号レベルは小さいため、Ｎ信号のＡＤ変換には、傾きが小さい第一のランプ信号ＶＲＡＭＰ（小）（第一の参照信号）を用いる。そして、カウンタ・ラッチ回路１５２のカウントをリセットしてから、比較部１５１の出力が反転するまでの期間（時刻ｔ１２〜時刻ｔ１３）、カウント動作を行うことで、Ｎ信号をＡＤ変換する。

次に、画素部１１０に蓄積された電荷に応じた信号を読み出して列アンプ群１３０により増幅された出力信号であるＳ信号に対し、レベル判定期間に、ランプ回路１４０はある一定の判定レベルＶｓを最大レベルとする判定用ランプ信号を比較部１５１に出力する。そして、Ｓ信号との比較を行う。ここでは、時刻ｔ１４においてカウンタ・ラッチ回路１５２のカウント値をリセットすると共に、ランプ回路１４０は所定の判定レベルＶｓを最大レベルに持つ判定用ランプ信号の出力を開始する。Ｓ信号の信号レベルが判定レベルＶｓ以上であれば（Ｓ≧Ｖｓ）、比較部１５１の出力は反転しないため、時刻ｔ１６でレベル判定期間が終了するまでカウント値が増え続ける。これに対し、Ｓ信号の信号レベルが判定レベルＶｓより小さければ（Ｓ＜Ｖｓ）、例えば時刻ｔ１５で比較部１５１の出力が反転するため、カウント値の増加が終了する。このように、カウンタ・ラッチ回路１５２のカウント値により、信号処理回路１７０では、Ｓ信号の信号レベルが判定レベルＶｓよりも大きいか小さいかを判断することができる。なお、カウンタ・ラッチ回路１５２のカウント値をリセットするタイミングを、ランプ回路１４０の出力が判定レベルＶｓに安定した時点とし、Ｓ信号の信号レベルが判定レベルＶｓより小さい（Ｓ＜Ｖｓ）場合に、カウント値が０となるように制御してもよい。

Ｓ信号の信号レベルが判定レベルＶｓよりも小さい場合は、時刻ｔ１７から、Ｎ信号と同じ第一のランプ信号ＶＲＡＭＰ（小）を用いてＳ信号のＡＤ変換を行う。これにより、図３に示す例では、時刻ｔ１７から時刻ｔ１８の間のカウント値が得られる。一方、Ｓ信号の信号レベルが判定レベルＶｓ以上である場合は、第一のランプ信号ＶＲＡＭＰ（小）よりもスロープがα倍の第二のランプ信号ＶＲＡＭＰ（大）（第二の参照信号）を用いて、Ｓ信号のＡＤ変換を行う。これにより、図３に示す例では、時刻ｔ１７から時刻ｔ１９の間のカウント値が得られる。

図４は、出力レベルに応じて傾きの異なるランプ信号を用いる場合の、出力信号の信号レベルとＡＤ変換結果との関係を示す図である。図４の横軸は列アンプ群１３０の出力信号レベルを示し、縦軸はＳ信号のＡＤ変換後のデジタル値を示している。実線は、比較部１５１及びカウンタ・ラッチ回路１５２でＡＤ変換され、水平転送回路１６０を経て、信号処理回路１７０に入力されるデジタル値（ＡＤ変換値）を表している。上述したように、判定レベルＶｓより信号レベルが小さいＳ信号は第一のランプ信号ＶＲＡＭＰ（小）を用いて、また、判定レベルＶｓ以上の信号レベルを持つＳ信号は第二のランプ信号ＶＲＡＭＰ（大）を用いてＡＤ変換される。そのため、図４（ａ）に示すように、判定レベルＶｓの前後で、ＡＤ変換後のＳ信号の整合が取れていないことになる。

そのため、判定レベルＶｓよりも信号レベルが大きいＳ信号のＡＤ変換値に対しては、まず、信号処理回路１７０にて、第一のランプ信号ＶＲＡＭＰ（小）と第二のランプ信号ＶＲＡＭＰ（大）の傾きの比αを乗算する。更に、判定レベルＶｓで段差が無くなるようにオフセット量βを加算することで、入射光量に応じた画素信号の信号レベルとＡＤ変換値が一次的な関係になるように補正を行う。

上述した補正を行わない状態で、有効画素の映像を出力すると、ある輝度で段差が残ったような違和感のある映像となってしまう。この補正に用いる補正値は、撮像素子の温度、撮像素子の駆動タイミング（列アンプ群１３０のゲインや動作状態等）、駆動設定（電源設定等）によって理想的な補正目標値が変わるため、これらの条件に変化が起きた際には、補正値の再取得が必要である。

また、電源起動時、及び撮像素子１の駆動方法の切替え直後に生じる補正値の急激な変化や、列アンプ群１３０に供給している電源のノイズ、配線ノイズ、外乱ノイズによって生じる、一時的な補正値の変動を、可能な限り低減させる必要がある。外乱ノイズは、例えば、モーター駆動等で発生する磁気ノイズの飛び込み等を含む。なお、補正値の変動の低減方法の詳細については、後述する。

次に、第一のランプ信号ＶＲＡＭＰ（小）と第二のランプ信号ＶＲＡＭＰ（大）の傾きの比αと、オフセット量βを算出する処理の一例について説明する。

図５は、画素部１１０の構成例を示している。画素構成として、最も上部にフォトダイオードを持たないダミー画素領域を配置し、順に、遮光されたオプティカルブラック（ＯＢ）画素領域、光電変換して得られた信号を出力する有効画素領域を配している。第１の実施形態では、ダミー画素を傾きの比αとオフセット量βを算出するために使用する。ここでは、ダミー画素の画素信号読み出し期間に、定電圧回路４００から固定電圧を入力し、列アンプ群１３０から比較部１５１に入力される電圧がある固定電圧になるように制御する。なお、第１の実施形態においては、固定電圧として、判定レベルＶｓより小さい電圧Ｖ１及びＶ２を用いる。

ダミー画素の読み出し期間におけるＡＤ変換処理について、図６を参照して説明する。図６Ａでは、固定電圧Ｖ１をＡＤ変換する。なお、図３で説明した処理とは異なり、Ｎ信号をＡＤ変換するための期間は設ける必要がない。図６Ａに示すように、レベル判定期間のランプ回路１４０から出力されるランプ信号ＶＲＡＭＰを最大値ＶＲＡＭＰ（MAX）まで上げることで、傾きが小さい第一のランプ信号ＶＡＭＰ（小）で固定電圧Ｖ１のＡＤ変換を行う。ＡＤ変換した結果をＶ１Ｌとする。

続いて図６Ｂに示すように、レベル判定期間のランプ回路１４０から出力されるランプ信号ＶＲＡＭＰを最小値ＶＲＡＭＰ（MIN）とすることで、傾きが大きい第二のランプ信号ＶＡＭＰ（大）で固定電圧Ｖ１をＡＤ変換する。ＡＤ変換した結果をＶ１Ｈとする。

その後、図６Ｃ及び図６Ｄに示すように、固定電圧を電圧Ｖ１よりも大きい電圧Ｖ２に変え、図６Ａ及び図６Ｂと同様にＡＤ変換を行う。この結果をそれぞれＶ２Ｌ、Ｖ２Ｈとする。

これらは、横軸を出力レベル、縦軸をＡＤ変換値とすると、図４（ｂ）のように表される。図４（ｂ）は、図４（ａ）の出力信号レベルが判定レベルＶｓよりも小さい部分を拡大したものである。これら４点の座標から、傾きの比αとオフセット量βは、それぞれ式（１）及び式（２）で求めることができる。
α＝（Ｖ２Ｌ−Ｖ１Ｌ）／（Ｖ２Ｈ−Ｖ１Ｈ） …（１）
β＝（Ｖ２Ｌ−Ｖ１Ｌ）／（Ｖ２−Ｖ１）×Ｖｓ
−α（Ｖ２Ｈ―Ｖ１Ｈ）／（Ｖ２−Ｖ１）×Ｖｓ …（２）
上記補正値α、βの算出は、撮像素子１の内部で行っても良いし、画像処理部２で行っても良い。なお、Ｖ１Ｌ、Ｖ１Ｈ、Ｖ２Ｌ、Ｖ２Ｈは、ダミー画素領域からダミー画素の画素信号を読み出す際にそれぞれ複数得られるため、式（１）及び式（２）により傾きの比αとオフセット量βを求める際には、それぞれの平均値を用いる。

ここで、式（２）により算出されたオフセット量βに着目する。オフセット量βは、式（２）により、２本の直線が判定レベルＶｓで交わるように算出されたものであるが、前述したように、電源起動時、及び撮像素子１の駆動方法を切替えた直後、または外乱ノイズの発生時などに、大きく変動することがある。この変動により、判定レベルＶｓ付近の信号レベルにおいてレベルの段差が生じ、不自然な映像となってしまう。しかしながら、Ｓ／Ｎ比の改善とダイナミックレンジの拡大を目的として階調精度を向上させつつ、信号レベルの段差による画質劣化を抑えるためには、オフセット量βの変動をレベル段差が画像として見えないレベルまで低減させなければならない。

図７は、オフセット量（オフセット補正値）βの変動要因となるノイズが発生している条件下において、フレーム毎にオフセット補正値βを取得したときの、オフセット補正値βの変動を示すグラフである。同図において、横軸はフレーム数（時間に対応する）、縦軸はオフセット補正値βを示しており、オフセット補正値βのフレーム毎の変化をグラフＡで示している。また、ノイズによる影響が無い状態の理想的な補正値（理想値）を、グラフＣで示している。理想値は、不定期に発生するノイズ成分等による変動は発生しないが、撮像素子の駆動設定や、撮像素子の温度変化により変化する。第１の実施形態においては、撮像素子の駆動設定は同じままで、かつ温度も十分に安定した状態を想定している。

第１の実施形態においては、説明の便宜上、グラフＣに示すように、オフセット補正値βの値が１〜１００フレームまでの間、常に−５ＬＳＢとなるのが理想的であるものとする。また、グラフＡの値が、理想値であるグラフＣの値に対して±５ＬＳＢを超えた場合（−１０ＬＳＢ以下、もしくは０ＬＳＢ以上）、画像上に信号レベルの段差が見え始めるものとする。

図７に示す例では、グラフＡの値が、理想値であるグラフＣの値に対して、±５ＬＳＢを超えるフレームが多く存在する。つまり、あるフレームにおいては段差が見え、次のフレームでは段差が見えなくなるような映像が、何度も繰り返されていることになる。ここで、オフセット補正値βの変動を低減させる方法について具体的に説明する。

オフセット補正値βの変動を低減させる一つの方法として、下記の式（３）を用いてフィルタリング処理を行う方法がある。
βｆ（ｎ）＝β（ｎ）×ｐ＋βｆ（ｎ−１）×（１−ｐ）
（０≦ｐ≦１） …（３）
式（３）において、βｆ（ｎ）は、ｎフレーム目におけるフィルタリング処理後のオフセット補正値である。また、ｎフレーム目に取得した画像を用いて、上記式（２）に基づいて算出された、新たなオフセット補正値をβ（ｎ）、ｎ−１フレーム目におけるフィルタリング処理後のオフセット補正値をβｆ（ｎ−１）、巡回係数をｐ（０≦ｐ≦１）と定義している。ｎの取り得る範囲は、ｎ≧０であり、かつ、ｎ＝０の場合、前のフレームのオフセット補正値βｆ（−１）が存在しないため、ｐ＝１．０に設定した状態で、かつ、β（ｎ−１）＝０となるように設定する。

上記式（３）において巡回係数ｐ＝０．１としたときのフィルタリング処理後のオフセット補正値βｆの値の変化を、図７のグラフＢで示している。同グラフから分かるように、グラフＡに対してフィルタリング処理を行うことで、オフセット補正値βｆの値が、画像上に信号レベルの段差が見え始める限界値である、グラフＣから±５ＬＳＢの範囲内に収まっている。

なお、図７に示す例では、巡回係数ｐ＝０．１としたが、必ずしも０．１である必要は無く、ノイズによる補正値の変動の大きさに合わせて、巡回係数を決定すれば良い。また、フィルタリング処理を行うための手段として、プログラムを用いて処理を行っても良いし、撮像素子１の内部もしくは画像処理部２にフィルタリング処理用の回路を追加で設けても良い。

上述したようにして得られた傾きの比α及びオフセット補正値βｆを補正係数として用いて、以下の式（４）により、第二のランプ信号ＶＲＡＭＰ（大）によりＡＤ変換された第ｎフレームのＳ信号のデジタル信号Ｓ_D（ｎ）を補正し、補正後のデジタル信号Ｓ’_D（ｎ）を得る。
Ｓ’_D（ｎ）＝Ｓ_D（ｎ）×α＋βｆ …（４）

以上説明したように、ダミー画素の読み出し期間に固定電圧を読み出して得られる信号を用いて算出されたオフセット補正値βに対してフィルタリング処理を行う。これにより、オフセット補正値βの変動を、画像上に信号レベルの段差が見え始める限界値以下まで低減させることが可能となる。これにより、信号レベルの段差による画質劣化を低減することができる。

以下、好適なフィルタリング処理方法について、いくつかの例を挙げて説明する。

（１）オフセット補正値βが、瞬間的に大きく変動する場合
前述したように、列アンプ群１３０に供給している電源のノイズ、配線ノイズ、外乱ノイズにより補正値が変動した場合、巡回係数を小さくしてフィルタリング処理を行うことで、補正値の安定化を実現することができる。しかし、巡回係数ｐの値を小さくし過ぎると、急激な温度変化や、撮像素子の駆動方法の切替えにより理想値（補正目標値）が急激に変化した場合、オフセット補正値βｆ（ｎ）の値が理想値付近まで収束するのに時間を要してしまう。また、巡回係数を大きくすると、フィルタリング処理による補正値の変動の低減効果が薄れてしまい、信号レベルの段差が見えるフレームが存在してしまう。

そこで、新たに取得したオフセット補正値β（ｎ）が前のフレームにおけるフィルタリング処理後のオフセット補正値βｆ（ｎ−１）に対して、明らかに大きく変動している場合は、巡回係数ｐ＝０に設定する。これにより、巡回係数ｐは、理想値の変動に対して十分に追従できる設定値となり、かつ外乱ノイズ等による補正値βの急激な変化も抑えることができ、ノイズによる影響を低減させることができる。特に外乱ノイズは、瞬間的に非常に大きなレベルの変動が発生することがあるため、フィルタリング処理後のオフセット補正値βｆ（ｎ）が理想値付近まで収束する時間の最適化と、外乱ノイズ等に対するオフセット補正値の安定化が両立しない場合が出てくる。

図８（ａ）は、外乱ノイズが発生した場合における、オフセット補正値βの変動を示すグラフである。同図に示す例では、図７に示す例に対して外乱ノイズが３フレーム分発生している場合を示しているが、それ以外は図７と同じであるため、図の詳細説明については省略する。

図８（ａ）は、グラフＡの値が、理想値であるグラフＣの値に対して、約６０ＬＳＢ程度高くなるフレームが３フレーム（１３、４３、７３フレーム目）存在する。そのため、グラフＢに示すように、フィルタリング処理を行ったにも関わらず、処理後の結果が、限界値であるグラフＣから±５ＬＳＢを超えるフレームが発生する。つまり、１００フレームの中で、段差が見えるフレームが数フレーム間だけ発生し、その後、段差が見えなくなるような映像が定期的に繰り返されることになる。

そこで、第１の実施形態では、上記式（３）を用いてフィルタリング処理を行う前に、新たに取得したオフセット補正値β（ｎ）と、前フレームまでの補正値のフィルタリング処理結果βｆ（ｎ−１）との差分を求める。そして、その差分が閾値を超えたかどうかを判定し、閾値を超えていた場合には、巡回係数ｐ＝０に設定する制御を行う。第１の実施形態においては、閾値を±３０ＬＳＢに設定するが、外乱ノイズが発生しない時のノイズレベル（電源電圧やパターン配線起因のランダムな変動）と、巡回係数の設定値に応じて閾値を決定すると良い。理想的には、外乱ノイズが発生した場合でも、フィルタリング処理後のオフセット補正値βｆ（ｎ）が、画像上に信号レベルの段差が見え始める限界値を超えないような閾値にするのが好ましい。

図８（ｂ）のグラフＢに、閾値判定を追加した場合における、フィルタリング処理結果を示している。同図では、閾値を±３０ＬＳＢとしており、外乱ノイズが発生した３フレームについては、巡回係数ｐ＝０となり、前フレームにおけるフィルタリング処理後の補正値βｆ（ｎー１）が引き継がれる。本処理を追加することにより、フィルタリング処理後のオフセット補正値βｆ（ｎ）が全て画像上に信号レベルの段差が見え始める限界値以下の範囲に収まる。

以上説明したように、フィルタリング処理を行う前に、前フレームにおけるフィルタリング処理後のオフセット補正値βｆ（ｎ−１）と、新たに取得したオフセット補正値β（ｎ）との差分を求める。そして、その差分値が閾値を超えたかどうかを判定し、閾値を超えていた場合には巡回係数ｐ＝０にする。これにより、外乱ノイズ等により瞬間的に大きな変動が生じた場合に、フィルタリング処理後のオフセット補正値βｆ（ｎ）が影響を受けるのを抑えることができる。更に、フィルタリング処理後のオフセット補正値βｆ（ｎ）が理想値付近まで収束するまでの時間の最適化と、外乱ノイズ等に対する補正値の安定化を両立させることができる。

また、本実施形態においては外乱ノイズを扱ったが、同様のノイズを発生させるもの全てについて適用可能である。

（２）電源起動時、及び撮像素子の駆動方法を切替えた場合
電源起動時は、映像信号の出力が安定していないことや、起動時における各種処理を行うために撮像素子１の駆動方法の切替えが発生することがあるため、理想値が大きく変化する可能性がある。また、電源起動後においても撮像素子の駆動方法が切替えられた場合、切替え直後に理想値が瞬間的に大きく変わる。上記要因により、フィルタリング処理後のオフセット補正値βｆ（ｎ）と理想値との差が瞬間的に大きくなってしまう。

フィルタリング処理を行わなければ、理想値付近に収束するまでの時間を最短にすることが可能である。しかしながら、フィルタリング処理を行わなければ、オフセット補正値βｆ（ｎ）が理想値付近に収束した後、電源ノイズなどによる補正値β（ｎ）の変動を低減することができなくなる。

そこで、本実施形態においては、フィルタリング処理を行う前に、新たに取得した補正値β（ｎ）と、前フレームにおけるフィルタリング処理後のオフセット補正値βｆ（ｎ−１）との差分を求め、その差分値の大きさに応じて巡回係数を変更する。具体的には、差分値が大きい場合は巡回係数を高めに設定し、差分値が小さい場合は巡回係数を低めに設定する。差分値に対する巡回係数の決め方として、理想値の変化の大きさや、電源ノイズ等による補正値の変動の大きさに応じて決定すれば良い。

本実施形態においては、図９（ａ）に示すテーブルデータを予め設け、これを参照して、新たに取得したオフセット補正値β（ｎ）と、前フレームにおけるフィルタリング処理後のオフセット補正値βｆ（ｎ−１）との差分値に対応する巡回係数ｐを決定する。図９（ａ）のテーブルデータに示した差分値は、理想的（電源ノイズ等による補正値の変化が無い場合）には、オフセット補正値が１フレーム以内に画像上に信号レベルの段差が見え始める限界値以下に収束するような設定値にしている。また、図９（ａ）においては説明の便宜上、正の差分値のみをテーブルデータとして設けたが、負の差分値も同様であり、厳密には絶対値｜β（ｎ）−βｆ（ｎ−１）｜となる。

図９（ｂ）は、撮像素子１の駆動方法を切替える前後における、図９（ａ）のテーブルデータに基づいた巡回係数の設定値と、オフセット補正差分値β（ｎ）−βｆ（ｎ−１）の変化について表した図である。同図において、オフセット補正差分値に応じて、巡回係数の設定値を変更した場合のグラフを実線、巡回係数の設定値を変更しない場合のグラフを破線で示している。また、画像上に信号レベルの段差が見え始める限界値である１０ＬＳＢについても参考として記載している。

同図において、撮像素子１の駆動方法を切替える前は、オフセット補正差分値がほぼ０ＬＳＢに近い状態（厳密には、電源ノイズ等に起因する変動が重畳している）なので、巡回係数ｐ＝０．１に設定している。撮像素子１の駆動方法を切替えるまでの期間は、巡回係数ｐは常に０．１に設定されたままである。

撮像素子１の駆動方法を切替える際の制御について説明する。切替え直後のフレーム（１フレーム目）では、６０ＬＳＢのオフセット補正差分値が発生しているため、図９（ａ）のテーブルデータに基づき、巡回係数ｐ＝０．９に設定する。そうすることで、駆動方法の切替え直後のフレームでも、駆動方法切替え後の理想値に近い補正値を取得することができる。本実施形態においては、巡回係数を変更することにより、理想的（電源ノイズ等による補正値の変化が無い場合）には、１０ＬＳＢ以下まで低減することができる。

駆動方法の切替え後、２フレーム目において、オフセット補正差分値が１０ＬＳＢとなったため、図９（ａ）のテーブルデータに基づいて、巡回係数ｐ＝０．１に設定する。これ以降のフレームについても、オフセット補正差分値が１０ＬＳＢ以下の場合には巡回係数ｐを常に０．１に設定することになる。

これに対し、巡回係数ｐ＝０．１の設定を維持した状態で駆動方法を切替えた場合、オフセット補正差分値を画像上に信号レベルの段差が見え始める限界値以下に収束させるためには、１８フレーム必要であった。しかし、オフセット補正差分値を求め、その大きさに応じて巡回係数ｐを変えることにより、１フレーム後には限界値以下となり、理想値付近に収束した後は、電源ノイズ等による補正値の変動を低減させることができる。

以上説明したように、電源起動時、及び撮像素子の駆動方法を切替えた場合に、フィルタリング処理を行う前に、オフセット補正値β（ｎ）とβｆ（ｎ−１）の差分を求め、その差分値の大きさに応じて巡回係数を変更する。これにより、フィルタリング処理後のオフセット補正値βｆ（ｎ）と理想値との差が瞬間的に大きくなっても、オフセット補正値βｆ（ｎ）の収束時間を短縮することができる。また、オフセット補正値βｆ（ｎ）が理想値付近に収束した後には、電源ノイズ等に起因する補正値の変動を低減させることができる。

（３）温度が変化した場合
オフセット補正値の理想的な値が変化する要因の一つとして、撮像素子１の温度変化がある。特に、電源起動後に撮像素子１が駆動し始めた際に、電力が撮像素子１内で消費し始めることにより急激に温度が上昇したり、この温度上昇を抑えるために、ファンやペルチェ素子などの冷却装置を用いて冷却が行われることで急激に温度が降下することがある。このような急激な温度変化により、オフセット補正値の理想値が急激に変化する可能性がある。

このように理想値が急激に変化した場合、前述したように、電源電圧変動やパターン配線ノイズなどに起因するオフセット補正値βｆ（ｎ）の変動を抑えるために巡回係数を低めに設定してフィルタリング処理を行った場合、理想値に追従できない可能性がある。

そこで実施形態においては、サーミスタや温度検出センサ等を用いて測定した温度から、フレーム間の温度変化を検出し、温度の変化率に応じて巡回係数を変える処理を行う。具体的には、温度の変化率が大きい場合には巡回係数を高めに設定し、温度の変化率が小さい場合には巡回係数を低めに設定する。これにより、急激な温度変化により理想値が急激に変化した場合でも、オフセット補正値βｆ（ｎ）が理想値に対して追従し、かつ理想値が急激に変化することが無い場合においては、電源ノイズ等によるオフセット補正値β（ｎ）の変動を低減させることができる。

図１０は、時間（フレーム）変化に対する、温度、温度変化率、巡回係数の設定値を表したイメージ図である。同図において、温度とは、サーミスタや温度検出センサにより取得された温度の値を示している。温度変化率とは、単位時間（本実施形態では、フレーム）あたりに増加した温度変化量（温度のグラフの微分値）を表している。本実施形態においては、温度変化率が高い順に、Ａ〜Ｅの領域に分けているが、実際に制御を行う場合は、温度変化量を単位時間で除算した数値を用いると良い。巡回係数の設定値は、温度変化率Ａ〜Ｅに対する巡回係数の設定値を示している。本実施形態においては、温度変化率Ａ＝０．５、温度変化率Ｂ＝０．４、温度変化率Ｃ＝０．３、温度変化率Ｄ＝０．２、温度変化率Ｅ＝０．１が対応している。

図１０において、起動直後からｔ１までの期間は、温度変化率がＢの領域であるので、巡回係数の設定値を０．４に設定する。ｔ１からｔ２までの期間は、温度変化率がＣの領域であるので、巡回係数の設定値を０．３に設定する。ｔ２からｔ３までの期間は、温度変化率がＤの領域であるので、巡回係数の設定値を０．２に設定する。ｔ３以降は、温度変化率がＥの領域であるので、巡回係数の設定値を０．１にする。

このように、温度の変化率が大きい場合には巡回係数を高くし、温度の変化率が小さい場合には巡回係数を低くする。これにより、急激な温度変化により理想値が急に変化した場合でも、フィルタリング処理後のオフセット補正値βｆ（ｎ）が理想値に対して追従する。また、理想値が急激に変化することが無い場合においては、電源ノイズ等によるオフセット補正値βｆ（ｎ）の変動を低減させることができる。

なお、図１０に示す例では、温度が上昇する場合について示しているが、温度が下降する場合も同様であり、厳密には、温度変化率の絶対値に応じて循環係数の設定値を設定する。

（４）被写体のコントラスト
オフセット補正値β（ｎ）が変動した場合に画像上に信号レベルの段差が見えるが、被写体のコントラストと明るさによって、目立ち易さが変わる。図１１は、１フレーム分の画像の輝度分布を表すヒストグラムを示しており、横軸は信号レベル、縦軸は１フレームの画面内において発生した輝度の頻度（画素数）を示している。また、判定レベルＶｓとは、前述したとおり、第一のランプ信号ＶＲＡＭＰ（大）と第二のランプ信号ＶＲＡＭＰ（小）の切替えが行われる信号レベルを表している。

図１１（ａ）のようなヒストグラムになる画像には、判定レベルＶｓ近傍の輝度を有する画素が多く存在している。つまり、コントラストが低く、判定レベルＶｓ近傍の輝度レベルを中心に、徐々に明るさが変化する被写体である可能性が高いことが推測される。よって、このような画像は、判定レベルＶｓ近傍の輝度を有する画素の発生頻度が高く、信号レベルの段差が見え易い画像であることが分かる。このような画像に対しては、オフセット補正値βｆ（ｎ）をできるだけ安定させるために、巡回係数を低めに設定するのが好ましい。

一方、図１１（ｂ）のようなヒストグラムになる画像は、判定レベルＶｓ近傍の画素が、突出して多く存在している訳では無い。つまり、コントラストが高く、画面全体に万遍なく様々な輝度が存在するような被写体であることが推測される。このような画像は、判定レベルＶｓ近傍の輝度を有する画素の発生頻度が低く、信号レベルの段差が見え難い画像であることが分かる。このような画像に対しては、オフセット補正値βｆ（ｎ）を安定化させる必要性は低く、巡回係数を高めに設定することで、理想値への追従性を良くするのが好ましい。

本実施形態においては、ヒストグラム（輝度分布）に応じて、最適な巡回フィルタの係数を決定する。具体的には、判定レベルＶｓ近傍の信号レベルの画素に対して重み付けを行い、重み付けされた画素の発生数だけ積算した、重み付け積算値を算出することで、判定レベルＶｓ近傍の画素がどれだけ存在したかを求める。そして、重み付け積算値の値に応じてフィルタリング処理における巡回係数の設定値を決定する。

図１２（ａ）は、重み付けを行う際に用いる重み付け係数の一例を示す。横軸が信号レベルで、縦軸が重み付け係数を示している。同図において、判定レベルＶｓの信号レベルの係数を１．０とし、判定レベルＶｓに対して信号レベルの差分が大きくなるにつれて、重み付け係数を小さくしていく。判定レベルＶｓの重み付係数に対する信号レベルの差がある程度大きい場合は、信号レベルの段差が影響する可能性が低いため、重み付係数を０に設定する。なお、重み付け係数を０に設定する信号レベルを決定する際には、Ｓ信号レベル近傍で発生し得る電源ノイズ等によるオフセット補正値β（ｎ）の変動の大きさを考慮すれば良い。

上記方法にて重み付けされた各画素に対して、画素数分だけ積算していくことで、重み付け積算値が算出される。この算出された積算値に応じて、フィルタリング処理における巡回係数の設定値を決定する。

図１２（ｂ）は、重み付け積算値に対する巡回係数の設定値を示したイメージ図である。横軸が重み付け積算値を示しており、縦軸が巡回係数の設定値を示している。同図に示すように、重み付け積算値が大きくなるにつれて、巡回係数の設定値は低くなる。

上記処理を行うことで、信号レベルの段差が被写体として見え易いものであるかどうかを判定し、判定結果に応じて巡回係数の設定値を変更する。これにより、撮影した被写体の輝度分布に応じて、オフセット補正値βｆ（ｎ）の安定化と、理想値への追従性を最適化することができる。

また、本実施形態においては、画面全体のヒストグラムを用いて説明したが、画面内の複数の領域に分割してヒストグラムを作成しても良い。そうすることで、画面内のある領域では段差が発生しやすく、ある領域では発生し難いような被写体においても、上記した最適化をより精度良く実現することができる。

以上説明したように、判定レベル近傍の信号レベルの画素に対して重み付けを行い、重み付けされた画素の発生数だけ積算した重み付け積算値を算出し、その積算値の結果に応じて巡回係数の設定値を変更する。これにより、撮影した被写体の輝度分布に応じて、補正値の安定化と、理想値への追従性を最適化することができる。

（５）フレームレート
前述したように、理想値は、温度変化に応じて変化する。その理想値に対してオフセット補正値βｆ（ｎ）を追従させるためには、オフセット補正値β（ｎ）を頻繁に取得し、オフセット補正値βｆ（ｎ）を更新していく必要がある。

しかし、低フレームレート時においては、オフセット補正値β（ｎ）の取得が頻繁に行えないため、フレームレートによっては、オフセット補正値βｆ（ｎ）が理想値の変化に追従するのが遅れてしまう可能性がある。特に、電源ノイズ等によるオフセット補正値β（ｎ）の変動が大きい場合、巡回係数を低めに設定する必要があるため、急激な温度変化による理想値の変動に対して、オフセット補正値βｆ（ｎ）の追従が遅れてしまう。そこで、本実施形態では、フレームレートに応じて、巡回係数の設定値を変更する。

図１３は、フレームレートに対する巡回係数ｐの設定値を示している。フレームレートが低いほど、巡回係数ｐの設定値は大きくなり、フレームレートが高くなるにつれて巡回係数ｐの設定値は小さくなる。つまり、単位時間あたりに取得できるオフセット補正値β（ｎ）の数が少ないほど、新たに取得したオフセット補正値β（ｎ）がフィルタリング処理後のオフセット補正値βｆ（ｎ）に与える影響度が大きくなる。よって、フレームレートが低いほど、温度変化による理想値の変動に対して追従し易くなる。各巡回係数に対するフレームレートの範囲は、温度変化率と、電源ノイズ等によるオフセット補正値β（ｎ）の変動を考慮して決めればよい。

以上説明したように、フレームレートに応じて巡回係数の設定値を変更することで、補正値の更新頻度が少ない低フレームレート時においても、理想値の変動に対する追従性と、オフセット補正値の安定化を最適化することができる。

（６）映像として使用しないフレームがある場合
フレームレートに応じて巡回係数を変更する場合について前述したが、撮像素子１の処理によっては、撮像素子１から画像を読み出すが、実際に出力画像としては用いない場合がある。例えば、１２０ｆｐｓで撮像素子１から画像を読み出し、３０ｆｐｓで映像出力されるとする。この場合、４フレーム分の画像のうち、１枚の画像しか実際の画像としては使用されない。

前述したように、できるだけ高い頻度でオフセット補正値を取得した方が、フィルタリング処理による補正値の安定化を実現できるため、映像出力として使用しないフレームの画像についても補正値β（ｎ）を算出し、フィルタリング処理に用いる。具体的には、映像出力として用いるフレームのオフセット補正値β（ｎ）のみを用いてフィルタリング処理した結果と、フレームの補正値β（ｎ）に加えて、映像出力として用いないフレームのオフセット補正値β（ｎ）も用いてフィルタリング処理した結果の差分を取る。これにより、オフセット補正値β（ｎ）の安定度を判定する。上記差分が大きければ安定していないと判定され、上記差分が小さければ安定していると判定される。

上記判定結果により、安定度が高い場合には、電源ノイズ等による補正値の変動が小さいため、追従性を早くするために巡回係数を高めに設定する。一方、安定度が低い場合には、電源ノイズ等によるオフセット補正値の変動が大きいため、巡回係数を低めに設定する。

本実施形態では、映像出力するフレームのみを用いてフィルタリング処理を行ったときのオフセット補正値をβｆ（ｎ）とし、映像出力しないフレームも用いてフィルタリング処理を行ったときのオフセット補正値をβｆ´（ｎ）とする。そして、安定度を判定するために、βｆ（ｎ）−βｆ´（ｎ）を算出する。

図１４（ａ）は、時間（フレーム）変化に対する、オフセット補正値β（ｎ）と、映像出力する画像のみを用いてフィルタリング処理を行ったときのオフセット補正値βｆ（ｎ）と、映像出力しない画像も用いてフィルタリング処理を行ったときのオフセット補正値βｆ´（ｎ）と、安定度を表すβｆ（ｎ）−βｆ´（ｎ）を示したグラフである。

同図において、横軸は時間（フレーム表記で、期間は１〜１００フレーム）を示し、縦軸はオフセット補正値β（ｎ）、βｆ（ｎ）、βｆ´（ｎ）、及びオフセット補正差分値βｆ（ｎ）−βｆ´（ｎ）を示している。本実施形態においては、映像出力する画像のみを用いてフィルタリング処理を行った時のオフセット補正値βｆ（ｎ）は、巡回係数を高めに設定している。一方、映像出力しない画像も用いてフィルタリング処理を行ったときのオフセット補正値βｆ´（ｎ）は、できるだけ安定した補正値を取得するために（安定度を判定するための基準となるため）、巡回係数を最も低い設定にしている。このときの差分値βｆ（ｎ）−βｆ´（ｎ）が大きければ大きいほど、βｆ（ｎ）が安定していないことになる。

本実施形態では、図１４（ｂ）に示すように、差分値βｆ（ｎ）−βｆ´（ｎ）の大きさに応じた、巡回係数ｐに乗算するための乗算値ｑの値をテーブルデータとして持ち、このテーブルデータに基づいて、巡回係数ｐに乗算値ｑを乗算する処理を行う。こうすることで、映像出力する画像のみを用いてフィルタリング処理を行ったときのオフセット補正値βｆ（ｎ）を算出するために用いる巡回係数が、安定度の観点から適正でない場合に、巡回係数を最適化させることができる。なお、図１４（ｂ）においては説明の便宜上、正の差分値のみをテーブルデータとして設けたが、負の差分値も同様であり、厳密には絶対値｜βｆ（ｎ）−βｆ´（ｎ）｜となる。

以上説明したように、映像出力として用いるフレームの補正値β（ｎ）のみを用いてフィルタリング処理した結果と、フレームの補正値β（ｎ）に加えて、映像出力として用いないフレームの補正値β（ｎ）も用いてフィルタリング処理した結果の差分を取る。そして、映像出力として用いるフレームの補正値の安定度を求め、安定度に応じて巡回係数を変更することにより、巡回係数を最適化することができる。

（７）被写体の動き
電源ノイズ等による補正値β（ｎ）の変動に起因して発生するレベル段差の見え方は、被写体によって目立ち方が変わる。特に、動画の場合は、被写体に動きが無い状態だと見え易いが、被写体に動きがあると、各画素の信号レベルが常に変化していることが多いため、目立ち難くなる。

そこで、本実施形態においては、被写体の動き量に応じて巡回係数を決定する処理を行う。動き量を検出するには、一般的に用いられている、ジャイロセンサを用いる方法や、取得した画像から動きベクトルを算出し、動き量を検出する方法などがある。被写体の動き量の検出については、既知の技術を用いて検出するものとし、詳細については説明を省略する。

図１５は、被写体の動き量に対する、巡回係数に乗算する乗算値ｑを表したテーブルデータである。本実施形態においては、被写体の動き量が小さい場合を基準（１．０倍）として、被写体の動き量が大きくなるにつれて巡回係数を高くし、オフセット補正値βｆ（ｎ）が理想値に対して追従し易くなるような処理を行う。なお、本実施形態においては、被写体の動き量が大きい時の乗算値ｑを４．０倍としているが、巡回係数ｐと乗算値ｑとの乗算結果が１．０よりも大きくなった場合は、乗算結果を１．０とする。なお、図１５では動き量を「大」、「中」、「小」と表しているが、動き量を検出する方法に応じて、動き量の範囲を適宜分ければ良い。

こうすることで、被写体として信号レベルの段差が見え難い条件においては、オフセット補正値βｆ（ｎ）が理想値に対して追従し易くし、かつ被写体として段差が見え易い条件においては、オフセット補正値βｆ（ｎ）の変動を低減させることができる。これにより、オフセット補正値βｆ（ｎ）の理想値への追従性と、電源ノイズ等に起因するオフセット補正値の変動の低減効果を、最適化することができる。

以上説明したように、被写体の動き量を検出し、検出した動き量に応じて巡回係数を変更することで、被写体に応じてオフセット補正値βｆ（ｎ）の理想値への追従性と、電源ノイズ等に起因する補正値の変動の低減効果を、最適化することができる。

（８）カラーフィルタの分光特性
前述したように、撮像素子で用いられるカラーフィルタは、Ｒ、Ｇ、Ｂの３色の原色カラーフィルタを用いたベイヤー配列の周期構造をとっているのが一般的である。上述したＲ、Ｇ、Ｂの３色のカラーフィルタを備えた各々の画素から出力される画素信号のうち、人間の視覚特性として、Ｇ画素に対して非常に敏感であるのに対し、ＲＢ画素に対してはＧ画素ほどは敏感で無いという特徴がある。つまり、信号レベルの段差がＧ画素に対しては目立って見えるのに対し、ＲＢ画素は、Ｇ画素ほどは目立ち難い。例として、Ｇ画素は信号レベルの段差が±１０ＬＳＢを超えたときに目立ち始めるが、ＲＢ画素については、±２０ＬＳＢまでは目立たないといった、視覚的なレベル段差の見え方（限界値）の違いが生じる。

そこで、本実施形態においては、Ｇ画素を基準（１．０）として、Ｒ画素、Ｂ画素の巡回係数ｐに対して、乗算値ｑを乗算することで、ＲＧＢ画素毎に異なる巡回係数を設定する。具体的には、Ｇ画素に対して、ＲＢ画素の乗算値ｑを１．０よりも大きくすることで、オフセット補正値βｆ（ｎ）の変動が画像上に信号レベルの段差が見え始める限界値以下の状態を維持しつつ、かつ理想値への追従を早めることが可能となる。特に、電源起動時や撮像素子の駆動方法の切替え時などに急激にオフセット補正値β（ｎ）が変化するが、急激な変化に対しては感度の低いＲＢ画素でも、信号レベルの段差として見えてしまう。つまり、巡回係数を画像上に信号レベルの段差が見え始める限界値（±２０ＬＳＢ）以下に抑えつつ、理想値への追従速度はできるだけ早くしておくことがＲＢ画素の巡回係数として好ましい。

図１６は、カラーフィルタの各色に対する、巡回係数への乗算値ｑを示している。Ｇ画素が基準となるため、Ｇ画素の乗算値ｑは１．０倍としている。また、本実施形態では、Ｒ画素、Ｂ画素については、乗算値ｑを２．０倍としている。なお、本実施形態においては、ＲＢ画素の乗算値ｑを２．０倍としているが、巡回係数ｐと乗算値ｑとの乗算結果が１．０よりも大きくなった場合は、乗算結果を１．０とする。

こうすることで、オフセット補正値βｆ（ｎ）の変動を、画像上に信号レベルの段差が見え始める限界値以下に抑えつつ、急激な理想値の変化に対しても、迅速にオフセット補正値βｆ（ｎ）を追従させることができる。

以上説明したように、Ｒ画素、Ｇ画素、Ｂ画素毎に異なる巡回係数を設定し、各々の画素に対して巡回係数を最適化する。これにより、各色の画素のオフセット補正値βｆ（ｎ）の変動を、画像上に信号レベルの段差が見え始める限界値以下に抑えつつ、急激な理想値の変化に対しても迅速にオフセット補正値βｆ（ｎ）を追従させることができる。

（９）列アンプ群１３０のゲイン切替えに応じて判定レベルを変更した場合
低照度時において、画像信号のＳ／Ｎ比を改善するために、撮像素子１の列アンプ群１３０のゲインを切替えることがある。列アンプ群１３０のゲインを切替えることで、列アンプ群１３０以降の回路にて発生するノイズ成分を、画素信号に対して相対的に小さくすることが可能となり、Ｓ／Ｎ比を改善することができる。

本実施形態においては、列アンプ群１３０のゲインは、アナログゲインを想定しており、離散的なゲイン設定を持つ。具体的には、２倍、４倍の設定を持ち、通常は２倍の設定となっており、低照度時には４倍の設定に切替える。

判定レベルＶｓ近傍の信号レベルを有する画素信号が、列アンプ群１３０のゲイン設定の切替えにより増幅された場合、判定レベルＶｓをゲイン切替えによる増幅率に対応するように高いレベルに変更する必要がある。これは、万が一レベル段差が生じていた場合に、画面内における信号レベルの段差の発生位置が瞬時に変わってしまうからである。特に、列アンプ群１３０のゲインの切替え後において、信号レベルの段差が発生する画素が多い場合、画像として目立ってしまう。本実施形態では、列アンプ群１３０のゲイン切替えに応じて判定レベルＶｓを変更する際における、巡回係数の設定方法について説明する。

本第１の実施形態では、列アンプ群１３０のゲイン切替え後に変更された判定レベルＶｓに応じて、巡回係数ｐに乗算するための乗算値ｑの設定値を変更する。図１７は、列アンプ群１３０のゲイン切替え後の判定レベルＶｓに対する、巡回係数に乗算する乗算値ｑを示している。ここでは、ＡＤ変換のレンジが最大で１２ｂｉｔ（０〜４０９５ＬＳＢ）であって、乗算値ｑの基準値（×１．０）は、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが、段差レベルが最も目立ち難い０〜５１１ＬＳＢの範囲であった場合とする。

上記基準値に対し、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが２０４８〜４０９５ＬＳＢの場合は乗算値ｑ＝４．０倍、判定レベルＶｓが５１２〜２０４７ＬＳＢの場合は乗算値ｑ＝２．０倍となるようにする。つまり、段差レベルが目立ち易くなるにつれて、巡回係数が高くなるように設定し、追従性を向上させる。なお、本実施形態においては、列アンプ切替え後の信号レベルが２０４８〜４０９５ＬＳＢの場合、乗算値ｑを４．０倍としているが、巡回係数ｐと乗算値ｑとの乗算結果が１．０よりも大きくなった場合は、乗算結果を１．０とする。

このようにすることで、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが大きい場合、すなわちＳ信号の信号レベルの段差が目立ち易い場合は、巡回係数を一時的に高くすることでオフセット補正値βｆ（ｎ）を迅速に理想値付近に収束させる。一方、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが小さい場合、すなわちＳ信号の信号レベルの段差が目立ち難い場合は、巡回係数を低いまま維持することでオフセット補正値βｆ（ｎ）の変動を低減させる。また、列アンプ群１３０のゲイン切替え直後のみ、この乗算値を適用しても良い。

以上説明したように、列アンプ群１３０のゲイン切替えに応じて判定レベルを変更する際に、列アンプ群１３０のゲイン切替え後に設定した判定レベルＶｓの大きさに応じて、巡回係数の設定値を変更する。これにより、画像として段差が見え難い状態を維持しつつ、オフセット補正値βｆ（ｎ）が理想値付近に収束するまでの時間と、ノイズによるオフセット補正値の変動の低減効果を、最適化させることができる。

以上、好適なフィルタリング処理方法について、いくつかの例を挙げて説明したが、これら複数を考慮して巡回係数を決定しても良い。また、本実施形態においては一つの例として巡回係数を示してきたが、各条件に対する巡回係数の設定方法としては必ずしもこの限りでなく、ノイズの発生条件や、温度変化率、撮像素子の駆動切り替えによる理想値の変化量などに応じて決定すると良い。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第２の実施形態において用いられる撮像装置は、第１の実施形態で図１を参照して説明した撮像装置と同様の構成を有するため、説明は省略し、差異についてのみ説明する。

第２の実施形態では、図５に示す第１の実施形態の画素部１１０の構成に対して、図１８に示すように、有効画素領域を水平方向に４分割している。画面左から順に、有効画素領域Ａ、有効画素領域Ｂ、有効画素領域Ｃ、有効画素領域Ｄとする。また、有効画素領域に対応させて、ダミー画素領域も水平方向に４分割し、画面左から順に、ダミー画素領域Ａ、ダミー画素領域Ｂ、ダミー画素領域Ｃ、ダミー画素領域Ｄとする。このように、水平方向に対していくつかの領域に分割することで、ＡＤ変換器の性能が水平方向にばらついた場合でも、より理想値に近い補正を行うことができる。

上述した第１の実施形態では、画面全体のダミー画素を用いて傾きの比αとオフセット量βを算出したが、本実施形態においては、分割されたＡ〜Ｄの領域毎に上記式（３）におけるα、βを算出する。上記領域ごとに算出されたオフセット補正値βｆについては、上述した第１の実施形態と同様の処理を行うことで、信号レベルの段差が見えないようにする。

以上説明したように、水平方向に対して複数の領域に分割し、各々の領域についてオフセット補正値βｆ（ｎ）を算出する。これにより、ＡＤ変換器の性能が水平方向にばらついた場合でも、より理想値に近い補正を行うことが可能となり、さらに、第１の実施形態と同様の効果を得ることができる。

なお、第１及び第２の実施形態では、異なる傾きの２種類のランプ信号について記載したが、３種類以上の傾きについても同様の扱いができるため、ランプ信号の種類の数により本願発明が制限されるものではない。また、ダミー画素領域を用いて算出された補正値に対してフィルタリング処理を行うことが必須であり、補正値の取得方法及び演算方法などは、第１の実施形態に記載したものが代表的なものであるが、これに限られるものではない。

また、本第１及び第２の実施形態においては、撮像素子１として、回路規模の小さい列ＡＤＣを列毎に１つ備えた構成をとっているが、本発明はこれに限られるものではない。例えば、各列に複数の列ＡＤＣを備え、それぞれが異なるスロープのランプ信号を用いてＡＤ変換し、いずれかを選択する構成や、特開２０１３−００９０８７号公報に記載されている構成を有するものであってもよい。特開２０１３−００９０８７号公報には、撮像素子内にある列アンプ回路において、画素信号のレベルに応じて画素毎に、第１のランプ信号と、第１のランプ信号よりも傾きが小さい第２のランプ信号のいずれかを選択的に用いてＡＤ変換を行うことが開示されている。即ち、異なる傾きを有する複数のランプ信号のいずれかによりＡＤ変換された画素信号を選択的に用いて各フレームの画像を構成するものであれば、本発明を適用することが可能である。

１：撮像素子、２：画像処理部、１００：タイミング制御部、１１０：画素部、１２０：垂直走査回路、１３０：列アンプ群、１４０：ランプ回路、１５０：列アナログデジタル変換器群（列ＡＤＣ群）、１５１：比較部、１５２：カウンタ・ラッチ回路、１６０：水平転送回路、１７０：信号処理回路、１８０：外部出力回路、４００：定電圧回路

Claims (19)

1. 互いに異なる傾きを有する複数の参照信号を用いてアナログ信号をデジタル信号に変換するアナログデジタル変換手段と、
   予め決められた複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段に供給する電圧供給手段と、
   前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた複数のデジタル信号に基づいて、前記複数の異なる傾きの比とオフセット量とを算出し、前記傾きの比とオフセット量とに基づいて、撮像素子の画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正係数をフレーム毎に算出する算出手段と、を有し、
   前記補正係数は、前記傾きの比とオフセット補正値とを含み、前記オフセット補正値は、前記オフセット量と、前のフレームで算出されたオフセット補正値とを巡回係数により重み付け加算するフィルタリング処理を行って得ることを特徴とする撮像装置。
2. 前記算出手段は、前記オフセット補正値をβｆ（ｎ）、前記オフセット量をβ（ｎ）、前記前のフレームで算出されたオフセット補正値をβｆ（ｎ−１）、前記巡回係数をｐとした場合に、
   βｆ（ｎ）＝β（ｎ）×ｐ＋βｆ（ｎ−１）×（１−ｐ），（０≦ｐ≦１）
   により求めることを特徴とする請求項１に記載の撮像装置。
3. 前記オフセット量と、前記前のフレームで算出されたオフセット補正値との差分が閾値よりも大きい場合に、前記巡回係数を０に設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記オフセット量と、前記前のフレームで算出されたオフセット補正値との差分の絶対値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に設定することを特徴とする請求項１または２に記載の撮像装置。
5. 温度を測定する温度検出手段を更に有し、
   前記温度検出手段により測定された温度の変化率の絶対値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に設定することを特徴とする請求項１または２に記載の撮像装置。
6. 前記撮像素子の画素部から出力された１フレーム分の画像のコントラストが低い程、より小さい値を前記巡回係数に設定することを特徴とする請求項１または２に記載の撮像装置。
7. 前記撮像素子の画素部を読み出す際のフレームレートが予め決められた範囲内にある場合に、該範囲より高い場合よりも、大きい値を前記巡回係数に設定することを特徴とする請求項１、２、４、５、６のいずれか１項に記載の撮像装置。
8. 前記撮像素子の画素部を読み出して得られた画像を、映像出力として用いるフレームと用いないフレームとを含み、
   前記映像出力として用いるフレームで算出された前記オフセット補正値と、前記映像出力として用いないフレームで算出された前記オフセット補正値との差分の絶対値が予め決められた範囲内にある場合に、該範囲より大きい場合よりも、より大きい値を前記巡回係数に乗ずることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 被写体の動き量を検出する動き量の検出手段を更に有し、
   前記動き量の検出手段により検出された動き量が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に乗ずることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記撮像素子の画素部は、ベイヤー配列の原色カラーフィルタにより覆われ、
    赤または青のフィルタにより覆われた画素に対応するデジタル信号を補正するための補正係数は、緑のフィルタにより覆われた画素に対応するデジタル信号を補正するための補正係数よりも大きい値を前記巡回係数に乗じて算出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記アナログデジタル変換手段は、前記撮像素子の画素部を構成する各画素から出力されるアナログ信号の出力レベルが予め決められた判定レベルより小さい場合に、第一の参照信号を用いて変換したデジタル信号を出力し、前記判定レベル以上の場合に、前記第一の参照信号よりも傾きの大きい第二の参照信号を用いて変換したデジタル信号を出力することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記撮像素子の画素部を構成する各画素から出力されるアナログ信号を、前記アナログデジタル変換手段により変換する前に増幅する増幅手段を更に有し、
    前記増幅手段による増幅率が変化した場合に、前記判定レベルを前記増幅率の変化に対応するように変更した値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に乗ずることを特徴とする請求項１１に記載の撮像装置。
13. 前記算出手段により算出された前記補正係数を用いて、前記撮像素子の画素部から出力されたアナログ信号をアナログデジタル変換して得られた前記デジタル信号を補正する補正手段を更に有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記撮像素子の画素部は、光電変換素子を含まないダミー画素を有し、前記電圧供給手段は、前記ダミー画素の読み出し期間に、前記予め決められた複数の異なる出力レベルのアナログ信号を供給することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記撮像素子の画素部は複数の領域に分割され、前記算出手段は、前記分割した複数の領域それぞれについて前記補正係数を算出することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記アナログデジタル変換手段が、前記撮像素子の画素部の各列にそれぞれ配置されていることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 電圧供給手段が、予め決められた複数の異なる出力レベルのアナログ信号をアナログデジタル変換手段に供給する電圧供給工程と、
    前記アナログデジタル変換手段が、前記複数の異なる出力レベルのアナログ信号を、互いに異なる傾きを有する複数の参照信号を用いて複数のデジタル信号に変換するアナログデジタル変換工程と、
    算出手段が、前記複数のデジタル信号に基づいて、前記複数の異なる傾きの比とオフセット量とを算出し、前記傾きの比とオフセット量とに基づいて、撮像素子の画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正係数をフレーム毎に算出する算出工程と、を有し、
    前記補正係数は、前記傾きの比とオフセット補正値とを含み、前記オフセット補正値は、前記オフセット量と、前のフレームで算出されたオフセット補正値とを巡回係数により重み付け加算するフィルタリング処理を行って得ることを特徴とする撮像装置の制御方法。
18. 前記撮像素子の画素部は複数の領域に分割され、前記算出工程では、前記分割した複数の領域それぞれについて前記補正係数を算出することを特徴とする請求項１７に記載の撮像装置の制御方法。
19. 前記算出工程で算出された前記補正係数を用いて、前記撮像素子の画素部から出力されたアナログ信号をアナログデジタル変換して得られた前記デジタル信号を補正する補正工程を更に有することを特徴とする請求項１７または１８に記載の撮像装置の制御方法。

Images