JP2014060526A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】撮像感度の切り換え時における列オフセットの補正の特性劣化を抑え、動画撮影における感度追従レンジを拡大させることができる撮像装置を提供する。
【解決手段】ＣＭＯＳイメージセンサから出力される画像信号を撮像感度に応じたゲインで増幅する増幅器と、画像信号を用いた加重平均による巡回演算を行って列毎の列オフセットの補正値を得る列オフセット検出回路と、増幅器で増幅された有効画素領域の画素に係る画像信号から対応する列の列オフセットの補正値を減算する列オフセット除去回路とを有し、撮像感度の切り換え時に、増幅器のゲインを撮像感度に応じて切り換えるとともに、増幅器におけるゲインの変化量に基づいて列オフセットの補正値を補正して列オフセット検出回路での巡回演算を行うようにして、撮像感度の切り換え時における列オフセットの補正の特性劣化を抑える。
【選択図】図５

Description

本発明は、撮像装置及びその制御方法に関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いて撮像した画像を記録及び再生する撮像装置がある。このような撮像装置において、静止画や動画の撮影に係る解像度や動作スピードの向上が求められている。

撮像素子の出力には、撮像素子の構造に起因する縦縞状のノイズとなる列オフセット成分のノイズが存在する。以下、列オフセットと呼ぶ。例えば、ＣＣＤにおいては、垂直転送レジスタの欠陥による縦縞ノイズや、強烈な光が入射した際に発生するスミア現象などが知られている。また、ＣＭＯＳイメージセンサに代表されるＸ−Ｙアドレス型のイメージセンサは、一般に、光電変換素子を有する画素が行列状に配置され、選択された行の画素からの信号を、列毎に異なる垂直出力線を介して読み出す構造になっている。そのため、列毎の素子特性のばらつきによって列オフセットが発生しやすい。

図１２は、一般的なＣＭＯＳイメージセンサの画素配列とセンサ出力との関係を模式的に示す説明図である。ＣＭＯＳイメージセンサは、行列状に配置された複数の画素を有し、図１２に示すように水平オプティカルブラック（以下、ＨＯＢとも呼ぶ）領域２０１、垂直オプティカルブラック（以下、ＶＯＢとも呼ぶ）領域２０２、及び有効画素領域２０３を有する。ＨＯＢ領域２０１は、アルミ薄膜等により被写体からの光が遮光される画素が配置されている、数列から数十列の領域である。ＶＯＢ領域２０２は、アルミ薄膜等により被写体からの光が遮光される画素が配置されている、数ラインから数十ラインの領域である。また、有効画素領域２０１は、被写体からの光が光電変換素子であるフォトダイオードに照射される有効画素が配置されている領域である。

図１２において、センサ出力（ＶＯＢ）及びセンサ出力（有効画素）の波形は、ＶＯＢ領域２０２の画素に係る出力及び有効画素領域２０３の画素に係る出力をそれぞれ示しており、これらに重畳する列オフセットも模式的に示している。図１２に示した例では、列２０４、２０５、２０６、２０７、２０８において、列オフセットによりセンサ出力が大きく変化している。

列オフセットは、ＨＯＢ領域２０１、ＶＯＢ領域２０２、及び有効画素領域２０３にかかわらず、読み出し経路を共通にもつ同じ列上の画素に係る出力に等しく発生する性質がある。そのため、センサ出力（ＶＯＢ）により列オフセットを検出して、検出した列オフセットをセンサ出力（有効画素）から差し引くことで、センサ出力（有効画素）に重畳する列オフセットを除去することが可能である。図１２に示した例では、列オフセットの検出期間（ＶＯＢ領域２０２）として１６ラインを設け、この１６ラインの画素に係る出力を列毎に加算平均することによって、列オフセットのデータを算出している。列オフセットを検出するラインの画素に係る出力は、列オフセットだけでなくランダムノイズも含む。このランダムノイズ成分を抑圧して精度良く列オフセット成分のみを抽出するためには、十分な数の検出ライン数を確保することが望ましい。

しかしながら、動画撮影の場合には、読み出しフレーム内の検出ライン数を増やすと１フレームあたりの読み出し時間が増加して動画のフレームレートが低下する。そのため、動画撮影において、十分な数の検出ライン数を確保することは適切でない。そこで、動画撮影の場合には、少ない検出ラインの画素に係る出力から得られる列オフセットのデータをフレーム間で引き継いで巡回演算により平均化していく。そうすることでフレームレートの低下を抑えながら、複数フレームの読み出し時間を費やして列オフセットの精度を上げる方法が用いられる。

図１３は、列オフセットの検出について説明するための図である。図１３（ａ）が１フレーム目〜ｎフレーム目の各フレーム内に配された１６ラインの列オフセットの検出期間（ＶＯＢ領域２１０−１〜２１０−ｎ）のラインデータが読み出される様態を示している。また、図１３（ｂ）が複数のフレームを費やして行われる列オフセットの算出に係る巡回演算の様態を示している。例えば、巡回係数Ｋを（１／６４）としたとき、ｎフレーム目の巡回演算値Ｙ_nは、Ｙ_n←Ｋ・Ｘ_n＋（１−Ｋ）・Ｙ_n-1となる。また、図１４は、列オフセットとする巡回演算値Ｙ_nが初期値０からフレーム毎に行われる巡回演算の繰り返しにより算出されて所定の値に収束していく様態を示している。図１４に示した例では、列オフセットとする巡回演算値Ｙ_nが、ｍフレームまでの期間においては画像上で縦すじが見えない許容範囲内に収束していないので、ｍフレームまでは画像上に縦すじが見えてしまう。

ところで、被写体が動的に刻々と変わる動画撮影では、常に撮影被写体の明るさを検出しながら適正な露出範囲内に維持する自動露出制御の機能が欠かせない。露出制御の手段としては、センサ前面に配されてセンサ受光量を光学的に制御する絞り、露光時間を制御する電子シャッター、及びセンサ出力を増幅するアンプ等の感度アップ手段等がある。特に、低照度の被写体に対しては露出不足を補うアンプ等の感度アップ手段が有効である。

しかし、動画撮影の途中でアンプのゲイン設定を切り換えて感度アップを行うと、設定されるゲインに依存して列オフセットのレベルが大きく変動する。そして、これまでの画像に係る出力に基づいて算出された列オフセットの補正値との間で誤差が生じてしまい、列オフセットの補正の精度が著しく低下する。そのため従来は、動画撮影の途中で感度変更が行われると、一旦、列オフセットの補正値を初期値０に戻して、図１４に示した巡回演算による収束過程を再度経て、列オフセットの補正を行っていた。その結果、列オフセットの精度が感度変更後のすぐには元に戻らないために、画像が一時的に乱れて列オフセットによる縦すじが見えてしまうという弊害が発生する。そのため、動画撮影時に低照度の被写体に対して十分に感度アップを行うことができないという課題を有していた。

特許文献１には、下記技術が提案されている。撮像信号に重畳した列オフセットを検出してキャンセルするために、１水平期間分の画像データを記憶する記憶部を備え、固体撮像素子の垂直方向の光学的黒画素の画像データを水平期間積分して記憶する。そして、記憶している１水平期間の画像データを、有効画素データから減算することで重畳された列オフセットを除去することが提案されている。また、特許文献２には、センサの駆動モード切り換え時に、それまでに検出された列オフセットの検出結果に基づいて列オフセット補正を行うことで、列オフセットの検出及び補正に係る時間を短縮することが提案されている。

特開平７−６７０３８号公報 特開２００６−２５１４６号公報

前述のように、動画撮影の途中で感度変更を行う場合に、列オフセットを高速かつ高精度に検出して、有効画素領域の画素に係る出力から列オフセットを除去する技術が必須である。本発明の目的は、撮像感度の切り換え時における列オフセットの補正の特性劣化を抑え、動画撮影における感度追従レンジを拡大することができる撮像装置及びその制御方法を提供することにある。

本発明に係る撮像装置は、動画像を撮影する撮像装置であって、光電変換素子を含む複数の画素が行列状に配され、前記複数の画素からの画像信号を出力する撮像素子と、前記撮像素子から出力された前記画像信号を、設定される撮像感度に応じたゲインで増幅する増幅手段と、前のフレームで得られた列毎の列オフセットの補正値と、前記増幅手段により増幅された、前記撮像素子における無効画素領域の同じ列上の画素に係る画像信号とを用いて加重平均による巡回演算を行い、列毎の列オフセットの補正値を得る列オフセット検出手段と、前記増幅手段により増幅された、前記撮像素子における有効画素領域の画素に係る画像信号から、前記列オフセット検出手段により得られた対応する列の列オフセットの補正値を減算する列オフセット除去手段と、前記撮像感度の切り換え時に、前記増幅手段を制御して前記ゲインを前記撮像感度に応じて切り換えさせるとともに、列オフセット検出手段を制御して列オフセットの補正値に前記増幅手段におけるゲインの変化量に基づいたゲイン補正値を乗じさせる制御手段とを有することを特徴とする。

本発明によれば、撮像感度の切り換え時に、ゲインの変化量に基づいたゲイン補正値が列オフセットの補正値に乗じられるので、撮像感度の切り換え時における列オフセットの補正の特性劣化を抑え、動画撮影中の感度追従レンジを拡大させることができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 本実施形態におけるＣＭＯＳイメージセンサの内部構成例を示す図である。 本実施形態における読み出し動作の一例を示すタイミングチャートである。 本実施形態に係る撮像装置の動作を説明するための図である。 本実施形態における列オフセット検出回路の構成例を示す図である。 本実施形態における列オフセット補正値に係るゲイン補正方法の一例を説明するための図である。 ゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量とゲイン制御信号ＣＴＬ２によるゲイン設定値との関係の一例を示す図である。 本実施形態における列オフセット補正値に係るゲイン補正方法の他の例を説明するための図である。 本実施形態における列オフセット補正値に係るゲイン補正方法の他の例を説明するための図である。 ゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量とゲイン制御信号ＣＴＬ２によるゲイン設定値との関係の一例を示す図である。 撮像感度の切り換え時のゲイン配分の例を示す図である。 ＣＭＯＳイメージセンサの画素配列とセンサ出力の関係を示す図である。 列オフセットの検出について説明するための図である。 巡回演算の収束特性の説明図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
図１において、レンズ１０１は、被写体からの光を撮像素子であるＣＭＯＳイメージセンサ１０３の撮像面に結像させる。絞り１０２は、ＣＭＯＳイメージセンサ１０３の受光量を光学的に制御する。

ＣＭＯＳイメージセンサ１０３は、行列状に配置された複数の画素を有し、光信号を光電変換して電気信号に変換する。ＣＭＯＳイメージセンサ１０３は、図１２に示したＣＭＯＳイメージセンサと同様に、無効画素領域である水平オプティカルブラック（ＨＯＢ）領域及び垂直オプティカルブラック（ＶＯＢ）領域と、有効画素領域とを有する。ＨＯＢ領域及びＶＯＢ領域には、アルミ薄膜等により被写体からの光が遮光される画素が配置されている。ＨＯＢ領域は、数列から数十列の領域であり、ＶＯＢ領域は、数ラインから数十ラインの領域である。また、有効画素領域には、被写体からの光が光電変換素子に照射される有効画素が配置されている。

同期信号発生器（ＳＳＧ）１０４は、水平同期信号ＨＤ及び垂直同期信号ＶＤを生成する。タイミングジェネレータ（ＴＧ）１０５は、ＣＭＯＳイメージセンサ１０３を駆動させる各種制御信号を、水平同期信号ＨＤ及び垂直同期信号ＶＤに同期して発生させる。また、タイミングジェネレータ１０５は、Ａ／Ｄ変換器１０７を駆動させる制御信号を発生させる。増幅器（ＰＧＡ）１０６は、ＣＭＯＳイメージセンサ１０３から出力されたアナログ信号を、所定のゲインで増幅し出力する。増幅器１０６におけるゲインは、システムコントローラ１１０からのゲイン制御信号ＣＴＬ１に基づいて、プログラマブルに可変することができ、撮像感度に応じて所望の設定値に切り換えられる。Ａ／Ｄ変換器１０７は、アナログの画像信号をデジタルの画像信号（画像データ）に変換する。

列オフセット検出回路１０８は、Ａ／Ｄ変換器１０７から出力された画像データ中に含まれる列オフセット成分を、ＶＯＢ領域の画像データに基づいて抽出し検出する。列オフセット除去回路１１１は、列オフセット検出回路１０８により検出された列オフセット成分を有効画素領域の画像データから減算することで、有効画素領域の画像データから列オフセットを除去する。ウィンドウ回路１０９は、列オフセット検出回路１０８及び列オフセット除去回路１１１を駆動する制御信号を生成する。ウィンドウ回路１０９は、例えば列オフセットの垂直検出期間（領域）を指示する垂直検出ウィンドウ信号ＶＷＤＥＴ、及び列オフセットの垂直補正期間（領域）を指示する垂直補正ウィンドウ信号ＶＷＣＯＬを生成する。また、ウィンドウ回路１０９は、列オフセットの水平検出期間（領域）や列オフセットの水平補正期間（領域）を指示する水平ウィンドウ信号ＨＷＩＮを生成する。

システムコントローラ１１０は、撮像装置が有する各回路を制御して動作モードやパラメータを決定する。信号処理回路１１２は、画像データに対して補間処理や色変換処理を行う。また、信号処理回路１１２は、例えば画像データに対して縮小処理や拡大処理等の変倍処理を行って表示デバイスに表示可能な画像データに変換を行ったり、記録デバイスにあわせてＪＰＥＧ画像等に変換を行ったりするようにしても良い。

図２は、本実施形態におけるＣＭＯＳイメージセンサ１０３の内部構成例を示す回路図である。図２においては、説明の便宜上、水平方向（行方向）及び垂直方向（列方向）に配置された一部の画素、及び画素から信号を読み出すための信号線及び読み出し回路の一部を示している。しかし、本実施形態におけるＣＭＯＳイメージセンサ１０３は、光電変換素子を含む複数の画素が行列状に配置され、各画素から信号を読み出すための信号線及び読み出し回路を有する。なお、以下では、図２に回路構成を示した画素が、ｍ行目、ｎ列目〜（ｎ＋２）列目の画素であるとして説明する。

図２において、垂直走査回路３００は、画素配列から特定の読み出し行を選択するための回路である。画素３０８の各々は、リセットトランジスタ３０１、転送トランジスタ３０２、フォトダイオード３０３、フローティングディフュージョン３０４、選択トランジスタ３０５、及び画素ソースフォロア３０６を有する。

リセットトランジスタ３０１ａ〜３０１ｃは、フォトダイオード３０３ａ〜３０３ｃに蓄積された光信号電荷やフローティングディフュージョン３０４ａ〜３０４ｃの電位をリセットするためのトランジスタである。リセットトランジスタ３０１ａ〜３０１ｃは、ｍ行目のリセット信号線３１２を介して供給されるリセットパルスＰＲＥＳ＿ｍによりオン／オフ（導通／非導通）が制御される。転送トランジスタ３０２ａ〜３０２ｃは、フォトダイオード３０３ａ〜３０３ｃに蓄積された光信号電荷をフローティングディフュージョン３０４ａ〜３０４ｃに転送する。転送トランジスタ３０２ａ〜３０２ｃは、ｍ行目の転送信号線３１３を介して供給される転送パルスＰＴＸ＿ｍによりオン／オフ（導通／非導通）が制御される。

フォトダオード３０３ａ〜３０３ｃは、光電変換素子であり、光電変換により入射光に応じた光信号電荷を生成し蓄積する。フローティングディフュージョン（以下、ＦＤとも呼ぶ）３０４ａ〜３０４ｃは、光信号電荷をＦＤ電位に転換する。選択トランジスタ３０５ａ〜３０５ｃは、特定行を選択して画素ソースフォロア３０６ａ〜３０６ｃを作動させてＦＤ３０４ａ〜３０４ｃのＦＤ電位を垂直出力線（列出力線）３２４ａ〜３２４ｃに読み出すためのトランジスタである。選択トランジスタ３０５ａ〜３０５ｃは、ｍ行目の行選択線３１１を介して供給される行選択パルスＰＳＥＬ＿ｍによりオン／オフ（導通／非導通）が制御される。画素ソースフォロア３０６ａ〜３０６ｃは、ＦＤ３０４ａ〜３０４ｃのＦＤ電位を垂直出力線（列出力線）３２４ａ〜３２４ｃに読み出すバッファアンプである。

列アンプ（増幅回路）３２５ａ〜３２５ｃは、垂直出力線（列出力線）３２４ａ〜３２４ｃが接続され、垂直出力線（列出力線）３２４ａ〜３２４ｃに読み出された信号を増幅する。また、列アンプ３２５ａ〜３２５ｃには、信号線３０７を介して信号増幅用の基準として用いる基準電圧Ｖｒｅｆが供給されている。サンプルホールド（以下、Ｓ／Ｈとも呼ぶ）回路３０９ａ〜３０９ｃは、Ｎ信号（ノイズ信号）を記憶し、Ｓ／Ｈ回路３１０ａ〜３１０ｃは、Ｓ信号（光信号成分）を記憶する。なお、Ｓ信号は、Ｎ信号にフォトダイオード３０３ａ〜３０３ｃで発生した光信号電荷による信号が加わったものである。Ｓ／Ｈ回路３０９ａ〜３０９ｃは、信号線３１４を介して供給される制御信号ＰＴＮによって制御されるスイッチを介して列アンプ３２５ａ〜３２５ｃに接続される。また、Ｓ／Ｈ回路３１０ａ〜３１０ｃは、信号線３１５を介して供給される制御信号ＰＴＳによって制御されるスイッチを介して列アンプ３２５ａ〜３２５ｃに接続される。制御信号ＰＴＮは、Ｓ／Ｈ回路３０９ａ〜３０９ｃへの読み出し期間を決定する信号であり、制御信号ＰＴＳは、Ｓ／Ｈ回路３１０ａ〜３１０ｃへの読み出し期間を決定する信号である。

トランジスタ３１６ａ〜３１６ｃは、各列のＳ／Ｈ回路３０９ａ〜３０９ｃの出力（Ｎ信号）を水平出力線３２０に選択して読み出すためのトランジスタである。また、トランジスタ３１７ａ〜３１７ｃは、各列のＳ／Ｈ回路３１０ａ〜３１０ｃの出力（Ｓ信号）を水平出力線３２１に選択して読み出すためのトランジスタである。トランジスタ３１６ａ〜３１６ｃ、３１７ａ〜３１７ｃは、特定の読み出し列を選択する水平走査回路３１９から出力されるｎ列目〜（ｎ＋２）列目の選択信号Ｈｎ〜Ｈｎ＋２によりオン／オフ（導通／非導通）が制御される。差動回路３２３は、水平出力線３２０、３２１からの信号を受けて、その差分を演算しＣＭＯＳイメージセンサ１０３の出力ＶＯＵＴとして出力する。

次に、本実施形態におけるＣＭＯＳイメージセンサ１０３における読み出し動作について説明する。図３は、本実施形態における読み出し動作の一例を示すタイミングチャートである。

撮影動作が開始されて、フォトダイオード３０３に光が入射されると、光信号電荷が発生し蓄積が開始される。垂直走査回路３００により順次に各行の走査が行われていき、ｍ行目の走査に至ると、行選択パルスＰＳＥＬ＿ｍがハイレベルになるとともに、リセットパルスＰＲＥＳ＿ｍがハイレベルになってＦＤ３０４の信号（ＦＤ電位）がリセットされる。これにより、リセットノイズを含むノイズレベルが、画素ソースフォロワ３０６を通して垂直出力線（列出力線）３２４へ読み出される。そして、垂直出力線（列出力線）３２４に読み出されたノイズレベルと基準電圧Ｖｒｅｆとの差分が、列アンプ３２５にて増幅された後、Ｎ信号として出力される。この出力されたＮ信号が、制御信号ＰＴＮがハイレベルである期間にＳ／Ｈ回路３０９に記憶される。

その後、転送パルスＰＴＸ＿ｍがハイレベルになり、フォトダイオード３０３にて発生し蓄積された光信号電荷が、ＦＤ３０４に読み出され、さらに画素ソースフォロワ３０６を通して垂直出力線（列出力線）３２４へ読み出される。そして、垂直出力線（列出力線）３２４に読み出されたノイズレベルを含む光信号成分と基準電圧Ｖｒｅｆとの差分が、列アンプ３２５にて増幅された後、Ｓ信号として出力される。この出力されたＳ信号が、制御信号ＰＴＳがハイレベルである期間にＳ／Ｈ回路３１０に記憶される。

Ｓ／Ｈ回路３０９に記憶された各列のｍ行目のＮ信号は、水平走査回路３１９から出力される選択信号Ｈｎ〜Ｈｎ＋２により制御されるトランジスタ３１６を介して、水平出力線３２０に列毎に順次読み出される。同様にして、Ｓ／Ｈ回路３１０に記憶された各列のｍ行目のＳ信号は、水平走査回路３１９から出力される選択信号Ｈｎ〜Ｈｎ＋２により制御されるトランジスタ３１７を介して、水平出力線３２１に列毎に順次読み出される。水平出力線３２０、３２１に列毎に並列して読み出されたｍ行目のＮ信号とＳ信号とは、差動信号としてそれぞれ差動回路３２３に入力されて、その差動出力がＣＭＯＳイメージセンサ１０３のセンサ出力ＶＯＵＴとして出力される。

ここで、Ｓ信号は、Ｎ信号にフォトダイオード３０３で発生した光信号電荷による信号が加わったものであるので、差動回路３２３にてＳ信号とＮ信号との差動動作を行うことでＣＤＳ（Correlated Double Sampling）動作が行われる。そして、ＣＭＯＳイメージセンサ１０３のセンサ出力ＶＯＵＴからは、撮像素子に起因するリセットノイズや１／ｆノイズが除去される。ＣＭＯＳイメージセンサ１０３からは、列オフセットに加えて画素欠陥ノイズ及びＲＴＳ（Random Telegraph Signal）ノイズが重畳された撮像信号が、センサ出力ＶＯＵＴとして出力される。

次に、本実施形態に係る撮像装置の動作について説明する。図４は、本実施形態に係る撮像装置の動作における主要な各部のタイミング信号及びこれらのタイミング信号に同期して出力されたセンサ出力を示した説明図である。

タイミングジェネレータ１０５は、同期信号発生器１０４にて生成される水平同期信号ＨＤ及び垂直同期信号ＶＤからＣＭＯＳイメージセンサ１０３を駆動する各種制御信号を生成する。ＣＭＯＳイメージセンサ１０３は、タイミングジェネレータ１０５による制御信号のタイミングで、レンズ１０１及び絞り１０２を通過した光信号を電気信号へと変換する。ＣＭＯＳイメージセンサ１０３から読み出されたアナログの画像信号は、設定されたゲインで増幅器１０６により増幅された後、Ａ／Ｄ変換器１０７においてアナログの画像信号からデジタルの画像信号（画像データ）に変換される。Ａ／Ｄ変換器１０７での変換により得られたデジタルの画像信号（画像データ）は、列オフセット検出回路１０８及び列オフセット除去回路１１１へ出力される。

ウィンドウ回路１０９は、水平同期信号ＨＤ及び垂直同期信号ＶＤを参照して、列オフセット検出回路１０８及び列オフセット除去回路１１１を駆動する各種制御信号を生成する。ウィンドウ回路１０９は、ＶＯＢ領域における列オフセットの垂直検出期間を指示する垂直検出ウィンドウ信号ＶＷＤＥＴと水平検出期間を指示する水平ウィンドウ信号ＨＷＩＮを生成して列オフセット検出回路１０８に供給する。また、ウィンドウ回路１０９は、有効画素領域における列オフセットの垂直補正期間（除去期間）を指示する垂直補正ウィンドウ信号ＶＷＣＯＬと水平補正期間（除去期間）を指示する水平ウィンドウ信号ＨＷＩＮを生成して列オフセット除去回路１１１に供給する。

図４に示した例では、ＶＯＢ領域における列オフセットの垂直検出期間は４０ラインに相当する期間であり、その期間だけ垂直検出ウィンドウ信号ＶＷＤＥＴがアサートされる。また、有効画素領域における列オフセットの垂直補正期間（除去期間）は９６０ラインに相当する期間であり、その期間だけ垂直補正ウィンドウ信号ＶＷＣＯＬがアサートされる。また、列オフセットの検出や補正（除去）を行う水平方向についての期間は、水平ウィンドウ信号ＨＷＩＮがアサートされる。ＶＯＢ領域のうち、垂直検出ウィンドウ信号ＶＷＤＥＴがアサートされ、かつ水平ウィンドウ信号ＨＷＩＮがアサートされている領域が、列オフセットの検出領域４０１となる。また、有効画素領域のうち、垂直補正ウィンドウ信号ＶＷＣＯＬがアサートされ、かつ水平ウィンドウ信号ＨＷＩＮがアサートされている領域が、列オフセットの補正領域４０２となる。

列オフセット検出回路１０８は、ウィンドウ回路１０９からの垂直検出ウィンドウ信号ＶＷＤＥＴ及び水平ウィンドウ信号ＨＷＩＮに従って、ＶＯＢ領域の画像データを用いて加重平均による巡回演算を行い列毎に列オフセットのデータ（補正値）を算出する。列オフセット除去回路１１１は、ウィンドウ回路１０９からの垂直補正ウィンドウ信号ＶＷＣＯＬ及び水平ウィンドウ信号ＨＷＩＮに従って、列オフセット検出回路１０８により列毎に算出された列オフセットのデータを有効画素領域の画像データから減算する。これにより、有効画素領域の画像データから列オフセットが除去される。列オフセット除去回路１１１から出力された画像データは、信号処理回路１１２において信号処理されて、表示デバイスや記録デバイスに適合する画像データへと変換される。

ＣＭＯＳイメージセンサ１０３は、前述したようにＸ−Ｙアドレス型の読み出し構造に起因して、信号読み出し時に列毎の素子特性のばらつきによって列毎に異なるオフセットがのる、いわゆる、画素信号値の列オフセットが発生しやすい。この列オフセットは、ＶＯＢ領域、ＨＯＢ領域、有効画素領域にかかわらず、読み出し経路を共通にもつ同じ列上に等しく発生する性質がある。図４に例示したように、例えば列４０３、４０４、４０５、４０６、４０７のセンサ出力（有効画素）は、対応する列のセンサ出力（ＶＯＢ）に含まれる列オフセットと同様の列オフセットを含む。したがって、無効画素領域であるＶＯＢ領域の画素データから列毎に列オフセットのデータを算出し、有効画素領域の画像データから、対応する列の列オフセットのデータを減算することで、列オフセットが除去された画像信号（画像データ）を得ることができる。

本実施形態における撮像装置では、動画撮影時における撮像感度の切り換えによる列オフセット補正の特性劣化を抑えて、利用可能な感度切り換えレンジの拡大を図る。これを可能にする列オフセット補正に係る構成について説明する。図５は、本実施形態における列オフセット検出回路１０８の回路構成例を示す図である。

図５において、入力端子ＤＥＴＩＮより列オフセット検出回路１０８に入力された撮像信号５００（Ｘ_n）は、第１の乗算器（第１の係数Ｋ１）５０１に入力される。第１の乗算器５０１は、入力される撮像信号５００（Ｘ_n）に第１の係数Ｋ１を乗じて、演算結果を出力する。第１の乗算器５０１の出力及び第２の乗算器（第２の係数Ｋ２）５０３の出力は、加算器５０２に入力される。加算器５０２は、第１の乗算器５０１の出力及び第２の乗算器５０３の出力を加算し、加算結果を出力する。加算器５０２の出力は、ラインメモリ５０６に入力されて記憶される。ラインメモリ５０６の出力は、ゲインが可変な増幅器５０４に入力されるとともに、列オフセット検出回路１０８の出力５０５として出力端子ＤＥＴＯＵＴより出力される。

増幅器５０４は、システムコントローラ１１０から供給されるゲイン制御信号５０７（ＣＴＬ２）により設定される所望のゲイン（ゲイン補正値）で、ラインメモリ５０６の出力を増幅して出力する。増幅器５０４の出力は、第２の乗算器５０３に入力される。第２の乗算器５０３は、増幅器５０４の出力に第２の係数Ｋ２を乗じて、演算結果を出力する。また、列オフセット検出回路１０８には、ウィンドウ回路１０９より列オフセットの垂直検出期間（領域）を指示する垂直検出ウィンドウ信号５０８（ＶＷＤＥＴ）及び水平検出期間（領域）を指示する水平ウィンドウ信号５０９（ＨＷＩＮ）が供給されている。列オフセット検出回路１０８は、垂直検出ウィンドウ信号５０８（ＶＷＤＥＴ）及び水平ウィンドウ信号５０９（ＨＷＩＮ）により特定される領域について、列オフセットのデータを算出するための演算を行う。

次に、図５に示した列オフセット検出回路１０８の動作について説明する。
列オフセット検出回路１０８に入力された撮像信号５００（Ｘ_n）が、乗算器５０１、５０３、加算器５０２、増幅器５０４、及びラインメモリ５０６で構成される巡回積分回路に入力されて、垂直データ間の巡回演算が行われる。巡回積分回路による巡回演算は、垂直検出ウィンドウ信号（ＶＷＤＥＴ）及び水平ウィンドウ信号（ＨＷＩＮ）により示された列オフセット検出領域内について、水平画素毎に順次行われて巡回演算値（Ｙ_n）が算出される。

巡回演算値（Ｙ_n）を求める巡回演算の演算式は、（式１）で示される。なお、（式１）においてサフィックスｎは、巡回演算の回数を表しており、１ライン毎に更新される。
巡回係数 ：Ｋ１、Ｋ２（＝１−Ｋ１）
巡回演算値：Ｙ_n←Ｋ１・Ｘ_n+Ｋ２・Ｙ_n-1 …（式１）
例えば、巡回係数としてＫ１＝（１／６４）、Ｋ２＝（６３／６４）が設定された場合には、１対６３の比率で、入力された撮像信号（Ｘ_n）に対して加重平均による演算が巡回的に繰り返される。

ラインメモリ５０６は、水平ウィンドウ信号（ＨＷＩＮ）で示される１水平データ分の画素データを保持することができ、水平画素毎に（列毎に個別に）値を有する巡回演算値（Ｙ_n）が逐次、更新されて記録される。垂直検出ウィンドウ信号（ＶＷＤＥＴ）がアサートされている期間での複数回の巡回演算を経た後にラインメモリ５０６に記録・保持された巡回演算値が、検出された列オフセットのデータとされる。列オフセットのデータとしてラインメモリ５０６に保持された巡回演算値が、垂直補正ウィンドウ信号（ＶＷＣＯＬ）がアサートされている期間に列オフセット除去回路１１１に読み出され、動画の各フレーム毎に列オフセットの除去が行われる。

以下、本実施形態に係る撮像装置での動画撮影において撮像感度の切り換え時の列オフセット補正値に係るゲイン補正方法について説明する。

＜第１の補正方法＞
図６は、本実施形態における撮像装置において、動画撮影の途中で増幅器１０６のゲインの設定を切り換えることで撮像感度の切り換えを行ったときの列オフセット補正値に係るゲイン補正の一例を説明するための図である。ゲイン制御信号ＣＴＬ１による増幅器１０６のゲイン設定値を図６（ａ）に示し、ゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値を図６（ｂ）に示している。図６（ａ）において、縦軸はシステムコントローラ１１０により指示されたゲイン制御信号ＣＴＬ１によるゲイン設定値であり、横軸は動画のフレーム数を示している。また、図６（ｂ）において、縦軸はシステムコントローラ１１０により指示されたゲイン制御信号ＣＴＬ２によるゲイン設定値であり、横軸は図６（ａ）と同じく動画のフレーム数を示している。

図６に示す例では、システムコントローラ１１０は、図６（ａ）に示すように、ゲイン制御信号ＣＴＬ１により増幅器１０６のゲイン設定値を制御する。すなわち、システムコントローラ１１０は、０フレーム目〜９フレーム目の間において、増幅器１０６のゲイン設定値を撮像感度であるＩＳＯ２００に相当する設定値である２倍に設定する。１０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ４００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ４００に相当する設定値である４倍に切り換え、１０フレーム目〜１９フレーム目の間で、その値を保持する。２０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ８００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ８００に相当する設定値である８倍に切り換え、２０フレーム目〜２９フレーム目の間で、その値を保持する。３０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ１００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ１００に相当する設定値である１倍に切り換え、３０フレーム目〜３９フレーム目の間で、その値を保持する。４０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ４００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ４００に相当する設定値である４倍に切り換える。

ゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値（ゲイン補正値）は、図６（ｂ）に示すようにゲイン制御信号ＣＴＬ１による増幅器１０６のゲイン設定値に連動して切り換えられる。列オフセット検出回路１０８内の増幅器５０４のゲイン設定値（ゲイン補正値）は、増幅器１０６のゲイン設定値の変化量ΔＧＡＩＮに対応しており、例えば変化量ΔＧＡＩＮに比例した値である。ここで、ゲイン設定値の変化量ΔＧＡＩＮは、（１フレーム前における増幅器１０６のゲイン設定値）／（現フレームにおける増幅器１０６のゲイン設定値）である。

１０フレーム目で、増幅器１０６のゲイン設定値が２倍から４倍に切り換わるのに連動して、システムコントローラ１１０は、同時に列オフセット検出回路１０８内の増幅器５０４のゲイン設定値（ゲイン補正値）を２倍に設定する。このとき、列オフセット検出回路１０８内の増幅器５０４のゲイン設定値は、１０フレーム目の最初の１ライン目の巡回演算時のみ２倍に切り換わり、通常は１倍を保持する。以降も同様に、システムコントローラ１１０は、増幅器１０６のゲイン設定値の変化量ΔＧＡＩＮに対応して、増幅器５０４のゲイン設定値（ゲイン補正値）を切り換える。すなわち、システムコントローラ１１０は、増幅器５０４のゲイン設定値を、２０フレーム目の最初の１ライン目に２倍に切り換え、３０フレーム目の最初の１ライン目に（１／８）倍に切り換え、４０フレーム目の最初の１ライン目に４倍に切り換える。このように列オフセット検出回路１０８内の増幅器５０４のゲイン設定値を、増幅器１０６のゲイン設定値に連動して切り換えることにより、動画撮影中のゲイン切り換えによる列オフセット値のずれ量を小さくする。これにより、列オフセットが視認できなくなるまでの巡回演算の回数が少なくなり、動画撮影中の撮像感度の切り換え時における列オフセットの補正の特性劣化を抑えることができ、感度追従レンジを拡大させることができる。

図７は、ゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量ΔＧＡＩＮと、ゲイン制御信号ＣＴＬ２によるゲイン設定値との関係の一例を示す図である。図７において、横軸はゲイン制御信号ＣＴＬ１による増幅器１０６のゲイン設定値の変化量ΔＧＡＩＮであり、縦軸はゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値である。

ところで、図１４に示した巡回演算の収束特性から明らかなように、動画像上で列オフセットが視認できなくなるまでには所定の回数の巡回演算が必要である。必要な巡回演算の回数は、列オフセットの収束値に対する巡回演算の初期値のずれ量によって決まる。本実施形態では、列オフセット検出回路１０８内の増幅器５０４のゲイン設定値を、増幅器１０６のゲイン設定値に連動して切り換えることにより、動画撮影中のゲイン切り換えによる列オフセット値のずれ量を小さくする。しかし、ゲイン制御信号ＣＴＬ２によるゲイン設定値とゲイン制御信号ＣＴＬ１によるゲイン設定値との間には、わずかではあるが誤差があり、前述の列オフセットのずれ量はゼロとはならない。一方、増幅器１０６のゲイン設定値の変化量が小さければ、その直前までに演算された列オフセット値とのずれ量も小さく、列オフセットが視認できなくなるまでの巡回演算の回数も少なくて良い。このとき、動画像上に現れる列オフセットの誤差による縦すじもほとんど問題にはならない。

そこで、ゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量ΔＧＡＩＮに対して所定の閾値を設け、その閾値範囲内ではゲイン制御信号ＣＴＬ２によるゲイン設定値の切り換えを行わないように制御しても良い。例えば、図７に示すように、ゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量ΔＧＡＩＮに対して所定の閾値として（１／２）及び２を設定する。そして、変化量ΔＧＡＩＮが（１／２）以上で２以下である場合には、ゲイン制御信号ＣＴＬ２によるゲイン設定値の切り換えを行わずに１倍とする。この場合には、図６に示した例では、１０フレーム目及び２０フレーム目でのゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値の２倍への切り換え動作は行われない。このようにすることで、ゲイン制御信号ＣＴＬ２によるゲイン設定値の不要な切り換え動作を避けて、ゲイン制御信号ＣＴＬ２によるゲイン設定値とゲイン制御信号ＣＴＬ１によるゲイン設定値との間の誤差の影響を回避することができる。

＜第２の補正方法＞
増幅器１０６のゲイン設定値の切り換えを行うとき、そのゲイン設定値の絶対量が小さければ、その直前までに演算された列オフセット値とのずれ量も小さく、列オフセットが視認できなくなるまでの巡回演算の回数も少なくて良い。このときも、動画像上に現れる列オフセットの誤差による縦すじもほとんど問題にはならない。そこで、第２の補正方法では、ゲイン制御信号ＣＴＬ１によるゲイン設定値の絶対値に対して所定の閾値を設け、その閾値以下ではゲイン制御信号ＣＴＬ２によるゲイン設定値の切り換えを行わないように制御する。

図８は、第２の補正方法による列オフセット補正値に係るゲイン補正の一例を説明するための図である。ゲイン制御信号ＣＴＬ１による増幅器１０６のゲイン設定値を図８（ａ）に示し、ゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値を図８（ｂ）に示している。図８（ａ）において、縦軸はシステムコントローラ１１０により指示されたゲイン制御信号ＣＴＬ１によるゲイン設定値であり、横軸は動画のフレーム数を示している。また、図８（ｂ）において、縦軸はシステムコントローラ１１０により指示されたゲイン制御信号ＣＴＬ２によるゲイン設定値であり、横軸は図８（ａ）と同じく動画のフレーム数を示している。

図８に示す例では、システムコントローラ１１０は、図８（ａ）に示すように、ゲイン制御信号ＣＴＬ１により増幅器１０６のゲイン設定値を制御する。すなわち、システムコントローラ１１０は、０フレーム目〜９フレーム目の間において、増幅器１０６のゲイン設定値を撮像感度であるＩＳＯ１００に相当する設定値である１倍に設定する。１０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ２００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ２００に相当する設定値である２倍に切り換え、１０フレーム目〜１９フレーム目の間で、その値を保持する。２０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ４００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ４００に相当する設定値である４倍に切り換え、２０フレーム目〜２９フレーム目の間で、その値を保持する。３０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ８００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ８００に相当する設定値である８倍に切り換え、３０フレーム目〜３９フレーム目の間で、その値を保持する。４０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ２００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ２００に相当する設定値である２倍に切り換え、４０フレーム目〜４９フレーム目の間で、その値を保持する。５０フレーム目で、システムコントローラ１１０は、撮像感度をＩＳＯ１００に切り換えるために増幅器１０６のゲイン設定値をＩＳＯ１００に相当する設定値である１倍に切り換える。

ゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値は、図８（ｂ）に示すようにゲイン制御信号ＣＴＬ１による増幅器１０６のゲイン設定値に連動してゲイン設定値の変化量ΔＧＡＩＮに対応し切り換えられる。なお、図８に示した例では、ゲイン制御信号ＣＴＬ１による増幅器１０６のゲイン設定値の絶対量に対して所定の閾値として０及び４を設定している。そして、増幅器１０６のゲイン設定値が０以上で４以下である場合には、ゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値の切り換えを行わずに１倍とする。したがって、１０フレーム目で増幅器１０６のゲイン設定値が２倍に切り換わり、２０フレーム目で増幅器１０６のゲイン設定値が４倍に切り換わるが、列オフセット検出回路１０８内の増幅器５０４のゲイン設定値は１倍を保持する。そして、３０フレーム目で、増幅器１０６のゲイン設定値が８倍に切り換わるのに連動して、システムコントローラ１１０は、同時に列オフセット検出回路１０８内の増幅器５０４のゲイン設定値を２倍に設定する。このとき、列オフセット検出回路１０８内の増幅器５０４のゲイン設定値は、３０フレーム目の最初の１ライン目の巡回演算時のみ２倍に切り換わり、通常は１倍を保持する。このように、増幅器１０６のゲイン設定値が所定の閾値より大きい場合、そのゲイン設定値に連動して列オフセット検出回路１０８内の増幅器５０４のゲイン設定値を切り換えることにより、動画撮影中のゲイン切り換えによる列オフセット値のずれ量を小さくする。これにより、列オフセットが視認できなくなるまでの巡回演算の回数が少なくなり、動画撮影中の撮像感度の切り換え時における列オフセットの補正の特性劣化を抑えることができ、感度追従レンジを拡大させることができる。

また、図８に示したように、ゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値の切り換えにヒステリシス特性を持たせるようにしても良い。例えば、撮像感度がＩＳＯ４００以下の領域で撮像感度の切り換えの方向が感度アップ（ゲイン設定値の変化量が１倍以上）の場合のみ、ゲイン制御信号ＣＴＬ２による増幅器５０４のゲイン設定値の切り換えを行わないようにする。一方、撮像感度がＩＳＯ４００以下の領域であっても、撮像感度の切り換えの方向が感度ダウン（ゲイン設定値の変化量が１倍未満）の場合には、増幅器１０６のゲイン設定値の切り換えに連動して、増幅器５０４のゲイン設定値の切り換えを行う。すなわち、４０フレーム目で、増幅器１０６のゲイン設定値が８倍から２倍に切り換わるのに連動して、システムコントローラ１１０は、４０フレーム目の最初の１ライン目に増幅器５０４のゲイン設定値を（１／４）倍に設定する。また、５０フレーム目で、増幅器１０６のゲイン設定値が２倍から１倍に切り換わるのに連動して、システムコントローラ１１０は、５０フレーム目の最初の１ライン目に増幅器５０４のゲイン設定値を（１／２）倍に設定する。なお、前述した例に限らず、撮像感度の切り換えの方向が感度アップ又は感度ダウンの一方では、ゲイン制御信号ＣＴＬ２によるゲイン設定値の切り換えを行わず、他方では、ゲイン制御信号ＣＴＬ２によるゲイン設定値の切り換えを行うものを含む。

第２の補正方法によれば、ゲイン制御信号ＣＴＬ２によるゲイン設定値の不要な切り換え動作を避けて、ゲイン制御信号ＣＴＬ２によるゲイン設定値とゲイン制御信号ＣＴＬ１によるゲイン設定値との間の誤差の影響を回避することができる。

＜第３の補正方法＞
増幅器１０６のゲイン設定値の変化量が小さければ、その直前までに演算された列オフセット値とのずれ量も小さく、許容範囲に収束するまでの巡回演算の回数も少なくて良いため、動画像上に現れる列オフセットの誤差による縦すじもほとんど問題にはならない。第３の補正方法では、この特質を利用して動画撮影中の感度切り換えレンジの拡大を図る。第３の補正方法では、ゲイン制御信号ＣＴＬ１、ＣＴＬ２による増幅器１０６、５０４のゲイン設定値の変化量に所定の制限を設けて、この制限を超えないようにして増幅器１０６、５０４のゲイン設定値を変化させる。

図９は、第３の補正方法による列オフセット補正値に係るゲイン補正の一例を説明するための図である。ゲイン制御信号ＣＴＬ１による増幅器１０６のゲイン設定値を図９（ａ）に示し、ゲイン制御信号ＣＴＬ２による列オフセット検出回路１０８内の増幅器５０４のゲイン設定値を図９（ｂ）に示している。図９（ａ）において、縦軸はシステムコントローラ１１０により指示されたゲイン制御信号ＣＴＬ１によるゲイン設定値であり、横軸は動画のフレーム数を示している。また、図９（ｂ）において、縦軸はシステムコントローラ１１０により指示されたゲイン制御信号ＣＴＬ２によるゲイン設定値であり、横軸は動画のフレーム数を示している。

例えば、図９に示すように、撮像感度をＩＳＯ１００からＩＳＯ３２００に切り換えるために、ＩＳＯ１００に相当するゲイン設定値である１倍からＩＳＯ３２００に相当するゲイン設定値である３２倍に切り換える場合に、一度のゲイン切り換えでは行わない。例えば、図９（ｂ）に示すように、ゲイン制御信号ＣＴＬ２によるゲイン設定値の上限に所定の制限（ここでは４倍）を設けて、４倍を超えないように４倍→４倍→２倍という具合に３回に分けて３２倍となるようゲイン設定値の切り換えを行う。なお、増幅器１０６のゲイン設定値をＩＳＯ３２００に相当する設定値である３２倍からＩＳＯ１００に相当する設定値である１倍にゲインダウンする場合にも、同様にして増幅器１０６、５０４のゲイン設定値を変化させる。すなわち、ゲイン制御信号ＣＴＬ２によるゲイン設定値の下限に所定の制限（ここでは１／４倍）を設け、（１／４）倍を下回らないように（１／４）倍→（１／４）倍→（１／２）倍のように分けて、（１／３２）倍となるようにゲイン設定値の切り換えを行う。

このように増幅器１０６のゲイン設定値の変化量ΔＧＡＩＮが（１／４）倍〜４倍の範囲とし、ゲイン制御信号ＣＴＬ２によるゲイン設定値とゲイン制御信号ＣＴＬ１によるゲイン設定値との間の誤差がゲイン設定値の変化量に依存して拡大するのを抑える。これにより、一回あたりのゲイン設定値の変化量を動画像上に現れる列オフセットの誤差による縦すじが視認できないレベルに制限することが可能になる。このようにすることで、列オフセットの誤差による縦すじを抑制するために制限される撮像感度の切り換えレンジを拡大することができる。

＜第４の補正方法＞
第４の補正方法は、増幅器１０６のゲイン設定値の変化量の範囲を制限して、ゲイン制御信号ＣＴＬ２によるゲイン設定値とゲイン制御信号ＣＴＬ１によるゲイン設定値との間の誤差がゲイン設定値の変化量に依存して拡大するのを抑える他の方法である。図１０は、第４の補正方法におけるゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量ΔＧＡＩＮと、ゲイン制御信号ＣＴＬ２によるゲイン設定値との関係の一例を示す図である。図１０において、横軸はゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量ΔＧＡＩＮであり、縦軸はゲイン制御信号ＣＴＬ２によるゲイン設定値である。

図１０に示した例では、ゲイン制御信号ＣＴＬ１によるゲイン設定値の変化量ΔＧＡＩＮに対して、増幅器１０６のゲイン設定値の変化量を（１／４）倍〜４倍の範囲に制限する。この場合、増幅器１０６のゲイン設定値の変化量ΔＧＡＩＮが（１／４）倍〜４倍を超える範囲において、ゲイン制御信号ＣＴＬ２によるゲイン設定値は、実線上の軌跡をたどり、下限が（１／４）、上限が４に制限されて、点線上の軌跡に追従しない。そのため、ゲイン制御信号ＣＴＬ２によるゲイン設定値とゲイン制御信号ＣＴＬ１によるゲイン設定値との間で大きな誤差を生じてしまい、このままでは感度切り換えレンジの拡大が図れない。そこで、第４の補正方法では、増幅器１０６のゲイン設定値の変化量ΔＧＡＩＮが（１／４）倍〜４倍を超える範囲においては、ゲイン制御信号ＣＴＬ１によるゲイン設定値の切り換えを行わない。代わりに、列オフセット除去回路１１１の後段に設けられた、例えば信号処理回路１１２内の乗算手段（不図示）を用いてゲインの切り換えを行う。

図１１は、第４の補正方法によりトータルの感度切り換えレンジとして（１／３２）倍〜３２倍を実現するための各部のゲイン配分の一例を示す図である。トータルの感度切り換えレンジが（１／４）倍〜４倍の範囲内においては、増幅器１０６のゲイン設定値の変化量ΔＧＡＩＮ及び列オフセット検出回路１０８内の増幅器５０４のゲイン設定値がこれに追従する。そして、トータルの感度切り換えレンジが（１／４）倍〜４倍を超える範囲においては、信号処理回路１１２内の乗算手段がこれを補って追従することで、（１／３２）倍〜３２倍の範囲でのトータル感度切換えレンジに対応している。

ここで、信号処理回路１１２が有する乗算手段は、無限に感度切換えレンジの拡大に寄与できるものではない。例えば、Ａ／Ｄ変換器１０７の変換階調ビット数を１２ビットとすれば、（１／２）倍ないし２倍を利用することで、この階調ビット数を１ビット低減させる。さらに、（１／４）倍ないし４倍では階調ビット数を２ビット低減させ、（１／８）倍ないし８倍では階調ビット数を３ビット低減させる結果となる。信号処理回路１１２が有する乗算手段による階調ビット数の低減の様態も併せて、図１１に示している。階調ビット数は１ビット減少すると量子化ノイズが倍増する。その結果として、画素データが持つランダムノイズとの兼ね合いにも依るが、経験的に階調ビット数として９ビットまでが実用可能な下限レベルと考えられており、信号処理回路１１２が有する乗算手段の利用範囲は、この画質的要因により制限を受ける。

なお、前述した第１〜第４の補正方法は、それぞれ単独で適用するようにしても良いし、組み合わせ可能な補正方法を適宜組み合わせて適用しても良い。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０３：ＣＭＯＳイメージセンサ、１０４：同期信号発生器、１０５：タイミングジェネレータ、１０６：増幅器、１０８：列オフセット検出回路、１０９：ウィンドウ回路、１１０：システムコントローラ、１１１：列オフセット除去回路、１１２：信号処理回路

Claims (9)

1. 動画像を撮影する撮像装置であって、
   光電変換素子を含む複数の画素が行列状に配され、前記複数の画素からの画像信号を出力する撮像素子と、
   前記撮像素子から出力された前記画像信号を、設定される撮像感度に応じたゲインで増幅する増幅手段と、
   前のフレームで得られた列毎の列オフセットの補正値と、前記増幅手段により増幅された、前記撮像素子における無効画素領域の同じ列上の画素に係る画像信号とを用いて加重平均による巡回演算を行い、列毎の列オフセットの補正値を得る列オフセット検出手段と、
   前記増幅手段により増幅された、前記撮像素子における有効画素領域の画素に係る画像信号から、前記列オフセット検出手段により得られた対応する列の列オフセットの補正値を減算する列オフセット除去手段と、
   前記撮像感度の切り換え時に、前記増幅手段を制御して前記ゲインを前記撮像感度に応じて切り換えさせるとともに、列オフセット検出手段を制御して列オフセットの補正値に前記増幅手段におけるゲインの変化量に基づいたゲイン補正値を乗じさせる制御手段とを有することを特徴とする撮像装置。
2. 前記ゲイン補正値は、前記増幅手段におけるゲインの変化量に比例した値であることを特徴とする請求項１記載の撮像装置。
3. 前記増幅手段におけるゲインの変化量が所定の範囲内である場合には、前記ゲイン補正値を１倍とすることを特徴とする請求項１又は２記載の撮像装置。
4. 前記増幅手段におけるゲインが所定の閾値以下である場合には、前記ゲイン補正値を１倍とすることを特徴とする請求項１又は２記載の撮像装置。
5. 前記増幅手段におけるゲインが所定の閾値以下である場合に、前記増幅手段におけるゲインの変化量が１倍以上又は１倍未満の一方では前記ゲイン補正値を１倍とし、前記増幅手段におけるゲインの変化量が１倍以上又は１倍未満の他方では前記ゲイン補正値を前記増幅手段におけるゲインの変化量に比例した値とすることを特徴とする請求項１又は２記載の撮像装置。
6. 許容される前記増幅手段におけるゲインの変化量が所定の範囲内であり、
   前記所定の範囲を超える前記撮像感度の切り換えでは、前記増幅手段におけるゲインの前記所定の範囲内での複数回の切り換えを行うことを特徴とする請求項１記載の撮像装置。
7. 許容される前記増幅手段におけるゲインの変化量が所定の範囲内であり、
   前記所定の範囲を超えて前記撮像感度を切り換える場合に、前記所定の範囲を超えた分のゲインで前記列オフセット除去手段から出力された画像信号を増幅する処理手段を有することを特徴とする請求項１記載の撮像装置。
8. 列オフセット検出手段は、
   前記列オフセットの補正値を記憶するメモリと、
   前記メモリに記憶された前記列オフセットの補正値を前記ゲイン補正値で増幅する増幅器と、
   前記増幅手段により増幅された前記画像信号に第１の係数を乗ずる第１の乗算器と、
   前記増幅器により増幅された前記列オフセットの補正値に第２の係数を乗ずる第２の乗算器と、
   前記第１の乗算器の出力と前記第２の乗算器の出力とを加算する加算器とを有し、
   前記メモリは、前記加算器の出力を前記列オフセットの補正値として記憶することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
9. 動画像を撮影する撮像装置の制御方法であって、
   光電変換素子を含む複数の画素が行列状に配され、前記複数の画素からの画像信号を出力する撮像素子から出力された前記画像信号を、設定される撮像感度に応じたゲインで増幅手段により増幅する増幅工程と、
   前のフレームで得られた列毎の列オフセットの補正値と、前記増幅工程にて増幅された、前記撮像素子における無効画素領域の同じ列上の画素に係る画像信号とを用いて加重平均による巡回演算を行い、列毎の列オフセットの補正値を得る列オフセット検出工程と、
   前記増幅工程にて増幅された、前記撮像素子における有効画素領域の画素に係る画像信号から、前記列オフセット検出工程にて得られた対応する列の列オフセットの補正値を減算する列オフセット除去工程と、
   前記撮像感度の切り換え時に、前記増幅手段のゲインを前記撮像感度に応じて切り換えさせるとともに、前記列オフセットの補正値に前記増幅手段におけるゲインの変化量に基づいたゲイン補正値を乗じさせる制御工程とを有することを特徴とする撮像装置の制御方法。

Images