JP2008016976A

JP2008016976A - 撮像装置及びその制御方法並びに撮像システム

Info

Publication number: JP2008016976A
Application number: JP2006183847A
Authority: JP
Inventors: Takashi Suwa; 剛史諏訪
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-07-03
Filing date: 2006-07-03
Publication date: 2008-01-24
Anticipated expiration: 2026-07-03
Also published as: US7652691B2; JP4208904B2; US20080002038A1

Abstract

【課題】読み出しモードの変更により駆動方法が変更される場合においても適切な撮像を行うこと。
【解決手段】撮像装置は、撮像面に複数の光電変換素子が配置された撮像部１０４と、撮像部１０４を制御する制御部１１４と、を備える。制御部１１４は、前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域とは異なる第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、前記撮像面の予め定められた方向における前記第１のモードでの読み出し時間と前記第２のモードでの読み出し時間とが、同じ長さとなるように読み出しを行うよう制御する。
【選択図】図１

Description

本発明は、撮像装置及びその制御方法並びに撮像システムに関するものである。

電子ズーム機能を有する撮像装置として、ズーム表示機能付きデジタルカメラがある（特許文献１参照）。これは、画像表示用メモリとしてフレームメモリを使用する。そして、動画表示可能な画像表示手段と、所望の画像を指定する手段と、指定された画像を所定の倍率で拡大するとともに拡大された画像を画像表示装置に表示する拡大画像表示手段（電子ズーム機能）と、を備える。これにより、撮像中に液晶ディスプレイに表示する動画や静止画像や再生画像のズームアップ表示が可能となる。

また、電子ズーム機能を入力画像信号のサンプリング周波数を可変にすることにより実現する撮像装置がある（特許文献２参照）。これは、電化結合型イメージセンサ、アナログ信号処理部、Ａ／Ｄ変換部、フレームバッファとしての画像メモリ、ディジタル信号処理部、Ｄ／Ａ変換部、モニタ、可変サンプリングクロック発生部、システム制御部、倍率設定部を備える。

また、１フレーム内における画面上下の露光期間差を無くす撮像装置がある（特許文献３参照）。これは、イメージセンサ部から出力されるフレーム画像データの一部を保持するレジスタと、電子ズームの画像データをレジスタに書き込む処理と保持されている少なくとも１行分の画像データを所定のフレームレートで読み出す処理とを行う制御部を備える。さらに、電子ズームの倍率に基づいて読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換する解像度変換部を備える。
特開平１１−１９６３３５号公報特開平９−１６３２３６号公報特開２００５−９４１４２号公報

特許文献１及び特許文献２に記載の撮像装置は、電子ズームを行う際にフレームレートを一定に保つため、大容量のフレームメモリを搭載する必要がある。その結果、消費電力や撮像装置サイズやコストの増大につながる。特に、モバイル用途に撮像装置を適用することが困難であるという課題があった。また、これらの撮像装置では、水平走査期間が駆動方法により異なる。各フレームの露光期間は、水平走査期間の整数倍となるため、露光期間を駆動方法によらず一定に保つことは困難であった。駆動方法の変更直後に読み出されるフレームにおいては、前後のフレームと露光期間が等しくならず、前後のフレームと明るさに違いが生じていた。また、駆動方法の変更直後に読み出されるフレーム内においても、各ラインの露光期間が等しくならず、垂直方向で明るさに違いが生じていた。

特許文献３に記載の撮像装置は、これらの問題を解決するものとして提案されたが、１フレームの読み出し時間が駆動モード（読み出しモード）間で異なることにより、ローリングシャッターによる歪みの度合いが電子ズーム倍率の変更時などで急に変化し、ユーザーに違和感を与えるという課題があった。

本発明は、上記の課題に鑑みてなされたものであり、読み出しモードの変更により駆動方法が変更される場合の問題に鑑みてなされたものであり、そのような場合においても適切な撮像を行うことを目的とする

本発明の第１の側面は、撮像装置に係り、撮像面に複数の光電変換素子が配置された撮像部と、前記撮像部を制御する制御部と、を備え、前記制御部は、前記撮像面の第１の領域に配置された第１の光電変換素子群から所定ライン単位で順次画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域とは異なる第２の領域に配置された第２の光電変換素子群から所定ライン単位で順次画像信号を読み出す第２のモードとを有し、前記第１のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間と、前記第２のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間とが同じになるように制御することを特徴とする。

本発明の第２の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。

本発明の第３の側面は、撮像装置の制御方法に係り、撮像面に複数の光電変換素子が配置された撮像部と、前記撮像部を制御する制御部と、を備える撮像装置の制御方法であって、前記制御部は、前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を所定ライン単位で順次読み出す第１のモードと、前記撮像面の前記第１の領域とは異なる第２の領域に配置された第２の光電変換素子群から画像信号を所定ライン単位で順次読み出す第２のモードとを有し、前記第１のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間と、前記第２のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間とが同じになるように制御することを特徴とする。

本発明によれば、読み出しモードの変更により駆動方法が変更される場合においても適切な撮像を行うことができる。

（第１の実施形態）
以下、本発明の好適な第１の実施形態を示す。本実施形態は、画素の加算や画素の間引き等を行い、異なる複数の記録画像サイズに適した出力を撮像部から取得し、動画を記録することができる撮像装置及びその制御方法並びに撮像システムに関するものである。

図１は、デジタルスチルカメラやデジタルカムコーダーなどの撮像システムの構成を説明するための回路ブロック図である。

１０１は被写体像を像面に結像するためのレンズ等の光学系である。１０２は光学系１０１からの像面光量を制御するための絞りである。１０３は光学系１０１から光が入射する時間を制御するためのメカニカルシャッターである。１０４は光学系１０１により結像された被写体像を電気信号に変換するための撮像部であり、本実施形態ではＣＭＯＳエリアセンサが用いられる。１０５は撮像部１０４を駆動するための必要な振幅のパルスを供給する撮像部駆動回路である。１０６は撮像部１０４からの出力を二重相関サンプリングするＣＤＳ回路である。１０７はＣＤＳ回路１０６の出力信号を増幅するためのＡＧＣ回路であり、使用者が撮像システムの感度設定を変更する場合や低輝度時に撮像システムが自動的にゲインアップする場合などに、この回路のゲイン設定が変更される。１０８はＡＧＣ回路１０７の出力信号のうち、後述するＯＢ（ＯｐｔｉｃａｌＢｌａｃｋ）電位を基準の電位にクランプするためのクランプ回路（ＣＬＰ回路）である。１０９はクランプ回路１０８から出力されるアナログ撮像信号をデジタル信号に変換するＡＤ変換回路である。

１１０は映像信号処理回路１１１、測光回路１１２及びＯＢ積分回路１１７を備える映像処理回路である。また、図示されていないが、映像処理回路１１０は、撮像部１０４から入力される信号に基づいて被写体の色温度を測定し、映像信号処理回路１１１でのホワイトバランス処理に必要な情報を得るためのＷＢ回路などの回路を備える。映像信号処理回路１１１は、デジタル信号に変換された撮像信号を輝度と色（Ｒ−Ｙ、Ｂ−Ｙの色差信号、又はＲ、Ｇ、Ｂ信号）の映像信号にする。測光回路１１２は、撮像部１０４から入力される信号のレベルから測光量を測定する。１１３は撮像システム各部の回路に必要なタイミングパルスを発生するタイミングパルス発生回路（ＴＧ）である。１１４は撮像システムの各部を制御するＣＰＵである。ＣＰＵ１１４は、感度・露光制御部１１５と、ＯＢレベルブロック比較回路１１８とを有する。ＯＢレベルブロック比較回路１１８は、ＯＢ積分回路１１７で得られた信号レベルと予め設定した黒レベルとを比較し、その結果を感度・露光制御部１１５に出力する。感度・露光制御部１１５は、測光回路１１２及びＯＢレベルブロック比較回路１１８からの情報に基づいて、感度や露光を制御するために、ＡＧＣ回路１０７にゲインを変更するための命令を出力する。また、感度・露光制御部１１５は、露光制御回路１１６に露出制御用の命令を出したりする機能を有する。スイッチ１１９は、ユーザの操作により動画撮影動作を指示するスイッチである。

図２は、ＣＭＯＳセンサを用いた撮像部（撮像装置）の概観図である。Ｂ１１〜Ｂｍｎ（ｍ、ｎは整数である。以下同じ。）は、撮像面に２次元に配置された画素である。本実施形態では、説明を簡単にするため、４×４の画素を示したが、画素数はこれに限定されない。各画素Ｂ１１〜Ｂｍｎは、フォトダイオード等の光電変換素子と、光電変換素子の蓄積電荷を読み出して増幅する増幅型ＭＯＳトランジスタと、増幅型ＭＯＳトランジスタを活性化する選択ＭＯＳトランジスタ等を有する。垂直シフトレジスタ２２０は、行選択線ＶＳＥＬ１〜ＶＳＥＬｍ毎に画素から電気信号を読み出す制御パルスを出力する。行選択線ＶＳＥＬ１〜ＶＳＥＬｍにより選択された各画素の電気信号は、列信号線ＶＳＩＧ１〜ＶＳＩＧｎにより読み出され、加算回路２２１に蓄積される。加算回路２２１に蓄積された電気信号は、水平シフトレジスタ２２２により順次読み出し走査が行われ、時系列的に出力される。電子ズームにより画素の読み出しを行う場合、垂直シフトレジスタ２２０から行選択線ＶＳＥＬ１〜ＶＳＥＬｍのうち、読み出し対象の画素に接続された行選択線に制御パルスを出力する。また、水平シフトレジスタ２２２から列信号線ＶＳＩＧ１〜ＶＳＩＧｎのうち、読み出し対象の画素に接続された列信号線に制御パルスを出力する。行選択線ＶＳＥＬ１〜ＶＳＥＬｍの制御パルスによって選択された各画素の電気信号は、列信号線ＶＳＩＧ１〜ＶＳＩＧｎの制御パルスより加算回路２１に読み出され、加算回路２１に蓄積されずに加算回路２１を通過する。電子ズーム倍率２で読み出す場合には、水平方向に２画素、垂直方向に２画素の加算平均を行う。

ここで、電子ズーム倍率１倍で読み出す方式について説明する。まず、垂直シフトレジスタ２２０から行選択線ＶＳＥＬ１〜ＶＳＥＬｍごとに制御パルスを出力する。ＶＳＥＬ１〜ＶＳＥＬｍの制御パルスにより選択された各画素の電気信号は、各列信号線ＶＳＩＧ１〜ＶＳＩＧｎに読み出される。列信号線ＶＳＩＧ１〜ＶＳＩＧｎに読み出された各電気信号は、加算回路２１に蓄積される。加算回路２１において、水平方向２画素及び垂直方向２画素Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２がそれぞれ加算される様子を図３に示す。

まず、ＶＳＥＬ１により選択されたＢ１１、Ｂ１２からの出力信号は、Ｂ１１、Ｂ１２にそれぞれ接続された列信号線ＶＳＩＧ１、ＶＳＩＧ２から転送スイッチ３４１、３４８を介して蓄積コンデンサ３４３、３４９に蓄積される。転送スイッチ３４１、３４８は、それぞれ水平転送ラインＶＨＤ１−２、ＶＨＤ２−２からの水平転送パルスによりオンオフが制御される。

次のタイミングでＶＳＥＬ２により選択されたＢ２１、Ｂ２２からの出力信号は、Ｂ２１、Ｂ２２にそれぞれ接続された列信号線ＶＳＩＧ１、ＶＳＩＧ２から転送スイッチ３４２、３５２を介して蓄積コンデンサ３４５、３５３に蓄積される。転送スイッチ３４２、３５２は、それぞれ水平転送ラインＶＨＤ１−３、ＶＨＤ２−３からの水平転送パルスによりオンオフが制御される。

その後、水平シフトレジスタ２２２から水平転送パルスが各水平転送ラインＶＨＤ１−１及びＶＨＤ２−１に与えられ、転送スイッチ３４６、３４７、３５０、３５１がオンする。そして、蓄積コンデンサ３４３、３４９に蓄積されたＢ１１、Ｂ１２からの出力信号と、蓄積コンデンサ３４５、３５３に蓄積されたＢ２１、Ｂ２２からの出力信号とが水平出力線３６０で加算され、水平垂直２画素×２画素の加算が完了する。

このように、画素の加算を行った場合、その加算方式や読み出し領域によって、１ラインで読み出す時間が変化する。１ラインを読み出すのに必要な時間（１ライン読出し時間）は、以下の数式１で表される。

１ライン読出し時間＝ＨＢＬＫ（水平ブランキング期間）×α ＋Ｓｋｉｐ（間引き期間）×β ＋水平画素数×基準クロック時間 …（数式１）

ここで、α、βは、画素加算方法や画素間引き方法により決定され、１ライン読出し時間は、画素加算方法や画素間引き方法や駆動周波数により変化する。露光期間は、水平読み出しパルスの駆動と同じ駆動周波数でリセットパルスを駆動するため、水平読み出しパルスの整数倍となる。従って、駆動方法が異なると露光期間も異なる。また、１ラインの読み出し期間の違いにより、同じライン数を読み出したときの画面上下の露光開始時間が駆動方法の違いにより異なる場合がある。

次に、４画素加算において電子ズーム倍率を１倍にした場合（駆動Ｃ）と、画素加算を行わずに撮像部１０４の中心領域を電子ズーム倍率を２倍で読み出す駆動方法（駆動Ａ）との間の時間差について説明する。

図４は、撮像部の読み出し領域を示す図である。ここでは、説明を簡単にするため、撮像部１０４の有効画素領域４０１のみを考える。また、電子ズーム倍率１倍の場合は、領域Ａに示すように有効画素領域４０１全体（領域Ａ）（横１２８０画素×縦９６０画素）を読み出すものとする。ただし、電子ズーム倍率１倍の場合は、縦２画素×横２画素の４画素加算を行うため、撮像部１０４からの出力は、横６４０画素×縦４８０画素となる。電子ズーム倍率２倍の場合は、有効画素領域４０１の中心と、その中心を等しくする横６４０画素×縦４８０画素の領域（領域Ｂ）４０２を読み出すものとし、この駆動方法での撮像部１０４からの出力も横６４０画素×縦４８０画素となるものとする。このように、電子ズームを行った場合でも、撮像部１０４の出力画素数を電子ズームを行わない場合の撮像部１０４の記録画素数と同等かそれ以上にすることにより、補間処理等を行わないでも高画質な動画を撮影することができる。

また、電子ズーム倍率が上がり、出力画像の縦横の画素数よりも読み出し領域の縦横の画素数が少くなる場合では、補完処理を行うことによって劣化した出力画像を得ることができる。同倍率であればより密に読み出すことによって、より高画質な動画を得ることができる。

数式１によれば、各電子ズーム倍率におけるα、βの値が決定されると、それぞれの駆動方法における１ラインの読み出し時間が求まる。電子ズーム倍率１倍の場合では、α＝３、β＝２、水平画素数＝６４０となる。電子ズーム倍率２倍の場合では、α＝１、β＝１、水平画素数＝６４０となる。このように、画素加算を行った方がＨＢＬＫ×２＋Ｓｋｉｐ×１の分だけ余計に時間がかかることが分かる。

このときの読み出しの様子を図５に示す。図５（ａ）は、横軸が時間経過を示し、縦軸が各パルスの変化を示すタイミングチャートである。図５（ｂ）は、横軸が図５（ａ）のタイミングに同期した時間経過を示し、縦軸が各ラインの露光期間及び読み出し期間を示す。ただし、説明を簡単にするため、水平転送ラインの水平転送パルスＨＤは、実際よりも大幅に間引いて表している。露光期間の制御は、撮像部の一ラインの信号の読み出し開始から、次の一ラインの信号の読み出しが開始するまでの期間を決める水平駆動信号ＨＤと同期して行われる。その結果、露光期間は、水平駆動信号ＨＤのパルス間隔の整数倍となる。ここまでの説明より、以下の（１）、（２）のことがいえる。
（１）水平駆動信号ＨＤが駆動方法ごとに異なるため、撮像部１０４の駆動回路の複雑化及び回路規模の増大を招く。
（２）駆動方法が変更されると、駆動方法の変更前後の水平駆動信号ＨＤの最小公倍数の整数倍になる場合を除き、露光期間が駆動方法の変更の前後で異なる。

上記の（１）、（２）を解決するために、例えば、電子ズーム倍率２倍の場合には、ＨＢＬＫ×２＋Ｓｋｉｐ×１の分だけ余計に水平ブランキング期間をとる。これにより、各駆動方法間での露光期間差を解消することができる。

このときの読み出しの様子を図６に示す。図６（ａ）は、横軸が時間経過を示し、縦軸が各パルスの変化を示すタイミングチャートを示す。図６（ｂ）は、横軸が図６（ａ）のタイミングに同期した時間経過を示し、縦軸が各ラインの露光期間及び読み出し期間を示す。図６においても、図５と同様に説明を簡単にするため、水平駆動信号ＨＤを、実際よりも大幅に間引いて示している。このとき、電子ズーム倍率が２倍から１倍に変化しても、各ラインの読み出し時間は変化しない、すなわち、水平転送パルスＨＤを一定に保つことにより、駆動方法の変更前後で、露光期間が等しくなっていることが分かる。さらに、１画面内のローリングシャッタによる歪みの度合いを、異なる駆動方法間でも等しくすることができる。

ここでは、電子ズーム倍率が１倍と２倍の例を説明したが、他の電子ズーム倍率を用いる場合でも、水平ブランキング期間を調整することにより、同様な効果を得ることができる。

実際の撮像部１０４では、電子ズームの倍率変更、すなわち駆動方法の変更によって、垂直画素数に端数が発生し、それぞれのズーム位置での画素数が完全に一致しないこともある。その場合でも、水平駆動信号ＨＤを一定に保つことにより、露光期間をほぼ等しくすることができる。

ここまでは、異なる駆動方法における定常状態の場合について説明した。次に、駆動方法の変更直後、即ち電子ズーム倍率の変更直後に読み出しを行うフレームの問題について述べる。

ここでも同様に、説明を簡単にするため、電子ズームの倍率が１倍と２倍の２つの駆動方法を持つ場合について図７を用いて説明する。図７（ａ）は、横軸が時間経過を示し、縦軸が各パルスの変化を示すタイミングチャートを示す。図７（ｂ）は、横軸が図７（ａ）のタイミングに同期した時間経過を示し、縦軸が各ラインの露光期間及び読み出し期間を示す。電子ズーム倍率が１倍（駆動Ａ）の場合では、撮像面全体（領域Ａ）を垂直二画素加算で４８０ライン、即ち９６０ライン分を読み出す。電子ズーム倍率が２倍（駆動Ｂ）の場合には、画素加算を行わずに中心の４８０ライン（領域Ｂ）をそのまま読み出す。

このとき、電子ズームの倍率変更、すなわち駆動方法の変更は、あるフレームの全ラインの読み出しが終了した後から、次フレームの読み出し開始までの垂直ブランキング（ＶＢＬＫ）期間内に行う。

このような条件のもとで、次フレームのリセットが開始されてから駆動方法を変更した場合、駆動方法を変更した直後のフレームにおけるリセット開始のタイミングは、駆動方法を変更する前のリセット開始タイミングに従ったものとなる。このため、露光期間が変更後の駆動方法で意図していたものにはならず、駆動方法の変更直後に読み出される１フレームだけ他のフレームと明るさが異なってしまう。

これについて図７の場合を例にとって詳しく述べる。まず、駆動変更前に次フレームのリセットが開始される。変更前の駆動方法では、垂直２画素加算が行われており、出力画像の１ラインを読み出す時間で、撮像部１０４上の２ラインを順次リセットしていく（７０１）。駆動方法の変更点に達すると、出力画像の１ラインを読み出す時間で、撮像部１０４上の１ラインを順次リセットしていく（７０２）。

ここで、フレームレートを駆動方法によらず一定に保つためには、各駆動方法で最初に読み出される撮像部１０４上のラインの読み出し開始が、一定間隔で行われなければならない。これに伴い、各駆動方法で最初に読み出される撮像部１０４上のラインのリセットも一定間隔で行われなければならなくなる。

しかしながら、駆動変更後では２４０ライン目から読み出しが行われるので、それよりも露光期間分遡ったタイミングで２４０ライン目のリセットを行わなければならない（７０３）。

ところが、駆動方法の変更前に、２４０ライン目の読み出し開始より露光期間分遡ったタイミングで１ライン目からリセットを始めている（７０１）。そのため、２４０ライン目のリセットは、変更前の駆動方法でリセットを始めてから、２４０ライン目に達する分だけ遅れることになる（７０２）。

この問題を解決するための手段として、露光期間差を補償し、フレームの明るさを前後のフレームと等しくなるように、後のフレームを補正する。一例として、以下のような方法を施している。通常、撮像部１０４からの出力信号は、図１に示されるＣＤＳ回路１０６でゲインアップされる。そこで、フレームのゲインを変更することにより、露光期間差を補償し、フレームの明るさを前後のフレームと等しくすることができる。

ここで、露光期間Ａは通常の露光期間、露光期間Ｃは駆動方法を変更した直後のフレームの露光期間とする。このときかけるゲインは、撮像部１０４からの出力に元々掛けられているゲインをαとしたとき、通常の露光期間Ａと駆動方法の変更直後の露光期間Ｃとの比Ａ／Ｃにαを掛けたα×Ａ／Ｃとなる。

このように、各ラインに適切なゲインをかけることにより、前後のフレームとの明るさをほぼ等しくすることができる。

次に、変更後の駆動方法で読み出されるラインのリセットが開始されてから、駆動方法の変更が行われた場合について説明する。

図８は、駆動方法の変更時に、次フレームの読み出しラインのリセットが開始されている場合の露光及び読み出しの様子を示す図である。図８（ａ）は、横軸が時間経過を示し、縦軸が各パルスの変化を示すタイミングチャートを示す。図８（ｂ）は、横軸が図８（ａ）のタイミングに同期した時間経過を示し、縦軸が各ラインの露光期間及び読み出し期間を示す。図８に示すように、電子ズーム倍率変更後に読み出されるラインのリセットを順次行っている途中で、駆動方法の変更が行われた場合、出力画像の各ラインの露光期間は、１フレーム内でも変化する。具体的には、駆動方法の変更前にリセットを行ったライン（即ち、Ｌ１からＬ２）では、全てのライン間で露光期間がずれる。また、駆動方法の変更後にリセットを行ったライン（即ち、Ｌ２からＬ３）では、ライン間の露光期間は等しいものの、前後のフレームの露光期間とは異なったものとなる。このため、駆動方法の変更直後のフレームでは、前後のフレームと明るさが異なり、さらに１フレーム内でもライン間で明るさが異なってしまう。

この問題を解決するための手段について説明する。先ほどと同様に、撮像部１０４からの出力信号は、図１に示されるＣＤＳ回路１０６でゲインアップされる。そこで、フレームについて各ラインのゲインを、図９に示すように変更することにより、露光期間差を補償し、フレームの明るさを前後のフレーム及び各ラインで等しくする。

ここで、Ａは通常の露光期間、Ｂは駆動方法を変更した直後のフレームで駆動方法の変更後にリセットされたラインの露光期間、Ｃは駆動方法を変更した直後のフレームで最初に出力されるラインの露光期間である。

このときかけるゲインは、ライン毎に異なる。全てのフレームにかかるゲインをαとすると、図９に示すように最初に出力されるライン（Ｌ１）のゲインをα×Ａ／Ｃとし、駆動方法の変更時にリセットされたライン（Ｌ２）のゲインをα×Ａ／Ｂとする。そして、この２点間をリニアに結んだものが、駆動方法の変更直前までにリセットされたラインのゲインとなる。また、駆動方法の変更後にリセットされたライン（即ち、Ｌ２からＬ３）の間のゲインは一律にα×Ａ／Ｂとなる。

このように、駆動方法の変更前に次フレームのリセットが開始された場合には、駆動方法の変更直後のフレームの露光期間が他のフレームと異なる。しかしながら、駆動方法の変更後に、次フレームのリセットが開始される場合には、駆動方法の変更直後のフレームの露光期間が他のフレームと等しく、本来意図したものとなるため、ゲインをさらに掛ける必要はない。

上記の第１の実施形態の動作を、図１０のフローチャートを用いて説明する。

ステップＳ１００１では、ユーザの操作によりスイッチ１１９がＯＮされて動画撮影動作の開始が指示される。

ステップＳ１００２では、動画撮影の処理が開始される。

ステップＳ１００３では、動画撮影時の駆動方法の変更に伴い、露光期間に合わせてリセットタイミングが変化する。この場合に、駆動方法の変更時において、あるフレームの読み出しが終わる前に、次のフレームのリセットが開始されているか否かが判断される。次のフレームのリセットが開始されれば（ステップＳ１００３で「ＹＥＳ」）、ステップＳ１００４に進む。

ステップＳ１００４では、駆動方法の変更時において、あるフレームの読み出しが終わる前に、駆動方法の変更後に読み出される次のフレームの水平ラインがリセットされているか否かが判断される。次の駆動で読み出されるラインのリセット動作が、フレームの読み出しが終わる前に始まっていれば（ステップＳ１００４で「ＹＥＳ」）、ステップＳ１００５に進み、そうでなければ（ステップＳ１００４で「ＮＯ」）、ステップＳ１００６に進む。

ステップＳ１００５では、駆動方法の変更直後に読み出されるフレームにおいて図９に示すように各ラインに対して個別のゲインがかけられる。

ステップＳ１００６では、駆動方法の変更直後に読み出されるフレームにおいて全ラインに対して共通のゲインがかけられる。これにより、各ラインでゲインを変更して前後のフレームとの明るさをほぼ等しくし、さらにフレーム内のラインの明るさをほぼ等しくすることができる。

ステップＳ１００７では、ユーザの操作によりスイッチ１１９がＯＦＦされて動画撮影動作の終了が指示されたか否かを判断する。スイッチ１１９がＯＦＦされていれば（ステップＳ１００７で「ＹＥＳ」）、動画撮影を終了し、スイッチ１１９がＯＦＦされていなければ（ステップＳ１００７で「ＮＯ」）、ステップＳ１００３に戻る。

ここでは、簡単化のために、２つのモードを持つ場合で、かつ、電子ズーム倍率を上げる場合について説明を行った。しかし、複数の駆動方法を持つ撮像システムや電子ズーム倍率を下げる場合にも同様な効果を得ることができる。

さらに、ここでは、ＣＤＳ回路によってゲインアップを行ったが、ＡＧＣ回路等の他のアナログ回路及びＡ／Ｄ変換後のデジタル回路によっても、同様な効果を得ることができる。

このように、電子ズームの倍率変更（駆動方法の変更）前に、次フレームの露光が開始されている場合においても、駆動方法変更直後に読み出されるフレームの各ラインで設定した露光期間の違いをゲインをかけて補償する。そして、前後のフレームの露光量の違い及びフレームにおけるラインごとの露光量の違いを抑えることができる。

また、この動作の内容は、プログラムコードとして撮像システム内の不図示の記憶媒体に格納され、撮像システム内のＣＰＵ１１４によって読み出されて実行されうる。

本発明の目的は前述したように、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供する。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現される。また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ１１４などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

（第２の実施形態）
第１の実施形態では、全ての画素に対して同一のゲインを掛けたが、第２の実施形態は、さらにゲイン補正値が色毎に設定可能であることを特徴とする。これは、ライン毎の蓄積期間のずれにより、例えば、黒レベルが変化する場合を考慮したものである。これにより、色バランスがライン毎でずれるため、輝度補正と同時に色バランスの補正を行う。色毎のゲイン補正値算出方法について図１１を用いて説明する。

ステップＳ１１０１では、本処理のための初期値が取得される。具体的には、ゲイン補正値算出ラインｉの値が０に設定され、補正を行うライン数ｎが所望の値（不図示）に設定される。

ステップＳ１１０２では、ゲイン補正値算出ラインｉの値が補正を行うライン数ｎと一致するか否かが判断される。一致すれば（ステップＳ１１０２で「ＹＥＳ」）、ステップＳ１１１０に進んで処理を終了し、一致しなければ（ステップＳ１１０２で「ＮＯ」）、ステップＳ１１１３に進む。

ステップＳ１１０３では、ゲイン補正値を算出するラインｉにおけるＯＢ（ＯｐｔｉｃａｌＢｌａｃｋ）値が算出される。

ステップＳ１１０４では、現在のホワイトバランス係数（ＷＢ係数）の逆数を算出することにより画素値が算出される。

ステップＳ１１０５では、信号処理に用いるＯＢ値が加算される。これにより、ＯＢ減算前の画素値が算出される。

ステップＳ１１０６では、ステップＳ１１０３で算出したラインｉにおけるＯＢ値が減算される。

ステップＳ１１０７では、新たに算出された画素値からＷＢ係数が再算出される。

ステップＳ１１０８では、ステップＳ１１０７で算出されたＷＢ係数と信号処理で用いるＷＢ係数との比が算出され、蓄積期間から算出したゲイン補正量に乗算されることにより、色毎のゲイン補正値が算出される。

ステップＳ１１０９では、ゲイン補正値算出ラインｉの値に１を加算して（ｉ＝ｉ＋１）、ステップＳ１１０２に進む。

これらの処理は、ゲイン補正を行う全てのラインにおいて行う。上記処理によりライン毎のゲイン補正値を算出する。このため、図１１の所定値より蓄積期間が短い場合、ゲイン補正を行わないことによりＳ／Ｎの劣化を最小限にとどめることが可能である。

（第３の実施形態）
第２の実施形態では、画面上下の明暗差を完全に補正していた。しかしながら、本方式はゲインによる補正方式であるため、ゲイン補正を行ったラインのＳ／Ｎ比が悪くなるという弊害がある。そこで、第３の実施形態では、第２の実施形態に加えて、ＥＶＦ表示などの記録メディアに保存されない時だけ完全補正を行う。そして、動画撮影時などの場合には、補正ゲインのリミッタ値（上限値）を設けて、画面上下の明暗とＳ／Ｎのトレードオフを考慮した補正を行う。なお、第３の実施形態におけるゲイン補正も、第２の実施形態と同様に、色毎にゲイン補正値を持つ。そのため、リミッタ値も色毎に持つという特徴がある。

ある色における動画撮影時に用いるリミッタ値を考慮したゲイン補正量を図１２に示す。図１２において、横軸は水平ラインを示し、縦軸はゲインを示す。画面最上部からＬ４までのゲイン補正量をリミッタ値とすることにより、この領域のＳ／Ｎの劣化を最小限に抑える。Ｌ４からＬ５まではゲイン補正による完全補正を行う領域である。Ｌ５から画面最下部までは、蓄積期間に差が生じていないため、ゲインは一定である。このように、動画撮影時には、画面上下の明暗とＳ／Ｎのトレードオフを考慮した補正を行う。また、Ｓ／Ｎの劣化を完全に除くため、撮影駆動が切り替わり、画面上下に蓄積期間差が生じてしまうフレームを、撮像駆動が切り替わる前のフレームで置き換える方法を用いてもよい。

撮像システムの構成を説明するための回路ブロック図である。ＣＭＯＳセンサを用いた撮像部の概観図である。加算回路において、水平方向２画素及び垂直方向２画素がそれぞれ加算される様子を示す図である。撮像部の読み出し領域を示す図である。図４における読み出しの様子を示す図である。本発明の好適な第１の実施形態に係る読み出しの様子を示す図である。電子ズームの倍率が１倍と２倍の場合における読み出しの様子を示す図である。駆動方法の変更時に、次フレームの読み出しラインのリセットが開始されている場合の露光及び読み出しの様子を示す図である。本発明の好適な第１の実施形態に係る駆動方法の変更時に、次フレームの読み出しラインのリセットが開始されている場合のゲインを示す図である。本発明の好適な第１の実施形態に係るライン毎にゲインを変更するフローチャートを示す図である。本発明の好適な第２の実施形態に係る色毎にゲイン補正値を設定する場合のフローチャートを示す図である。本発明の好適な第３の実施形態に係るリミッタ値を設定する場合のゲインを示す図である。

符号の説明

１０４撮像部
１１４制御部

Claims

撮像面に複数の光電変換素子が配置された撮像部と、
前記撮像部を制御する制御部と、
を備え、
前記制御部は、
前記撮像面の第１の領域に配置された第１の光電変換素子群から所定ライン単位で順次画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域とは異なる第２の領域に配置された第２の光電変換素子群から所定ライン単位で順次画像信号を読み出す第２のモードとを有し、
前記第１のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間と、前記第２のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間とが同じになるように制御することを特徴とする撮像装置。
前記制御部は、モードの変更前後のフレームの露光期間差を補償するように、モードの変更後に読み出されるフレームに補正を行うことを特徴とする請求項１に記載の撮像装置。
前記制御部は、モードの変更前後のフレームの露光期間の比に基づいてゲインを変更することを特徴とする請求項２に記載の撮像装置。
前記制御部は、モードの変更時において、モードの変更後に読み出されるフレームの読み出しラインのリセットが開始されている場合には、該読み出しラインの露光期間に応じて前記ゲインを変更することを特徴とする請求項３に記載の撮像装置。
前記制御部は、前記補正を色毎に行うことを特徴とする請求項２乃至請求項４のいずれか１項に記載の撮像装置。
前記制御部は、前記光電変換素子における蓄積時間が所定時間以下である場合には、前記補正を行わないことを特徴とする請求項２乃至５のいずれか1項に記載の撮像装置。
前記制御部は、前記ゲインの上限値を設定することを特徴とする請求項３に記載の撮像装置。
ＥＶＦ表示時には前記上限値を設定せず、動画撮影時には前記上限値を設定することを特徴とする請求項７に記載の撮像装置。
前記ＥＶＦ表示時にのみ前記ゲインを変更することを特徴とする請求項８に記載の撮像装置。
動画撮影時においてモードの変更後に読み出されるフレームをモードの変更前のフレームで置き換えることを特徴とする請求項６に記載の撮像装置。
光学系と、
請求項１乃至請求項１０のいずれか１項に記載の撮像装置と、
を備えることを特徴とする撮像システム。
撮像面に複数の光電変換素子が配置された撮像部と、前記撮像部を制御する制御部と、を備える撮像装置の制御方法であって、前記制御部は、前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を所定ライン単位で順次読み出す第１のモードと、前記撮像面の前記第１の領域とは異なる第２の領域に配置された第２の光電変換素子群から画像信号を所定ライン単位で順次読み出す第２のモードとを有し、前記第１のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間と、前記第２のモードにおける前記所定ラインの信号の読み出し開始から、次の前記所定ラインの信号の読み出しが開始するまでの期間とが同じになるように制御することを特徴とする撮像装置の制御方法。