JP2021005838A - 撮像装置、及び撮像装置の制御方法 - Google Patents

Abstract

【課題】 検出信号を出力可能な撮像素子からの信号読出し時間を増大させることなく、横縞ノイズを軽減する撮像装置を提供すること。【解決手段】 行列状に配置された複数の画素により被写体からの光を光電変換する撮像部と、被写体からの光が入射する光学部材と、を有する撮像装置であって、撮像部の読出し方法を制御するための第１の制御手段と、光学部材を駆動するための第２の制御手段とを備え、撮像部は複数の画素ごとにマイクロレンズと複数の光電変換部を含み、第１の制御手段は撮像部から１フレームの信号を読み出す場合において、行単位で第１の読出し時間で信号を読み出す第１の読出し方法と、第１の読み出し時間より長い読み出し時間である第２の読み出し時間で信号を読み出す第２の読出し方法とが選択可能であり、第２の制御手段は第１の読み出し時間と第２の読み出し時間に基づく単一の駆動周波数で光学部材を制御することを特徴とする。【選択図】 図１

Description

本発明は、撮像装置に関するものである。

近年、撮像装置に用いられるＣＭＯＳイメージセンサにおいては、画像信号の生成だけでなく、焦点調節に用いる検出信号の生成も行われる。

特許文献１では、各画素に１つのマイクロレンズと２つのフォトダイオードを有する撮像素子を備えるＣＭＯＳイメージセンサが開示されている。それぞれのフォトダイオードは撮像光学系の異なる瞳を通過した光を受光する。この２つのフォトダイオードからの出力信号を比較することで焦点検出が可能となると共に、２つのフォトダイオードからの出力信号を加算することで画像信号を生成することが可能となる。

また、撮像装置が備えるアクチュエータ等が、ＣＭＯＳイメージセンサから信号を読出す間で動作すると、画像信号に周期的な横縞状のノイズが重畳される問題がある。

このような問題に対して特許文献２では、各画素からリセット信号を読出すタイミングと画像信号を読出すタイミングとの時間差を、ノイズ源の周波数と所定の関係となるように制御することで横縞ノイズを軽減する動作が開示されている。

特開２００１−１２４９８４ 特許第６４７８６００号

しかしながら、上述の特許文献２では、ノイズ源の周波数との関係により、ＣＭＯＳイメージセンサから信号を読出す時間が増大してしまう場合がある。また、画像信号に加えて検出信号を読出す場合には、ノイズ源の周波数との関係が異なってしまい、画像信号に現れる横縞ノイズの周期や強度が異なる場合もある。

そこで、本発明の目的は、検出信号を出力可能な撮像素子からの信号読出し時間を増大させることなく、横縞ノイズを軽減する撮像装置を提供することである。

上記目的を達成するために、本発明は、行列状に配置された複数の画素により被写体からの光を光電変換する撮像部と、前記被写体からの光が入射する光学部材と、を有する撮像装置であって、前記撮像部の読出し方法を制御するための第１の制御手段と、前記光学部材を駆動するための第２の制御手段とを備え、前記撮像部は前記複数の画素ごとにマイクロレンズと複数の光電変換部を含み、前記第１の制御手段は前記撮像部から１フレームの信号を読み出す場合において、行単位で第１の読出し時間で信号を読み出す第１の読出し方法と、前記第１の読み出し時間より長い読み出し時間である第２の読み出し時間で信号を読み出す第２の読出し方法とが選択可能であり、前記第２の制御手段は前記第１の読み出し時間と前記第２の読み出し時間に基づく単一の駆動周波数で前記光学部材を制御することを特徴とする。

本発明によれば、検出信号を出力可能な撮像素子からの信号読出し時間を増大させることなく、横縞ノイズを軽減する撮像装置を提供することができる。

本実施形態の撮像装置の一例であるデジタルカメラのブロック図である。 本実施形態の撮像素子の画素配置を模式的に示す図である。 撮像レンズの射出瞳から出る光束と画素との関係を模式的に示す図である。 焦点調節状態と像信号の相関との関係を説明する図である。 本実施形態の撮像素子の全体構成を示す図である。 本実施形態の撮像素子の単位画素の回路構成を示す図である。 本実施形態の撮像素子の画素配列に対して設定される測距領域を示す図である。 本実施形態の撮像素子の単位画素行の読出し動作のタイミングチャートである。 本実施形態の撮像素子に現れる横縞の一例を示す図である。 ノイズ源の周波数と本実施形態の撮像素子に現れる横縞周期の関係を示す図である。 ノイズ源の周波数と本実施形態の撮像素子の横縞の感度の関係を示す図である。 本実施形態の制御方法による効果を説明する図である。 本実施形態の制御方法を説明する図である。 本実施形態の制御方法による効果を説明する図である。 本実施形態の制御方法を説明する図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施形態では、本発明をデジタルカメラ等の撮像装置に適した場合について説明するが、本発明は焦点検出装置、距離検出装置、情報処理装置、及び電子機器等の撮像装置とは異なる装置に幅広く適用することができる。

（第１の実施形態）
図１は、本実施形態の撮像装置の一例であるデジタルカメラ１００のブロック図である。なお、ここでは撮像装置の一例としてデジタルカメラについて述べるが、撮像装置はこれに限らない。例えば、自動車等の移動体の前方または後方に取り付けられた車載カメラであってもよい。また、デジタルカメラ１００が取得した画像信号と検出信号は、自動車における運転支援に限らず、自律運転にも適用が可能である。更に、画像信号と検出信号に基づく動作制御が可能な各種の移動体、例えば、自動車（乗用車、トラック、バス、特殊車両、自動二輪車等を含む）、船舶や鉄道車両、航空機（ドローンを含む）或いは産業用ロボット等への適用が可能である。加えて、デジタルカメラ１００は、移動体に搭載される用途に限られることなく定点カメラとしても用いることができ、例えば、交差点監視システム、高度道路交通システム（ＩＴＳ）等の広く物体認識を利用するシステムにも適用することができる。

図１に示すように、結像光学系の先端に配置された第１のレンズ群１０１は、光軸方向に進退可能に保持される。絞り１０２は、その開口径を調節することで撮像時の光量調節を行う。第２のレンズ群１０３は、第１のレンズ群１０１の進退動作と連動して変倍作用（ズーム機能）を為す。第３のレンズ群１０４は、光軸方向の進退移動により焦点調節を行う。なお、レンズ群１０１、１０３、１０４は撮像光学系を構成し、撮像光学系に含まれるいずれかのレンズ群を光軸方向と直交する方向にリニアアクチュエータ等によって駆動することでデジタルカメラ１００の筐体ブレを補正することも可能である。

光学的ローパスフィルタ１０５は、画像信号における偽色やモアレを軽減するための光学素子である。撮像素子１０６は、レンズ群１０１、１０３、１０４によって結像された被写体像を光電変換（撮像）して画素信号を生成し、生成された画素信号をデジタル変換した後、画像信号として出力する。ここでは、撮像素子１０６にはベイヤー配列のＣＭＯＳイメージセンサが使用されるものとする。なお、本実施形態において、撮像素子１０６は撮像部に相当する。

撮像素子１０６から出力されるデジタル画像信号は信号処理部１０７へ入力される。信号処理部１０７は、撮像素子から出力されるデジタル画像信号に対する補正処理や現像処理などを行なう。また、信号処理部１０７は、デジタル画像信号から焦点ずれ量を算出するデフォーカス演算も行う。メモリ部１０８は画像データを一時的に記憶する。

表示部１０９は取得した画像データの表示等を行う。一例として有機ＥＬを用いた表示デバイスであってもよいし、複数の表示部を有してもよい。記録媒体制御Ｉ／Ｆ（インターフェース）部１１０では記録媒体１１１に画像データの記録または読出しを行う。記録媒体１１１は半導体メモリ等の着脱可能記憶媒体であり、画像データの記録または読出しを行う。外部Ｉ／Ｆ（インターフェース）部１１２は外部のコンピュータ等と通信を行う為のインターフェースである。外部Ｉ／Ｆ部１１２における通信方式として、有線ケーブルを用いる有線方式に限定されず、Ｗｉ−Ｆｉや５Ｇ通信等の無線通信方式を用いた通信が可能であってもよい。また、外部Ｉ／Ｆ部１１２が接続する外部装置は、一例としてパーソナルコンピュータであるが、ほかにもスマートフォンやタブレット等のモバイル機器であってもよいし、クラウドサーバー等の遠隔機器であってもよい。また、通信相手として同時に複数の装置に接続することが可能としてもよい。

操作部１１３はＳＷ１やＳＷ２と呼ばれるシャッタスイッチを有する。また、操作部１１３には、ユーザーが各種設定可能なメニュー釦も含まれており、ユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部１１４に送られ、これらの情報に基づいて撮像装置１００全体の制御が行われる。また、表示部１０９においてタッチパネルを設け、ＵＩと合わせることで操作部１１３の一部として構成してもよいし、撮像素子１０６で撮像する被写体のジェスチャー等の検出結果を操作部１１３の一部として構成してもよい。

全体制御演算部１１４は、撮像素子１０６を駆動させるための制御を行う。また、全体制御演算部１１４は、絞り制御部１１７、ズーム制御部１１８、フォーカス制御部１１９、シャッター制御部１２０、手ブレ補正制御部１２１の制御を行う。また、全体制御演算部１１４はこれ以外にデジタルカメラ１００の全体の各ブロックを制御する。全体制御演算部１１４によって行われるこれらの制御は、全体制御演算部１１４がＲＯＭ１１５または不図示のメモリに記憶されている制御プログラムを読出して実行することで実現される。

シャッター制御部１２０は、シャッターアクチュエータ１２５を駆動制御することによりメカニカルシャッター１１６を制御する。メカニカルシャッター１１６は、静止画撮像時において撮像素子１０６への露光量を制御するために用いられる。メカニカルシャッター１１６は、ライブビュー動作時や動画撮像時においては開状態を保持し、撮像素子１０６を露光し続ける状態とする。

絞り制御部１１７は、絞りアクチュエータ１２２を駆動制御することにより絞り１０２を駆動し、撮像素子１０６への露光量を制御する。ズーム制御部１１８は、ズームアクチュエータ１２３を駆動制御することにより第２のレンズ群１０３と第１のレンズ群１０１を進退動作させて、変倍作用（ズーム機能）を行う。

フォーカス制御部１１９は、フォーカスアクチュエータ１２４を駆動制御することにより第３のレンズ群１０４を光軸方向に進退移動させ、これにより焦点調節を行う。手ブレ補正制御部１２１は、手ブレ補正アクチュエータ１２６を駆動制御することにより手ブレ補正を行う。なお、本実施形態において手ブレ補正制御部アクチュエータ１２６が駆動制御する対象は撮像素子１０６であるが、レンズ群１０１、１０３、１０４のいずれかであってもよい。なお、レンズ群１０１、１０３、１０４は本実施形態における光学部材の一例であるが、これ以外に絞り１０２、メカニカルシャッター１１６も光学部材に含まれる。さらに、筐体ブレを補正するブレ補正部材として撮像素子１０６を駆動する場合に撮像素子１０６も光学部材の一つであるといえる。

このようにデジタルカメラ１００は、ノイズ源となり得る交流磁場を発生するアクチュエータを多数有している。パルス発生手段である各アクチュエータの制御部は、入力電圧に応じて、出力電圧の平均値が所定の値となるようにＰＷＭ信号のＤＵＴＹ比を変えて制御を行う。ＰＷＭとはＰｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ（パルス幅変調）の略で、ＤＵＴＹ比を変えることで出力される平均電圧を制御するというものである。ＤＵＴＹ比が小さい場合は平均電圧が下がり、ＤＵＴＹ比が大きいときには平均電圧が上がる。また、これらのアクチュエータは全体制御演算部１１４にてＰＷＭの駆動周波数を任意に設定することができる。このようなＰＷＭ駆動方式のアクチュエータを用いた場合、ＰＷＭの周波数に応じた電磁波がアクチュエータから発生し、撮像素子１０６の出力に影響を及ぼす。なお、アクチュエータは漏れ磁束を防止するために金属製のシェルでおおわれているものもあるが、デジタルカメラ等のモバイル機器においては製品の小型化のためにノイズ源となるコイルがむき出しで構成される場合もある。さらに、製品の小型化に伴い、ノイズ源であるアクチュエータとノイズの影響を受ける撮像素子１０６の距離が相対的に近くなる。このような場合において、本発明に係る制御を行うことによってノイズの影響を低減することが可能となる。

図２は、撮像素子１０６の画素配置を示す模式的に示す図である。図２に示すように、単位画素２００が行列状に配列されており、各単位画素２００に対してＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー配列で配置されている。なお、図２では説明のために省略したが、画素配置には遮光された黒レベル検出用のＯＢ画素や補正値検出用の補正値検出画素等が含まれる。撮像素子１０６は少なくとも水平方向に６０００個以上、垂直方向に４０００以上配置され、高解像度の画像信号を６０ｆｐｓ以上のフレームレートで取得することが可能である。

また、各単位画素２００内にはそれぞれ副画素ａ、副画素ｂが配置されており、フォトダイオード２０１ａ、２０１ｂがそれぞれの副画素ａ、ｂに配置されている。副画素ａ、ｂから出力される各々の信号（Ａ信号、Ｂ信号）は検出信号として焦点検出等に利用され、副画素ａ、副画素ｂから出力される信号を加算した信号（Ａ＋Ｂ信号）は画像信号として画像生成に利用される。

図３は、撮像光学系及び絞り１０２により構成される射出瞳３０３から出る光束と、撮像光学系の光軸３０４付近に配置される単位画素２００との関係を示した模式的に示す図である。図３において、図２と同様の部分については、同じ符号を付して示している。

図３に示す単位画素２００の断面図において、単位画素２００ごとにカラーフィルタ３０１とマイクロレンズ３０２とが形成されている。射出瞳３０３を通過した光は、光軸３０４を中心として単位画素２００に入射する。射出瞳３０３と副画素ａ、ｂはマイクロレンズ３０２によって共役の関係となっている。射出瞳３０３の一部領域である瞳領域３０５を通過する光束は、マイクロレンズ３０２を通って、副画素ａで受光される。一方、射出瞳３０３の他の一部の領域である瞳領域３０６を通過する光束は、マイクロレンズ３０２を通って、副画素ｂで受光される。したがって、副画素ａと副画素ｂは、それぞれ、撮像レンズの射出瞳３０３の別々の瞳領域３０５、３０６の光を受光している。このため、副画素ａと副画素ｂの出力信号を比較することで位相差方式の焦点検出が可能となる。なお、図２に示した各単位画素２００においては、水平方向に二つの副画素ａと副画素ｂを備える構成として説明したが、本発明は当該構成に限定されるものではない。例えば、垂直方向に副画素を備える構成であってもよいし、２つ以上の副画素を備える構成であってもよい。さらには、垂直及び水平の両方に副画素を備える構成であってもよい。つまり、一つの単位画素２００から複数の信号を読出せる構成であれば、本発明を提供することで同様の効果を得ることが可能である。

図４は、副画素ａから得られる像信号波形４０１と副画素ｂから得られる像信号波形４０２との相関関係を、異なる焦点状態について示す図である。図４（ａ）に示すように、合焦状態から外れている場合には、副画素ａ、ｂのそれぞれから得られるＡ信号及びＢ信号からなる像信号波形４０１と４０２とは一致せず、大きくずれた状態となる。

そして、合焦状態に近づくと、図４（ｂ）に示すように、それぞれの像信号波形４０１と４０２とのずれは小さくなり、合焦状態では像信号波形４０１と４０２とが重なり合うことになる。このように副画素ａ、ｂから得られるＡ信号及びＢ信号からなる像信号波形４０１と４０２のズレ量から焦点のずれ量（デフォーカス量）を検出し、焦点調節を行うことができる。

図５は、撮像素子１０６の全体回路構成を示す図である。画素領域ＰＡには、単位画素２００がｐ１１〜ｐｋｎのように行列状に配置されている。行走査回路５０１は、単位画素２００に含まれる各スイッチを制御するためのＲｅｓ、Ｔｘａ、Ｔｘｂ、Ｓｅｌといった駆動信号を各単位画素２００に水平同期信号に同期して供給する。単位画素２００の回路構成については、図６を用いて詳述する。本実施形態において、駆動信号Ｒｅｓ、Ｔｘａ、Ｔｘｂ、Ｓｅｌは、行毎において共通となっている。各単位画素２００の出力信号は、列毎に垂直出力線５０２を介して列共通読出しＡＤＣ５０３に接続されている。ＡＤＣ５０３は、各単位画素２００から出力される画素信号をデジタル信号へ変換するためのＡＤ変換回路である。ラインメモリ５０４は、ＡＤＣ５０３によって変換されたデジタル信号を記憶する。ラインメモリ５０４に記憶された画像信号は、列走査回路５０６からの信号に同期して水平信号線５０５へ伝送される。

なお、本実施形態において垂直出力線５０２は列ごとに１本が配置されている構成としているが、複数本が配置され同時に複数行を読出すことが可能な構成としてもよい。このような場合には増えた垂直出力線５０２に対応するようにＡＤＣ５０３の数も増やすことが好ましい。

ＤＦＥ（デジタル・フロント・エンド）５０７は、水平信号線５０５から入力された、デジタルの画像信号に対して、並び替えや、Ｐ／Ｓ（パラレル／シリアル）変換を行い、信号処理部１０７へ出力する。

タイミング制御回路５０８は、撮像素子１０６を駆動するための制御を行う回路である。全体制御演算部１１４からの同期信号やクロック等の制御信号に応じて、撮像素子１０６内の行走査回路５０１や、ＡＤＣ５０３、列走査回路５０６、ＤＦＥ５０７の制御を行う。なお、全体制御演算部１１４からの制御信号には撮像素子１０６を制御するための各種パラメータを含み、例えば駆動モード設定やフレームレート設定などが含まれる。

単位画素２００の構成を、図６を用いて説明する。図６は、撮像素子の単位画素の回路構成を示す図である。図６において、副画素ａ、ｂのフォトダイオード（光電変換部）２０１ａ、２０１ｂに入射した光信号が、フォトダイオード２０１ａ、２０１ｂによって光電変換され、露光量に応じた電荷がフォトダイオード２０１ａ、２０１ｂに蓄積される。転送ゲート６０２ａ、６０２ｂのゲートに印加する信号Ｔｘａ、ＴｘｂをそれぞれＨｉｇｈレベルにすることで、フォトダイオード２０１ａ、２０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部６０３に転送される。

ＦＤ部６０３は、フローティングディフュージョンアンプ６０４（以下、ＦＤアンプと称することがある）のゲートに接続されており、フォトダイオード２０１ａ、２０１ｂから転送されてきた電荷量がＦＤアンプ６０４によって電圧に変換される。

リセットスイッチ６０５は、ＦＤ部６０３、およびフォトダイオード２０１ａ、２０１ｂをリセットするためのリセットスイッチで、そのゲートに印加する信号ＲｅｓをＨｉｇｈレベルとすることにより、ＦＤ部６０３がリセットされる。また、フォトダイオード２０１ａ、２０１ｂの電荷をリセットする場合には、信号Ｒｅｓと信号Ｔｘａ、Ｔｘｂとを同時にＨｉｇｈレベルとすることで実現できる。

画素選択スイッチ６０６のゲートに印加する信号ＳｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ６０４によって電圧に変換された画素信号が垂直出力線５０２を通してＡＤＣに出力される。

ＦＤアンプ６０４は、垂直出力線５０２に接続されている不図示の定電流源と合わせてソースフォロワアンプとして動作する。ＡＤＣ５０３は比較器６０７、アップダウンカウンタ６０８、ＤＡＣ６０９、を有する。比較器６０７は一対の入力端子の一方に上述の垂直出力線５０２が接続され、他方にＤＡＣ６０９が接続される。

ＤＡＣ６０９は、タイミング制御回路５０８から入力される基準信号に基づいてレベルがランプ的に変化するランプ信号を出力する。そして比較器６０７は、ＤＡＣ６０９から入力されるランプ信号のレベルと、垂直出力線５０２から入力される出力信号のレベルとを比較する。タイミング制御回路５０８は全体制御演算部１１４からの指令に基づきＤＡＣ６０９へ基準信号を出力する。

例えば比較器６０７は、出力信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、出力信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ６０８は、タイミング制御回路５０８により、時間をカウントするクロックが入力され、比較器６０７に接続される。アップダウンカウンタ６０８は、例えば比較信号がハイレベルとなる期間、またはローレベルとなる期間のクロックをカウントする。このカウント処理により、各単位画素２００の出力信号はデジタル値へ変換される。デジタル信号に変換された、出力信号はラインメモリ５０４に記憶される。

なお、ＡＤＣ５０３は、各単位画素２００のリセット時の画素信号に基づいてリセットレベルに対応したカウント値をカウントする。そして、所定の露光時間後の画素信号に基づいてカウント値をカウントし、これらの差分値をラインメモリ５０４に記憶させてもよい。

次に、各単位画素２００からの信号の読出し動作について説明する。図７は、前述した撮像素子１０６のｋ列×ｎ行の画素で構成される１フレーム分の画素領域において、焦点検出用の検出信号を出力する領域を示している。より詳細には焦点検出処理用の検出信号と画像生成用の画像信号の両方を出力対象とする領域Ｒｅｇｉｏｎ＿ｉと、検出信号を出力せずに画像信号のみを出力する領域Ｒｅｇｉｏｎ＿ｃを示している。なお、本実施形態において、斜線部で示す領域Ｒｅｇｉｏｎ＿ｉに含まれる行単位からは、検出信号としてＡ信号及びＡ＋Ｂ信号がそれぞれ読出される。そして、Ａ＋Ｂ信号とＡ信号の差分を取得することでＢ信号に相当する信号を算出する。当該演算はＤＦＥ５０７で行ってもよいし、信号処理部１０７で行ってもよい。本実施形態において各単位画素２００から出力されたＡ信号を行方向につなげた信号群を像信号Ａとし、同様の信号群を像信号Ｂとし、両像信号を用いて焦点検出処理を行う。

また、領域Ｒｅｇｉｏｎ＿ｉ以外の領域である領域Ｒｅｇｉｏｎ＿ｃに含まれる単位画素２００からは、Ａ＋Ｂ信号のみが読出される。そのため、当該領域において焦点検出処理は実行されず画像生成のみが行われる。

撮像素子１０６の読出し動作について図８を用いて説明する。読出し動作は周期的に生成される水平同期信号に同期して繰り返し実行される。つまり、周期的に同様の動作が繰り返され、１フレーム分の画像信号および検出信号が出力される。なお、撮像素子の１０６の読み出し動作は全体制御演算部１１４によって制御され、複数の駆動モードが設定可能である。本実施形態においては、図７に示すように１フレーム分の信号を読み出す場合において行単位で異なる読出し方法が選択可能である。図７において焦点検出処理用の検出信号と画像生成用の画像信号の両方を出力対象とする領域Ｒｅｇｉｏｎ＿ｉの一例を示したが、領域Ｒｅｇｉｏｎ＿ｉは適宜位置や行数を変更することは可能である。

図８の説明において、フォトダイオード２０１ａ、２０１ｂに対して、所定の露光期間が経過しており電荷は蓄積済とする。また、説明の簡略化のため詳細は省略しているが、各フォトダイオードからの電荷を読出す前には、各フォトダイオードを除いた単位画素２００内の回路及び画素の読出し回路等をリセットする。リセット後、各フォトダイオードの電荷を転送していない状態で、リセット動作時に生じるノイズ成分についてのＮ信号を読出す。（以下、「Ｎ読み」と称することがある）次に、各フォトダイオードに蓄積された電荷をＦＤ部６０３に転送しＳ信号として読出す。（以下、「Ｓ読み」と称することがある）。Ｓ信号からＮ信号を減算すること（以下、「Ｓ−Ｎ動作」と称することがある）で、各信号からノイズ成分を除去する事が可能である。このＳ−Ｎ動作によって低ノイズを実現するため、一つのＳ読出しに対応してＮ読出しが行われる必要がある。

なお、Ｓ−Ｎ動作によって減衰するノイズ成分は、回路のばらつき等に起因するオフセット成分（直流成分）が主であるが、所定の周期の交流成分を持つノイズも減衰する。より詳細には、Ｓ読みタイミングとＮ読みタイミングとの時間的な差によって、交流成分を持つノイズの位相が変化する。これにより、Ｓ信号とＮ信号に同レベルのノイズが重畳されることになる。言い換えれば、Ｓ読みタイミングとＮ読みタイミングの時間的な差とノイズの周期が近い場合に大きなノイズ低減効果を得ることができる。また、各行は周期的な水平同期信号に同期して走査されることとなるため、一つの行でのノイズ低減効果は他の行においても同様に得ることができる。ここで、Ｓ読みまたはＮ読みタイミングとは、読み出す信号が確定するタイミングであり、アナログ的にサンプルホールドする場合にはサンプルタイミングである。また、サンプルホールドを行わない場合にはＡＤ変換によりデジタル信号が確定するタイミングか相当する。

図８（ａ）は、図７記載の領域Ｒｅｇｉｏｎ＿ｃの各行に含まれる単位画素２００に対して共通に行われる読出し動作のタイミングチャートである。まず、読出しが開始されると信号ＳｅｌをＨｉｇｈレベルにして単位画素の画素選択スイッチ６０６をＯＮにする。その後、信号ＲｅｓをＬｏｗレベルにしてＦＤリセットスイッチ６０５をＯＦＦにし、ＦＤ部６０３のリセットを開放する。これにより、リセット動作時に生じるノイズ成分についてのＮ信号が垂直信号線５０２経由でＡＤＣ５０３に入力される。

次に転送ゲート６０２ａ、６０２ｂをＯＮする前の基準信号としてＮ信号をＤＡＣ６０９のランプ信号を基にＡＤ変換することでＮ読みを行う。また、ＡＤＣ５０３の入力部は不図示のサンプルホールド回路を有しており、図８（ａ）中のＮ信号サンプリング、Ｓ信号サンプリングの各タイミング（ランプ信号発生前）で信号レベルをホールドすることができる。本実施形態において、当該Ｎ信号サンプリングのタイミングとＳ信号サンプリングのタイミングの時間差（Ｓ−Ｎのサンプリング時間差Δｔ）が信号の読み出し時間に相当する。

次いで、信号Ｔｘａ及びＴｘｂをＨｉｇｈレベルにすることで転送ゲート６０２ａと６０２ｂをＯＮにする。この動作により、副画素ａのフォトダイオード２０１ａに蓄積されていた電荷信号及び副画素ｂのフォトダイオード２０１ｂに蓄積された電荷信号を合成した信号が、ＦＤアンプ６０４、画素選択スイッチ６０６を介して垂直出力線５０２へ出力される。そして、垂直出力線５０２の信号をＳ信号とし、ＡＤＣ５０３にてＤＡＣ６０９のランプ信号を基にＡＤ変換することでＳ読みが行われる。

そして、先に読出されているＮ信号との差分値をラインメモリ５０４に記憶し、ＤＦＥ５０７で各種処理を行った後、１行分のＡ＋Ｂ信号（像信号ＡＢ）が信号処理部１０７へ出力される。

以上が、領域Ｒｅｇｉｏｎ＿ｃにおける単位画素の各行の読出し動作である。当該動作を同期信号に同期して各行で繰り返すことにより、１フレーム分の像信号ＡＢが読出されることになる。

続いて、領域Ｒｅｇｉｏｎ＿ｉの各行の読出し動作について図８（ｂ）を用いて説明する。図８（ｂ）は、領域Ｒｅｇｉｏｎ＿ｉの１行における像信号Ａと像信号ＡＢが読出されるまでの動作のタイミングチャートである。Ｎ信号を読出すまでのＮ読み動作は、図８（ａ）で説明した動作と同様である。

Ｎ読み動作が終了すると、信号ＴｘａのみをＨｉｇｈレベルにする。これにより転送ゲート６０２ａのみがＯＮされ、副画素ａのフォトダイオード２０１ａに蓄積されていた電荷に基づいた個別の信号が、ＦＤアンプ６０４及び画素選択スイッチ６０６を介してＡ信号として垂直出力線５０２へ出力される。Ａ信号はＡＤＣ５０３に入力され、ＤＡＣのランプ信号を基にＡＤ変換される。そして、先に読出されているＮ信号との差分値をラインメモリ５０４に記憶される。ＤＦＥ５０７で各種処理を行った後、１行分のＡ信号（像信号Ａ）が信号処理部１０７へ出力される。信号ｒｅｓはＬｏｗレベル、信号ｓｅｌはＨｉｇｈレベルのままで、像信号Ａの読出しを終了する。これにより、ＦＤ部６０３上の像信号Ａはリセットされず保持されることになる。

像信号Ａの読出しが終了すると、続けて像信号ＡＢの読出し動作へと移る。信号Ｔｘａ及びＴｘｂをＨｉｇｈレベルにすることで転送ゲート６０２ａと６０２ｂをＯＮにする。この動作により、副画素ｂのフォトダイオード２０１ｂに蓄積されていた信号がＦＤ部６０３に保持されていた副画素ａの信号と加算される。加算された信号はＦＤアンプ６０４、画素選択スイッチ６０６を介して垂直出力線５０２へＳ信号として出力され、領域Ｒｅｇｉｏｎ＿ｃの動作と同様に像信号ＡＢが読出される。

以上が、領域Ｒｅｇｉｏｎ＿ｉにおける各行の読出し動作である。これにより、像信号Ａと像信号ＡＢが順次読出されることになる。

図８（ａ）及び図８（ｂ）を対比すると、領域Ｒｅｇｉｏｎ＿ｉでは像信号Ａの読出しと像信号ＡＢの読出しが行なわれるので、領域Ｒｅｇｉｏｎ＿ｃでの像信号ＡＢのみの読出しに比べて１行の読出し時間が長い。一例として、領域Ｒｅｇｉｏｎ＿ｉでの読み出し時間は、領域Ｒｅｇｉｏｎ＿ｃでの読み出し時間の約２倍以上長くなる。また、像信号ＡＢを読みだすためのＳ−Ｎのサンプリング時間差（Ｎ信号サンプリングから像信号ＡＢのＳ信号サンプリングまで）も領域Ｒｅｇｉｏｎ＿ｉの方が長くなる。つまり、領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃでは交流成分を持つノイズに対する減衰特性が異なる。このため、単一の周波数成分を持つノイズに対しては、図９に示すように領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃとではその影響が異なることとなる。より詳細には、画像信号上に発生する横縞ノイズの周期や強度が異なってしまい画像信号の全面で横縞の周期が一様ではなくなることとなる。

ここで、ノイズの周波数と画像に現れる横縞との関係について説明する。ノイズの周波数はアクチュエータをノイズ源とした場合にはその駆動周波数と一致する。つまり、アクチュエータが備えるコイルから放射させる交流磁束に起因してノイズが発生することとなる。

上述の通り、Ｎ信号サンプリングとＳ信号サンプリングのタイミング（Ｓ−Ｎのサンプリングの時間差）が異なるため、周期的な正弦波状のノイズが生じる。このような正弦波状のノイズが重畳した時の横縞Ｙのノイズの強度は次式によって求めるができる。

ｆ：ノイズ源の周波数
Δｔ：Ｓ−Ｎのサンプリングの時間差
Ｐ：読出し行数
Ｔ_Ｈ：水平同期（ＨＤ）周期

上記の式から画像に発生する横縞の周波数は、次式によって定まる。
ｓｉｎ（２πｆ・Ｐ／Ｔ_Ｈ＋α）

つまり、ノイズ源の周波数ｆと水平同期周期Ｔ_Ｈによって、画像に発生するノイズの周波数は決まる。また、上記の式より、画像の横縞周波数は、周波数ｆの正弦波を水平同期周期Ｔ_Ｈの逆数ｆ_ｈ＝１／Ｔ_Ｈでサンプリングした場合と一致する。なお、サンプリング定理によりナイキスト周波数ｆ_ｈ／２よりも高い周波数は折り返される。よって画像信号上に現れるノイズの周波数である横縞周波数は次式により求めることができる。

以上説明したように画像に現れるノイズの周波数はノイズ源の周波数ｆと水平同期周期Ｔ_Ｈの関係により推定できる。図１０に領域Ｒｅｇｉｏｎ＿ｃと、領域Ｒｅｇｉｏｎ＿ｉにおいて、ノイズ源の周波数ｆと、像信号ＡＢに現れる横縞ノイズの周期（横縞周期行数）の関係を示す。図１０では、一例として、領域Ｒｅｇｉｏｎ＿ｃの水平同期周期を２０ｕｓ、領域Ｒｅｇｉｏｎ＿ｉの水平同期周期を４０ｕｓとした。

また、上記式より画像に発生する横縞の感度は次式によって定まる。

また、領域Ｒｅｇｉｏｎ＿ｉのＳ−Ｎのサンプリングの時間差を６．３ｕｓと領域Ｒｅｇｉｏｎ＿ｃのＳ−Ｎのサンプリングの時間差を２３ｕｓとし、ノイズ周波数に対する感度をグラフ化すると図１１のようになる。図１１に示すように、ノイズに対する感度はノイズ源の周波数に応じて変化し、所定の周波数の時に極小値となる。すなわち、極小値となる周波数を用いてノイズ源であるアクチュエータ等を制御すれば、撮像素子１０６に対してのノイズの影響は小さく抑えることが可能となる。ただし、本実施形態において、横縞の感度における周波数特性は領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃとで異なる。そのため、両方の領域で感度が極小となる周波数を選択することは困難である。さらに、アクチュエータのトルク特性などから制御に用いることが可能な周波数は限られるため、極小となる周波数を選択できない場合もある。

本実施形態では、上記の課題に対応するためにノイズ源となるアクチュエータの駆動周波数を領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃの画像に現れる横縞周期が略一致するように選択する。つまり、図１０における領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃのグラフの交点（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）付近の駆動周波数でアクチュエータを制御する。

図１０の領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃのグラフの交点付近の駆動周波数でアクチュエータを制御することによって領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃの横縞周期が略一致することとなる。そのため、図１２に示すように画像全面で横縞の周期がほぼ一様になり、横縞の画像信号に対する影響を低減できる。

また、一般的に人間の目における縞の視認能力は、縞のコントラストが低いほど、また、縞の周期が短いほど低くなることが知られている。したがって、交点（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）付近の中から横縞周期がなるべく短くなるようなアクチュエータの駆動周波数を選択することが好ましい。図１０の例では領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃのグラフの交点（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）付近で横縞の周期は等しくなるので、Ａ乃至Ｅのいずれかの周波数を設定すれば良い。このように画像信号の全面で横縞の周期を一様にすることができ、画像に現れる視認される横縞ノイズを軽減することができる。

なお、信号処理部１０７などにおいて所定の周波数帯域を減じるフィルタ処理等を行う場合には、当該フィルタ処理に合わせて駆動周波数を選択してもよい。例えば、垂直方向に信号加算をする場合には信号加算数や加算係数に合わせて駆動周波数を選択してもよい。また、本実施形態の撮像素子１０６のカラーフィルタ３０１においてはベイヤー配列が採用されていることから、２行周期の縞は平均化されて低減されやすい。

図１３は図１０と図１１を横軸の周波数を合わせて並べた図である。領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃの画像に現れる横縞周期が略一致する周波数は図１４の周波数範囲ではＡ乃至Ｅ付近がある。しかし、ノイズに対する感度も領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃでそろえることが好ましい。つまり、図１３のＡ付近で駆動を行うと良い。横縞の周期とノイズに対する感度が領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃで略一致するように駆動することで図１４のように画像信号の全面で横縞の周期と強度を一様にすることができ、画像に現れる視認される横縞ノイズを軽減することができる。

さらに、図１５は図１１の領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃの感度の和をグラフ化し図１０と横軸の周波数を合わせて並べた図である。領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃの画像に現れる横縞周期が略一致する周波数は、図１５の周波数範囲ではＡ乃至Ｅ付近である。さらにこの中から、領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃのノイズに対する感度の和が小さくなる周波数でアクチュエータの駆動を行ってもよい。つまり、図１５のＥ付近で駆動を行うと良い。領域Ｒｅｇｉｏｎ＿ｉと領域Ｒｅｇｉｏｎ＿ｃのノイズに対する感度の和が小さくなる周波数で駆動することで画像信号の全面でノイズの強度を小さくすることができ、画像に現れる視認される横縞ノイズを軽減することができる。

このように、本発明によれば、焦点検出処理機能を有する撮像素子の読出し時間を増大させることなく、各アクチュエータから発生する電源変動や電磁波による画像の横縞ノイズを軽減する撮像装置を提供することができる。なお、本実施形態においてはノイズ源となるアクチュエータの駆動周波数の設定について言及したが、Ｓ−Ｎのサンプリングの時間差を制御するようにしてもよいし、両方を制御するようにしてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ デジタルカメラ本体
１０６ 撮像素子
１１４ 全体制御演算部
１２０ シャッター制御部
１２５ シャッターアクチュエータ

Claims (10)

1. 行列状に配置された複数の画素により被写体からの光を光電変換する撮像部と、前記被写体からの光が入射する光学部材と、を有する撮像装置であって、
   前記撮像部の読出し方法を制御するための第１の制御手段と、
   前記光学部材を駆動するための第２の制御手段とを備え、
   前記撮像部は前記複数の画素ごとにマイクロレンズと複数の光電変換部を含み、
   前記第１の制御手段は前記撮像部から１フレームの信号を読み出す場合において、行単位で第１の読出し時間で信号を読み出す第１の読出し方法と、前記第１の読み出し時間より長い読み出し時間である第２の読み出し時間で信号を読み出す第２の読出し方法とが選択可能であり、
   前記第２の制御手段は前記第１の読み出し時間と前記第２の読み出し時間に基づく単一の駆動周波数で前記光学部材を制御することを特徴とする撮像装置。
2. 前記第１の制御手段は、前記第１の読出し方法において前記複数の光電変換部で発生した信号を加算した第１の信号を読み出し、前記第２の読出し方法において前記第１の信号に加えて個別の光電変換部からの信号を読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の読み出し時間は第１の読み出し時間よりも２倍以上長いことを特徴とする請求項１または２に記載の撮像装置。
4. 前記光学部材には少なくともレンズ、シャッター、絞り、ブレ補正部のいずれかが含まれることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の読出し時間及び前記第２の読み出し時間はリセット信号の読出しタイミングから前記複数の光電変換部で発生した信号の読出しまでの期間であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第２の制御手段は前記光学部材を駆動するためのアクチュエータを駆動するためのパルス発生手段を含むことを特徴する請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第２の制御手段は前記パルス発生手段の駆動周波数を、前記第１の読出し方法で読み出す行と、第１の読出し方法で読み出す行とで発生する列方向のノイズの周期が略一致するように設定することを特徴とする請求項６に記載の撮像装置。
8. 前記第２の制御手段は前記パルス発生手段の駆動周波数を、前記第１の読出し方法で読み出す行と、第１の読出し方法で読み出す行とで発生するノイズの感度が略一致するように設定することを特徴とする請求項７に記載の撮像装置。
9. 前記第２の制御手段は前記パルス発生手段の駆動周波数を、前記第１の読出し方法で読み出す行と、第１の読出し方法で読み出す行とで発生するノイズ量の和に基づいて設定することを特徴とする請求項７に記載の撮像装置。
10. 行列状に配置された複数の画素により被写体からの光を光電変換する撮像部と、前記被写体からの光が入射する光学部材と、を有する撮像装置の制御方法であって、
    前記撮像部の読出し方法を制御するための第１の制御ステップと、
    前記光学部材を駆動するための第２の制御ステップとを備え、
    前記撮像部は前記複数の画素ごとにマイクロレンズと複数の光電変換部を含み、
    前記第１の制御ステップにおいて前記撮像部から１フレームの信号を読み出す場合において、行単位ごとに第１の読出し時間で信号を読み出す第１の読出し方法と、前記第１の読み出し時間より長い読み出し時間である第２の読み出し時間で信号を読み出す第２の読出し方法のいずれかを選択し、
    前記第２の制御ステップにおいて前記第１の読み出し時間と前記第２の読み出し時間に基づく単一の駆動周波数で前記光学部材を制御することを特徴とする撮像装置の制御方法。