JP2018014645A - 撮像装置 - Google Patents

Abstract

【課題】 横線状のノイズが発生している環境においても、精度よく位相差情報を検出することを可能にした撮像装置を提供すること。【解決手段】 検出手段は焦点検出信号のみから撮像光学系の合焦度の検出を行う第１のモードと、焦点検出信号及び撮像信号から撮像光学系の合焦度の検出を行う第２のモードとを含み、第２のモードに用いる焦点検出信号及び撮像信号は、撮像素子において同一行に配置された画素より取得手段によって取得されることを特徴とする。【選択図】 図８

Description

本発明は、撮像装置に関し、特に位相差検出を行う撮像装置に関するものである。

撮像レンズの合焦状態を検出する方式の一つとして、各画素にマイクロレンズが形成された撮像素子を用いて瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。当該装置においては、撮像素子を構成する各画素に複数の光電変換部を含み、各光電変換部がマイクロレンズを介して撮像レンズの瞳の異なる領域を通過した光束を受光するように構成されている。そして、当該撮像レンズの瞳の異なる領域を通過した光束を受光した光電変換部の出力信号に対して、位相差を算出するための相関演算を行い、その位相差からデフォーカス量を算出する。

一方で、撮像装置において画像信号を生成する過程において、画像信号の画質劣化の原因となるようなノイズが発生する。例えば、撮像レンズの光学素子を駆動するアクチュエータが駆動する際の磁気の影響などにより横縞状のノイズが撮像信号に重畳されることがある。また、特許文献２には、欠陥行が位相差検出用の画像に存在する場合に、当該欠陥行からの信号を用いずに相関演算を行う動作が示されている。

特開２００８−５２００９号公報 特開２０１４−１４６０２３号公報

しかし、特許文献２で開示された従来技術では、欠陥行が発生した場合はその行における位相差情報を除外するため、当該行に対象となる被写体が含まれる場合においては精度よく検出することができなかった。また、アクチュエータ駆動や電源変動による外来ノイズに起因する横線状の撮像ノイズに関しては発生行が都度変化するため、除外する行を事前に検出することが困難であった。

そこで、本発明の目的は、横線状のノイズが発生している環境においても、精度よく位相差情報を検出することを可能にした撮像装置を提供することである。

上記目的を達成するために、本発明は、撮像光学系を用いて被写体像を撮像する撮像装置であって、前記被写体像を撮像するための複数の画素が行列方向に配置された撮像素子と、前記撮像光学系の瞳領域全体より入射する光束に基づいた撮像信号と、前記撮像光学系の瞳領域を分割した一部の領域より入射する光束に基づいた焦点検出信号とを前記複数の画素から取得する取得手段と、前記撮像光学系の合焦度の検出を行う検出手段と、前記撮像信号に基づいて画像データを生成する生成手段と、を備え、前記検出手段は前記焦点検出信号のみから前記撮像光学系の合焦度の検出を行う第１のモードと、前記焦点検出信号及び前記撮像信号から前記撮像光学系の合焦度の検出を行う第２のモードとを含み、前記第２のモードに用いる焦点検出信号及び撮像信号は、前記撮像素子において同一行に配置された画素より前記取得手段によって取得されることを特徴とする。

本発明によれば、横線状のノイズが発生している環境においても、精度よく位相差情報を検出することを可能にした撮像装置を提供することができる。

本発明に係る撮像装置の構成を示すブロック図である。 第１の実施形態における撮像素子の撮像画素の平面図と断面図である。 第１の実施形態における撮像素子の焦点検出画素の平面図と断面図である。 第１の実施形態における撮像素子の構成例を示す図である。 第１の実施形態における位相差方式の焦点検出方法の概念を模式的に説明する図である。 第１の実施形態における欠陥行と、Ａ像とＢ像との出力の関係を模式的に示す図である。 第１の実施形態におけるフォーカス制御処理を示すフロー図である。 第１の実施形態におけるデフォーカス量の算出処理を示すフロー図である。 第１の実施形態における撮像素子で生成される撮像レンズの線像分布図である。 第２の実施形態におけるデフォーカス量の算出処理を示すフロー図である。 第２の実施形態における相関演算算出処理を示すフロー図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施形態の撮像装置は、例えば動画機能付き電子スチルカメラやカメラ機能付きの携帯電話などに応用可能である。

（第１の実施形態）
以下、図１から図９を参照して、本発明の第１の実施形態による横線状に発生するノイズが撮像信号に影響する場合における、位相差検出方式を用いた焦点検出を行う撮像装置１００について説明する。

図１に示す撮像装置１００は、光学鏡筒１０１、撮像素子１０２、駆動回路１０３、信号処理部１０４、圧縮伸長部１０５、位相差検出部１０６、制御部１０７を備える。さらに、発光部１０８、操作部１０９、表示部１１０、記録部１１１、欠陥画素情報記憶部１１２、温度検出部１１３を備える。

光学鏡筒１０１は、被写体からの光を撮像素子１０２に集光するためのレンズと、焦点調節を行うフォーカスレンズとフォーカス制御回路により構成されるフォーカス機構部１０１１を含む。さらに、光学結像の倍率を可変させるズームレンズとズーム制御回路により構成されるズーム機構部１０１２を含む。さらに、撮像素子１０２に入射される光量を調整する絞り機構部１０１３、シャッタ機構部１０１４などから構成されている。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４は制御部１０７からの制御信号に基づいて駆動される。なお、光学鏡筒１０１には光学的にブレを低減するためのブレ低減機構を設けてもよい。また、光学鏡筒１０１は不図示のマウント部を介して撮像装置１００から着脱可能な構成（交換レンズ方式）としてもよい。

撮像素子１０２は、後述する撮像画素及び焦点検出画素からなる画素部、及び不図示のＡＤコンバータ等を含む周辺回路により構成される。また、画素部は水平方向及び垂直方向にマトリクス状に配置され、順次走査して読み出すＣＭＯＳ型イメージセンサなどが用いられる。また、光電変換部として光電変換膜等を用いるようにしてもよい。そして、撮像素子１０２は制御部１０７からの制御信号に応じて動作する駆動回路１０３により、露光や信号読み出しのタイミングや各種パラメータの設定等の撮像動作が実施される。そして、撮像素子１０２は、駆動回路１０３からの信号に基づいて撮像画素から撮像信号及び焦点検出画素から焦点検出信号を出力する。なお、駆動回路１０３は撮像素子１０２内に含まれるようにしてもよいし、撮像素子１０２と制御部１０７は直接通信を行うように構成してもよい。

信号処理部１０４は、制御部１０７の制御の下で、撮像素子１０２からの撮像信号及び焦点検出信号に対して、オフセット補正、ゲイン補正、色補正処理、輝度補正処理などの各種信号処理を施す。さらに、撮像素子１０２から入力される信号において、撮像信号を圧縮伸長部１０５に出力し、撮像信号及び焦点検出信号を位相差検出部１０６に出力する。なお、本実施形態において信号処理部１０４は、撮像素子１０２から入力される信号において、撮像信号と焦点検出信号を分離する分離部に相当する。また、信号処理部１０４には取得した撮像信号におけるノイズ量を算出する算出部を含む。算出部の詳細に関しては図８を用いて後述する。

圧縮伸長部１０５は、制御部１０７の制御の下で動作し、信号処理部１０４からの画像信号に対して、ＪＰＥＧ方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、制御部１０７から供給された静止画像の符号化データを伸長復号化処理する。さらに、ＭＰＥＧ方式などにより動画像の圧縮符号化／伸長復号化処理も実行可能なようにしてもよい。なお、圧縮符号化及び伸長方式は異なる方式を用いてもよい。例えば、Ｈ．２６５等を用いてもよい。

位相差検出部１０６は、信号処理部１０４から入力される撮像信号及び焦点検出信号に基づいて位相差信号を算出する。そして、位相差検出部１０６にて算出された位相差信号は制御部１０７へ送られ、位相差信号に基づいて撮像光学系の合焦状態を示すデフォーカス量を算出する。制御部１０７で算出されたデフォーカス量から合焦状態を得るために必要なフォーカスレンズの駆動量を算出し、フォーカス機構部１０１１へと制御信号を送る。フォーカス機構部１０１１は制御部１０７からの制御信号に従って、ＡＦ機構を駆動させ所望の位置にまでフォーカスレンズを移動させる。

制御部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置１００の各部を統括的に制御する。また、当該ＲＯＭは、一例としてＣＰＵにて処理された画像データ等を記録する不揮発性メモリあるいはメモリカード等の記録媒体である。ＣＰＵはこれに記憶されたプログラムに含まれる各種命令を実行する。なお、ＲＯＭ及びＲＡＭは、ＣＰＵが実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。

発光部１０８は、信号処理部１０４での輝度補正処理等によって被写体の露出値が低いと判断された場合に、被写体に対して光を照射する装置であり、キセノン管を用いたストロボ装置やＬＥＤ発光装置などに代表される。また、焦点検出動作の際に被写体に照射する補助光を含んでもよい。

操作部１０９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤル、タッチパネルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１０７に出力する。

画像表示部１１０は、ＬＣＤなどの表示デバイスや、これに対するインタフェース回路などからなり、制御部１０７から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。

画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、磁気テープなどとして実現され、圧縮伸長部１０５により符号化された画像データを制御部１０７から受け取って記憶する。また、制御部１０７からの制御信号を基に指定されたデータを読み出し、制御部１０７に出力する。

欠陥画素情報記憶部１１２は、撮像素子１０２内に構成される画素等の欠陥情報を記憶している。なお、欠陥情報には撮像画素及び焦点検出画素における欠陥位置及びその欠陥レベルが含まれる。また、欠陥の種類としては画素単位の欠陥のみならず行または列単位の欠陥も含まれる。

温度検出部１１３は、撮像装置１００における撮像素子１０２や制御部１０７などのＩＣの温度上昇を捉え、各制御への情報として制御部１０７へと検出結果を出力する。

また、撮像装置１００は不図示の通信部を含み、各種制御コマンドをＰＣ等の外部装置から受信する場合、また各種制御コマンドに対するレスポンスや、生成した画像データを外部装置へ送信する場合に使用される。さらに、撮像シーン（被写体の種類）、駆動モード、被写体検出などから得られる撮像情報に基づいて、光学鏡筒１０１へズームや絞りなどの撮像光学系の駆動情報を出力する。駆動情報には駆動させるアクチュエータ、駆動速度、駆動時間等が含まれる。加えて、駆動回路１０３へ駆動モードの切り換え指示や露光時間などの撮像素子１０２の駆動情報を出力する。

図２、図３は、本実施形態の撮像素子１０２に用いられる画像生成用の撮像画素と位相差検出用の焦点検出画素の構造を説明する図である。本実施形態においては、２×２の４画素の内、対角２画素にＧ（緑色）の分光感度を有する画素を配置している。さらに、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列を採用している。そして、ベイヤー配列の間に、後述する構造の焦点検出画素が所定の規則にて分散配置される。

図２に撮像画素の配置と構造を示す。図２（ａ）は２×２の撮像画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。図２（ａ）の断面ＡＡを図２（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（赤色）のカラーフィルタ、ＣＦＧはＧ（緑色）のカラーフィルタである。ＰＤは撮像素子１０２の光電変換部を模式的に示したものであり、ＣＬは撮像素子１０２内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮像光学系を模式的に示したものである。ＥＰは撮像光学系ＴＬの射出瞳である。ＥＰからＰＤまでの実線はＦＰからＰＤに入射する光束を示している。

ここで、撮像画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮像光学系ＭＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮像光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図２（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは瞳領域全体で大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図３は、撮像レンズの水平方向（横方向）に瞳領域の分割を行なうための焦点検出画素の配置と構造を示す。図３（ａ）は、焦点検出画素の周辺を表わしており、Ｒ画素とＢ画素の一部を焦点検出画素とした配置である。焦点検出画素は図３（ａ）においてＳＨＡ及びＳＨＢで示した画素がそれに相当する。

図３（ａ）の断面ＡＡを図３（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図２（ｂ）に示した撮像画素と同一構造である。撮像素子１０２において、射出瞳ＥＰの分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。さらに、焦点検出画素の開口部は撮像画素の開口部よりも偏倚方向である水平方向において狭くなっている。具体的には、画素ＳＨＡおよび、その開口部ＯＰＨＡは右側に偏倚しているため、撮像レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮像レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。

ここで、画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とする。このＡ像とＢ像の相対位置である位相差を検出することで、被写体像のピントのズレ量（デフォーカス量）が検出できる。

また、図３は水平方向に開口部が偏倚した例を示したが、垂直方向（縦方向）のピントのズレ量を検出したい場合には、ＳＨＡおよび、その開口部ＯＰＨＡを上側に、ＳＨＢおよび、その開口部ＯＰＨＢを下側に偏倚させて構成すればよい。その場合、ＯＰＨＡおよびＯＰＨＢの開口形状は、９０度回転させることはいうまでもない。また、本実施形態では焦点検出画素をＲ画素とＢ画素に設けたが、Ｇ画素に設けるようにしてもよい。

図４は本実施形態における撮像素子１０２の画素配列の一部（縦（Ｙ方向）８行と横（Ｘ方向）８列の範囲）を、撮像光学系側から観察した状態を示している。本実施形態の撮像素子１０２は被写体像を撮像するための複数の画素が行列方向に配置されている。さらに、カラーフィルタはベイヤー配列が適用され、偶数行の画素には、左から順にＧ（緑色）とＢ（青色）のカラーフィルタが交互に設けられる。また、奇偶数行の画素には、左から順にＲ（赤色）とＧ（緑色）のカラーフィルタが交互に設けられる。円４１１はオンチップマイクロレンズを表わす。オンチップマイクロレンズ４１１の内側に配置された複数の矩形はそれぞれ開口部を考慮した場合の光電変換部に相当する領域である。特に、オンチップマイクロレンズ４１１の内側で、中心に対して偏倚して配置されている矩形の光電変換部は、焦点検出画素を示している。ここでは、焦点検出画素に対しては、Ｇ（緑色）のカラーフィルタが配置されている。本実施形態において、以下の説明において左方向に偏倚している光電変換部４１１ａをＡ画素とし、右方向に偏倚している光電変換部４１１ｂをＢ画素とする。本実施形態においては、Ａ画素とＢ画素は別の行に配置されている。また、本実施形態では、各画素の光電変換部は面積、Ｘ方向の位置が異なり、１つの画素に対して、１つの光電変換信号を読み出す構成となっている。

ここで、位相差検出方式で焦点検出を行なう場合の焦点検出信号について説明する。本実施形態においては、図３のマイクロレンズＭＬと、配線層ＣＬで、撮像光学系の射出光束を瞳分割する。そして、同一行上に配置された所定範囲内の複数のＡ画素４１１ａの出力をつなぎ合わせて編成したものをＡ像、同じくＢ画素４１１ｂの出力をつなぎ合わせて編成したものをＢ像とする。図４の通り、Ａ像、Ｂ像の出力信号は、各々２画素ピッチの緑のカラーフィルタが設けられた画素から得ることができる。また、Ａ画素４１１ａと同一行に配置された撮像画素の光電変換部４１１ｃをＧＡ画素とし、その出力をつなぎあわせて編成したものをＧＡ像とする。同じくＢ画素４１１ｂと同一行に配置された撮像画素の光電変換部４１１ｃをＧＢ画素とし、その出力をつなぎあわせて編成したものをＧＢ像とする。

続いて、図５を参照して、複数の撮像素子１０２のＡ画素及びＢ画素のそれぞれから得られる焦点検出信号について説明する。図５は、複数のＡ画素及びＢ画素から得られる焦点検出信号を水平方向に並べて生成したＡ像とＢ像の模式図である。図５（ａ）は合焦状態から大きく外れている場合（非合焦状態）、図５（ｂ）は合焦状態に近い状態（略合焦状態）をそれぞれ示している。図５（ａ）、（ｂ）において、縦軸は信号出力を示し、横軸は位置（画素水平位置）を示している。

図５（ａ）に示されるように合焦状態から外れている場合（非合焦状態の場合）、Ａ画素とＢ画素から得られる像信号波形は互いに一致せず、大きくずれた状態となる。非合焦状態から合焦状態に近づくと、図５（ｂ）に示されるようにＡ画素とＢ画素の互いの像信号波形のズレは小さくなる。このように、Ａ画素とＢ画素から得られる各像信号波形のズレ（像ズレ量）からピントのズレ量（デフォーカス量）を検出することにより、焦点調節を行うことができる。なお、図５には所定行のＡ像とＢ像を示したが、複数行のＡ像とＢ像の信号を加算してデフォーカス量を検出してもよいし、複数の行から算出した像ズレ量を加算してデフォーカス量を検出してもよい。なお、本実施形態において、各信号のズレ量は撮像光学系の合焦度に相当する。

また、図５においてはＡ像とＢ像の像ズレ量からデフォーカス量を検出する例を示したが、Ａ像とＧＡ像又はＢ像とＧＢ像の像ズレ量から検出してもよい。本実施形態では、後述する横線状ノイズが発生する環境下においては、前述のＡ像とＢ像による相関演算から、Ａ像とＧＡ像の相対的な像ズレ量（位相差）か、Ｂ像とＧＢ像の相対的な像ズレ量を相関演算により検出する。このようにすることで、所定領域のピントのズレ量、すなわちデフォーカス量を検出することもできる。

本実施形態に置いてはＡ像もしくはＢ像を出力する以外の画素である４１１ｃから撮像信号を得ることができ、画像を生成することができる。画像を生成する際には、焦点検出画素４１１ａ（Ａ画素）、４１１ｂ（Ｂ画素）の部分に相当する撮像用信号は、焦点検出信号にゲインを乗算して生成するか、その周囲の画素の出力を用いて補正処理を行う。

ここで、本実施形態において複数の光電変換部４１１ａを第１の画素群と、複数の光電変換部４１１ｂを第２の画素群と称することが有る。また、複数の光電変換部４１１ａに対して図４においてＸ方向に交互に配列された複数の光電変換部４１１ｃを第３の画素群と称することが有る。さらに、複数の光電変換部４１１ｂに対して図４中でＸ方向に交互に配列された複数の光電変換部４１１ｃを第４の画素群と称することが有る。また、第１の画素群から得られる出力信号を第１の出力信号（Ａ像）と呼び、第２の画素群から得られる出力信号を第２の出力信号（Ｂ像）と呼ぶ。また、第３の画素群、もしくは、第４の画素群から得られる出力信号を第３の出力信号（ＧＡ像またはＧＢ像）と称することが有る。

第１の実施形態では、ＧＡ像やＧＢ像は、Ａ像、Ｂ像とそれぞれ同一行に水平方向に交互に配置されているが、ＧＡ像、ＧＢ像を得るための画素の配置は、これに限らない。例えば、Ａ像やＢ像の画素に対して、ＧＡ像やＧＢ像の画素は、図４のＹ方向に隣接して配置してもよい。また、ＧＡ像やＧＢ像の信号は、画素の出力の平均値を用いてもよい。例えば、ＧＡ像の信号は、Ａ像の出力を得る画素に隣接する４画素の出力の平均値としてもよい。

図６は、撮像素子１０２に横線状ノイズが発生した時における合焦状態でのＡ像による第１の出力波形とＢ像による第２の出力波形を模したものである。この例では第１の出力波形を出力する行のみに横線状ノイズが突発的に発生した場合を指し示している。Ａ画素とＢ画素は異なる行に配置されているため。第１の出力波形を出力する行と第２の出力波形を出力する行とを比較して一律なオフセット成分が乗っている状態となっている。それにより、第１の信号と第２の信号とで相関演算による像ズレ量を検出しようとしても信号差が０にならないため、正確な像ズレ量が検知できない。

次に、撮像装置１００における焦点調節動作について説明する。図７は、制御部１０７に格納されたフォーカス制御を示すフローチャートである。なお、本フローチャートは、撮像素子１０２による位相差検出方式でＡＦを行う電子ファインダ若しくは動画撮像時の焦点調節動作となっている。つまり、電子ファインダのための表示や動画記録を行いつつ、焦点調節動作が並行して行われている。また、本フローチャートの処理は制御部１０７が各構成要素を制御しながら実行する。

まず、ステップＳ７０１において、制御部１０７は、操作部１０９などの操作により焦点検出開始ボタンがＯＮされたかを検知する。そして、ＯＮされた場合にはステップＳ７０２へ進む。ここでは、焦点検出開始ボタンによる判別をしているが、電子ファインダ表示や動画記録に移行したことをトリガーに、焦点検出を開始してもよい。

ステップＳ７０２において、制御部１０７は、光学鏡筒１０１における各種レンズ設定情報を取得する。なお、光学鏡筒１０１が交換レンズであった場合は、光学鏡筒１０１との通信においてレンズ設定情報を取得する。そして、ステップＳ７０３に処理を進める。

ステップＳ７０３において、制御部１０７は、逐次読み出されている画像データから位相差検出部１０６により焦点検出のための位相差信号を生成する。本実施形態では、位相差信号として所定の２行のＡ像、Ｂ像、ＧＡ像、ＧＢ像の信号が生成される。そして、ステップＳ７０４に処理を進める。

ステップＳ７０４では、制御部１０７は、位相差検出部１０６を制御し、相関演算を行う。相関演算を行うことで焦点検出信号の像ズレ量を算出し、制御部１０７にてデフォーカス量に換算する。像ズレ量の算出の詳細に関しては後ほど詳述する。そして、ステップＳ７０５に処理を進める。

ステップＳ７０５において、制御部１０７は、ステップＳ７０４で算出した焦点検出結果に基づき、フォーカス機構部１０１１に含まれるフォーカスレンズの駆動量を算出する。そして、ステップＳ７０６に進める。なお、フォーカスレンズの駆動量はＦ値、焦点距離、撮像装置１００の姿勢等に基づいた、フォーカスレンズ駆動量と被写体位置（焦点検出結果）とのテーブルを事前にメモリ回路等に記憶しておく。そして、ステップＳ７０４に算出した焦点検出結果に基づいてテーブルを参照することでフォーカスレンズ駆動量を算出することができる。なお、メモリ回路の容量の節約のためテーブルは離散的な値を持つため、中間位置のフォーカスレンズ駆動量は複数の値から線形補間等を用いて算出する。

ステップＳ７０６において、制御部１０７は、ステップＳ７０５にて算出したフォーカスレンズ駆動量をフォーカス機構部１０１１に送り、フォーカスレンズを駆動する。そして、光学鏡筒１０１の焦点調節を行い、本処理を終了する。なお、ステップＳ７０４で、焦点検出不能であると判定されている場合には、ステップＳ７０５、ステップＳ７０６でレンズ駆動量の算出やレンズ駆動は行わず、焦点調節動作を終了したり、事前に決められた位置にレンズ駆動を行ったりするようにしてもよい。

なお、焦点調節動作の方法は、図７に示した方法に限らない。繰り返し連続的に焦点調節を行う場合や、焦点調節を終えた後、被写体状況の変化を検出して、再度焦点調節動作を再開する場合など、様々な方法が考えられる。

次に図７のステップＳ７０４で位相差検出部１０６および制御部１０７により行うデフォーカス量の算出フローについて、図８に示すフローチャートを用いて更に説明する。本フローチャートの処理に関しても制御部１０７が実行する。

まずステップＳ７０４１において、制御部１０７は、画像に横線状ノイズが発生しているか又は、撮像装置１００の撮像条件が横線状ノイズの発生する条件と一致しているかを判定する。

ここで、画像に横線状ノイズが発生しているかは、信号処理部１０４における取得した撮像信号におけるノイズ量を算出する算出部を用いて検出可能である。より詳細には、撮像素子１０２には映像信号の基準レベルを決めるためのオプティカルブラック画素（ＯＢ画素）を各行に備えている。ＯＢ画素は入射光を遮光する遮光部を備えており、入射光量に依存せずに基準信号を出力する。信号処理部１０４に含まれるノイズ量を算出する算出部は各行のＯＢ画素の出力信号を取得し、各行の変動量を算出する。算出した変動量は横線状ノイズの量に相当し、この変動量と所定の閾値とを比較することによって横線状ノイズが発生を検出することが可能となる。

また、直接画像から算出しなくとも、発生を予測することも可能である。横線状ノイズは撮像素子１０２周辺の磁気の変化によっても発生する。本実施形態の撮像装置１００においては、光学鏡筒１０１内のフォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３などに内在しているアクチュエータが動作することによって発生する磁気の影響により横線状ノイズが発生する。そのため、事前にどのアクチュエータが動作した場合に横線状ノイズが発生するかを調べておき、横線状ノイズが発生する撮像装置１００の撮像条件としてメモリ回路等に記憶しておく。そして、アクチュエータ制御状態が横線状ノイズの発生する制御状態と一致するかを判定することで横線状ノイズが発生するかを予測・検出することが可能となる。

さらに、横線状ノイズは撮像素子１０２の製造時ばらつき等により、欠陥画素が連続する場合や行回路の異常等により欠陥行が発生する場合もある。そして、高温環境下においては横線状ノイズ出力が顕著に出やすくなる。そのため、本実施形態で述べる撮像装置１００では、焦点検出画素を含む行が欠陥行であるか否かをあらかじめ工場などで遮光画像等を撮像してチェックを実施する。そして、欠陥行の欠陥位置（配置アドレス）と欠陥レベルを欠陥画素情報記憶部１１２に欠陥情報として記録する。そして、デフォーカス量算出処理時に温度検出部１１３により検出した温度と、欠陥画素情報記憶部１１２に記録した欠陥情報から横線状ノイズが発生する撮像条件等と一致するかを判定する。これにより横線状ノイズが発生するかを予測・検出することが可能となる。なお、各検出に用いる撮像信号には信号処理部１０４に含まれる増幅部において、実際にはゲインが乗算されるため、横線状ノイズの量も増加する。この増幅量も考慮して横線状ノイズの発生を判定することが望ましい。

そして、ステップＳ７０４１で横線状ノイズが発生していないと判定された場合は、ステップＳ７０４２へと処理を進め、発生していると判定された場合はステップＳ７０４３へと処理を進める。

ステップＳ７０４２において、制御部１０７は、位相差検出部１０６を制御し相関演算モードＡとして第１の出力信号であるＡ像と第２の出力信号であるＢ像とで相関演算により像ズレ量を算出する。そして、ステップＳ７０４４に処理を進める。

ステップＳ７０４３において、制御部１０７は、位相差検出部１０６を制御し、ステップＳ７０４２での相関演算方法とは異なる後述の相関演算モードＢにて相関演算により像ズレ量を算出するように切換える。

ここで、図９を用いて相関演算モードＢについての具体的な説明をする。図９は撮像素子１０２で生成される光学鏡筒１０１の撮像光学系ＴＬにおける線像分布図である。図中実線は撮像光学系ＴＬの全瞳領域ＥＰを受光可能な第３（ＧＡ画素）、もしくは第４（ＧＢ画素）の画素群で生成される線像を示す。また、図中点線は撮像光学系ＴＬの一部の瞳領域ＥＰＨＡを受光可能な第１（Ａ画素）の画素群で生成される線像を示している。

第３、第４の画素で生成される線像は略対称であるが、第１もしくは第２の画素群で生成される線像は非対称となる。そのため、第３、第４の画素で生成される線像の重心と、第１の画素群で生成される線像の重心とがずれており、その重心のズレ量は撮像レンズのデフォーカス量に略比例する。その結果、第１の画素から得られる被写体像の重心と第３、第４の画素から得られる被写体像の重心との差を位相差検出部１０６で求めることが可能となる。これにより、所定の像面における像ズレ量を算出することができるため、その像ズレ量を元に制御部１０７にて合焦状態が検出される。

このとき、同一行の像信号となる第１と第３の画素、もしくは第２と第４の画素から相関演算を実施することになるため、横線状ノイズが発生しても同一行同士の信号に重畳されるオフセット成分は同じとなることから相関演算に誤差は生じない。

本実施形態においては、相関演算モードＢに遷移した場合は、Ａ画素を含む行もしくはＢ画素を含む行のどちらかの行のみを相関演算対象行に選択する。これはフレームレートとして演算量に掛かる時間が増えることを避けるためであり、横線状ノイズが発生する行が既知となっている場合、その発生行の種別ＳＨＡが含まれる行かＳＨＢが含まれる行のどちらかを演算非対象とする。

図８のフローチャートの説明に戻る。ステップＳ７０４４において、制御部１０７は、位相差検出部１０６から入力された相関演算量からデフォーカス量を算出し、デフォーカス量算出処理を終了する。

以上のような本実施形態では、横線状ノイズが発生する条件下になった場合でも同一行の撮像画素と焦点検出画素とで相関演算をすることにより相関演算量を増やすこと無く焦点検出することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（第２の実施形態）
以下、図１０、図１１を参照して、本発明の第２の実施形態による、横線状に発生するノイズが撮像信号に影響する場合においての、位相差検出方式について第１の実施形態とは異なる相関演算方法を用いた撮像装置１００について説明する。

本発明の第２の実施形態に係る撮像装置１００は、その構成が上記第１の実施形態に係る撮像装置１００と同じであり、第１の実施形態と同様の部分ついては、同一の符号を用いてその説明を省略する。以下に、第１の実施形態と異なる点のみを説明する。

図１０は第２の実施形態におけるデフォーカス量の算出フローについて説明する図である。

基本的な算出フローは第１の実施形態における図８のフローチャートと同じであるが、ステップＳ７０４１で横線状ノイズが発生する制御状態である場合に、ステップＳ７０４６へと遷移して後述の相関演算モードＣにて相関演算を行い、像ズレ量を算出する。

ここで、図１１を用いて、相関演算モードＣについての具体的な説明をする。図１１は相関演算モードＣにおける位相差検出部１０６が行う処理に関するフローチャートである。なお、位相差検出部１０６の制御は制御部１０７が行う。

ステップＳ７０４６ａにおいて、位相差検出部１０６は、第１の算出手段として所定行（ｍ行目）において生成したＡ像とＧＡ像の相関演算を行う。相関演算に用いる相関量ＣＯＲ１（ｋ）は、例えば下記の式（１）で算出することができる。

式（１）で用いる変数ｋは、相関演算時のシフト量で、−ｋｍａｘ以上ｋｍａｘ以下の
整数である。位相差検出部１０６は各シフト量ｋについての相関量ＣＯＲ１（ｋ）を求めた後、Ａ像とＧＡ像の相関が最も高くなるシフト量ｋ、すなわち、相関量ＣＯＲ１が最小となるシフト量ｋの値を求める。なお、相関量ＣＯＲ１（ｋ）の算出時におけるシフト量ｋは整数とするが、相関量ＣＯＲ１（ｋ）が最小となるシフト量ｋを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値（実数値）を求める。

本実施形態では、相関量ＣＯＲ１の差分値の符号が変化するシフト量ｄｋを、相関量Ｃ
ＯＲ１（ｋ）が最小となるシフト量ｋとして算出する。

まず、位相差検出部１０６は、相関量の差分値ＤＣＯＲ１を以下の式（２）に従って算出する。
ＤＣＯＲ１（ｋ）＝ＣＯＲ１（ｋ）−ＣＯＲ１（ｋ−１） ．．．（２）

そして、位相差検出部１０６は、相関量の差分値ＤＣＯＲ１を用いて、差分値の符号が変化するシフト量ｄｋ１を求める。差分値の符号が変化する直前のｋの値をｋ１、符号が変化したｋの値をｋ２（ｋ２＝ｋ１＋１）とすると、位相差検出部１０６はシフト量ｄｋ１を、以下の式（３）に従って算出する。
ｄｋ１＝ｋ１＋｜ＤＣＯＲ１（ｋ１）｜／｜ＤＣＯＲ１（ｋ１）−ＤＣＯＲ１（ｋ２）｜ ．．．（３）

以上のようにして第１の算出手段としての位相差検出部１０６は、Ａ像とＧＡ像の相関量が最大となるシフト量ｄｋ１をサブピクセル単位で算出し、ステップＳ７０４６ａの処理を終える。なお、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。そして、ステップＳ７０４６ｂに処理を進める。

ステップＳ７０４６ｂにおいて、位相差検出部１０６は、第２の算出手段としてｍ＋１行目から生成したＢ像とＧＢ像について、ステップＳ７０４６ａと同様の方法で、相関が最大となるシフト量ｄｋ２を算出する。そして、結果をリターンして図１０におけるステップＳ７０４７へと遷移する。

図１０の説明に戻る。ステップＳ７０４７において、制御部１０７は位相差検出部１０６を制御し、２種のシフト量ｄｋ１、ｄｋ２の和ｄｋ＿ｓｕｍを算出する。

ここで、２種のシフト量の和ｄｋ＿ｓｕｍを求めだすのは、ＧＡ像とＧＢ像は共通の射出瞳ＥＰとなるため、ＧＡ像を生成する光束とＧＢ像を生成する光束は射出面上での重心位置は等しい。従って、出力から得られるＡ像とＧＡ像の位相差と、Ｂ像とＧＢ像の位相差の和は、Ａ像とＢ像の位相差と概ね等しくなるからである。

そのため、位相差検出部１０６はシフト量の和ｄｋ＿ｓｕｍを求めた後に、制御部１０７にてデフォーカス量を求めるため、例えばここでは図示しない不揮発性メモリに記憶された敏感度を乗じることで、シフト量の和ｄｋ＿ｓｕｍをデフォーカス量に換算する。デフォーカス量の算出を終えると、デフォーカス量算出処理を終了する。

本実施形態では、被写体光学像上で、Ａ像と概ね同じ位置をサンプリングできるＧＡ像を生成し、Ａ像とＧＡ像の位相差を算出し、さらに同様にＢ像とＧＢ像の位相差を算出する。そして、これら２つの位相差算出結果を合計することでＡ像とＢ像の位相差をするため第１の実施形態の実施形態に比較し演算量が増えるが、高精度にデフォーカス量を算出することができる。

また、同一行に配置されるＡ像とＧＡ像の位相差と、Ｂ像とＧＢ像の位相差を求めだすことから位相差検出結果に含まれる横線状ノイズの影響を低減しながらも、高精度な位相差検出を行うことができる。

なお、本実施形態では、Ａ像とＧＡ像の相関量を用いて得られる位相差ｄｋ１（第１の位相差）と、Ｂ像とＧＢ像の相関量を用いて得られる位相差ｄｋ２（第２の位相差）とを算出し、位相差ｄｋ１とｄｋ２の和をデフォーカス量に変換した。しかし、デフォーカス量の算出方法は、これに限らない。例えば、同じシフト量ｋに対応するＡ像とＧＡ像の相関量（第１の相関量）とＢ像とＧＢ像の相関量（第２の相関量）の和を算出し、２つの相関量の和が最小となるシフト量ｄｋからデフォーカス量を算出してもよい。この場合、Ａ像とＢ像から検出される位相差は少なくなってしまうが、相関量の差分を大きくすることができるため、シフト量の検出精度が向上する。

また、シフト量からデフォーカス量を算出する際に、位相差ｄｋ１とｄｋ２の和に対して、敏感度を乗じた。しかし、予め位相差ｄｋ１用と位相差ｄｋ２用の各々の敏感度を記憶しておき、個々の位相差に敏感度を乗じた後に合計してデフォーカス量を算出してもよい。敏感度の記憶に必要な容量は増えるが、より精度のよい焦点検出を行うことが可能となる。

なお、第１の実施形態及び第２の実施形態において画素部に遮光部を持つ焦点検出画素に関して説明したが、これに限られるものではない。一つの画素に複数の光電変換部を有することで、瞳領域を分割する方式の焦点検出画素においても同様の効果を得ることができる。

１０１ 光学鏡筒
１０１１ フォーカス機構部
１０１２ ズーム機構部
１０１３ 絞り機構部
１０１４ シャッタ機構部
１０２ 撮像素子
１０３ 駆動回路
１０４ 信号処理部
１０５ 圧縮伸長部
１０６ 位相差検出部
１０７ 制御部
１０８ 発光部
１０９ 操作部
１１０ 画像表示部
１１１ 画像記録部
１１２ 欠陥画素情報記憶部
１１３ 温度検出部

Claims (8)

1. 撮像光学系を用いて被写体像を撮像する撮像装置であって、
   前記被写体像を撮像するための複数の画素が行列方向に配置された撮像素子と、
   前記撮像光学系の瞳領域全体より入射する光束に基づいた撮像信号と、前記撮像光学系の瞳領域を分割した一部の領域より入射する光束に基づいた焦点検出信号とを前記複数の画素から取得する取得手段と、
   前記撮像光学系の合焦度の検出を行う検出手段と、
   前記撮像信号に基づいて画像データを生成する生成手段と、
   を備え、
   前記検出手段は前記焦点検出信号のみから前記撮像光学系の合焦度の検出を行う第１のモードと、前記焦点検出信号及び前記撮像信号から前記撮像光学系の合焦度の検出を行う第２のモードとを含み、
   前記第２のモードに用いる焦点検出信号及び撮像信号は、前記撮像素子において同一行に配置された画素より前記取得手段によって取得されることを特徴とする撮像装置。
2. 前記撮像素子は前記撮像光学系の瞳領域を分割した一部の領域より入射する光束に基づいた第１の焦点検出信号を出力する第１の画素群と、前記第１の画素群とは異なる領域より入射する光束に基づいた第２の焦点検出信号を出力する第２の画素群と、前記撮像信号を出力する第３の画素群とを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子において、前記第１の画素群と前記第２の画素群に含まれる画素は異なる行に配置され、前記第１の画素群及び前記第２の画素群が配置された行には前記第３の画素群に含まれる画素が配置されることを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段は前記第２のモードにおいて焦点検出信号として前記第１の焦点検出信号及び前記第２の焦点検出信号のいずれか一方のみを用いることを特徴とする請求項２又は３に記載の撮像装置。
5. 前記検出手段は前記第２のモードにおいて焦点検出信号として前記第１の焦点検出信号と前記撮像信号とによる検出結果と、前記第２の焦点検出信号と前記撮像信号とによる検出結果とを用いて合焦度の検出を行うことを特徴とする請求項２又は３に記載の撮像装置。
6. 前記撮像素子における欠陥位置及び欠陥レベルに関する欠陥情報を記憶する記憶手段と、
   前記撮像素子の温度を検出するための温度検出手段とを更に備え、
   前記検出手段は前記記憶手段に記憶された欠陥情報と前記温度検出手段により検出された温度に基づいて、前記撮像光学系の合焦度を検出するためのモードを切換えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像光学系に含まれる光学素子を駆動するための駆動手段を更に備え、
   前記検出手段は駆動手段が駆動しているか否かに基づいて、前記撮像光学系の合焦度を検出するためのモードを切換えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記生成手段は前記撮像信号を増幅する増幅手段を含み、
   前記検出手段は前記増幅手段の増幅量に基づいて、前記撮像光学系の合焦度を検出するためのモードを切換えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

Images