JP2018031966A - 焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法 - Google Patents

Abstract

【課題】 遠近競合の発生を軽減可能な位相差検出方式の焦点検出を行う焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法を提供する。【解決手段】 焦点検出装置は、第１及び第２の焦点検出領域を設定する第１の設定手段と、第１及び第２の焦点検出領域のそれぞれに対して位相差検出方式の焦点検出を行う第１の焦点検出手段を備える。また、各焦点検出領域の焦点検出の信頼性を取得する信頼性取得手段と、信頼性取得手段で取得した信頼性を用いて、第３の焦点検出領域を決定する第２の設定手段と、第３の焦点検出領域を用いて焦点検出を行う第２の焦点検出手段とを備える。【選択図】 図１２

Description

本発明は、焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法に関するものである。

撮像装置の焦点検出方法として、焦点検出素子を用いた位相差検出方式、撮像素子で取得した画像のコントラスト成分を用いたコントラスト検出方式、位相差検出方式の焦点検出を撮像素子で取得した画像で行う撮像面位相差検出方式等が知られている。

位相差検出方式（撮像面位相差検出方式を含む）では、撮影光学系における互いに異なる射出瞳領域を通過した光束を受光して得られた一対の視差画像信号の位相差からデフォーカス量を算出することで、焦点検出を行う。そして、該デフォーカス量に相当する移動量だけフォーカスレンズを移動させることで合焦状態を得ることができる。

オートフォーカス（ＡＦ）においては、合焦位置の特定方法とともに、ＡＦに用いる画像信号を取得するための領域（焦点検出領域と呼ぶ）の設定も重要である。撮像面位相差方式の場合、焦点検出を行う際にピントのずれ量が大きいと、撮像面に結像される被写体像のボケが大きくなる。よって、ボケた被写体像に対応するコントラストが低い画像信号で焦点検出を行うことになり、小さな焦点検出領域では焦点検出ができない場合があった。特許文献１には、撮像面位相差検出方式の焦点検出方法において、設定された焦点検出領域の画像信号を用いても焦点検出ができない場合、焦点検出領域を焦点検出方向に広げて、焦点検出領域を大きくして焦点検出を行う技術が提案されている。尚、焦点検出方向とは相関演算において一対の像信号をシフトさせる方向のことを指す。

特許０５６９０９７４号公報

しかしながら、大きな焦点検出領域を用いて焦点検出を行うと、焦点検出領域でとらえる範囲が広くなるため、撮影光学系との距離が異なる被写体がこの範囲に含まれる可能性が高まる。撮影光学系との距離が異なる被写体が、焦点検出領域でとらえる範囲に存在する状態は、遠近競合と呼ばれる。この遠近競合があると、誤測距の可能性も高くなるため、撮影光学系から近いほうの被写体にも撮影光学系から遠いほうの被写体にも合焦せずにＡＦ動作が終了してしまったり、ユーザが意図しない被写体に合焦してしまったりする可能性があった。

そこで、本発明の一側面としての焦点検出装置は、位相差検出方式の焦点検出を行う焦点検出装置であって、遠近競合の発生を軽減可能な焦点検出装置を提供することを目的とする。また、本発明のその他の側面としての焦点調節装置、撮像装置及び焦点検出方法は、位相差検出方式の焦点検出を行う焦点調節装置、撮像装置及び焦点検出方法であって、遠近競合の発生を軽減可能である。

上記目的を達成するために、本発明の一側面としての焦点検出装置は、撮影画像に対して、第１の焦点検出領域と、前記焦点検出領域の周辺に位置する第２の焦点検出領域とを設定する第１の設定手段と、前記第１の焦点検出領域と前記第２の焦点検出領域とのそれぞれに対応する、一対の視差画像信号を取得し、前記一対の視差画像信号を用いて、前記第１の焦点検出領域と前記第２の焦点検出領域のそれぞれに対して位相差検出方式の焦点検出を行う第１の焦点検出手段と、前記第１の焦点検出手段による前記第１の焦点検出領域と前記第２の焦点検出領域との焦点検出の信頼性を取得する信頼性取得手段と、前記信頼性取得手段による信頼性取得結果を用いて、第３の焦点検出領域を決定する第２設定手段と、前記第３の焦点検出領域を用いて焦点検出を行う第２の焦点検出手段と、を備え、前記第２の設定手段は、前記第１の焦点検出領域の焦点検出結果の信頼性が第１の閾値未満のとき、前記第２の焦点検出領域の前記焦点検出結果の信頼性が第２の閾値未満であるかを判定し、前記信頼性が前記第２の閾値未満の前記第２の焦点検出領域と、前記第１の焦点検出領域とを前記第３の焦点検出領域とすることを特徴とする。本発明のその他の側面については発明を実施するための形態で説明をする。

本発明によれば、位相差検出方式の焦点検出を行う焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法において、遠近競合の発生を軽減することが可能になる。

本実施形態におけるカメラ及びレンズユニットの構成を示すブロック図 本実施形態における撮像素子の画素構成を示す図 本実施形態におけるＡＦ処理を示すフローチャート 本実施形態におけるＡＦ枠設定・焦点検出処理を示すフローチャート 本実施形態におけるＡＦ枠の設定方法を説明する図 本実施形態における撮像面位相差ＡＦ処理を示すフローチャート 本実施形態における撮像面位相差ＡＦの焦点検出領域を示す図 本実施形態における焦点検出領域から得られる一対の視差画像信号を示す図 本実施形態における相関演算方法を説明する図 本実施形態におけるコントラスト情報を用いた簡易合焦度判定及び低コントラスト被写体判定を示す図 本実施形態におけるＡＦ枠変更処理を示すフローチャート 本実施形態におけるＡＦ枠変更処理方法を説明する図 本実施形態におけるＡＦ枠変更処理方法を説明する図

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明は以下の実施形態に限定されるものではない。例えば、以下の実施形態では、本発明にかかる焦点検出装置を備える撮像装置として、デジタルカメラシステムを例に説明するが、これに限定されるものではない。

本実施形態が備える焦点検出装置は、被写体に応じて焦点検出領域（以下ＡＦ枠と呼ぶことがある）の設定を行うことで、遠近競合の発生を軽減することができる。具体的には、焦点検出領域として用いる第１の焦点検出領域（第１のＡＦ枠と呼ぶことがある）と、第１の焦点検出領域の周辺に位置し、焦点検出領域として用いる領域の候補である第２の焦点検出領域（第２のＡＦ枠と呼ぶことがある）とを設定する。そして、第２の焦点検出領域が、第１の焦点検出領域と同じ被写体又はほぼ同じ距離に位置する被写体をとらえていると判断したときは第１の焦点検出領域と第２の焦点検出領域とを焦点検出領域とし、第３の焦点検出領域に対して合焦動作を行う。一方、第２の焦点検出領域が、第１の焦点検出領域がとらえている被写体と、異なる距離に位置する被写体をとらえていると判断した場合、第２の焦点検出領域は焦点検出領域として用いず、第１の焦点検出領域を焦点検出領域として合焦動作を行う。第２の焦点検出領域が複数存在する場合、第１の焦点検出領域と同じ被写体又はほぼ同じ距離に位置する被写体をとらえていると判断した第２の焦点検出領域のみを第１の焦点検出領域とともに焦点検出領域として用いても良い。このように、実際の焦点検出を行う際に用いる焦点検出領域（第３の焦点検出領域と呼ぶことがある）を設定することにより、遠近競合の発生を軽減することができる。

以下、本実施形態についてより具体的に説明をする。

図１は、本発明の実施形態におけるレンズユニット及びカメラ本体を備えたレンズ交換式カメラシステムの構成を示すブロック図である。図１に示すように、本実施形態におけるカメラシステムは、レンズユニット１０及びカメラ本体２０から構成されている。レンズユニット１０全体の動作を統括制御するレンズ制御部１０６と、カメラ全体の動作を統括するカメラ制御部２０７がデータを通信している。本実施形態において、カメラ制御部２０７は、ＣＰＵ、ＭＰＵ等のプロセッサとメモリ等の記憶手段とで構成される。カメラ制御部２０７は演算回路を備え、該演算回路でプロセッサが行う一部の演算機能を実行してもよい。なお、本実施形態ではレンズ交換式カメラを例に説明するが、レンズと一体型のカメラにおいても本発明を適用可能である。

まず、レンズユニット１０の構成について説明する。レンズユニット１０は、固定レンズ１０１、ズームレンズ１０８、絞り１０２、フォーカスレンズ１０３を備えて構成される撮影光学系を有する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、焦点調節を行う。ズームレンズ１０８は、ズームレンズ駆動部１０９によって駆動されることにより、ズームの調節を行う。なお、ズーム機能がないレンズユニット１０を用いることもできる。

絞り駆動部１０４、フォーカスレンズ駆動部１０５、ズームレンズ駆動部１０９はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３およびズームレンズ１０８の位置が決定される。ユーザーによりレンズ操作部１０７を介してフォーカスやズームなどの操作が行われた場合には、レンズ制御部１０６がユーザー操作に応じた制御を行う。レンズ制御部１０６は、後述するカメラ制御部２０７から受信した制御命令・制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５、ズームレンズ駆動部１０９の制御を行う。また、レンズ制御部１０６は、レンズ情報（例えば、撮影光学系についての情報）をカメラ制御部２０７に送信する。

次に、本実施形態に係る自動焦点調節装置を備えるカメラ本体２０の構成について説明する。カメラ本体２０は、レンズユニット１０の撮影光学系を通過した光束から撮像信号を取得可能に構成されている。撮像素子２０１は、ＣＣＤやＣＭＯＳセンサ等、光電変換部を複数有するセンサを用いて構成される。撮影光学系を通過した光束が撮像素子２０１の受光面上に結像し、形成された被写体像がフォトダイオードによって入射光量に応じた電荷に変換（光電変換）される。各フォトダイオードに蓄積された電荷は、カメラ制御部２０７の指令に従ってタイミングジェネレータ２０９から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

図２の（Ａ）、（Ｂ）は、撮像素子の受光面の一部の画素構成を表している。それぞれの図面において、Ｇｒ又はＧｂは緑色の分光感度を有する画素、Ｒは赤色の分光感度を有する画素、Ｂは青色の分光感度を有する画素である。撮像面位相差検出方式の焦点調節（以下、撮像面位相差ＡＦ）に対応しない撮像素子の場合、例えば図２（Ａ）に示すようなベイヤ−配列の画素構成となる。一方、本実施形態の撮像素子２０１は、撮像面位相差ＡＦを行うために、図２（Ｂ）に示すように１つの画素に複数（本実施形態では２つ）のフォトダイオードを保持している。図２（Ｃ）は、本実施形態の撮像素子２０１のうち、１つの画素の断面を示す模式図である。本実施形態の撮像素子２０１は、光束をマイクロレンズ２１１で分離し、２つのフォトダイオード（フォトダイオードＡ、Ｂ）のそれぞれで結像することで、撮像用とＡＦ用の２つの信号が取得可能に構成されている。２つのフォトダイオードの信号を加算した信号（像信号Ａ＋Ｂ）が撮像信号であり、個々のフォトダイオードの信号（像信号Ａ、像信号Ｂ）がＡＦ用の２つの像信号になっている。フォトダイオードＡとフォトダイオードＢとは、撮影光学系の射出瞳の異なる領域を通過した光束を受光するため、像信号Ｂは像信号Ａに対して視差を有している。このように、視差を有する一対の像信号を、視差画像信号と呼ぶことがある。

２つの像信号の取得方法は、２つの像信号のそれぞれを読み出す構成に限られない。例えば、処理負荷を考慮して、一対の視差画像信号を加算した信号（像信号Ａ＋Ｂ）と一方の像信号（例えば像信号Ａ）を読み出し、その差分からもう一方の像信号（例えば像信号Ｂ）を取得する構成でもよい。また、撮像信号とＡＦ用の２つの信号の計３つの信号を読み出す構成としてもよい。尚、加算した信号と一方の像信号も視差を有する。

後述するＡＦ信号処理部２０４でＡＦ用の２つの像信号に対して相関演算を行い、位相差検出方式の焦点検出を行うことで、像ずれ量や各種信頼性情報を算出する。

なお、本実施形態では１つの画素に２つのフォトダイオードを有する構成としているが、フォトダイオードの数は２つに限定されず、それ以上であってもよい。また、撮像面位相差ＡＦ対応の撮像素子の構成として、本実施形態のように１つの画素に複数のフォトダイオードを設ける構成に限らず、図２（Ｄ）のように、撮像素子中に焦点検出用の画素Ｓ_ＨＡ、Ｓ_ＨＢを設ける構成であってもよい。この構成の場合は、焦点検出用の画素も撮像用の画素と同様にそれぞれ１つのフォトダイオードを有するが、受光面の一部（図２（Ｄ）の場合は半分）に遮蔽部（図中斜線部）が設けられている。そのため、焦点検出用の画素Ｓ_ＨＡからはＡ信号が、焦点検出用の画素Ｓ_ＨＢからはＢ信号が取得できる。

撮像素子２０１から読み出された撮像信号及びＡＦ用信号は、ＣＤＳ／ＡＧＣコンバータ２０２に入力され、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣコンバータ２０２は、撮像信号をカメラ信号処理部２０３およびＡＦ評価値生成部２１０に、撮像面位相差ＡＦ用の信号をＡＦ信号処理部２０４に出力する。

カメラ信号処理部２０３は、ＣＤＳ／ＡＧＣコンバータ２０２から出力された撮像信号を表示部２０５に送信する。表示部２０５は、ＬＣＤや有機ＥＬ等を用いて構成される表示デバイス（表示部材）であり、撮像信号に基づく画像を表示する。また、撮像信号の記録を行うモードの時には、撮像信号は記録部２０６に記録される。

ＡＦ信号処理部２０４は、ＣＤＳ／ＡＧＣコンバータ２０２から出力されたＡＦ用の２つの像信号を基に相関演算を行い、像ずれ量と信頼性に関する情報を算出する。信頼性に関する情報としては、二像一致度（ｆｎｃｌｖｌ）、二像急峻度（Ｍａｘｄｅｒ）、コントラスト情報、飽和情報、キズ情報等を用いることができる。そして、算出した像ずれ量と信頼性情報をカメラ制御部２０７へ出力する。相関演算の詳細については、図７乃至図９を用いて後述する。

ＡＦ評価値生成部２１０は、撮像信号から高周波成分を抽出して、コントラスト検出方式の焦点検出（以下、コントラストＡＦ）に用いられるＡＦ評価値を生成し、カメラ制御部２０７に出力する。ＡＦ評価値は、撮像素子２０１からの出力信号に基づいて生成される画像の鮮鋭度（コントラスト状態）を表すものである。鮮鋭度は撮影光学系の焦点状態（合焦の程度）によって変化するので、結果的に撮影光学系の焦点状態を表す信号となる。なお、ＡＦ評価値を生成するのに用いる撮像素子２０１上の領域は、位相差検出用の像信号を生成するのに用いる領域と対応する領域を含むものとする。

カメラ制御部２０７は、カメラ本体２０内の各構成と情報をやり取りして制御を行う。カメラ制御部２０７は、カメラ本体２０内の処理だけでなく、カメラ操作部２０８からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録の開始、フォーカス制御の開始、記録画像の確認等、ユーザーが操作したカメラ機能を実行する。また、先述したように、カメラ制御部２０７はレンズユニット１０内のレンズ制御部１０６と情報をやり取りし、撮影光学系の制御命令・制御情報を送ったり、レンズユニット内の情報を取得したりする。

次に、カメラ制御部２０７が実行するＡＦ処理全体のシーケンスについて図３を用いて説明する。以下で説明するステップＳ３０１〜Ｓ３０２の処理は、カメラの動作周期に基づいて周期的に実行される。

まず、ステップＳ３０１において、カメラ制御部２０７は、ＡＦ信号処理部２０４と共にＡＦ枠設定・焦点検出処理を行う。ＡＦ枠設定・焦点検出処理は、焦点検出領域であるＡＦ枠の設定と、設定されたＡＦ枠を用いた撮像面位相差検出方式の焦点検出処理を行う。本処理の詳細については、図４を用いて後述する。

ステップＳ３０２では、カメラ制御部２０７は、ステップＳ３０１の焦点検出処理により算出されたデフォーカス量に基づいて、レンズ制御部１０６に対してフォーカスレンズを駆動する旨の命令を送信し、ＡＦ処理を終了する。

次に、ステップＳ３０１におけるＡＦ枠設定・焦点検出処理について、図４を用いて説明する。図４は、ＡＦ枠設定・焦点検出処理の流れを示すフローチャートである。本実施形態において、図４に示す各処理（Ｓ７０１〜Ｓ７０６）はカメラ制御部２０７が、ＡＦ信号処理部２０４やＡＦ評価値生成部２１０等を制御して行うものとするが、これに限定されるものではない。ステップＳ７０１では、ユーザーの操作を受けて、第１のＡＦ枠の位置の設定を行う。続いてステップＳ７０２では、第１のＡＦ枠の位置の周辺に、第２のＡＦ枠の配置処理を行う。ここで配置されるＡＦ枠は、実際の焦点検出に用いる第３のＡＦ枠となる候補のＡＦ枠であり、以下のステップＳ７０３、Ｓ７０４の結果を用いて第３のＡＦ枠を構成するＡＦ枠とするか否かを決定する。続いてステップＳ７０３では、第１のＡＦ枠と第２のＡＦ枠（併せて、仮のＡＦ枠と呼ぶことがある）に対して、撮像面位相差方式による焦点検出と、その焦点検出結果の信頼性の取得とを行う。続いてステップＳ７０４では、第１のＡＦ枠に対してコントラスト方式による焦点検出処理を行い、被写体の状態を判定する。被写体の状態判定では、コントラスト情報から、被写体に対して合焦しているか否か、低コントラストの被写体か否かの判定を行う。続いてステップＳ７０５では、第３のＡＦ枠の設定・焦点検出処理を行う。この処理は、仮のＡＦ枠を構成する各領域における焦点検出結果の信頼性を用いて、第３のＡＦ枠の位置及びサイズを決定・設定し、設定された第３のＡＦ枠を用いて焦点検出する処理である。ステップＳ７０６では、カメラ制御部２０７は、第１のＡＦ枠の表示処理を行う。

以下、各ステップについてより詳細に説明をする。

ステップＳ７０１では、ユーザーによる焦点検出範囲の指定を受けて、第１のＡＦ枠の設定を行う。ここで設定される第１のＡＦ枠は、後述する焦点検出処理を行う際の単位領域であり、焦点検出に実際に用いられる第３のＡＦ枠の一部もしくは全部を構成する。カメラ制御部２０７は、不図示の入力手段を介してユーザーから焦点検出範囲の入力を受け、第１のＡＦ枠を設定する。設定される第１のＡＦ枠の数は、焦点検出範囲の大きさに応じて変えてもよいし、第１のＡＦ枠の数を固定し、焦点検出範囲の大きさに応じて第１のＡＦ枠の大きさを変えても良い。また、焦点検出範囲の大きさ、第１のＡＦ枠の数ともに固定であっても良い。焦点検出範囲の設定には、中央固定モード、枠移動モード、多点、顔優先モードなどの複数のＡＦモードがあり、ユーザーがモード選択を行った後に、不図示の入力装置を介して焦点検出範囲が指定される。顔優先モードの際は、カメラ本体２０が顔を検出し、検出した顔に対して自動で焦点検出範囲を設定してもよい。この場合、ユーザーはＡＦモードを選択するのみで焦点検出範囲の位置の指定を行うことができる。なお、入力方法や各ＡＦモードについては詳細な説明は省略するが、本実施形態では、ユーザーが任意の１点を指定した場合の制御を例に説明することとする。

ステップＳ７０２では、カメラ制御部２０７は、第１のＡＦ枠の位置の周辺に、第２のＡＦ枠の配置処理を行う。上述のように、第２のＡＦ枠は、第３のＡＦ枠となる候補のＡＦ枠である。また、ここで配置された第２のＡＦ枠と第１のＡＦ枠とは、後述する、撮像面位相差方式による焦点検出（Ｓ７０３）に用いる信号と、コントラスト方式の焦点検出（Ｓ７０４）に用いる信号とを取得するための仮のＡＦ枠として用いる。第２のＡＦ枠の配置処理の詳細については、図５を用いて説明する。

図５（Ａ）、（Ｂ）は、カメラ本体２０の撮像範囲を示す図であり、１つのフレームで取得される撮影画像である。図５（Ａ）では、合焦位置から遠距離にある被写体１０００（図中の背景）に対して、第１のＡＦ枠１００１が設定されている。このとき、撮像素子のうち、第１のＡＦ枠１００１内を構成する各画素の信号が取得される画素の領域が、第１のＡＦ枠に対応する画素領域として設定されている。第１のＡＦ枠１００１は、表示枠であり、ユーザーがモニター等の表示部で確認することのできる枠である。しかし、実際には、図５（Ｂ）に示すように、第１のＡＦ枠は焦点検出方向（相関演算において一対の像信号をシフトさせる方向、図中の横方向）に垂直な方向に３つ（３行）に分割されている。加えて、本ステップにおいて、第１のＡＦ枠１００１の焦点検出方向における両隣に、第２のＡＦ枠１００２を配置する。第１のＡＦ枠１００１の両端の画素は、第２のＡＦ枠１００２の第１のＡＦ枠側の端の画素と隣り合っている（このとき、第１のＡＦ枠と第２のＡＦ枠とが隣接していると呼ぶ）ことが好ましいが、第１のＡＦ枠と第２のＡＦ枠とが数画素離れていてもよい。図５（Ｃ）は、３行分設定されている第１のＡＦ枠１００１と第２のＡＦ枠１００２のうち、１行分を拡大した模式図である。第１のＡＦ枠１００４（Ｄ２）に対して、第２のＡＦ枠１００３、１００５（Ｄ１、Ｄ３）を配置する。また、点線で示した第１のＡＦ枠に対応する領域１００６は、後述するステップＳ７０４でコントラスト評価値を取得する領域であり、本図においては第１のＡＦ枠１００４と一致する。尚、図中では省略しているが、第１及び第２のＡＦ枠内の領域Ｄ１〜Ｄ３のそれぞれは、焦点検出方向において複数の画素を有するものとする。

図５（Ｄ）は、Ｄ１〜Ｄ３の領域における、像信号のコントラストを示すグラフであり、横軸が画素、縦軸が輝度信号を示す。図５（Ｄ）に示すように、被写体１０００の場合、合焦位置から遠いため、画素毎の輝度信号１００７の差が小さく、Ｄ１〜Ｄ３の各領域におけるコントラストが低く、輝度信号１００７は特徴的な形状にならない。この場合、Ｄ１、Ｄ２、Ｄ３の各領域におけるＡＦ評価値も明確な特徴がなく、像信号Ａと像信号Ｂの相関演算の信頼度が低下するため、デフォーカス量の信頼度も低下する。しかしながら、Ｄ１〜Ｄ３を結合した領域のコントラスト値は、分割された領域のコントラスト値よりも、大きくなるため、特徴が出やすくなり、像信号Ａと像信号Ｂの相関性を見出しやすい。尚、本実施形態においてステップＳ７０１、Ｓ７０２は、カメラ制御部２０７が第１及び第２のＡＦ枠を設定する設定手段（第１）として機能することで実行される。第２の焦点検出領域は、複数設定されることが好ましい。

次に、ステップＳ７０３における撮像面位相差方式による焦点検出処理及び焦点検出の信頼性取得処理について、図６を用いて説明する。ステップＳ７０３は、第１及び第２のＡＦ枠のそれぞれから一対の視差画像信号を取得し、それぞれのＡＦ枠に対して位相差方式の焦点検出を行う。本ステップは、第１の焦点検出を行い、該焦点検出の信頼性を取得するステップであり、カメラ制御部２０７とＡＦ信号処理部２０４とが第１の焦点検出手段及び信頼性取得手段として機能することで実行される。

図６は、撮像面位相差方式の焦点検出処理の流れを示すフローチャートである。尚、本実施形態では、図６に示す焦点検出処理をカメラ制御部２０７で行うが、これに限定されない。

まず、ステップＳ８０１では、カメラ制御部２０７は、ステップＳ７０１、Ｓ７０２で設定した第１又は第２のＡＦ枠から、一対の視差画像信号を取得する。次に、ステップＳ８０２では、カメラ制御部２０７は、ステップＳ８０１で取得した一対の視差画像信号を用いて相関演算を行うことにより、第１又は第２のＡＦ枠のそれぞれ相関量を算出する。

続いて、ステップＳ８０３では、カメラ制御部２０７は、ステップＳ８０２で算出した相関量から相関変化量を算出する。そして、ステップＳ８０４では、カメラ制御部２０７は、ステップＳ８０３で算出した相関変化量からピントずれ量を算出する。

次に、ステップＳ８０５では、カメラ制御部２０７は、ステップＳ８０４で算出したピントずれ量がどれだけ信頼できるのかを表す信頼性を算出する。そして、ステップＳ８０６では、カメラ制御部２０７は、Ｓ８０４で取得したピントずれ量をデフォーカス量に変換する。これらＳ８０１〜Ｓ８０６の処理をＳ７０１、７０２で設定されたＡＦ枠のそれぞれに対して行う。

次に、図７から図９を用いて、図６で説明した撮像面位相差ＡＦの焦点検出処理を詳細に説明する。

図７は、焦点検出処理で取り扱う像信号を取得する領域の一例を表した図である。図７（Ａ）は、撮像素子２０１の受光面に並ぶ画素アレイ４０１上の焦点検出範囲４０２を示す図である。相関演算を行う為に必要な領域４０４は、焦点検出範囲４０２および相関演算に必要なシフト領域４０３を合わせた領域である。図７（Ａ）中のｐ、ｑ、ｓ、ｔは、それぞれｘ軸方向の座標を表す。ここで、ｐからｑは領域４０４を表し、ｓからｔは焦点検出範囲４０２を表す。

図７（Ｂ）は、焦点検出範囲４０２を５つに分割した第１のＡＦ枠４０５〜４０９を示す図である。一例として、本実施形態では、この第１のＡＦ枠単位でピントずれ量を算出し、焦点検出を行う。本実施形態では、分割した複数の第１のＡＦ枠の中から最も信頼できる領域の焦点検出結果を選び、そのＡＦ枠で算出したピントずれ量を実際のＡＦ動作に用いる。なお、第１のＡＦ枠の分割数は上記に限定されない。

図７（Ｃ）は、図７（Ｂ）の第１のＡＦ枠４０５〜４０９を連結した領域４１０を示す図である。実施形態の変形例として、このように第１のＡＦ枠を連結した領域４１０から算出したピントずれ量をＡＦに用いても良い。

また、図７（Ｄ）のように、長さの異なる複数の第１のＡＦ枠で１つの焦点検出範囲４１８を構成しても良い。図７（Ｄ）は、第１のＡＦ枠の配置を示した図であり、焦点検出範囲４１８内に７つの第１のＡＦ枠４１１〜４１７が存在する。同図では、撮影画面に対する水平方向の比率が２５％である大きさの第１の枠が２つ（４１１、４１７）、さらに、１２．５％である大きさの第１の枠が５つ（４１２〜４１６）配置されている。このように、異なる大きさの複数の焦点検出領域を、撮影画面に対する比率が１２．５％の大きさの領域数＞２５％の大きさの領域数となるように配置する。そして、７つの第１のＡＦ枠から得られる焦点検出結果を組み合わせて、１つの有効デフォーカス量および有効デフォーカス方向を算出する。この有効デフォーカス量もしくは有効デフォーカス方向を用いて、フォーカスレンズ１０３を駆動させてピント合わせを行っても良い。

このように、図７（Ｄ）の例では、撮像範囲に対する比率が小さい第１のＡＦ枠４１２〜４１６の数を比率が大きい第１のＡＦ枠４１１、４１７の数よりも多く配置することで、より被写体にピントを合わせることが可能となる。また、撮像範囲に対する第１のＡＦ枠の比率を小さくすることで、距離の異なる被写体によるＡＦへの影響を軽減する。さらに、撮影画面に対する焦点検出領域の比率の小さいエリアだけでなく比率の大きい領域を配置することで、焦点検出範囲から被写体が抜けることにより発生するピントのふらつきを軽減する。つまり、一時的に被写体が焦点検出範囲から抜けてしまっても、撮影画面に対する比率の大きい領域で被写体を捉えたままピントを維持することが可能となる。なお、焦点検出領域の配置の仕方、領域の広さ等は、本実施形態に挙げた内容に限られるものではなく、発明の要旨を逸脱しない範囲の形式であれば良い。

図８は、図７で設定した焦点検出領域から取得した視差画像信号を示す図である。横軸が像信号を取得した位置、縦軸が輝度を示す。ｓからｔが焦点検出範囲を表し、ｐからｑがシフト量を踏まえた相関演算に必要な範囲である。またｘからｙは、分割した１つ分の第１のＡＦ枠を表す。

図８（Ａ）は、シフト前の一対の視差画像信号を波形で表した図である。実線が像信号Ａの波形５０１ａ、破線が像信号Ｂの波形５０２ａを示している。符号４０５から４０９は、図７の分割した各第１のＡＦ枠を表している。

図８（Ｂ）は、図８（Ａ）のシフト前の像信号の波形５０１ａ、５０２ａをプラス方向にシフトしたときの像信号の波形５０１ｂ、５０２ｂを示す図である。一方、図８（Ｃ）は、図８（Ａ）のシフト前の像信号の波形５０１ａ、５０２ａをマイナス方向にシフトしたときの像信号の波形５０１ｃ、５０２ｃを示す図である。相関量を算出する際には、それぞれ矢印の方向に像信号Ａ、像信号Ｂを１ビットずつシフトする。

続いて、相関量ＣＯＲの算出法について説明する。まず、図８（Ｂ）と（Ｃ）で説明した通り、像信号Ａと像信号Ｂを１ビットずつシフトしていき、そのときの像信号Ａと像信号Ｂの差の絶対値の和を算出する。ここで、シフト量をｉで表し、最小シフト数は図８中のｐ−ｓ、最大シフト数は図８中のｑ−ｔである。また、ｘは焦点検出領域の開始座標、ｙは焦点検出領域の終了座標である。これらを用いて、以下の式（１）によって相関量ＣＯＲを算出することができる。

図９（Ａ）は、相関量を波形で示した図である。グラフの横軸はシフト量ｉを示し、縦軸は相関量ＣＯＲを示す。相関量の波形６０１において、極値周辺の領域６０２、６０３が示されている。この中でも相関量が小さい方ほど、Ａ像（像信号Ａに基づく像とする）とＢ像（像信号Ｂに基づく像とする）の一致度が高いといえる。

続いて、相関変化量ΔＣＯＲの算出法について説明する。図９（Ａ）の相関量波形より、１シフト飛ばしの相関量の差から相関変化量を算出する。この時、シフト量をｉで表し、最小シフト数は図８中のｐ−ｓ、最大シフト数は図８中のｑ−ｔである。これらを用いて、以下の式（２）によって相関変化量ΔＣＯＲを算出することができる。
ΔＣＯＲ［ｉ］＝ＣＯＲ［ｉ−１］−ＣＯＲ［ｉ＋１］
｛（ｐ−ｓ＋１）＜ｉ＜（ｑ−ｔ−１）｝ （２）

図９（Ｂ）は、相関変化量ΔＣＯＲを波形で示した図である。グラフの横軸はシフト量を示し、縦軸は相関変化量ΔＣＯＲを示す。相関変化量の波形６０４において、領域６０５や６０６で相関変化量がプラスからマイナスになる。このように相関変化量が０となるところをゼロクロスと呼ぶ。ゼロクロスにおいて最もＡ像とＢ像の一致度が高く、そのときのシフト量がピントずれ量となる。

図９（Ｃ）は、図９（Ｂ）の領域６０５の部分を拡大したもので、相関変化量波形６０４の一部分が示されている。図９（Ｃ）を用いて、ピントずれ量ＰＲＤの算出法について説明する。まず、ピントずれ量は整数部分βと小数部分αに分けられる。小数部分αは、図９（Ｃ）中の三角形ＡＢＣと三角形ＡＤＥの相似の関係から、以下の式（３）によって算出することができる。

続いて整数部分βは、図９（Ｃ）中より以下の式（４）によって算出することができる。
β＝ｋ−１ （４）

以上、αとβの和からピントずれ量ＰＲＤを算出することができる。

また、図９（Ｂ）のように複数のゼロクロス（領域６０５、６０６）が存在する場合は、ゼロクロスでの相関量変化の急峻性ｍａｘｄｅｒ（以下、急峻性と呼ぶ）が大きいところを第１のゼロクロスとする。この急峻性はＡＦのし易さを示す指標で、値が大きいほどＡＦし易い点であることを示す。急峻性は以下の式（５）によって算出することができる。
ｍａｘｄｅｒ＝│ΔＣＯＲ［ｋ−１］│＋│ＣＯＲ［ｋ］ （５）

以上のように、ゼロクロスが複数存在する場合は、急峻性によって第１のゼロクロスを決定する。このように決定した第１のゼロクロスを、ゼロクロスとし、上述の式（３）、（４）を用いてピントずれ量ＰＲＤを算出する。

続いて、焦点検出結果の信頼性の算出法の一例について説明する。ここでは、焦点検出結果としてピントずれ量を算出しているので、焦点検出結果の信頼性はピントずれ量の信頼性ともいえる。上述のように、焦点検出結果の信頼性として二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等を用いて判断することができる。像信号Ａ、Ｂの二像一致度ｆｎｃｌｖｌの算出方法について説明をする。二像一致度はピントずれ量の精度を表す指標で、値が小さいほど精度が良い。

図９（Ｄ）は、図９（Ａ）の領域６０２の部分を拡大したもので、相関量波形６０１の一部分が示されている。二像一致度は以下の式（６）によって算出できる。
（ｉ）│ΔＣＯＲ［ｋ−１］│×２≦ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ−１］＋ΔＣＯＲ［ｋ−１］／４
（ｉｉ）│ΔＣＯＲ［ｋ−１］│×２＞ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ］−ΔＣＯＲ［ｋ］／４ （６）

本実施形態では、第３のＡＦ枠を設定する際に、コントラスト評価値（ＡＦ評価値と呼ぶことがある）を用いた合焦度判定の結果を用いることがある。よって、ＡＦ枠変更処理の前に、第１のＡＦ枠に対応する領域におけるコントラスト評価値を取得し、合焦度判定を行う。ステップＳ７０４のコントラスト評価値取得処理について説明する。この処理では、ＡＦ評価値生成部２１０により、撮像信号から所定の周波数成分を抽出してＡＦ評価値を生成し、合焦度算出処理及び低コントラスト判定を行う。本実施形態において本ステップは、カメラ制御部２０７とＡＦ評価値生成部２１０とがコントラスト情報取得手段として機能することで実行される。ＡＦ評価値生成の方法としては、ＡＦ評価値生成部２１０内の焦点信号処理回路内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路内のバンドパスフィルタの設定値を変更することを意味する。なお、ＡＦ評価値の生成に関しては、既存の技術を用いて以下で説明する各種コントラスト評価値を生成することとし、詳細な説明は省略することとする。

続いて、図１０を用いて、合焦度算出処理及び低コントラスト判定の説明を行う。図１０（Ａ）は、撮像信号から生成されるコントラスト成分をグラフにしたもので、横軸にフォーカスレンズの位置、縦軸にＡＦ評価値を示している。本実施形態で使用するＡＦ評価値は２種類あり、輝度の最小値と最大値をピークホールドする値（最小値と最大値との差分）を示すＭＭＰ（９０１）、及び、撮像信号から特定の周波数成分を抽出した際に抽出された周波数成分の最大値ＴＥＰ（９０２）である。なお、本実施形態では一例として１．５ＭＨｚの周波数帯域を抽出して使っているが、この値に限定されない。ＴＥＰは合焦位置（９０３）を中心に山形状になっている。ＴＥＰは、フォーカスレンズが大ボケの状態から合焦に近づくにつれて、被写体のエッジがくっきりとしてくることにより、低周波数成分から高周波数成分が多くなるため、合焦位置でピークとなる。一方、輝度のコントラストを示すＭＭＰは、ピークの値であるため、画面内の被写体が変化しない限り大きさはほとんど変化しない。

この特性を利用して算出した簡易合焦度（合焦度、合焦度合いとも言う）を示したのが、図１０（Ｂ）である。簡易合焦度９０４は、ＴＥＰをＭＭＰで割って、ＭＭＰに対するＴＥＰの大きさを百分率で示したものであり、図１０（Ｂ）で示すように山形状になる。本実施形態では、ＭＭＰに対するＴＥＰの大きさが５５％以上を合焦、４０％以上を小ボケ、それ未満を大ボケと判定する。なお、この値は一例であり、被写体や条件によって判定の閾値を変更しても良い。この簡易合焦度が低いほど、フォーカスレンズの位置が合焦位置から離れている可能性が高く、簡易合焦度が高いほど、合焦位置から近い可能性が高くなる。

また、図１０（Ｃ）で示したグラフはコントラストを示すＭＭＰのグラフであり、被写体が高コントラストか低コントラストかの判定に用いられる。ＭＭＰのグラフ（９０５）は、判定のための閾値Ｔｈ１（９０７）よりもコントラストが高いため、高コントラストの被写体と判定される。一方、ＭＭＰのグラフ（９０６）は、判定のための閾値Ｔｈ１（９０７）よりもコントラストが低いため、低コントラストの被写体と判定される。

続いて、Ｓ７０５のＡＦ枠変更処理を図１１〜１３を用いて説明する。

図１１は本処理のフローチャートである。

ステップＳ１１０１では、焦点検出範囲を構成する第１のＡＦ枠で焦点検出可能か否かを判定し、検出可能であれば、ＡＦ枠の変更は行わず処理を終了する。そうでない場合は、Ｓ１１０２に進む。第１のＡＦ枠が複数ある場合、焦点検出可能なＡＦ枠が１つ以上あれば、第１のＡＦ枠で焦点検出可能と判定し、ＡＦ枠の変更は行わず処理を終了する。但し、焦点検出可能であるとは、焦点検出結果の信頼性が予め設定されている閾値以上であり、その焦点検出結果が信頼できると判断された状態のことを指す。一方、焦点検出結果の信頼性が閾値より小さく、その焦点検出結果が信頼できない判断された状態の場合は焦点検出可能ではないとみなす。焦点検出可能であることを焦点検出ＯＫ、焦点検出可能でないことを焦点検出ＮＧと呼ぶことがある。

ステップＳ１１０２では、第２のＡＦ枠はすべて焦点検出可能か否かを判定し、検出可能であればステップＳ１１０５に進み、そうでなければ、ステップＳ１１０３に進む。

本実施形態では、焦点検出できなかった第２のＡＦ枠が存在する場合、その枠は、同様に焦点検出ができなかった第１のＡＦ枠と同一被写体（光学系からの距離が同じ程度の異なる被写体を含むものとする）を捉えている可能性が高いと判断する。よって、ステップＳ１１０３では、第２のＡＦ枠のうち焦点検出が可能でない枠を特定し、その枠と第１のＡＦ枠を結合し、第３のＡＦ枠としてステップＳ１１０４に進む。ステップＳ１１０４では、第３のＡＦ枠に対してステップＳ７０３と同様の撮像面位相差ＡＦ処理を行い、処理を終了する。尚、本ステップでは、第３のＡＦ枠から一対の視差画像信号対を取得して相関演算を行うことで第３のＡＦ枠の相関量を取得するが、第３のＡＦ枠を構成する第１、第２のＡＦ枠それぞれの相関量を加算することで、第３のＡＦ枠の相関量を取得することもできる。本発明および本明細書では、このように、第１、第２のＡＦ枠それぞれの相関量を加算することも、枠の結合に含まれるものとし、相関量の加算により第３のＡＦ枠の相関量を取得することも、第３のＡＦ枠を用いた焦点検出と呼ぶ。

一方、第２のＡＦ枠すべてで焦点検出可能な場合、第２のＡＦ枠同士で遠近競合が生じているかを判定する（Ｓ１１０５〜Ｓ１１０６）。遠近競合が生じておらず、第１のＡＦ枠と同一被写体を捉えていると判定される第２の枠があればその枠と第１のＡＦ枠とを結合する（Ｓ１１０７〜１１１０）。ステップＳ１１０５では、遠近競合の閾値を設定する処理を行い、ステップＳ１１０６に進む。ステップＳ１１０５の遠近競合の閾値は、第２のＡＦ枠同士が同一被写体を捉えているか否かを判定するための閾値である。本実施形態では、枠と枠第２のＡＦ枠同士（図５（Ｂ）のＤ１、Ｄ３）のデフォーカス量の差分を用いて遠近競合が生じるか否かを判断するために、デフォーカス量の差分に閾値を設定するものとし、閾値を焦点深度の２倍と設定する。

Ｓ１１０６では、ステップＳ１１０５で設定した閾値を用いて、第２のＡＦ枠同士が遠近競合状態であるか否かを判断する。第２のＡＦ枠同士のデフォーカス量の差分と遠近競合の閾値を比較し、差分が閾値未満であるという比較結果が取得されたら、遠近競合が発生しないと判断してＳ１１０７に進む。一方、差分が閾値以上であるという比較結果が取得されたら、遠近競合が生じるとみなしてＡＦ枠を変更せずに処理を終了する。

Ｓ１１０７では、第２のＡＦ枠の焦点検出結果が合焦か非合焦かを判定する閾値を設定する。本実施例の場合、閾値を焦点深度の５倍と設定する。Ｓ１１０８は、Ｓ７０４で取得したコントラスト評価値を用いて、第１のＡＦ枠に対応する領域の合焦度が高い（合焦状態にある）か、否か（非合焦状態にある）を判定する。第１のＡＦ枠に対応する領域とは、位相差検出方式による焦点検出に用いる第１のＡＦ枠が、合焦状態にあるか否かを判定することができる程度に第１のＡＦ枠と一致する領域である。この判定には、予め定められた閾値を用いることができる。合焦状態であれば、Ｓ１１０９に進み、そうでない場合は、Ｓ１１１０に進む。

Ｓ１１０９では、第２のＡＦ枠の焦点検出結果がＳ１１０７で設定した合焦閾値以上であるかの判定を行い、閾値以上（第２のＡＦ枠が合焦状態）であれば、Ｓ１１１１に進み、そうでない場合は、枠を結合せずにＡＦ枠変更処理を終了する。

Ｓ１１１０では、第２のＡＦ枠の焦点検出結果がＳ１１０７で設定した合焦閾値未満であるかの判定を行い、閾値未満（第２のＡＦ枠が非合焦状態）であれば、Ｓ１１１１に進み、そうでない場合は、枠を結合せずにＡＦ枠変更処理を終了する。

Ｓ１１１１では、第２のＡＦ枠を第１のＡＦ枠と結合し、第３のＡＦ枠としてＳ１１０４に進み、第３のＡＦ枠に対してＡＦ処理を実行し、焦点検出結果を取得する。つまり、第１と第２のＡＦ枠が遠近競合状態でないとき、コントラスト方式による第１のＡＦ枠の合焦／非合焦判定結果と、像面位相差方式による第２のＡＦ枠の合焦／非合焦判定結果とが一致した場合は第１のＡＦ枠と第２のＡＦ枠とを結合する。

図１２は、本発明の効果について説明する図であり、合焦している被写体（花）１２０１と非合焦の被写体（木）１２０２があるシーンを示している。

図１２（Ａ１）において、表示されている焦点検出範囲１２０３をユーザーが１２０４で示す位置まで移動させた場合、第１のＡＦ枠１２０５と第２のＡＦ枠１２１５（１２１５ａ、１２１５ｂ）は、図１２（Ａ２）に示すように設定さる（Ｓ７０１、Ｓ７０２。但し、焦点検出範囲は分割せずに焦点検出する程度に小さいものとする）。このシーンの場合は、第１のＡＦ枠１２０５に捉えられた被写体１２０２が大ボケであるため、第１及び第２のＡＦ枠のそれぞれに対して像面位相差方式の焦点検出を行っても（Ｓ７０３）、図１２（Ａ４）のように、焦点検出がＮＧになる可能性が高い。しかしながら、本実施形態では、焦点検出がＮＧになった３つのＡＦ枠同士を結合して、３つのＡＦ枠を１枠として相関量を取得する（Ｓ１１０１、１１０２、１１０３、１１０４）ため、焦点検出がＯＫになる可能性が高まる。これは、ＡＦ枠が横方向に延長されたことによるものである。よって、図１２（Ａ１）のシーンにおいては、移動後の第１のＡＦ枠１２０５を第２のＡＦ枠１２１５、３枠を結合することで、焦点検出の可能性が高くなる。

続いて、図１２（Ｂ１）において、焦点検出範囲１２０３をユーザーが１２０７で示す位置まで移動させた場合について説明をする。このとき、移動後の第１のＡＦ枠１２０８と第２のＡＦ枠１２１８は、図１２（Ｂ２）に示すように設定されている。このシーンの場合は、第１のＡＦ枠１２０８と図中右側の第２のＡＦ枠１２１８ｂが大ボケの被写体１２０２を捉えていると同時に、図中左側の第２のＡＦ枠１２１８ａが合焦している被写体１２０１を捉えている。よって、焦点検出結果は図１２（Ｂ４）のように、焦点検出がＮＧになる枠（被写体１２０２を捉えている枠）と検出ＯＫになる枠（被写体１２０１を捉えている枠）が混在する可能性が高い。ここで、図１２（Ｂ５）のように、３枠を結合して１枠として焦点検出をしてしまうと、遠近が競合することにより、正しい測距ができない可能性が高い。このシーンにおいては、焦点検出結果が合焦付近と判定されている枠があるため、３枠を結合して焦点検出を行うと、その枠の影響を受け、合焦状態であると判定してしまう事がある。

本実施形態では、第２のＡＦ枠のうち焦点検出ＮＧの枠がある場合には、焦点検出ＮＧの枠のみを第１のＡＦ枠と結合し、第３のＡＦ枠１２０９とする（Ｓ１１０２、１１０３）。図１２（Ｂ４）のように、焦点検出がＮＧになった２枠を結合して１枠にし、焦点検出ＯＫのエリアは焦点検出に不使用とすることにより、遠近競合の影響を回避することが可能になる。この場合、結合された枠には合焦付近の枠が含まれないため、焦点検出結果は無限方向となる可能性が高い。よって、遠近競合状態の場合には焦点検出結果の可能／不可能を特定し、不可能な第２のＡＦ枠のみを第１のＡＦ枠と結合することにより、ＡＦ枠が横方向に延長され、焦点検出がＯＫになる可能性が高まる。

続いて図１３において、第１のＡＦ枠の焦点検出がＮＧで、それと隣接する第２のＡＦ枠が焦点検出ＯＫだった場合の説明を行う。まず、図１３（Ａ１）は、合焦付近の被写体１３０２に対して、第１のＡＦ枠１３０１及び第２のＡＦ枠１３０１（１３０１ａ、１３０１ｂ）が設定されているシーン（シーンＡ）である。このシーンの場合、第１のＡＦ枠内に、被写体１３０２の特徴が少ない部分が入ってしまい、第１のＡＦ枠１３０１での焦点検出結果がＮＧになってしまったシーンである。しかし、隣接した第２のＡＦ枠１３１１は共に、焦点検出がＯＫになり、デフォーカス量が算出できている。こういったシーンの場合は、第１のＡＦ枠１３０１に対応する領域おけるコントラスト評価値を用いた合焦度判定の結果（Ｓ１１０８）と第２のＡＦ枠の合焦度判定の結果（Ｓ１１０９、１１１０）に応じて、第２のＡＦ枠を結合するか否かを決定する。第１のＡＦ枠に対応する領域のコントラスト評価値から、合焦状態であると判定されかつ、第２のＡＦ枠の焦点検出結果が合焦付近であれば、第１と第２のＡＦ枠を結合する。また、第１のＡＦ枠に対応する領域のコントラスト評価値から非合焦状態であると判定されかつ、第２のＡＦ枠の焦点検出結果（Ｄ１／Ｄ３の合焦度）が合焦付近でない場合、第１と第２のＡＦ枠を結合する。シーンＡは、図１３（Ｄ）のように、コントラスト評価値から判定する合焦度（コントラストの合焦度）と、２つの第２のＡＦ枠の合焦度が全て合焦で一致する。よって、ステップＳ１１０８、１１０９、１１１１と進み、図１３（Ａ２）ように、第１と第２のＡＦ枠を結合した枠である第３のＡＦ枠１３０７を用いて焦点検出を行う。なお、シーンＡの被写体においては、第２のＡＦ枠１３１１ａと１３１１ｂの焦点検出結果を平均して使用しても良いし、信頼度の高い方を使用しても良い。どちらでも、遠近競合を回避することが可能になる。

同様に、図１３（Ｂ１）は合焦付近の被写体１３０３と遠距離の被写体１３０４に対して、第１のＡＦ枠１３０１と第２のＡＦ枠１３１１が設定されているシーン（シーンＢ）である。第１のＡＦ枠１３０１は被写体１３０４を、２つの第２のＡＦ枠１３１１は被写体１３０３を捉えている。シーンＢの場合は、図１３（Ｄ）に示すように、コントラストの合焦度と第２のＡＦ枠の合焦度とが一致しない。よって、ステップＳ１１０８、１１１０、と進み、ＡＦ枠を結合せず、第１のＡＦ枠１３０１を第３のＡＦ枠１３０８として用いて焦点検出を行う（図１３（Ｂ２））。これにより遠近競合を回避することが可能になる。

続いて、図１３（Ｃ１）は合焦付近の被写体１３０５と遠距離の被写体１３０６の中間に第１のＡＦ枠１３０１が設定されているシーン（シーンＣ）である。このとき、第２のＡＦ枠のうち一方（１３１１ａ）は被写体１３０５を、もう一方（１３１１ｂ）は被写体１３０６を、それぞれ捉えている。シーンＣの場合は、図１３（Ｄ）に示すように、第２のＡＦ枠の焦点検出結果同士が遠近競合している。よって、ステップＳ１１０６でＮＯへ進み、第１のＡＦ枠１３０１を第３のＡＦ枠１３０９として用いて焦点検出を行う（図１３（Ｃ２））。これにより、遠近競合を回避することが可能になる。

以上、説明したように、第１及び第２のＡＦ枠の焦点検出結果とコントラストの合焦度の相関関係に応じて、第１と第２のＡＦ枠を結合するか否かを判定し、第３のＡＦ枠を設定することにより、さまざまなシーンに対して本実施形態の効果を得ることができる。尚、本実施形態においては、本ステップはカメラ制御部２０７が設定手段（第２）として機能することにより実行される。

図４に戻り、ステップＳ７０６では、カメラ制御部２０７は、第１のＡＦ枠の表示処理を行う。これは、ユーザーが指定した第１のＡＦ枠を視覚的に表示するという目的である。なお、本実施形態では、ユーザーが指定した第１のＡＦ枠とは異なる第３のＡＦ枠を内部に設定するが、表示部には内部で設定した第３のＡＦ枠を通知せずに、ユーザーが指定した第１のＡＦ枠を表示させ続ける処理を行う。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記憶した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等のプロセッサー）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体および制御プログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明にかかる焦点調節装置は、前述の焦点検出装置と、焦点検出装置による第３の焦点検出領域の焦点検出結果を用いて、撮影光学系が有するフォーカスレンズ位置の制御を行うフォーカスレンズ制御手段とを備える。尚、レンズ交換式のカメラのように、撮影光学系が焦点調節装置と別体として構成されていても良く、この場合、焦点調節装置は、撮影光学系に対してフォーカスレンズの位置情報を送信する。撮影光学系は、フォーカスレンズ位置を移動させる移動手段を備えており、この移動手段が焦点調節装置から送信されるフォーカスレンズの位置情報に基づいてフォーカスレンズを移動させれば焦点調節を行うことができる。また、本発明に掛る撮像装置は、前述の焦点調節装置と、画像信号から画像を生成する画像生成手段と、該画像を記録部に記録させる記録手段とを備えることができる。記録部としては、例えば外部の記憶装置を用いることもできる。

以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

２０ カメラ本体
１０３ フォーカスレンズ
１０６ レンズ制御部
２０１ 撮像素子
２０４ ＡＦ信号処理部
２０７ カメラ制御部
２１０ ＡＦ評価値生成部
１２０１ 被写体
１２０２ 被写体
１２０３ 第１のＡＦ枠
１２０４ 位置
１２０５ 移動後の第１のＡＦ枠
１２１５ 第２のＡＦ枠
１２０６ 第３のＡＦ枠
１２０７ 位置
１２０８ 移動後の第１のＡＦ枠
１２１８ 第２のＡＦ枠
１２０９ 第３のＡＦ枠

Claims (20)

1. 光電変換部を複数有し、一対の視差画像信号と撮像信号とを出力する撮像素子と、
   前記撮像信号に基づく画像に対して、第１の焦点検出領域と、前記焦点検出領域の周辺に位置する第２の焦点検出領域とを設定する第１の設定手段と、
   前記第１の焦点検出領域と前記第２の焦点検出領域とのそれぞれに対応する、前記一対の視差画像信号を取得し、前記一対の視差画像信号を用いて、前記第１の焦点検出領域と前記第２の焦点検出領域のそれぞれに対して位相差検出方式の焦点検出を行う第１の焦点検出手段と、
   前記第１の焦点検出手段による前記第１の焦点検出領域と前記第２の焦点検出領域との焦点検出の信頼性を取得する信頼性取得手段と、
   前記信頼性取得手段により取得した、前記第１の焦点検出領域と前記第２の焦点検出領域との焦点検出の信頼性を用いて、第３の焦点検出領域を決定する第２の設定手段と、
   前記第３の焦点検出領域を用いて焦点検出を行う第２の焦点検出手段と、を備え、
   前記第２の設定手段は、
   前記第１の焦点検出領域の焦点検出結果の信頼性が第１の閾値未満であり、且つ、
   前記第２の焦点検出領域の焦点検出結果の信頼性が前記第２の閾値以上のとき、
   前記第１の焦点検出領域を第３の焦点検出領域とすることを特徴とする焦点検出装置。
2. 前記第２の設定手段は、前記第１の焦点検出領域の焦点検出結果の信頼性が第１の閾値未満であり、且つ、前記第２の焦点検出領域の前記焦点検出結果の信頼性が第２の閾値未満のとき、前記信頼性が前記第２の閾値未満の前記第２の焦点検出領域と、前記第１の焦点検出領域とを前記第３の焦点検出領域とすることを特徴とする請求項１に記載の焦点検出装置。
3. 前記第１の設定手段は、前記第２の焦点検出領域を複数設定し、
   前記第２の設定手段は、複数の前記第２の焦点検出領域のうち、前記信頼性が前記第２の閾値未満の前記第２の焦点検出領域と前記第１の焦点検出領域とを前記第３の焦点検出領域とすることを特徴とする請求項１又は２に記載の焦点検出装置。
4. 複数の前記第２の焦点検出領域が、前記信頼性が前記第２の閾値以上の前記第２の焦点検出領域と前記信頼性が前記第２の閾値未満の前記第２の焦点検出領域とを含むとき、
   前記第２の設定手段は、前記信頼性が前記第２の閾値以上の前記第２の焦点検出領域は前記第３の焦点検出領域としないことを特徴とする請求項３に記載の焦点検出装置。
5. 前記第２の設定手段は、
   前記第１の焦点検出領域の焦点検出結果の信頼性が前記第１の閾値以上のとき、前記第１の焦点検出領域を第３の焦点検出領域とすることを特徴とする請求項１乃至３の何れか１項に記載の焦点検出装置。
6. 前記第１の焦点検出領域に対応する領域のコントラスト情報を取得して前記第１の焦点検出領域が合焦状態にあるか否かを判定するコントラスト情報取得手段を備え、
   前記第１の焦点検出手段は、前記位相差検出方式の焦点検出の結果から前記第２の焦点検出領域が合焦状態にあるか否かを判定し、
   前記第２の設定手段は、
   前記コントラスト情報取得手段による前記第１の焦点検出領域の合焦状態の判定結果と、
   前記第１の焦点検出手段による前記第２の焦点検出領域の合焦状態の判定結果と、を用いて前記第３の焦点検出領域を設定することを特徴とする請求項１乃至４の何れか１項に記載の焦点検出装置。
7. 前記第１の焦点検出領域の焦点検出結果の信頼性が前記第１の閾値未満であり、
   前記第２の焦点検出領域の焦点検出結果の信頼性が前記第２の閾値以上のとき、
   前記第２の設定手段は、
   前記コントラスト情報取得手段による前記第１の焦点検出領域の合焦状態の判定結果と、前記第１の焦点検出手段による前記第２の焦点検出領域の合焦状態の判定結果とが一致する場合は前記第１の焦点検出領域と前記第２の焦点検出領域とを前記第３の焦点検出領域とし、
   前記コントラスト情報取得手段による前記第１の焦点検出領域の合焦状態の判定結果と、前記第１の焦点検出手段による前記第２の焦点検出領域の合焦状態の判定結果とが一致しない場合は前記第１の焦点検出領域を前記第３の焦点検出領域とすることを特徴とする請求項６に記載の焦点検出装置。
8. 前記第１の設定手段は前記第２の焦点検出領域を複数設定し、
   前記第１の焦点検出手段による前記第２の焦点検出領域の検出結果同士の差と第３の閾値とを比較する比較手段を備え、
   前記第２の設定手段は、
   前記比較手段による比較結果を用いて前記第３の焦点検出領域を設定することを特徴とする請求項６又は７に記載の焦点検出装置。
9. 前記第２の焦点検出手段は、前記第３の焦点検出領域に対応する視差画像信号を用いて位相差方式の焦点検出を行うことを特徴とする請求項１乃至８のいずれか１項に記載の焦点検出装置。
10. 前記第２の焦点検出手段は、前記第１の焦点検出手段における焦点検出で取得した、前記第１の焦点検出領域の相関量と、前記第２の焦点検出領域のうち、前記第３の焦点検出領域に含まれる領域の相関量とを加算することにより前記第３の焦点検出領域の相関量を取得することを特徴とする請求項１乃至７の何れか１項に記載の焦点検出装置。
11. ユーザーによる前記第１の焦点検出領域の入力を受ける入力手段を備えることを特徴とする請求項１乃至１０の何れか１項に記載の焦点検出装置。
12. 前記信頼性取得手段は、前記第１の焦点検出領域と前記第２の焦点検出領域とのそれぞれに対応する一対の視差画像信号を用いて、前記第１の焦点検出領域の焦点検出の信頼性と前記第２の焦点検出領域の焦点検出の信頼性とを取得することを特徴とする請求項１乃至１１の何れか１項に記載の焦点検出装置。
13. 前記信頼性取得手段は、前記第１の焦点検出領域と前記第２の焦点検出領域とのそれぞれに対応する一対の視差画像信号を加算した信号に対応する画像信号を用いて、前記第１の焦点検出領域の焦点検出の信頼性と前記第２の焦点検出領域の焦点検出の信頼性とを取得することを特徴とする請求項１乃至１１の何れか１項に記載の焦点検出装置。
14. 前記第１の焦点検出手段は、前記第１の焦点検出領域と前記第２の焦点検出領域とのそれぞれに対応する、前記画像信号と、前記一対の視差画像信号の一方と、から前記一対の視差画像信号のもう一方を取得することを特徴とする請求項１乃至１３の何れか１項に記載の焦点検出装置。
15. 前記第１の閾値と前記第２の閾値とが等しいことを特徴とする請求項１乃至１４の何れか１項に記載の焦点検出装置。
16. 前記撮像信号に基づく画像を表示する表示部を備え、
    前記表示部は、前記第１の焦点検出領域を表示することを特徴とする請求項１乃至１５の何れか１項に記載の焦点検出装置。
17. 請求項１乃至１６の何れか１項に記載の焦点検出装置と、
    前記第２の焦点検出手段による前記第３の焦点検出領域の焦点検出結果を用いて、撮影光学系が有するフォーカスレンズ位置の制御を行うフォーカスレンズ制御手段とを備えることを特徴とする焦点調節装置。
18. 前記撮影光学系は、前記焦点調節装置と別体として構成されており、
    前記フォーカスレンズ制御手段は、前記撮影光学系に対して前記フォーカスレンズの位置情報を送信することを特徴とする請求項１７に記載の焦点調節装置。
19. 請求項１７又は１８に記載の焦点調節装置と、
    前記撮像素子により取得された撮像信号を用いて画像を生成する画像生成手段と、
    前記画像生成手段により生成された前記画像を記録部に記録させる記録手段とを備える撮像装置。
20. 撮影画像に対して、第１の焦点検出領域と、前記焦点検出領域の周辺に位置する第２の焦点検出領域とを設定する第１の焦点検出領域の設定工程と、
    前記第１の焦点検出領域と前記第２の焦点検出領域とのそれぞれに対応する、一対の視差画像信号を取得し、前記一対の視差画像信号を用いて、前記第１の焦点検出領域と前記第２の焦点検出領域のそれぞれに対して位相差検出方式の焦点検出を行う第１の焦点検出工程と、
    前記第１の焦点検出工程による前記第１の焦点検出領域と前記第２の焦点検出領域との焦点検出の信頼性を取得する信頼性取得工程と、
    前記信頼性取得工程により取得した信頼性を用いて、第３の焦点検出領域を決定する第２の焦点検出領域の設定工程と、
    前記第３の焦点検出領域を用いて焦点検出を行う第２の焦点検出工程と、を備え、
    前記第２の焦点検出領域の設定工程は、前記第１の焦点検出領域の焦点検出結果の信頼性が第１の閾値未満であり、且つ、前記第２の焦点検出領域の前記焦点検出結果の信頼性が第２の閾値以上のとき、前記第１の焦点検出領域を前記第３の焦点検出領域とすることを特徴とする焦点検出方法。

Images