JP2017034474A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】撮影画像上の画角位置が異なる被写体ごとのリフォーカス可否を素早く判定することが可能な撮像装置およびその制御方法を提供する。【解決手段】瞳分割画素領域を有する撮像素子を用いて撮影した画像を、撮影時の光学系の撮影情報とともに取得する取得手段と、被写体の被写体領域を算出するとともに、被写体までの奥行き距離である被写体距離を算出する被写体検出手段と、リフォーカス可能画角範囲を算出し、被写体領域がリフォーカス可能画角範囲に含まれるか否かを比較することにより、被写体へのリフォーカス可否を判定するリフォーカス可否判定手段とを備えることを特徴とする。【選択図】図１

Description

本発明は、リフォーカス画像を再構成する撮像装置およびその制御方法に関するものである。

デジタルカメラなどの撮像装置では、ユーザが被写体に焦点を合わせるための手段として、２種類の手段が知られている。第１は、コントラストＡＦや位相差ＡＦと呼ばれる、フォーカスレンズ駆動により焦点を調節する手段である。第２は、リフォーカスと呼ばれる手段である。これは、撮像素子から読み出した瞳分割領域ごとの画像信号を、撮像面が仮想的に前後移動したように再構成し、瞳分割領域ごとの画像信号を加算することで、被写体に焦点の合ったリフォーカス画像を生成する技術である。このリフォーカス技術を用いることにより、ある被写体に対して合焦（フォーカス）して撮影した画像を、記録後の画像処理によって別の被写体に再合焦（リフォーカス）することが可能となる。
リフォーカス技術を用いた従来の撮像装置として、リフォーカス画像を再構成する際に使用するパラメータを、撮影時の光学系の撮影情報に基づいて、画像データのメタデータとして生成するものが特許文献１において提案されている。また、リフォーカス画像を再構成する際に、どの被写体がリフォーカス可能な奥行き距離範囲内に位置しているのかをユーザに知らせる画像処理装置が特許文献２において提案されている。

特開２０１４−００３４０４号公報 特開２０１４−１９７８２４号公報

しかしながら、従来技術には、以下のような課題がある。
撮影した画像を、リフォーカス技術を用いてリフォーカスする場合、被写体の画角位置によっては、リフォーカスができない可能性がある。これは、画像をリフォーカスするために撮像面を仮想的に前後移動すると、リフォーカス可能な撮影画角範囲（以下、「リフォーカス可能画角範囲」と呼ぶ）が縮小するためである。
特許文献１、２に開示された従来技術では、撮影画像の奥行き方向のリフォーカス可能な距離範囲に基づいて、リフォーカス画像を再構成している。しかし、撮影画像上の複数の被写体に対してリフォーカス可否を素早く判定することが困難であるという課題があった。本発明は、このような課題を解決するものであり、撮影画像上の複数の被写体に対するリフォーカス可否を素早く判定することが可能な撮像装置およびその制御方法を提供することを目的とする。

本発明に係る撮像装置は、リフォーカス画像を再構成する撮像装置において、瞳分割画素領域を有する撮像素子を用いて撮影した画像を、撮影時の光学系の撮影情報とともに取得する取得手段と、画像上の少なくとも１つの被写体を検出して、被写体の被写体領域を算出するとともに、被写体領域におけるデフォーカス量から、被写体までの奥行き距離である被写体距離を算出する被写体検出手段と、被写体距離、被写体領域、および撮影情報から、リフォーカス可能画角範囲を算出し、被写体領域がリフォーカス可能画角範囲に含まれるか否かを比較することにより、被写体へのリフォーカス可否を判定するリフォーカス可否判定手段とを備えることを特徴とするものである。

本発明によれば、撮影画像上の複数の被写体に対するリフォーカス可否を素早く判定することが可能な撮像装置およびその制御方法を提供することができる。

本発明の実施形態１に係る撮像装置の構成を示すブロック図である。 本発明の実施形態１に係る揮発性メモリ上に記録されたメタデータ領域の内容を、画像データ領域とともに示した図である。 本発明の実施形態１に係る撮像素子の画素分布を示す図である。 合焦している主要被写体からリフォーカス対象の被写体までの距離と、リフォーカス可能画角範囲との関係を示した図である。 本発明の実施形態１に係る撮像装置で撮影した画像上の被写体の例を示す図である。 本発明の実施形態１に係るリフォーカス可能画角範囲の算出方法について説明するための第１の図である。 本発明の実施形態１に係るリフォーカス可能画角範囲の算出方法について説明するための第２の図である。 本発明の実施形態１に係る被写体位置検出部の動作について説明するための図である。 本発明の実施形態１に係る被写体距離算出部の動作について説明するための図である。 本発明の実施形態１に係る撮像方法における、静止画記録動作のフローチャートである。 本発明の実施形態１に係る撮像方法における、静止画再生動作のフローチャートである。 本発明の実施形態１に係る撮像方法における、リフォーカス不可被写体の表示例を示す図である。 本発明の実施形態２に係る撮像方法における、リフォーカス可能画角範囲を変更した例を示す図である。 本発明の実施形態３に係る撮像装置の構成を示すブロック図である。 本発明の実施形態３に係る撮像方法のフローチャートである。 本発明の実施形態３に係る撮像方法における、主要被写体への焦点調整方法のフローチャートである。 本発明の実施形態４に係る撮像方法のフローチャートである。 本発明の実施形態４に係る撮像方法における、リフォーカス可否判定方法のフローチャートである。 本発明の実施形態４に係る撮像方法における、リフォーカス可能被写体の表示例を示す図である。 本発明の実施形態５に係る撮像方法のフローチャートである。 本発明の実施形態５に係る撮像方法における、リフォーカス不可被写体の表示例を示す図である。 本発明の実施形態６に係る撮像装置における、リフォーカス可能画角範囲について説明するための図である。 本発明の実施形態６に係る撮像方法のフローチャートである。 本発明の実施形態６に係る撮像方法における、リフォーカス可能距離範囲を優先させてリフォーカス可否を判定する方法のフローチャートである。 本発明の実施形態６に係る撮像方法における、リフォーカス可能距離範囲について説明するための図である。 本発明の実施形態７に係る撮像方法における、リフォーカス可能画角範囲を優先させてリフォーカス可否を判定する方法のフローチャートである。 本発明の実施形態７に係る撮像方法における、リフォーカス可能画角範囲の算出について説明するための図である。 本発明の実施形態８に係る撮像方法における、瞳分割の方向に応じてリフォーカス可能画角範囲を算出する方法のフローチャートである。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

［実施形態１］
本実施形態による撮像装置を、図１から図８を用いて説明する。上述の特許文献１、２に開示された従来技術では、撮影画像の奥行き方向のリフォーカス可能な距離範囲に基づいてリフォーカス画像を再構成している。しかしながら、リフォーカス可能画角範囲の縮小と、画角内の被写体位置との関係については考慮されていない。この結果として、特許文献１、２では、撮影画像上の複数の被写体に対するリフォーカス可否を素早く判定することが困難であるという課題があった。そこで、本実施形態では、撮影画像上の複数の被写体に対するリフォーカス可否を素早く判定してユーザに明示する方法について説明する。なお、以下の説明では、本発明の撮像装置１００を適用したデジタルカメラで撮影した画像に対してリフォーカス処理を行う編集モードを想定するが、本発明は必ずしもこのような編集モードに限定されるものではない。

図１は、本発明の実施形態１に係る撮像装置１００の構成を示すブロック図である。
光学系１０１は、複数枚のレンズ及び、レンズ群及び、絞りから構成される。複数枚のレンズの中には、可動なフォーカスレンズを含み、制御部１１５は、フォーカスレンズを駆動させることにより、撮像装置１００の焦点調節を行うことができる。また、制御部１１５は、絞りを駆動させることにより、光学系１０１を通過する光量を調節する。通過する光量の指標としては、Ｆ値が用いられ、Ｆ値は制御部１１５が算出を行う。

撮像素子１０２は、ＣＭＯＳなどにより構成され、光学系１０１で受光した光を電気信号に変換する。制御部１１５は、変換した電気信号をＡ／Ｄ変換部１０３へ伝送する。撮像素子１０２の瞳分割画素領域の画素は、１つの画素内に複数の瞳分割領域を持つため、瞳分割領域ごとの電気信号が得られる。なお、撮像素子１０２は、すべての画素に瞳分割領域を持つ必要はなく、所定の画素のみ瞳分割領域を持つとしてもよい。Ａ／Ｄ変換部１０３は、撮像素子１０２から伝送されたアナログ画像信号を、デジタル画像信号へ変換する。制御部１１５は、Ａ／Ｄ変換部１０３により変換されたデジタル画像信号を、画像処理部１０４へ伝送するよう制御する。

画像処理部１０４は、Ａ／Ｄ変換部１０３より伝送されたデジタル画像信号に対して、任意の画像処理をおこなう。この画像処理としては、現像処理、色変換処理、リサイズ、圧縮、瞳分割領域ごとの画像を用いたリフォーカス処理などが挙げられる。特に、本実施形態では、画像処理部１０４は、瞳分割領域ごとのデジタル画像信号を加算し、撮像画像を生成する。このとき、瞳分割領域ごとのデジタル画像信号を加算する際に、デジタル画像信号の参照位置を調整することで、任意の被写体に対して焦点の合ったリフォーカス画像を生成することができる。また、画像処理部１０４は、撮像画像に対して現像処理を施し、さらに必要に応じて色変換処理やリサイズなどの任意の画像処理を施した現像画像を生成する。また、瞳分割領域ごとのＲＡＷ画像を可逆圧縮することも含まれる。

制御部１１５は、任意の画像処理を施した瞳分割領域ごとの画像信号を揮発性メモリ１０５へ記録する。揮発性メモリ１０５は、撮影時の一時画像などを記録するＤＲＡＭである。ここで、撮影時の一時画像とは、Ａ／Ｄ変換部１０３から出力された瞳分割領域ごとのＲＡＷ画像、画像処理部１０４によって瞳分割領域ごとの画像を加算した撮像画像、および、現像処理を施した後に必要な任意の画像処理を施した現像画像などである。本実施形態では、この撮像画像のことを単に「画像」と呼ぶ。

図２は、本発明の実施形態１に係る揮発性メモリ１０５上に記録されたメタデータ領域の内容を、画像データ領域とともに示した図である。メタデータは、後述するリフォーカス処理において用いられるものであり、被写体領域の左上座標、右下座標と、リフォーカス画像を再構成するときに使用する変換マトリクスから構成されるパラメータとを、被写体ごとに保持している。
この画像データ領域とメタデータ領域に書き込まれるデータは、ユーザから静止画撮影の指示があった時に、記憶媒体１１４に記録される。なお、変換マトリクスは比較的データ量が大きいため、変換マトリクスの代わりに、変換マトリクス生成のために必要となる仮想結像面（詳細は後述する）までの移動距離を記憶しても良い。

表示部１０６は、揮発性メモリ１０５に記録されている画像データを表示したり、光学系１０１の絞りやシャッター速度などの情報を重畳して表示したり、被写体の位置情報を重畳して表示したりする。また、表示部１０６がタッチパネル式ディスプレイである場合には、操作アイコンなどを表示してもよい。ユーザは、タッチパネル操作により、操作アイコンや合焦したい主要被写体を選択できるものとする。また、リフォーカス可能な領域や、リフォーカス可能な被写体もしくは不可能な被写体に対して、情報を重畳して表示してもよい。

操作部１０７は、ユーザがデジタルカメラを外部から操作するレリーズボタン等で構成される。ユーザは操作部１０７を操作し、動画記録や静止画撮影を指示する。なお、本実施形態におけるレリーズボタンは、二段押し込み式の押しボタンスイッチを想定するが、これに限定されるものではない。操作部１０７に含まれるレリーズボタンは、露光動作開始の指示や焦点検出、撮影の指示を、ユーザから受け付ける。また、操作部１０７の操作ボタンは、上記のメニュー画面での入力や、撮影モードの切り換え入力などを受け付ける。

被写体位置検出部１０８は、揮発性メモリ１０５に記録されている画像上において、被写体が占めている撮影画角内の領域を検出し、被写体領域として揮発性メモリ１０５に記録する。例えば、被写体位置検出部１０８は、被写体の顔の中心位置と顔の大きさを被写体領域として検出できるものとする。そして、画面内における被写体領域の位置を特定するために、被写体領域の左上端と右下端の座標を算出する。被写体位置検出部１０８の詳細については後述する。なお、本実施形態では、画像上の被写体領域として顔画像を検出することを想定するが、これに限定されるものではなく、顔画像の代わりに、被写体の全体を検出するようにしてもよい。被写体、または被写体の顔の検出方法としては、例えば、テンプレートマッチング法を用いることができる。

被写体距離算出部１０９は、被写体までの奥行き距離である被写体距離情報を算出する。具体的には、被写体距離算出部１０９は、まず、揮発性メモリ１０５に記録された画像の瞳分割領域において、被写体の顔の中心位置に対応する画素の位相差を算出する。次に、位相差を合焦撮影距離からのデフォーカス量に換算し、合焦撮影距離とデフォーカス量を加算することにより、被写体距離情報を算出する。制御部１１５は、算出結果をリフォーカス可否判定部１１０へ伝送する。位相差からデフォーカス量を算出する方法に関しては、公知の方法を用いることが可能である。

リフォーカス可否判定部１１０は、合焦撮影距離及び、Ｆ値及び、被写体位置（被写体領域）情報及び、被写体距離情報をもとに、リフォーカス可能範囲を算出し、被写体がリフォーカス可能範囲内に含まれるか否かを判定する。ここで、リフォーカス可能範囲には２種類ある。１つめは、被写体距離算出部１０９で算出された被写体距離から算出される撮影画角方向のリフォーカス可能画角範囲である。２つめは、被写体位置検出部１０８で検出された被写体位置情報から算出される奥行き方向のリフォーカス可能距離範囲である。本実施形態では、リフォーカス可能画角範囲を用いる方法について説明する。
リフォーカス可否判定部１１０は、リフォーカス可能画角範囲と、被写体位置検出部１０８が算出した被写体領域との包含関係から、被写体がリフォーカス可能かどうかを判定する。詳細なリフォーカス可能画角範囲の算出方法については後述する。

不揮発性メモリ１１２は、制御部１１５が撮像装置１００の各部動作を制御するためのシーケンスプログラムなどを保持している。また、後述するリフォーカス画像を再構成する際に使用される変換マトリクスを、撮像素子１０２の結像時の位置から仮想結像面までの距離に対応させて保持している。記憶媒体制御部１１３は、制御部１１５からの指示に従って、メモリカードやハードディスク等の記憶媒体１１４に対して、データの読み出し／書き込みを行うための制御を行う。

記憶媒体１１４は、撮影した画像を記録するための媒体であり、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。記憶媒体１１４には、瞳分割領域ごとのＲＡＷを可逆圧縮したデータを保存しておくことも可能である。制御部１１５は、バス１１６によって接続された各ブロックを制御する。また、光学系１０１の制御および、揮発性メモリ１０５に記録されている画像からリフォーカス画像の生成を行う。光学系１０１の制御は、例えば、コントラストＡＦの手法を用いる。制御部１１５は、揮発性メモリ１０５内のＦＲＯＭからプログラムをロードして実行することにより、各部の制御を行う。

バス１１６は、公知のプロトコルに基づいた大容量高速伝送路であり、各モジュールを接続する。パラメータ生成部１１７は、リフォーカス可否判定部１１０が、被写体へのリフォーカスが不可能と判定した場合には、変換マトリクスを空行列に差し替えて、揮発性メモリ１０５のメタデータ領域に、該当する被写体に対応づけて記録する。パラメータ生成部１１７による処理の詳細については後述する。なお、図１に示して説明した撮像装置１００の構成は一例である。そのため、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置１００の構成は、図１に示した構成に限定されるものではない。

次に、図３、図４を用いて、リフォーカス可否判定部１１０とパラメータ生成部１１７の詳細について説明する。図３（ａ）は、本発明の実施形態１に係る撮像素子１０２の画素分布を示す図である。図３（ａ）の中央部には、像ズレ量を検出するために瞳分割された瞳分割画素領域が設けられている。また、瞳分割画素領域の周辺部には、瞳分割されていない通常画素領域が設けられている。
図３（ｂ）は、図３（ａ）のＡ−Ａ’における断面図であり、図１の光学系１０１を通過した光線が、マイクロレンズ３０１を通過して、撮像素子１０２上に結像している様子を示している。図３（ｂ）に例示する撮像素子１０２は、水平方向に１１の画素３１０〜３２０を並べて構成されている。ここで、画素３１０、３１１、３１９、３２０は通常画素領域の画素であり、画素３１２〜３１８は瞳分割画素領域の画素である。なお、図３（ｂ）には、リフォーカス画像を再構成するための仮想的結像面の移動方向をｚ方向として示している。

図３（ｂ）に示すｚ＝０の実結像面に結像した画像データを使用して、別の被写体に対するリフォーカス画像を再構成するためには、ｚ軸方向に距離Ｄだけ移動させた、図３（ｃ）に破線で示す仮想結像面に入力する光線を求めれば良い。ところが、図３（ｃ）に示す仮想結像面の画素３１２のＢ像領域３０２に入射する光線は、図３（ｂ）に示す実結像面においては、瞳分割されていない画素３１１に入射する。このため、実際には、仮想結像面の画素３１２のＢ像領域３０２におけるＢ像に相当する情報は取得できないので、画素３１２においてはリフォーカス画像を再構成することはできない。
また、同様に、図３（ｃ）で画素３１８のＡ像領域３０３に入射する光線は、図３（ｂ）に示す実結像面においては、瞳分割されていない画素３１９に入射する。このため、実際には、仮想結像面の画素３１８のＡ像領域３０３におけるＡ像に相当する情報は取得できないので、画素３１８においてはリフォーカス画像を再構成することはできない。この結果として、結像面から距離Ｄだけ離れた仮想結像面におけるリフォーカス可能画角範囲は、Ｘ_０からＸ_Ｄに縮小してしまう。仮想結像面が、実結像面からさらに離れると、リフォーカス可能画角範囲はさらに縮小する。このように、リフォーカス可能画角範囲は、リフォーカス対象の被写体までの被写体距離に応じて変化する。また、光学系１０１のＦ値に応じて入射光の入射角が変化した場合も変化する。

なお、図３では、瞳分割画素領域の画素が、水平方向に２つの瞳分割領域を持つ場合について説明したが、瞳分割領域のパターンはこれに限られるものではなく、例えば、垂直方向に分割したり、３つ以上の領域に分割したりしてもよい。垂直方向に分割した場合、リフォーカス可能画角範囲は垂直方向に縮小することになる。

次に、変換マトリクスについて説明する。図３（ｃ）に示すｚ＝Ｄにおける撮像素子１０２の仮想的な画素３１３の出力値Ｓ３１３は、次式（１）で表される。
Ｓ３１３＝Ａ４＋Ｂ２ ・・・（１）
同様に、図３（ｃ）に示すｚ＝Ｄにおける画素３１０〜３２０の仮想的な出力値Ｓ３１０〜Ｓ３２０は、上式（１）を一般化した下式（２）で表される。

つまり、仮想結像面の位置ｚが分かれば、予め図１の不揮発性メモリ１１２に用意した下式３で表される変換マトリクスＭを、瞳分割画素出力を列にしたものに対して演算することにより、再構成画像の画素出力値を算出することができる。更に、リフォーカス可能画角範囲外となる画素数は、下式（３）に示す変換マトリクスＭにおいて、要素が全て０である行数から求めることができる。例えば、下式（３）に示す変換マトリクスＭでは、左右３画素ずつが、リフォーカス可能画角範囲外となる画素である。

図４は、合焦している主要被写体４０２からリフォーカス対象の被写体までの距離と、リフォーカス可能画角範囲との関係を示した図である。図４（ａ）、図４（ｂ）ともに、撮像装置１００は、主要被写体４０２に合焦しており、そのときの全体の撮影画角が４０３である。また、撮影画角４０３のうち瞳分割画素による撮影画角が４０８である。ここで、撮影画角４０３の水平方向をｘ軸、垂直方向をｙ軸とし、奥行方向をｚ軸としている。また、被写体４０４は、主要被写体４０２からｚ軸方向に距離ｚ１だけ離れた地点に位置しており、図４（ａ）の被写体４０６、および図４（ｂ）の被写体４０９は、主要被写体４０２から距離ｚ２だけ離れた地点に位置している。距離ｚ１だけ離れた被写体に合焦するための仮想結像面の移動量をＤ１とし、距離ｚ２だけ離れた被写体に合焦するための仮想結像面の移動量をＤ２とする。このとき、図４（ａ）に示すリフォーカス可能画角範囲４０５、４０７は、Ｄ１とＤ２に対応する変換マトリクスにおいて、要素が全て０でない行数から求まる。

図４（ａ）において、被写体４０４は、リフォーカス可能画角範囲４０５に収まっているため、リフォーカス画像の再構成による合焦が可能である。これに対し、被写体４０６は、リフォーカス可能画角範囲４０７から外れているため、リフォーカス画像の再構成による合焦は不可能である。本実施形態では、リフォーカス可能画角範囲の外側領域は変換マトリクスの要素が０であるため、黒塗りされたリフォーカス画像となる。他方、図４（ｂ）においては、被写体４０４、４０９とも、それぞれリフォーカス可能画角範囲４０５、４０７に収まっているため、リフォーカス画像の再構成による合焦が可能である。このように、リフォーカス可否判定部１１０は、リフォーカス可能画角範囲を判定し、パラメータ生成部１１７は、画像をリフォーカスするために必要なパラメータとして変換マトリクスを生成する。

次に、図５を用いて、リフォーカス可否の判定方法について説明する。図５（ａ）は、本発明の実施形態１に係る撮像装置１００で撮影した画像上の被写体の例を示す図である。図５（ａ）は、撮像装置１００が撮影するライブビュー画像を、解像度１９２０×１０８０で、図１の表示部１０６に表示したときの様子を示している。図５（ａ）には、図４（ａ）に示す３人の被写体４０２、４０４、４０６が、表示されており、撮像装置１００の焦点は、主要被写体４０２に合焦している。ここで、図４と同様に、全体の撮影画角を４０３、主要被写体４０２から被写体４０４までの距離をｚ１、主要被写体４０２から被写体４０６までの距離をｚ２、瞳分割画素による撮影画角を４０８とする。

図５（ｂ）は、本発明の実施形態１に係るリフォーカス可能画角範囲の算出方法について説明するための第１の図である。図５（ｂ）には、図１のリフォーカス可否判定部１１０によって算出された、被写体４０４までの距離ｚ１における、リフォーカス可能画角範囲４０５を示している。ここで、リフォーカス可能画角範囲４０５の、原点Ｏに対する左上端と右下端の座標を、それぞれ、Ａ１（２００，１００）、Ａ２（１７２０，９８０）と算出している。

また、図５（ｃ）は、本発明の実施形態１に係るリフォーカス可能画角範囲の算出方法について説明するための第２の図である。図５（ｃ）には、リフォーカス可否判定部１１０によって算出された、被写体４０６までの距離ｚ２における、リフォーカス可能画角範囲４０７を示している。ここで、リフォーカス可能画角範囲４０７の、原点Ｏに対する左上端と右下端の座標を、それぞれ、Ｃ１（６００，１００）、Ｃ２（１３２０，９８０）と算出している。

図５（ｄ）は、本発明の実施形態１に係る被写体位置検出部１０８の動作について説明するための図である。図１の被写体位置検出部１０８は、例えば、検出した被写体を内包する最小矩形の左上端と右下端の座標を被写体領域として算出する。図５（ｄ）には、被写体位置検出部１０８によって検出された被写体４０４を内包する被写体領域５１１と、被写体４０６を内包する被写体領域５１２を示している。ここで、被写体領域５１１の左上端と右下端の座標を、Ｂ１（３００、２００）、Ｂ２（６００、９００）と算出している。また、被写体領域５１２の左上端と右下端の座標を、Ｄ１（１４００、２００）、Ｄ２（１７００、７００）と算出している。

図５（ｅ）は、本発明の実施形態１に係る被写体距離算出部１０９の動作について説明するための図である。図１の被写体距離算出部１０９は、被写体位置検出部１０８が検出した被写体までの被写体距離を、公知の方法を用いて算出する。図５（ｅ）には、被写体距離算出部１０９が算出した被写体４０２，４０４，４０６までの距離を、濃淡の違いにより、近いものほど濃い色で表示している。すなわち、各被写体までの被写体距離は、被写体４０２＜被写体４０４＜被写体４０６となっている。

リフォーカス可否判定部１１０は、リフォーカス可能画角範囲の２つの端点座標と、被写体領域の２つの端点座標の包含関係を求めることにより、被写体領域がリフォーカス可能画角範囲に収まっているか否かを判定する。リフォーカス可否判定部１１０は、さらに、その判定結果を、図２のように、揮発性メモリ１０５に確保されたメタデータ領域に、被写体と関連づけて記録する。なお、図２では、リフォーカス可否判定部１１０による判定結果を、変換マトリクスＭが空行列であるか否かという形で記録しているが、このような方法に限定されるものではない。例えば、リフォーカス可否判定部によってリフォーカス不可と判定された被写体に対しては、パラメータを記録しないようにしてもよい。

図６は、本発明の実施形態１に係る撮像方法における、静止画記録動作のフローチャートである。ステップＳ６０１において、撮像装置１００は、静止画記録モードで動作を開始する。ステップＳ６０２において、制御部１１５は、ユーザが操作部１０７に含まれるレリーズボタンを半押し（スイッチＳＷ１がＯＮ）することで、撮影前準備動作が実行されるのを待つ。ここで、撮影前準備動作とは、主要被写体４０２に対する焦点検出動作（ＡＦ動作）のことである。また、ここで、操作部１０７のレリーズボタンが半押しされた場合にはスイッチＳＷ１がＯＮされ、全押しされた場合にはスイッチＳＷ２がＯＮされるものとする。制御部１１５は、ユーザによりスイッチＳＷ１がＯＮされる（レリーズボタンが半押される）まで待ち、スイッチＳＷ１がＯＮされたらステップＳ６０３に進む。

ステップＳ６０３において、ユーザは、撮像装置１００のタッチパネル等の表示部１０６に指を触れることにより、検出された被写体から、合焦対象となる主要被写体４０２を直接指定する。制御部１１５は、指定された主要被写体４０２に合焦するように、フォーカスレンズを駆動して、ＡＦ動作を完了する。ステップＳ６０４において、被写体位置検出部１０８は、画像データ内の検出された各被写体を内包する矩形領域の左上座標と右下座標（図５（ｄ）に示すＥ１、Ｅ２、Ｂ１、Ｂ２、Ｄ１、Ｄ２）を、各被写体の被写体領域として算出する。また、各被写体の被写体領域を、被写体に関連づけて揮発性メモリ１０５に確保したメタデータ用の領域に記録する。このとき、図２に示したように、ステップＳ６０３にて合焦指示された主要被写体４０２に関する情報を、最上位に配置する。

ステップＳ６０５において、被写体距離算出部１０９は、図５（ｅ）に示したような距離情報を、被写体ごとに取得し、揮発性メモリ１０５に記録する。ステップＳ６０６において、パラメータ生成部１１７は、図１の揮発性メモリ１０５から、被写体領域ごとの被写体距離情報を読み出し、各被写体にリフォーカスするための仮想結像面までの移動量を算出する。そして、その移動量に対応する変換マトリクスを不揮発性メモリ１１２から読み出す。リフォーカス可否判定部１１０は、読み出した変換マトリクスから、上式（２）に従って、被写体ごとのリフォーカス可能画角範囲を算出する。さらに、算出したリフォーカス可能画角範囲の左上座標と右下座標（図５（ｂ）のＡ１、Ａ２、図５（ｃ）のＣ１、Ｃ２）を算出する。

ステップＳ６０７において、リフォーカス可否判定部１１０は、ステップＳ６０４で算出した各被写体領域の座標と、ステップＳ６０６で算出した被写体ごとのリフォーカス可能画角範囲の座標との包含関係から、各被写体へのリフォーカス可否を判定する。具体的には、図５（ｄ）より、被写体４０４、４０６の被写体領域の左上端と右下端の座標は、それぞれ（Ｂ１、Ｂ２）、（Ｄ１、Ｄ２）である。また、図５（ｂ）、図５（ｃ）より、被写体４０４、４０６のリフォーカス可能画角範囲の左上端と右下端の座標は、それぞれ、（Ａ１、Ａ２）、（Ｃ１、Ｃ２）である。リフォーカス可否判定部１１０は、被写体４０４に関して、下式（４）が成立するか否かを判定する。また、被写体４０６に関して、下式（５）が成立するか否かを判定する。
Ａ１≦Ｂ１ かつ Ｂ２≦Ａ２ ・・・（４）
Ｃ１≦Ｄ１ かつ Ｄ２≦Ｃ２ ・・・（５）
ここで、Ａ１とは、端点Ａ１のｘ座標とｙ座標の両方を指すものとする。本実施形態では、上式（４）は満たすが、上式（５）は満たさないので、被写体４０４はリフォーカス可能と判定され、被写体４０６はリフォーカス不可能と判定される。判定後、ステップＳ６０８へ進む。

ステップＳ６０８において、パラメータ生成部１１７は、ステップＳ６０７での判定結果に基づいて、揮発性メモリ１０５にメタデータを記録する。具体的には、ステップＳ６０７においてリフォーカス可能画角範囲外であると判定された被写体に対しては、ステップＳ６０６で読み出した対応する変換マトリクスの要素を、空行列に置き換える。そして、要素を空行列に置き換えた変換マトリクスを、図２に示すように、揮発性メモリ１０５に確保したメタデータ領域に、被写体領域の左上端と右下端座標と共に被写体ごとに記録する。一方、ステップＳ６０７においてリフォーカス可能画角範囲内であると判定された被写体に対しては、ステップＳ６０６で読み出した対応する変換マトリクスを、メタデータ領域に記録する。
例えば、本実施形態の図５（ｃ）では、被写体４０６に対してはリフォーカス不可と判定したので、被写体４０６のリフォーカス画像を再構成する際に使用する図２に示す変換マトリクスＭ３には、リフォーカス画像が再構成されないように空行列を適用する。

ステップＳ６０９において、制御部１１５は、ユーザによりスイッチＳＷ２がＯＮされる（レリーズボタンが全押される）まで待ち、スイッチＳＷ２がＯＮされたらステップＳ６１０に進む。
ステップＳ６１０において、記憶媒体制御部１１３は、撮影により取得した画像データに対して、リフォーカス画像を再構成するためのパラメータ（ステップＳ６０８にて生成したメタデータ）を付与して、記憶媒体１１４に記録する。更に、画像処理部１０４は、撮影により取得した画像データから表示用画像データを生成して記憶媒体１１４に記録する。その後、ステップＳ６１１において、静止画記録動作を終了する。

図７は、本発明の実施形態１に係る撮像方法における、静止画再生動作のフローチャートである。また、図８は、本発明の実施形態１に係る撮像方法における、リフォーカス不可被写体の表示例を示す図である。ステップＳ７０１において、制御部１１５は、操作部１０７に含まれる再生ボタンが押下されるのを待つ。再生ボタンが押下された場合にはステップＳ７０２に進む。

ステップＳ７０２において、制御部１１５は、画像データおよびそのメタデータと表示用画像データを、記憶媒体１１４から読み出して揮発性メモリ１０５に書き込む。ステップＳ７０３において、制御部１１５は、ステップＳ７０２で読み出した表示用画像データを表示部１０６に表示する。あるいは、すでに別の被写体にリフォーカスしている場合は、直前のリフォーカス処理において作成された表示用画像データを表示する。

ステップＳ７０４において、制御部１１５は、ユーザによる表示部１０６からの直接指示、あるいは操作部１０７に含まれる操作ボタンの操作により、リフォーカス画像を再構成するための編集モードへ遷移する指示があるか否かを判定する。編集モードへの遷移指示が有った場合はステップＳ７０５へ進み、無い場合はステップＳ７１１へ進む。

ステップＳ７０５において、制御部１１５は、ステップＳ７０３にて表示した画像に含まれる各被写体が、リフォーカス可能な被写体かどうかを確認する。具体的には、被写体ごとに対応づけられた変換マトリクスが空行列である場合には、リフォーカス不可能と判断する。そして、リフォーカス不可能な被写体が含まれている場合には、リフォーカス不可能である旨を、例えば、図８に示すような表示８０１を画像上に重畳することによりユーザに通知する。

ステップＳ７０６において、制御部１１５は、ユーザによる表示部１０６からの直接指示、あるいは操作部１０７に含まれる操作ボタンの操作により、リフォーカス画像を再構成する被写体が指定されるのを待つ。ユーザにより被写体が指定されたらステップＳ７０７へ進む。ステップＳ７０７において、リフォーカス可否判定部１１０は、リフォーカス対象に指定された被写体が、リフォーカス可能か否かを判定する。具体的には、ステップＳ７０２にて読み出したメタデータのうち、指定された被写体に対する変換マトリクスを確認する。変換マトリクスが空行列の場合は、リフォーカス不可能な被写体と判定してステップＳ７０５へ戻る。このとき、リフォーカス処理は行わない。一方、変換マトリクスが空行列ではない場合には、リフォーカス可能な被写体と判定してステップＳ７０８へ進む。このとき、ステップＳ７０５において表示した図８の表示８０１は消去する。

ステップＳ７０８において、画像処理部１０４は、ステップＳ７０６で指定された被写体のリフォーカス画像の再構成を行う。具体的には、ステップＳ７０２において読み出したメタデータの、被写体に関連付けられた変換マトリクスを用いて、上式（２）に従って、指定された被写体に対してリフォーカス処理を行う。

ここで、図４（ｂ）に示したシーンにおいて、主要被写体４０２に合焦した画像データに対して距離ｚ１だけ離れた被写体４０４にリフォーカスした後、さらに距離ｚ２だけ離れた被写体４０９に対してリフォーカスする場合を考える。この場合、ステップＳ７０３では、被写体４０４にリフォーカスした画像を表示するが、リフォーカス画像を作成するときには、ステップＳ７０２で読み出したリフォーカス前の画像に対して再構成を行うようにする。これにより、リフォーカス処理を繰り返すことによる表示用画像データの画角縮小を防止することができる。リフォーカス処理後、画像処理部１０４は、再構成したリフォーカス画像から表示用画像データを生成し、表示部１０６に表示する。

ステップＳ７０９において、制御部１１５は、ユーザによる表示部１０６からの直接指示、あるいは操作部１０７に含まれる操作ボタンの操作により、再構成したリフォーカス画像に対する指示を待つ。保存指示があった場合にはステップＳ７１０へ進み、リフォーカス処理の取消し指示があった場合にはステップＳ７０５へ戻る。
ステップＳ７１０において、画像処理部１０４は、再構成したリフォーカス画像に対して画像処理を行うことにより、表示用画像データを生成する。そして、リフォーカス画像と表示用画像データを記憶媒体１１４に保存する。その後、ステップＳ７０３へ戻る。
ステップＳ７１１において、制御部１１５は、操作部１０７に含まれる電源ボタンが押下されて、ユーザによる終了要求があった場合には、ステップＳ７１２へ進んで、本実施形態の静止画再生動作を終了する。終了要求が無い場合はステップＳ７０３へ戻る。
以上、本発明の撮像装置１００としてデジタルカメラを例にして説明したが、これに限られるものではない。例えば、カメラから画像データとメタデータを外部に出力して記録する構成であってもよい。

以上のように、本実施形態では、瞳分割画素領域を有する撮像素子を用いて撮影した画像を、撮影時の光学系の撮影情報とともに取得する取得手段（撮像素子、Ａ／Ｄ変換部）を備えている。また、被写体の被写体領域を算出するとともに、被写体までの奥行き距離である被写体距離を算出する被写体検出手段（被写体位置検出部、被写体距離算出部）を備えている。また、リフォーカス可能画角範囲を算出し、被写体領域がリフォーカス可能画角範囲に含まれるか否かを比較することにより、被写体へのリフォーカス可否を判定するリフォーカス可否判定手段（リフォーカス可否判定部）を備えている。これにより、撮影画像上の画角位置が異なる被写体ごとのリフォーカス可否を素早く判定することができる。

また、本実施形態では、画像を被写体にリフォーカスするために必要なパラメータを、撮影情報に基づいて、被写体に関連づけて生成するパラメータ生成手段（パラメータ生成部）を備えている。また、リフォーカス可否判定手段による判定結果およびパラメータを、画像のメタデータとして、画像とともに記憶媒体に記録する記録手段（記憶媒体制御部）を備えている。また、記憶媒体に記録された画像およびメタデータを読み出して、画像を被写体にリフォーカスする再生手段（画像処理部、記憶媒体制御部）を備えている。また、メタデータに基づいて、被写体へのリフォーカス可否を画像上に表示する表示手段（表示部）を備えている。これにより、記録した画像を再生する際に、撮影画像上の画角位置が異なる被写体ごとのリフォーカス可否を、メタデータに基づいてユーザに素早く明示することができる。

［実施形態２］
本実施形態による撮像装置を、図４、図６および図９を用いて説明する。先の実施形態１では、フォーカス不可と判断された被写体に対しては、リフォーカス処理を行わなかった。例えば、図４（ａ）に示すリフォーカス可能画角範囲４０７よりも外側で、瞳分割画素領域の撮影画角４０８より内側にいるような被写体に対しては、ユーザからリフォーカス要求があった場合でも、リフォーカス処理は行わないようにした。これに対し、本実施形態では、リフォーカス可能画角範囲外の被写体に対してユーザからのリフォーカス要求があった場合には、合焦には至らないが、可能な限りでリフォーカス画像の再構成を行う方法について説明する。

本実施形態の撮像装置１００の構成は、図１に示す先の実施形態１の撮像装置１００と同じである。本実施形態では、先の実施形態１と比較して、図６に示すステップＳ６０７のみが異なる。したがって、以下では、このステップＳ６０７について説明する。撮像装置１００が撮影する画像は、図５（ａ）と同一であるものとする。また、ユーザは、少なくとも１つの被写体の中から、被写体４０６をリフォーカス対象である主要被写体として選択したものとする。

図９は、本発明の実施形態２に係る撮像方法における、リフォーカス可能画角範囲を変更した例を示す図である。図６に示すステップＳ６０７において、リフォーカス可否判定部１１０は、上式（５）を満たさないため、被写体４０６を、リフォーカス不可能な被写体と判定した。これに対し、本実施形態のリフォーカス可否判定部１１０は、図９に示すように、ユーザが選択した主要被写体４０６を内包する被写体領域９０２を包含するように、リフォーカス可能画角範囲９０１を変更する。

そして、パラメータ生成部１１７は、変更後のリフォーカス可能画角範囲９０１の左上端Ｆ１の座標と右上端Ｆ２の座標を求める。さらに、パラメータ生成部１１７は、この座標から求めたリフォーカス可能画角範囲９０１と同じ画角を再構成する（即ち、縮小した画角の画素数が、要素が全て０の行数と等しい）変換マトリクスを、不揮発性メモリ１１２の中から特定する。こうして特定した変換マトリクスＭ３’を、被写体４０６に対する新たなリフォーカスパラメータとして、揮発性メモリ１０５内の被写体４０６の位置に書き込む。これにより、再生時にリフォーカス対象として被写体４０６が選択されると、変換マトリクスＭ３’に基づいたリフォーカス画像が再構成される。

以上のように、本実施形態では、リフォーカス可否判定手段（リフォーカス可否判定部）は、主要被写体へのリフォーカスが不可であると判定した場合には、主要被写体の被写体領域が含まれるように、リフォーカス可能画角範囲を変更する。そして、主要被写体へのリフォーカスが可能であると判定する。また、パラメータ生成手段（パラメータ生成部）は、変更されたリフォーカス可能画角範囲と同じ画角を再構成するパラメータを、主要被写体に関連づけて生成する。また、記録手段（記憶媒体制御部）は、リフォーカス可否判定手段による判定結果およびパラメータを、画像のメタデータとして、画像とともに記憶媒体に記録する。これにより、リフォーカス可能画角範囲より外側に位置する主要被写体に対してユーザからリフォーカス要求があったときでも、合焦には至らないが、可能な限りでリフォーカス画像の再構成を行うことができる。なお、本実施形態２は先の実施形態１と組み合わせることも可能である。

［実施形態３］
本実施形態による撮像装置を、図１０から図１２を用いて説明する。本実施形態では、被写体の中から選択された主要被写体に対して焦点を調整する際に、フォーカスレンズを駆動する手段と、画像をリフォーカスする手段とを切り替えて用いる方法について説明する。図１０は、本発明の実施形態３に係る撮像装置１００ｂの構成を示すブロック図である。図１０に示す本実施形態の撮像装置１００ｂは、図１に示す先の実施形態１の撮像装置１００と比較して、パラメータ生成部１１７を備えておらず、焦点調整部１１１を備えている点が異なっている。その他の構成については先の実施形態１と同じであるので説明は省略する。
焦点調整部１１１は、被写体位置検出部１０８が検出した被写体から選択した主要被写体に対して、焦点を調節する方法を、リフォーカス可否判定部１１０の判定結果に応じて切り替える。具体的には、焦点調整部１１１は、主要被写体がリフォーカス可能被写体であればリフォーカスして合焦し、リフォーカス不可被写体であれば光学系１０１を制御して合焦する。ここで、主要被写体としては、被写体のうちで一番大きなものを選択してもよいし、画角の中央よりに位置するものを選択してもよい。また、ユーザが任意で選択してもよい。

次に、図１１を用いて主要被写体への合焦手段を決めるためのフローを説明する。図１１は、本発明の実施形態３に係る撮像方法のフローチャートである。操作部１０７の電源スイッチが操作されると、撮像装置１００ｂが起動して、本フローチャートがスタートする。
ステップＳ１１０１において、制御部１１５は、撮像素子１０２の駆動タイミングに合わせて撮像処理をおこなう。撮像処理により得られたデジタル画像信号は、一度揮発性メモリ１０５に記録してから、画像処理部１０４で任意の画像処理をしてもよいし、バス１１６経由で画像処理部１０４に送って任意の画像処理をしてもよい。画像処理部１０４によって処理された画像データは、揮発性メモリ１０５に保存される。
ステップＳ１１０２において、制御部１１５は、撮像装置１００ｂが動画記録中かどうかを判定する。ユーザが操作部１０７を操作して、動画記録が開始されていれば、ステップＳ１１０３に進み、撮像装置１００ｂが、動画記録待機中や静止画ライブビュー中であれば、ステップＳ１１０４に進む。ステップＳ１１０３において、被写体位置検出部１０８、被写体距離算出部１０９、リフォーカス可否判定部１１０、焦点調整部１１１は、主要被写体の位置に応じた焦点調整をおこない、ステップＳ１１０１に戻る。このステップＳ１１０３の詳細については、後述する。
ステップＳ１１０４において、制御部１１５は、光学系１０１を制御することで、主要被写体への合焦処理をおこない、ステップＳ１１０５に進む。ここでは、コントラストＡＦなどの手法により、合焦処理をおこなうものとする。ステップＳ１１０５において、制御部１１５は、撮像装置１００ｂの電源が入っているかどうかを判定する。撮像装置１００ｂの電源が入っていれば、ステップＳ１１０１に戻り、撮像装置１００ｂの電源が入っていなければ、フローを終了する。

次に、図１２を用いて、図１１におけるステップＳ１１０３の詳細フローを説明する。図１２は、本発明の実施形態３に係る撮像方法における、主要被写体への焦点調整方法のフローチャートである。ステップＳ１２０１において、被写体位置検出部１０８は、揮発性メモリ１０５に保持されている画像データを入力して、被写体の位置情報（被写体領域）を取得する。
ステップＳ１２０２において、被写体位置検出部１０８は、被写体の位置情報が取得できたかどうかを判定する。被写体の位置情報が取得できた場合はステップＳ１２０３に進み、取得できなかった場合はステップＳ１２０９に進む。ステップＳ１２０３において、被写体距離算出部１０９は、検出した被写体のうち任意の被写体を主要被写体として選択し、主要被写体のデフォーカス量を算出する。ここで、被写体のうち一番大きな被写体を主要被写体としてもよいし、画角の中央の被写体を主要被写体としてもよい。また、ユーザが任意で選択した被写体を主要被写体としてもよい。
ステップＳ１２０４において、被写体距離算出部１０９は、主要被写体のデフォーカス量が算出できたかどうかを判定する。主要被写体のデフォーカス量が算出できた場合はステップＳ１２０５に進み、算出できなかった場合はステップＳ１２０９に進む。ステップＳ１２０５において、被写体距離算出部１０９は、算出された主要被写体のデフォーカス量が０か否かを判定する。主要被写体のデフォーカス量が０でない場合はステップＳ１２０６に進み、デフォーカス量が０である場合は、主要被写体にすでに合焦済みであるため、フローを終了する。

ステップＳ１２０６において、被写体距離算出部１０９は、主要被写体のデフォーカス量から、撮像装置１００ｂから主要被写体までの距離を算出する。また、リフォーカス可否判定部１１０は、ステップＳ１２０３で算出した主要被写体のデフォーカス量が０になるように、瞳分割領域ごとのデジタル画像信号の参照位置を調整する。そして、参照位置を調整することで、リフォーカス画像を生成できる撮像画角内の座標を算出する。ここで、瞳分割領域のない画素に関してはリフォーカスすることができないため、リフォーカス可能画角範囲に含めない。
ステップＳ１２０７において、リフォーカス可否判定部１１０は、ステップＳ１２０１で取得した主要被写体の被写体領域が、ステップＳ１２０６で算出したリフォーカス可能画角範囲内か否かを判定する。リフォーカス可能画角範囲内であれば、リフォーカス可能被写体と判定し、リフォーカス可能画角範囲外であれば、リフォーカス不可被写体と判定する。焦点調整部１１１は、主要被写体がリフォーカス可能被写体であれば、リフォーカスによる合焦をすると決定してステップＳ１２０８に進むよう制御する。また、主要被写体がリフォーカス不可被写体であれば、光学系１０１の制御による合焦をすると判定してステップＳ１２０９に進むよう制御する。
ステップＳ１２０８において、画像処理部１０４は、制御部１１５からのリフォーカスによる合焦処理を指示により、主要被写体に焦点の合ったリフォーカス画像を生成し、揮発性メモリ１０５に記録する。ステップＳ１２０９において、制御部１１５は、光学系１０１を制御することで主要被写体への合焦処理をおこなう。ここでは、コントラストＡＦなどの手法により、合焦処理をおこなうものとする。

ここで、被写体が人物の場合について説明したが、被写体の種類はこれに限らない。また、ここでは、主要被写体の撮影画角内の位置よりも、主要被写体のデフォーカス量を優先してリフォーカス可能画角範囲を算出するので、主要被写体が画面中央にいることが多い場合にリフォーカスによる合焦をし続けることが可能である。一方、主要被写体のデフォーカス量よりも、撮影画角内位置を優先してリフォーカス可能画角範囲を算出すると、画面内の動きが多い主要被写体の場合にリフォーカスによる合焦をし続けることが可能である。さらに、ここでは動画待機中や静止画ライブビュー中は光学系１０１の制御による合焦をし、動画記録中のみ主要被写体の画角内の位置に応じた焦点調節手段の選択をするとしたが、動画待機中や静止画ライブビュー中に適用しても構わない。

以上のように、本実施形態では、画像をリフォーカスするか、あるいはフォーカスレンズを駆動するかを、リフォーカス可否判定手段による判定結果に基づいて決定する焦点調整手段（焦点調整部）を備えている。これにより、画像をリフォーカスする方法と、フォーカスレンズを駆動する方法とを切り替えて主要被写体へ合焦する際においても、主要被写体へのリフォーカス可否を、リフォーカス可能画角範囲に基づいて、より適切に判定することができる。なお、本実施形態３は先の実施形態１〜２と組み合わせることも可能である。

［実施形態４］
本実施形態による撮像装置を、図１３から図１５を用いて説明する。従来のフォーカスレンズを駆動して主要被写体に合焦する撮像装置では、フォーカスレンズ駆動によって主要被写体の距離と撮影画角内位置が変化すると、被写体のリフォーカス可否が変わってしまう可能性があった。この結果、主要被写体以外の被写体に後からリフォーカスしようと思ったときに、実際にはリフォーカスできない被写体であると判明することがあり、ユーザにとっては不便であった。そこで、本実施形態では、主要被写体へ合焦する際に、リフォーカス可能画角範囲が変化する場合でも、撮影画像上の画角位置が異なる被写体ごとのリフォーカス可否を判定して、ユーザに明示できるようにする方法について説明する。
図１３は、本発明の実施形態４に係る撮像方法のフローチャートである。図１３に示す本実施形態のフローチャートは、図１１に示す先の実施形態３のフローチャートと比較して、ステップＳ１３０４およびステップＳ１３０５を更に備えている点が異なっている。その他のステップの動作については、先の実施形態３と同じであるので説明は省略する。
ステップＳ１３０４において、リフォーカス可否判定部１１０は、主要被写体以外の被写体がリフォーカス可能か否かを判定する。このステップＳ１３０４の詳細については、後述する。ステップＳ１３０５において、制御部１１５は、撮影画角の画像に対して、リフォーカス可否判定部１１０によりリフォーカス可能と判定された被写体に枠を重畳して、表示部１０６に表示する。

次に、図１４を用いて、主要被写体以外がリフォーカス可能か否かを判定する図１３のステップＳ１３０４の詳細フローを説明する。図１４は、本発明の実施形態４に係る撮像方法における、リフォーカス可否判定方法のフローチャートである。ステップＳ１４０１において、被写体位置検出部１０８は、ステップＳ１３０３の主要被写体への焦点調整時において検出した被写体のうち、主要被写体以外の被写体の位置情報が取得できたかを判定する。位置情報が取得できた被写体がある場合は、ステップＳ１４０２に進み、取得できた被写体がない場合はフローを終了する。
ステップＳ１４０２において、被写体距離算出部１０９は、ステップＳ１４０１において位置情報が取得できた被写体のうち、リフォーカス可否判定部１１０によってリフォーカス可否を判定していない被写体について、デフォーカス量を算出する。ステップＳ１４０３において、リフォーカス可否判定部１１０は、ステップＳ１４０２で算出した被写体のデフォーカス量から、被写体の距離におけるリフォーカス可能画角範囲を算出する。

ステップＳ１４０４において、リフォーカス可否判定部１１０は、被写体がリフォーカス可能な被写体であるかどうかを判定する。ステップＳ１４０２においてデフォーカス量が算出できなかった被写体は、リフォーカス不可被写体と判定する。また、ステップＳ１４０２において算出したデフォーカス量が０であれば、合焦済みの被写体であるため、リフォーカス可能被写体と判定する。さらに、ステップＳ１４０３で算出したリフォーカス可能画角範囲内の被写体であれば、リフォーカス可能被写体と判定し、リフォーカス可能画角範囲外の被写体であれば、リフォーカス不可被写体と判定する。
ここで、被写体位置検出部１０８で検出された被写体領域の全領域が、リフォーカス可能画角範囲内であればリフォーカス可能被写体として判定してもよい。あるいは、被写体の顔領域の全領域が、リフォーカス可能画角範囲内であればリフォーカス可能被写体として判定するのでも構わない。さらに、被写体領域のうち、ユーザがあらかじめ指定した割合や領域がリフォーカス可能画角範囲内であれば、リフォーカス可能被写体として判定するなどしても構わない。

ステップＳ１４０５において、リフォーカス可否判定部１１０は、被写体位置検出部１０８により位置情報を取得した全ての被写体について、リフォーカス可能被写体かどうかを判定できたかを判定する。全ての被写体について判定が完了していなければステップＳ１４０２へ戻り、完了していればフローを完了する。ここで、図１３のステップＳ１３０５において、リフォーカス可能と判定された被写体に対して枠を重畳する際に、リフォーカス可能被写体に主要被写体を含めてもよい。

図１５は、本発明の実施形態４に係る撮像方法における、リフォーカス可能被写体の表示例を示す図である。リフォーカス可能被写体を、ユーザに明示する際には、図１５（ａ）に示すように被写体の上半身に対して枠を重畳しても良いし、図１５（ｂ）に示すように被写体の顔領域に対して枠を重畳しても良い。さらに、画像処理部１０４により被写体のエッジ抽出をおこない、図１５（ｃ）に示すように被写体の輪郭を太くして強調してもよいし、図１５（ｄ）に示すように被写体領域に斜線などのテクスチャまたは単色を重畳してもよい。そして、枠の色でその被写体に対するリフォーカス可能距離範囲を表現してもよいし、枠の上に数字や文字や記号を重畳して示しても良い。また、これらの表示方法を組み合わせて適用してもよい。リフォーカス可能被写体を通知可能であれば、ここに挙げた表示方法に限定されるものではない。

また、ここでは撮影時のリフォーカス可能被写体の表示方法について説明したが、瞳分割領域ごとのＲＡＷデータを可逆圧縮し、それとリフォーカス可能被写体情報を関連付けして保存しておき、あとからリフォーカス処理をおこなう際の表示にも適用できる。これにより、主要被写体に対する合焦がおこなわれた結果、主要被写体以外でリフォーカスによる合焦が可能な被写体をユーザに通知することが可能となる。ここでは動画待機中や静止画ライブビュー中は光学系１０１の制御による合焦をし、動画記録中のみ主要被写体の画角内の位置に応じた焦点調節手段の選択をするとしたが、動画待機中や静止画ライブビュー中に適用しても構わない。
以上のように、本実施形態では、リフォーカス可否判定手段による判定結果に基づいて、被写体へのリフォーカス可否を画像とともに表示する表示手段（表示部）を備えている。これにより、主要被写体へ合焦する際に、リフォーカス可能画角範囲が変化する場合でも、主要被写体以外の、撮影画像上の画角位置が異なる被写体ごとのリフォーカス可否を判定して、ユーザに明示することができる。なお、本実施形態４は先の実施形態１〜３と組み合わせることも可能である。

［実施形態５］
本実施形態による撮像装置を、図１６および図１７を用いて説明する。先の実施形態４では、リフォーカス可能な被写体の表示方法について説明したが、本実施形態５では、リフォーカス不可能な被写体の表示方法について説明する。
図１６は、本発明の実施形態５に係る撮像方法のフローチャートである。図１６に示す本実施形態のフローチャートは、図１３に示す先の実施形態４のフローチャートと比較して、ステップＳ１３０５（ステップＳ１６０５）の処理のみが異なっている。その他のステップの動作については先の実施形態４と同じであるので説明は省略する。
ステップＳ１６０４において、リフォーカス可否判定部１１０は、主要被写体以外の被写体についてのリフォーカス可否を判定する。ここでは、ステップＳ１６０４における詳細フローは、図１４と同じであるとし、詳細の説明は省略する。ステップＳ１６０５において、制御部１１５は、撮影画角の画像に対して、リフォーカス可否判定部１１０によりリフォーカス不可と判定された被写体に枠を重畳して、表示部１０６に表示する。

図１７は、本発明の実施形態５に係る撮像方法における、リフォーカス不可被写体の表示例を示す図である。リフォーカス不可能被写体を、ユーザに明示する際には、図１７（ａ）に示すように被写体の上半身に対して枠を重畳しても良いし、図１７（ｂ）に示すように被写体の顔領域に対して枠を重畳しても良い。また、画像処理部１０４により被写体のエッジ抽出をおこない、図１７（ｃ）に示すように被写体の輪郭を太くして強調してもよいし、図１７（ｄ）に示すように被写体領域に斜線などのテクスチャまたは単色を重畳してもよい。さらに、枠の色でその被写体に対するリフォーカス可能距離範囲を表現してもよいし、枠の上に数字や文字や記号を重畳して示しても良い。また、これらの表示方法を組み合わせて適用してもよい。リフォーカス不可被写体を通知可能であれば、ここに挙げた表示方法に限定されるものではない。

また、ここでは撮影時のリフォーカス不可被写体の表示方法について説明したが、瞳分割領域ごとのＲＡＷデータを可逆圧縮し、それとリフォーカス不可被写体情報を関連付けして保存しておき、あとからリフォーカス処理をおこなう際の表示にも適用できる。
これにより、主要被写体に対する合焦がおこなわれた結果、主要被写体以外でリフォーカスによる合焦が不可能な被写体をユーザに通知することが可能となる。ここでは動画待機中や静止画ライブビュー中は光学系１０１の制御による合焦をし、動画記録中のみ主要被写体の画角内の位置に応じた焦点調節手段の選択をするとしたが、動画待機中や静止画ライブビュー中に適用しても構わない。以上のように、本実施形態でも、先の実施形態４と同様の効果を得ることができる。なお、本実施形態５は先の実施形態１〜４と組み合わせることも可能である。

［実施形態６］
本実施形態による撮像装置を、図１８から図２０を用いて説明する。先述のように、リフォーカス可能距離範囲とリフォーカス可能画角範囲は、お互いにトレードオフの関係にある。そこで、本実施形態では、まず、リフォーカス可能距離範囲をリフォーカス可能画角範囲に優先させて、リフォーカス可否を判定する方法について説明する。
図１８は、本発明の実施形態６に係る撮像装置における、リフォーカス可能画角範囲について説明するための図である。図１８には、リフォーカス可能画角範囲１８００と、リフォーカス可能画角範囲外１８０１を示している。なお、本実施形態における撮像装置の構成は、図１０に示す先の実施形態４の撮像装置１００ｂと同じである。図１８に示すように、リフォーカス可能距離範囲を大きくすると、リフォーカス可能画角範囲１８００は、画面端から中央方向に横方向に縮小する。なお、リフォーカス可能画角範囲１８００の中心位置および変化方向は、瞳分割素子の配置および分割方向によって異なる。また、Ｆ値によって入射光の入射角が変化すると、リフォーカス可能距離範囲に対するリフォーカス可能画角範囲１８００の増減率も変化する。

図１９は、本発明の実施形態６に係る撮像方法のフローチャートである。まず、図１９のフローチャートの概要を説明する。図１９は、画像撮影中に検出した主要被写体のリフォーカス可能範囲に応じて、焦点調節手段を切り替えるフローチャートを示している。主要被写体が検出されていない場合は、焦点調節手段は切り替えず、光学系１０１のみを用いて焦点調節を行う。
焦点調整部１１１は、動画を連続したフレーム画像の集まりであるとし、フレーム画像に対してリフォーカスするか、あるいはフォーカスレンズを駆動するかを、リフォーカス可否判定部１１０による判定結果に基づいて決定する。具体的には、リフォーカス可能であればリフォーカスを行い、リフォーカス不可能であれば光学系１０１を制御して焦点調節を行う。そして、焦点調節手段の切り替えが必要ないと判断した場合にはフローを終了する。以下、図１９に示すフローチャートをステップ毎に説明する。

ステップＳ１９０１において、制御部１１５は、揮発性メモリ１０５に記録されている被写体の顔の位置を取得する。そして、検出された被写体の中で最も顔の大きさが大きい被写体を主要被写体とする。あるいは、ユーザが表示部１０６をタッチして選択した被写体を主要被写体としてもよい。なお、主要被写体が検出できなくなった場合には、検出された被写体の中で最も顔が大きい被写体を改めて主要被写体とする。そして、主要被写体の顔の中心位置および、顔の大きさを被写体情報（被写体領域）とする。
ステップＳ１９０２において、被写体距離算出部１０９は、被写体位置情報を基に、揮発性メモリ１０５に記録されている瞳分割領域ごとの画像の位相差を算出し、合焦撮影距離位置からのデフォーカス量に変換する。そして、合焦撮影距離位置とデフォーカス量を加算して、主要被写体の被写体距離情報を算出する。

ステップＳ１９０３において、制御部１１５は、ステップＳ１９０２において被写体距離情報が算出できたか否かを判定する。被写体距離情報が算出できた場合は、ステップＳ１９０４へ進む。一方、被写体距離情報が算出できなかった場合は、フローを終了する。
ステップＳ１９０４において、制御部１１５は、ステップＳ１９０２において算出した被写体距離情報が、合焦撮影距離と一致するか否かを判定する。被写体距離情報が合焦撮影距離と一致した場合は、焦点調節をする必要がないため、フローを終了する。被写体距離情報が合焦撮影距離と一致しない場合は、ステップＳ１９０５へ進む。ステップＳ１９０５において、リフォーカス可否判定部１１０は、被写体位置情報、被写体距離情報、合焦撮影距離、およびＦ値から、主要被写体のリフォーカス可能距離範囲と、リフォーカス可能画角範囲を算出する。そして、リフォーカスの可否を判定する。リフォーカス可否判定方法の詳細については、図２０および図２２を用いて後述する。
ステップＳ１９０６において、焦点調整部１１１は、ステップＳ１９０５の判定結果に応じて、焦点調節手段を切り替える。例えば、リフォーカス可能であればリフォーカスを行うことを決定し、リフォーカス不可能であれば光学系１０１の制御による焦点調節を行うことを決定する。なお、本フローチャートにおいては、主要被写体を人物に限定したが、物体検出部を設け、物や動物を主要被写体としてもよい。

次に、図１９のステップＳ１９０５におけるリフォーカス可否判定方法について、図２０および図２１を用いて説明する。図２０は、本発明の実施形態６に係る撮像方法における、リフォーカス可能距離範囲を優先させてリフォーカス可否を判定する方法のフローチャートである。また、図２１は、本発明の実施形態６に係る撮像方法における、リフォーカス可能距離範囲について説明するための図である。

ステップＳ２００１において、リフォーカス可否判定部１１０は、主要被写体がリフォーカス可能距離範囲に収まるようにリフォーカス可能距離範囲を調整する。具体的には、図２１に示すように、主要被写体Ａが矢印で示したリフォーカス可能距離範囲の端になるように範囲を調整する。この調整した範囲がリフォーカス可能距離範囲の算出結果となる。ここで、図２１に示す合焦撮影距離Ｌは、フォーカスレンズ位置において焦点の合っている距離を示す。また、矢印は、フォーカスレンズ位置においての、調整前のリフォーカス可能距離範囲を示す。ステップＳ２００２において、リフォーカス可否判定部１１０は、リフォーカス可能距離範囲に基づいてリフォーカス可能画角範囲を算出する。この結果、図１８に示すように、リフォーカス可能距離範囲の拡大に伴い、縮小したリフォーカス可能画角範囲が算出結果となる。

以上のように、本実施形態では、リフォーカス可否判定手段（リフォーカス可否判定部）は、主要被写体の被写体距離がリフォーカス可能距離範囲に含まれるように、リフォーカス可能距離範囲を調整する。そして、調整されたリフォーカス可能距離範囲から算出されるリフォーカス可能画角範囲と、主要被写体の被写体領域との比較により、主要被写体へのリフォーカス可否を判定する。この結果、リフォーカス可否判定部は、主要被写体の撮影画角内の位置の変化よりも主要被写体の距離の変化を優先してリフォーカス可能範囲を算出する。よって、例えば、主要被写体が画面の中央にいることが多い場合等に、フォーカスレンズを駆動することなくリフォーカスし続けることが可能である。なお、本実施形態６は先の実施形態１〜５と組み合わせることも可能である。

［実施形態７］
本実施形態による撮像装置を、図２２および図２３を用いて説明する。先の実施形態６では、リフォーカス可能距離範囲をリフォーカス可能画角範囲に優先させて、リフォーカス可否を判定する方法について説明した。これに対し、本実施形態７では、リフォーカス可能画角範囲をリフォーカス可能距離範囲に優先させて、リフォーカス可否を判定する方法について説明する。
先の実施形態６の図１９のステップＳ１９０５における、本実施形態のリフォーカス可否判定方法について、図２２および、図２３を用いて説明する。図２２は、本発明の実施形態７に係る撮像方法における、リフォーカス可能画角範囲を優先させてリフォーカス可否を判定する方法のフローチャートである。また、図２３は、本発明の実施形態７に係る撮像方法における、リフォーカス可能画角範囲の算出について説明するための図である。先の実施形態６では、主要被写体の距離の変化を優先してリフォーカス可能範囲を算出したのに対して、本実施形態では、主要被写体の撮影画角内の位置の変化を優先してリフォーカス可能範囲を算出する。
なお、本実施形態における焦点調節のフローチャートは、図１９で示した先の実施形態６と同じであるため、説明は省略する。また、本フローチャートにおいて先の実施形態６と同じ処理を行うものに関しても、説明は省略する。

ステップＳ２２０１において、リフォーカス可否判定部１１０は、主要被写体の被写体領域が、リフォーカス可能画角範囲に収まるように、リフォーカス可能画角範囲を算出する。具体的には、図２３に示すように、主要被写体が領域２３００に示すリフォーカス可能画角範囲の端に収まるように、リフォーカス可能画角範囲を調整する。この調整した領域２３００がリフォーカス可能画角範囲の算出結果となる。また、領域２３０１はリフォーカス可能画角範囲外となる。ステップＳ２２０２において、リフォーカス可否判定部１１０は、リフォーカス可能画角範囲に基づいてリフォーカス可能距離範囲を算出する。この結果、図２３に示すように、リフォーカス可能画角範囲の拡大に伴い、縮小したリフォーカス可能距離範囲が算出結果となる。

以上のように、本実施形態では、リフォーカス可否判定手段（リフォーカス可否判定部）は、主要被写体の被写体領域がリフォーカス可能画角範囲に含まれるように、リフォーカス可能画角範囲を調整する。そして、調整されたリフォーカス可能画角範囲から算出されるリフォーカス可能距離範囲と、主要被写体の被写体距離との比較により、主要被写体へのリフォーカス可否を判定する。この結果、リフォーカス可否判定部は、主要被写体の距離の変化をよりも主要被写体の撮影画角内の位置の変化を優先してリフォーカス可能範囲を算出する。よって、例えば、主要被写体が画面を横切るような場合に、フォーカスレンズを駆動することなくリフォーカスし続けることが可能である。なお、本実施形態７は先の実施形態１〜６と組み合わせることも可能である。

［実施形態８］
本実施形態による撮像装置を、図２４を用いて説明する。先の実施形態１〜７では、撮像素子１０２の瞳分割素子が水平方向に分割されていることを想定した。これに対し、本実施形態８では、撮像素子１０２の瞳分割素子が水平方向以外に分割されている場合について説明する。
先の実施形態６の図１９のステップＳ１９０５における、本実施形態のリフォーカス可否判定方法について、図２４を用いて説明する。図２４は、本発明の実施形態８に係る撮像方法における、瞳分割の方向に応じてリフォーカス可能画角範囲を算出する方法のフローチャートである。本実施形態では、撮像素子１０２の瞳分割の方向を考慮してリフォーカス可能画角範囲を算出する。
なお、本実施形態における焦点調節のフローチャートは、図１９で示した先の実施形態６と同じであるため、説明は省略する。また、本フローチャートにおいて先の実施形態６と同じ処理を行うものに関しても、説明は省略する。ステップＳ２４０１において、リフォーカス可否判定部１１０は、先の実施形態６と同様にリフォーカス可能距離範囲を算出する。ステップＳ２４０２において、リフォーカス可否判定部１１０は、先の実施形態６と同様にリフォーカス可能画角範囲を算出する。

ステップＳ２４０３において、リフォーカス可否判定部１１０は、ステップＳ２４０２において算出したリフォーカス可能画角範囲に関して、瞳分割の方向と主要被写体の撮影画角内の位置に応じて、リフォーカス可能画角範囲を変更する。先の実施形態６の図１８では、撮像素子１０２の瞳分割方向が横方向であることを想定していたため、リフォーカス可能画角範囲は横方向に縮小した。これに対し、本実施形態では、例えば、撮像素子１０２の瞳分割が縦方向の場合には、リフォーカス可能画角範囲は、主要被写体の距離に応じて画面端から中央へ縦方向に縮小する。
特に、瞳分割の方向が複数ある場合には、主要被写体の撮影画角内の位置に応じてリフォーカス可能画角範囲を変更することができる。例えば、主要被写体が左右端にいる場合には、縦方向の瞳分割によるリフォーカス可能画角範囲を算出する。一方、主要被写体が上下端にいる場合には、横方向の瞳分割によるリフォーカス可能画角範囲を算出する。

以上のように、本実施形態では、リフォーカス可否判定手段（リフォーカス可否判定部）は、瞳分割画素領域の撮像素子の瞳分割の方向に応じてリフォーカス可能画角範囲を算出する。これにより、主要被写体の位置と撮像装置の瞳分割の方向に応じてリフォーカスし続けることが可能である。なお、本実施形態８は先の実施形態１〜７と組み合わせることも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置
１０１：光学系
１０２：撮像素子
１０３：Ａ／Ｄ変換部
１０４：画像処理部
１０５：揮発性メモリ
１０６：表示部
１０７：操作部
１０８：被写体位置検出部
１０９：被写体距離算出部
１１０：リフォーカス可否判定部
１１１：焦点調整部
１１２：不揮発性メモリ
１１３：記憶媒体制御部
１１４：記憶媒体
１１５：制御部
１１６：バス
１１７：パラメータ生成部

Claims (25)

1. リフォーカス画像を再構成する撮像装置において、
   瞳分割画素領域を有する撮像素子を用いて撮影した画像を、撮影時の光学系の撮影情報とともに取得する取得手段と、
   前記画像上の少なくとも１つの被写体を検出して、前記被写体の被写体領域を算出するとともに、前記被写体領域におけるデフォーカス量から、前記被写体までの奥行き距離である被写体距離を算出する被写体検出手段と、
   前記被写体距離、前記被写体領域、および前記撮影情報から、リフォーカス可能画角範囲を算出し、前記被写体領域が前記リフォーカス可能画角範囲に含まれるか否かを比較することにより、前記被写体へのリフォーカス可否を判定するリフォーカス可否判定手段と、
   を備えることを特徴とする撮像装置。
2. 前記画像を前記被写体にリフォーカスするために必要なパラメータを、前記撮影情報に基づいて、前記被写体に関連づけて生成するパラメータ生成手段と、
   前記リフォーカス可否判定手段による判定結果および前記パラメータを、前記画像のメタデータとして、前記画像とともに記憶媒体に記録する記録手段と、
   前記記憶媒体に記録された前記画像および前記メタデータを読み出して、前記画像を前記被写体にリフォーカスする再生手段と、を更に備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記リフォーカス可否判定手段は、前記リフォーカス可能画角範囲を、前記被写体ごとに算出する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記パラメータ生成手段は、前記リフォーカス可否判定手段によってリフォーカス不可と判定された被写体に対しては、空行列の変換マトリクスを前記パラメータとして生成し、前記リフォーカス可否判定手段によってリフォーカス可能と判定された被写体に対しては、前記被写体の前記被写体距離に対応する変換マトリクスを前記パラメータとして生成する
   ことを特徴とする請求項２または３に記載の撮像装置。
5. 前記リフォーカス可否判定手段は、前記少なくとも１つの被写体の中から選択された主要被写体へのリフォーカスが不可であると判定した場合には、前記主要被写体の前記被写体領域が含まれるように、前記リフォーカス可能画角範囲を変更したうえで、前記主要被写体へのリフォーカスが可能であると判定し、
   前記パラメータ生成手段は、変更された前記リフォーカス可能画角範囲と同じ画角を再構成するパラメータを、前記主要被写体に関連づけて生成する
   ことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
6. 前記少なくとも１つの被写体の中から選択された主要被写体に焦点を調整する際に、前記画像をリフォーカスするか、あるいはフォーカスレンズを駆動するかを、前記リフォーカス可否判定手段による前記主要被写体へのリフォーカス可否の判定結果に基づいて決定する焦点調整手段を更に備える
   ことを特徴とする請求項１または２に記載の撮像装置。
7. 前記焦点調整手段は、前記リフォーカス可否判定手段が、前記主要被写体へのリフォーカス可能と判定したときには、リフォーカスして焦点を調整し、前記主要被写体へのリフォーカス不可と判定したときには、フォーカスレンズを駆動して焦点を調整する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記リフォーカス可否判定手段は、前記主要被写体の前記被写体距離が含まれるようにリフォーカス可能距離範囲を調整し、調整されたリフォーカス可能距離範囲から算出されるリフォーカス可能画角範囲と、前記主要被写体の前記被写体領域との比較により、前記主要被写体へのリフォーカス可否を判定する
   ことを特徴とする請求項６または７に記載の撮像装置。
9. 前記リフォーカス可否判定手段は、前記主要被写体の前記被写体領域が含まれるようにリフォーカス可能画角範囲を調整し、調整されたリフォーカス可能画角範囲から算出されるリフォーカス可能距離範囲と、前記主要被写体の前記被写体距離との比較により、前記主要被写体へのリフォーカス可否を判定する
   ことを特徴とする請求項６または７に記載の撮像装置。
10. 前記リフォーカス可否判定手段は、前記被写体の前記被写体領域が、前記リフォーカス可能画角範囲に含まれる場合には、前記被写体へのリフォーカスが可能であると判定し、前記被写体の前記被写体領域が、前記リフォーカス可能画角範囲に含まれない場合には、前記被写体へのリフォーカスが不可であると判定する
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記リフォーカス可否判定手段は、前記被写体の前記被写体領域の全領域が、前記リフォーカス可能画角範囲に含まれる場合に、前記被写体へのリフォーカスが可能であると判定する
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記被写体検出手段は、前記被写体の顔領域を、前記被写体の前記被写体領域として検出する
    ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記メタデータに基づいて、前記被写体へのリフォーカス可否を前記画像とともに表示する表示手段を更に備える
    ことを特徴とする請求項２に記載の撮像装置。
14. 前記リフォーカス可否判定手段による判定結果に基づいて、前記被写体へのリフォーカス可否を前記画像とともに表示する表示手段を更に備える
    ことを特徴とする請求項６に記載の撮像装置。
15. 前記表示手段は、前記リフォーカス可否判定手段によってリフォーカス不可と判定された被写体に対しては、前記リフォーカス可否判定手段によってリフォーカス可能と判定された被写体とは異なる表示を行う
    ことを特徴とする請求項１３または１４に記載の撮像装置。
16. 前記表示手段は、前記リフォーカス可否判定手段によるリフォーカス可否の判定結果を、前記画像上に文字や記号を重畳して表示する
    ことを特徴とする請求項１３から１５のいずれか１項に記載の撮像装置。
17. 前記表示手段は、前記リフォーカス可否判定手段がリフォーカス可能と判定した被写体に対しては、リフォーカス可能である旨を前記画像上に重畳して表示する
    ことを特徴とする請求項１３から１６のいずれか１項に記載の撮像装置。
18. 前記表示手段は、前記リフォーカス可否判定手段がリフォーカス不可と判定した被写体に対しては、リフォーカス不可である旨を前記画像上に重畳して表示する
    ことを特徴とする請求項１３から１７のいずれか１項に記載の撮像装置。
19. 前記表示手段は、前記リフォーカス可否判定手段によるリフォーカス可否の判定結果を、前記画像上の前記被写体領域に枠を重畳して表示する
    ことを特徴とする請求項１３から１８のいずれか１項に記載の撮像装置。
20. 前記表示手段は、前記リフォーカス可否判定手段によるリフォーカス可否の判定結果を、前記画像上の前記被写体の輪郭を強調させて表示する
    ことを特徴とする請求項１３から１９のいずれか１項に記載の撮像装置。
21. 前記表示手段は、前記リフォーカス可否判定手段によるリフォーカス可否の判定結果を、前記画像上の前記被写体領域に、テクスチャまたは単色を重畳して表示する
    ことを特徴とする請求項１３から２０のいずれか１項に記載の撮像装置。
22. 前記リフォーカス可否判定手段は、前記撮像素子の前記瞳分割画素領域の瞳分割方向に応じて前記リフォーカス可能画角範囲を算出する
    ことを特徴とする請求項１から２１のいずれか１項に記載の撮像装置。
23. リフォーカス画像を再構成する撮像装置の制御方法であって、
    瞳分割画素領域を有する撮像素子を用いて撮影した画像を、撮影時の光学系の撮影情報とともに取得する取得ステップと、
    前記画像上の少なくとも１つの被写体を検出して、前記被写体の被写体領域を算出するとともに、前記被写体領域におけるデフォーカス量から、前記被写体までの奥行き距離である被写体距離を算出する被写体検出ステップと、
    前記被写体距離、前記被写体領域、および前記撮影情報から、リフォーカス可能画角範囲を算出し、前記被写体領域が前記リフォーカス可能画角範囲に含まれるか否かを比較することにより、前記被写体へのリフォーカス可否を判定するリフォーカス可否判定ステップと、
    を有することを特徴とする撮像装置の制御方法。
24. リフォーカス画像を再構成する撮像装置において、
    コンピュータを、
    瞳分割画素領域を有する撮像素子を用いて撮影した画像を、撮影時の光学系の撮影情報とともに取得する取得手段と、
    前記画像上の少なくとも１つの被写体を検出して、前記被写体の被写体領域を算出するとともに、前記被写体領域におけるデフォーカス量から、前記被写体までの奥行き距離である被写体距離を算出する被写体検出手段と、
    前記被写体距離、前記被写体領域、および前記撮影情報から、リフォーカス可能画角範囲を算出し、前記被写体領域が前記リフォーカス可能画角範囲に含まれるか否かを比較することにより、前記被写体へのリフォーカス可否を判定するリフォーカス可否判定手段と、
    して機能させるプログラム。
25. 請求項２４のプログラムを記録した、コンピュータが読み取り可能な記憶媒体。