JP2020017851A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】データ量を低減しつつ、適切にリフォーカス可能な画像信号を記録する撮像装置を提供すること。【解決手段】撮像装置１００は、撮像素子１０３から出力された画像信号に基づいて焦点検出を行う焦点検出部１０７と、リフォーカス可能な画像信号の記録手段への記録を制御するシステム制御部１１５と、を備え、システム制御部１１５は、焦点検出部１０７による焦点検出結果が非合焦状態であり、かつリフォーカス可能な状態である画像信号の出力が所定の期間続いた場合に、リフォーカス可能な画像信号を記録部１１３に記録する。【選択図】図５

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。

撮像装置の中には、被写体により反射されて装置に入射した瞳領域と入射方向の組合せが各々異なる光線の情報を、撮像素子において光電変換して記録するものがある。該装置により記録された画像信号は、光線空間情報やＬＦデータ（ＬｉｇｈｔＦｉｅｌｄＤａｔａ）等と呼ばれる。このような画像信号は、様々な入射角の光線の情報を有するため、撮影後に特定の方向から入射した光学像に係る画像や特定の距離の被写体にフォーカスした画像等を生成することが可能である。しかしＬＦデータは、生成される画像の画素数に比べて、光電変換部分の倍数の画素数を有し膨大なデータ量となる。そこで特許文献１は、焦点状態から合焦状態であればＬＦデータは記録しないことでデータ量を低減させる技術を開示している。

特開２０１５−０８０１７７号公報

しかしながら、特許文献１では非合焦状態が続いた場合には、結果的にＬＦデータを記録し続けることになり、データ量を低減しきれない場合があった。

本発明は、データ量を低減しつつ、適切にリフォーカス可能な画像信号を記録する撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、被写体像を光電変換して画像信号を出力する撮像手段と、出力された画像信号に基づいて焦点検出を行う焦点検出手段と、リフォーカス可能な画像信号の記録手段への記録を制御する制御手段と、を備え、前記制御手段は、前記焦点検出手段による焦点検出結果が非合焦状態であり、かつリフォーカス可能な状態である画像信号の出力が所定の期間続いた場合に、リフォーカス可能な画像信号の記録を実行する。

本発明によれば、データ量を低減しつつ、適切にリフォーカス可能な画像信号を記録する撮像装置を提供することができる。

撮像装置の構成を示す図である。 像信号及び相関演算を説明する図である。 リフォーカス可能なＲＡＷ画像の記録およびリフォーカス処理を説明する図である。 撮像処理全体を示すフローチャートである。 リフォーカス可能なＲＡＷ画像の記録判定処理を示すフローチャートである。 リフォーカス可能なＲＡＷ画像の記録判定期間を決定する際の複数フレームの一例を示す図である。 リフォーカス可能なＲＡＷ画像の記録判定処理を示すフローチャートである。 リフォーカス可能なＲＡＷ画像の記録制限判定処理を示すフローチャートである。

（第１実施形態）
図１は、撮像装置１００の構成を示す図である。撮像装置１００は、例えば、デジタル一眼カメラ、ビデオカメラ、コンパクトデジタルカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等の撮像機能を有した撮像装置である。本実施形態の撮像装置１００は、光学部１０１、駆動部１０２、撮像素子１０３、第１の画像信号生成部１０４、第２の画像信号生成部１０５、第３の画像信号生成部１０６、焦点検出部１０７、ＡＦ制御部１０８および信号処理部１０９を備える。撮像装置１００は、さらに、記録部１１３、表示部１１４およびシステム制御部１１５を備える。なお、本実施形態では、レンズ装置と本体部とが一体となっている撮像装置の例を示しているが、レンズ装置を着脱可能な撮像装置であってもよい。

光学部１０１は、ズームレンズ、絞り、フォーカスレンズ、シフトレンズなどで構成される撮像光学系を有する。駆動部１０２は、後述するＡＦ制御部１０８から出力されるフォーカス情報に応じて、光学部１０１の駆動を制御する。撮像素子１０３は、光学部１０１からの入射光に対して光電変換を行って電気信号に変換する。撮像素子１０３には、１つのマイクロレンズに対して複数の光電変換部を有する画素が複数配置されている。各光電変換部は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号を出力する。本実施形態では、各画素が２つの光電変換部を備えている例を説明する。撮像素子１０３の例として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等がある。

第１の画像信号生成部１０４は、撮像素子１０３から出力された異なる瞳領域を通過した光束を光電変換した複数の画像信号から、表示／記録用の第１の画像信号（以下、Ａ＋Ｂ像ともいう）を生成する。第２の画像信号生成部１０５は、撮像素子１０３から出力された異なる瞳領域を通過した光束を光電変換した複数の画像信号から、位相差焦点検出用の第２の画像信号（以下、Ａ像ともいう）を生成する。Ａ＋Ｂ像およびＡ像のセットは、リフォーカス処理に用いるリフォーカス可能な画像信号でもある。

第３の画像信号生成部１０６は、第１の画像信号生成部１０４より出力されたＡ＋Ｂ像と第２の画像信号生成部１０５から出力されたＡ像から、第３の画像信号（以下、Ｂ像ともいう）を生成する。具体的には、第３の画像信号生成部１０６は、Ａ＋Ｂ像とＡ像の対応する画素においてＡ＋Ｂ像の画素値からＡ像の画素値を引くことで、Ｂ像を生成する。さらに、第３の画像信号生成部１０６は、Ａ像およびＢ像に対して画像圧縮を行う。

焦点検出部１０７は、位相差方式の焦点検出を行い、焦点検出結果をシステム制御部１１５およびＡＦ制御部１０８に出力する。具体的には、焦点検出部１０７は、一対の位相差検出用の信号であるＡ像とＢ像を用いて相関演算により位相差情報を算出する。なお、焦点検出部１０７がコントラスト方式による焦点検出を行っても構わない。ＡＦ制御部１０８は、焦点検出部１０７で算出された位相差情報に基づいて、光学部１０１のフォーカス位置を制御するためのフォーカス情報を算出する。

信号処理部１０９は、第１の画像信号生成部１０４から取得したＲＡＷ画像形式のＡ＋Ｂ像に対し各種画像処理を行い、記録部１１３および表示部１１４に出力する。信号処理部１０９は、現像部１１０、動き検出部１１１および静止画圧縮部１１２を有する。現像部１１０は、ＲＡＷ画像形式で送出されたＡ＋Ｂ像に対して、現像処理を行う。現像処理では、デベイヤー処理（デモザイク処理）を施し、輝度と色差で表される信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの処理を行う。

動き検出部１１１は、現フレームの画像と前フレームの画像との差分から被写体の動き検出を行う。そのため、動き検出部１１１は、前フレームの画像を保持するメモリ領域を有している。動き検出部１１１は、動き検出結果として、被写体の移動量を画素単位で出力する。静止画圧縮部１１２は、現像部１１０で現像処理されたＡ＋Ｂ像に対して、高能率符号化（圧縮符号化）し、情報量が圧縮された画像を生成し、記録部１１３に出力する。静止画圧縮部１１２が生成する情報量が圧縮された画像は、例えばＪＰＥＧ画像である。

記録部１１３は、画像および画像の関連情報を記録する。記録部１１３は、静止画圧縮部１１２により生成されたＪＰＥＧ画像のほかにも、第１の画像信号生成部１０４から出力されたＲＡＷ形式のＡ＋Ｂ像と、第２の画像信号生成部１０５から出力されたＲＡＷ形式のＡ像を記録することができる。以下では、ＲＡＷ形式のＡ＋Ｂ像とＡ像を記録することをリフォーカス可能なＲＡＷ画像の記録という。記録した２枚のＲＡＷ画像を用いて、例えば外部の画像処理装置でＢ像の生成を行い、画像のフォーカス位置を調整するリフォーカス処理が可能である。リフォーカス処理の詳細は後述する。なお、リフォーカス可能なＲＡＷ画像の記録で記録する画像は、リフォーカス処理が可能な視差情報を有するリフォーカス可能な画像信号であればよく、Ａ＋Ｂ像とＡ像の組み合わせに限られるものではない。例えば、Ａ像とＢ像の組み合わせでもよいし、Ａ＋Ｂ像とＢ像の組み合わせでもよい。

表示部１１４は、現像部１１０により現像処理された画像を不図示の表示デバイスに表示する。表示デバイスは、例えば、ＬＣＤ（液晶ディスプレイ）、ＥＶＦ（電子ビューファインダー）などの表示装置である。また、表示部１１４は画像のほかにも、画像の関連情報や撮像装置の設定情報などを表示してもよい。システム制御部１１５は、撮像装置１００全体を制御するシステム制御部である。システム制御部１１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、各種プログラムを実行することで、撮像装置１００の機能を実現している。

ここで、本実施形態における焦点検出部１０７における焦点検出方法について、図２（Ａ）および図２（Ｂ）を用いて具体的に説明する。図２（Ａ）は、入力されたＡ像信号およびＢ像信号を説明する図である。図２（Ａ）において、縦軸は像信号のレベル（値）、横軸は画素位置をそれぞれ示している。実線がＡ像信号を、破線がＢ像信号を示している。一対の位相差検出用信号の像ずれ量をＸと表記すると、像ずれ量Ｘは、光学部１０１における結像状態（合焦状態、前ピン状態、または、後ピン状態）に応じて変化する。焦点検出部１０７は、一対の位相差検出用の信号の像ずれ量Ｘを算出するため相関演算を行う。相関演算では、Ａ像信号およびＢ像信号の画素をシフトさせながら２つの像信号の相関量を演算し、相関が最も高くなるシフト量が像ずれ量Ｘとして算出される。

図２（Ｂ）は、像信号の画素をシフトさせていった際の２つの像信号の相関量（以下、相関量波形という）を示す図である。図２（Ｂ）において、横軸は画素のシフト量、縦軸は各シフト量におけるＡ像信号とＢ像信号の相関量を示している。焦点検出部１０７は、２つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積値を取得する。なお、大きい方の値の累積値を取得するようにしてもよいし、差分の累積値を取得するようにしてもよい。累積値は、相関を示す指標となる。小さい方の値の累積値を取得する場合には、累積値が最も大きいときが相関の高いときとなる。一方、大きい方の値の累積値を取得する場合、または、差分の累積値を取得する場合には、累積値が最も小さいときが相関の高いときとなる。

上記のように単純に相関が最高となるシフト量をもって像ずれ量Ｘとすると、像ずれ量Ｘは像信号の１シフトの整数単位でしか得ることができない。この像ずれ量Ｘをデフォーカス量に換算すると、デフォーカス量の分解能は比較的粗いものとなる。そこで、より高い精度を求めるために、焦点検出部１０７は、画素シフトして得られた相関量の各点に対して多項式補間をしてもよい。また、焦点検出部１０７は、整数シフト単位の相関量から小数単位の相関量の極値を直接補間して算出してもよいし、１次導関数すなわち相関量の微分値がゼロとなる小数単位のシフトを補間して算出してもよい。これにより、焦点検出部１０７は、１画素よりさらに細かい単位で高精度な像ずれ量を算出することができる。

次に、リフォーカス可能なＲＡＷ画像の記録、およびリフォーカス処理について図３を用いて説明する。リフォーカス可能なＲＡＷ画像の記録とは、撮影時にＲＡＷ画像形式のＡ＋Ｂ像とＡ像を記録することである。記録されたＲＡＷ画像形式のＡ＋Ｂ像とＡ像を用いて、リフォーカス処理を行うことができる。リフォーカス処理は、撮像装置内にリフォーカス処理可能な機構を搭載して、撮像装置内で実施してもよいし、ＰＣなどの外部装置でＲＡＷ画像形式のＡ＋Ｂ像とＡ像を取得して実施してもよい。また、本実施形態ではＡ像とＢ像という２つの視差を有する像信号を用いた場合のリフォーカス処理を説明するが、異なる瞳領域を通過した光束をそれぞれ光電変換するより多くの光電変換部を有し、それぞれの光電変換部に対応した画像群を有する所謂ＬＦデータ（ライトフィールドデータ）を記録し、リフォーカス処理を行ってもよい。

図３（Ａ）〜図３（Ｃ）は、リフォーカス可能なＲＡＷ画像の記録およびリフォーカス処理を説明する図である。図３（Ａ）は、被写体３００を撮影した際に記録されたＡ＋Ｂ像のＲＡＷ画像である。図３（Ｂ）は、被写体３００を撮影した際に記録されたＡ像のＲＡＷ画像である。図３（Ｃ）は、被写体３００を撮影した際に記録されたＢ像のＲＡＷ画像である。図３（Ａ）に示されるように、撮影画像は非合焦である。図３（Ｂ）の破線３０１は、Ａ像における被写体３００の中心位置を示している。図３（Ｃ）の破線３０２は、Ｂ像における被写体３００の中心位置を示している。破線３０１は、破線３０２と比べると左側にずれている。このように、非合焦時は視差のあるＡ像とＢ像で被写体の位置がずれていることにより、Ａ＋Ｂ像においてボケた画像となる。

リフォーカス処理では、被写体３００をＡ像およびＢ像から抽出して、画像間のずれを補正し、加算することによってボケのない合焦画像を生成する。ただし、画像間のずれが大きくボケの強い画像では、Ａ像、Ｂ像それぞれの画像自体もボケており、リフォーカス処理でずれを補正して加算したとしても、ボケたままの画像となってしまう。そこで、本実施形態においては、リフォーカス可能な範囲の像ずれ量を５画素までとする。

以上説明したように、リフォーカス可能なＲＡＷ画像を記録しておけば、撮影時に非合焦状態であった画像もリフォーカス処理をすることで後から合焦画像を取得することが可能となる。特に移動する被写体は、非合焦となりやすくリフォーカス可能なＲＡＷ画像からのリフォーカスはユーザにとって有益な機能である。一方で、リフォーカス処理を行うためには、ＪＰＥＧ形式の静止画に加えて、Ａ＋Ｂ像とＡ像のＲＡＷ画像を記録することになり、メモリをより多く消費してしまう。特に移動する被写体を一連の撮像である連写で撮影する場合にリフォーカス可能なＲＡＷ画像の記録を行うと、メモリを大量に消費して、メモリの残量がなくなり撮影自体ができなくなってしまう恐れがある。

また、ボケ量が大きかった場合には、リフォーカス可能なＲＡＷ画像を用いてリフォーカス処理を行っても合焦画像が生成できず、リフォーカス可能なＲＡＷ画像の記録分はただのメモリの無駄遣いとなってしまう。そこで、本実施形態では、メモリの消費を抑えつつ、撮影画像が非合焦画像であった場合にもリフォーカス処理で所望の画像を後から得ることができるよう、連写中に適切に記録を行う。

次に、本実施形態における撮像装置１００による撮影から画像記録までの動作について図４を用いて説明する。図４は、ユーザの撮影操作から画像記録までの全体の処理手順を示すフローチャートである。
ステップＳ４０１において、システム制御部１１５は、ユーザによる撮影操作があるか否か判定する。ユーザによる撮影操作があると判定した場合は、ステップＳ４０２に進む。一方、ユーザによる撮影操作がないと判定した場合は、撮影操作があるまで本ステップを繰り返す。
ステップＳ４０２において、第１の画像信号生成部１０４〜第３の画像信号生成部１０６は、位相差方式による焦点検出用の画像（Ａ像およびＢ像）を生成する。具体的には、ユーザによる撮影操作に応じて撮像素子１０３から出力された瞳分割された複数の画像信号から、第１の画像信号生成部１０４がＡ＋Ｂ像を、第２の画像信号生成部１０５がＡ像を、第３の画像信号生成部１０６がＢ像を生成する。

ステップＳ４０３において、焦点検出部１０７は、ステップＳ４０２で生成された一対の像信号であるＡ像とＢ像を用いて焦点検出処理を行う。
ステップＳ４０４において、ＡＦ制御部１０８は、ステップＳ４０３での焦点検出結果からフォーカス情報を算出し、フォーカス情報を駆動部１０２に出力する。そして、駆動部１０２は、合焦状態になるよう、フォーカス情報に応じて光学部１０１内のフォーカスレンズを駆動制御する。

ステップＳ４０５において、現像部１１０は、Ａ＋Ｂ像に対して現像処理を行う。
ステップＳ４０６において、動き検出部１１１は、ステップＳ４０５で現像したＡ＋Ｂ像を用いて動き検出を行う。なお、動き検出結果は、後述の判定期間の算出時に用いられる。
ステップＳ４０７において、静止画圧縮部１１２は、現像されたＡ＋Ｂ像をＪＰＥＧ形式に圧縮する。

ステップＳ４０８において、記録部１１３は、ＪＰＥＧ形式のＡ＋Ｂ像を記録する。
ステップＳ４０９において、システム制御部１１５は、リフォーカス可能なＲＡＷ画像の記録をするか否かを判定する。リフォーカス可能なＲＡＷ画像の記録判定の詳細は、図５および図６を用いて後述する。
ステップＳ４１０において、システム制御部１１５は、撮影操作が続いているか否か判定する。撮影操作が続いている、すなわち連写操作がされていると判定した場合は、ステップＳ４０２に戻り、繰り返し処理を行う。一方、撮影操作がされていないと判定した場合は、本フローを終了する。

次に、ステップＳ４０９のリフォーカス可能なＲＡＷ画像の記録判定の詳細について図５および図６を用いて説明する。図５はリフォーカス可能なＲＡＷ画像の記録判定の処理手順を示すフローチャートである。
ステップＳ５０１において、システム制御部１１５は、焦点検出部１０７による焦点検出結果に基づいて、合焦か否かを判定する。本実施形態において、システム制御部１１５は、像ずれ量が１画素以下であった場合を合焦していると判定する。合焦していると判定した場合は、ステップＳ５０２に進む。一方、合焦していないと判定した場合は、ステップＳ５０３に進む。
ステップＳ５０２において、システム制御部１１５は、合焦画像情報に１を設定する。合焦画像情報は、合焦画像を取得したか否かを示す情報であり、合焦画像を取得した場合には「１」が、合焦画像を取得していない場合には「０」が設定される。合焦している場合は、リフォーカス処理を行う必要がないため、リフォーカス可能なＲＡＷ画像の記録は不要であり、本フローチャートを終了する。

ステップＳ５０３において、システム制御部１１５は、焦点検出部１０７による焦点検出結果に基づいて、リフォーカス可能か否かを判定する。本実施形態において、システム制御部１１５は、像ずれ量が５画素以下であった場合をリフォーカス可能であると判定する。リフォーカス不可能であると判定した場合は、リフォーカス可能なＲＡＷ画像の記録をしても合焦画像が得られないため、リフォーカス可能なＲＡＷ画像の記録は不要として本フローチャートを終了する。一方、リフォーカス可能であった場合はステップＳ５０４に進む。

ステップＳ５０４において、システム制御部１１５は、リフォーカス可能なＲＡＷ画像の記録の判定期間中であるか否かを判定する。リフォーカス可能なＲＡＷ画像の記録の判定期間については、後述する。リフォーカス可能なＲＡＷ画像の記録の判定期間中でないと判定した場合は、ステップＳ５０５に進む。一方、リフォーカス可能なＲＡＷ画像の記録の判定期間中であると判定した場合は、ステップＳ５０６に進む。

ステップＳ５０５において、システム制御部１１５は、判定期間を算出する。ここで、判定期間について詳細に説明する。判定期間とは、リフォーカス可能なＲＡＷ画像の記録をするまでの所定に期間である。システム制御部１１５は、判定期間分、合焦しておらず、かつ、リフォーカス可能な状態が継続した際にリフォーカス可能なＲＡＷ画像の記録を行う。判定期間は、合焦画像が撮影されたか否か、および、被写体の移動速度が速いか否かに応じて調整される。また、判定期間は、メモリ残量に応じて調整してもよい。

本実施形態において、合焦画像が撮像されている場合は判定期間を３フレーム分とし、合焦画像が撮影されていなければ２フレーム分とする。撮像により合焦画像が得られている場合は、この合焦画像が所望の画像となる可能性があるが、合焦画像がない場合には、いずれかの非合焦画像をリフォーカス処理することでしか合焦画像が得られない。そのため、合焦画像が撮像されていない場合は、より積極的にリフォーカス可能なＲＡＷ画像の記録をするために判定期間を短くする。合焦画像が撮像されたか否かは、合焦画像情報から判断する。合焦画像情報が１であった場合には、合焦画像が撮像されたものと判断できる。

また、被写体の移動速度に応じても判定期間を調整する。動き検出部１１１による動き検出結果、被写体の動きが大きい場合は判定期間を短くする。被写体の動きが大きいか否かは、全体の画素サイズに対する被写体の移動量で判定する。被写体の動きが全体の画素サイズの１０％以上であった場合は、被写体の動きが大きいと判定し、判定期間を例えば１フレーム分短くする。短くする。一方、被写体の動きが全体の画素サイズの１０％未満であった場合は、被写体の動きが小さいと判定し、判定期間の調整は行わない。

本実施形態において、例えば、動き検出に用いる画像の水平サイズを１０２４画素とすると、動き検出結果がその１０％に相当する１０２画素以上であった場合に、システム制御部１１５は被写体の動きが大きいと判定し、判定期間を１フレーム分短くする。被写体の移動速度に応じて判定期間を調整するのは、被写体の動きが大きい場合は画像の変化が大きいため、間隔を長くあけてしまうと所望のタイミングでリフォーカス可能なＲＡＷ画像の記録がされず、必要な画像を逃してしまう可能性が高くなるためである。一方で、被写体の移動が小さい場合は、そもそも合焦できる可能性が高いため判定期間の調整は行わない。

図６を用いて判定期間の算出方法およびリフォーカス可能なＲＡＷ画像の記録を実行するまでの判定処理について詳細に説明する。図６（Ａ）および図６（Ｂ）は、判定期間を決定する際の複数フレームの一例を示す図である。図６（Ａ）および図６（Ｂ）は、連写中の画像に対する、像ずれ量、合焦画像情報、動き検出結果、判定期間および継続期間を示している。まず、図６（Ａ）を用いて合焦画像がある場合について説明する。

フレーム１では、像ずれ量が０．５画素である。像ずれ量が１画素以下であるため、システム制御部１１５は、フレーム１は合焦画像であると判定し、合焦画像情報を１に設定する。また、合焦しているため、フレーム１ではリフォーカス可能なＲＡＷ画像の記録はしない。

フレーム２では、像ずれ量が１．２画素である。像ずれ量が１画素より大きくかつ５画素以下であるため、システム制御部１１５は、フレーム２は非合焦かつリフォーカス可能な範囲であると判定し、判定期間の算出を行う。フレーム１で取得した合焦画像により合焦画像情報が１であるため、ベースとなる判定期間を３とする。また、フレーム２では、動き検出結果が４５画素である。動き検出結果が１０２画素未満であるため、システム制御部１１５は、被写体の移動量が小さいと判定し、判定期間の調整は行わず、判定期間は３で確定となる。したがって、非合焦かつリフォーカス可能な状態が３フレーム分継続した場合に、リフォーカス可能なＲＡＷ画像の記録を行う。また、判定期間の継続期間を１とする。

フレーム３、フレーム４と続けて像ずれ量が１画素より大きくかつ５画素以下であるため、システム制御部１１５は、フレーム２は非合焦かつリフォーカス可能な範囲であると判定する。システム制御部１１５は、フレーム３の継続期間を２、フレーム４の継続期間を３と増やしていく。フレーム４において継続期間が判定期間分続いたため、システム制御部１１５は、フレーム４においてリフォーカス可能なＲＡＷ画像の記録を実施する。

次に、図６（Ｂ）を用いて合焦画像がない場合、および被写体の移動量が大きい場合について説明する。
フレーム１では、像ずれ量が１．３画素である。像ずれ量が１画素より大きくかつ５画素以下のため、システム制御部１１５は、フレーム１は非合焦かつリフォーカス可能な範囲であると判定し、判定期間の算出を行う。合焦画像情報が０であり、合焦画像が撮影されていないので、ベースとなる判定期間を２とする。また、フレーム１では、動き検出結果が１１０画素である。動き検出結果が１０２画素以上であるため、システム制御部１１５は、被写体の移動量が大きいと判定し、判定期間を短縮して１とする。判定期間が１であるため、システム制御部１１５は、フレーム１において即リフォーカス可能なＲＡＷ画像の記録を実施する。

フレーム２では、像ずれ量が２である。像ずれ量が１画素より大きくかつ５画素以下のため、システム制御部１１５は、フレーム１は非合焦かつリフォーカス可能な範囲であると判定し、判定期間の算出を行う。合焦画像情報が０であり、合焦画像が撮影されていないので、ベースとなる判定期間を２とする。フレーム２では、動き検出結果が８０画素である。動き検出結果が１０２画素未満であるため、システム制御部１１５は、被写体の移動量が小さいと判定し、判定期間の調整は行わず、判定期間は２で確定となる。また、判定期間の継続期間を１とする。

フレーム３では、像ずれ量が１である。像ずれ量が１画素以下であるため、システム制御部１１５は、フレーム１は合焦画像であると判定し、合焦画像情報を１に設定する。また、合焦しているため、フレーム１ではリフォーカス可能なＲＡＷ画像の記録はしない。また、システム制御部１１５は、判定期間および継続期間をクリアする。このように、本実施形態では、合焦画像の有無や被写体の移動量に応じて、リフォーカス可能なＲＡＷ画像の記録する間隔を適切に調整する。

図５の説明に戻る。ステップＳ５０６において、システム制御部１１５は、継続期間が判定期間以上継続しているか否かを判定する。継続期間が判定期間以上継続していなければ、ステップＳ５０７に進む。一方、継続期間が判定期間以上継続していれば、ステップＳ５０８に進む。ステップＳ５０７において、システム制御部１１５は、判定期間継続中なので継続期間をカウントアップする。ステップＳ５０８において、システム制御部１１５は、判定期間以上継続したのでリフォーカス可能なＲＡＷ画像の記録を行う。

以上説明したように、本実施形態によると、リフォーカスに必要な画像データを記録するか否かを、合焦画像有無や被写体移動量に応じて適切に判定することができる。そのため、記録する画像データのデータ量の低減しつつ、所望の画像が非合焦画像となってしまった際にリフォーカス処理で合焦画像を得ることができる。

（第２実施形態）
次に、第２実施形態におけるリフォーカス可能なＲＡＷ画像の記録判定処理について説明する。本実施形態では、第１実施形態に加え、記録可能なリフォーカス可能なＲＡＷ画像の枚数の制限を行い、記録するデータ量をさらに抑制する。なお本実施形態において、第１実施形態と同一内容については同一の符号を用いてその説明を省略する。

図７および図８を用いて、リフォーカス可能なＲＡＷ画像の記録判定およびリフォーカス可能なＲＡＷ画像の記録枚数制限判定方法について説明する。図７は、ステップＳ４０９のリフォーカス可能なＲＡＷ画像の記録判定処理を示すフローチャートである。ステップＳ７０１〜ステップＳ７０７は、図５のステップＳ５０１〜ステップＳ５０７と同様である。ステップＳ７０１〜ステップＳ７０７では、撮影された画像が合焦かまたリフォーカス可能か判定し、合焦画像の有無と被写体の移動量からリフォーカス可能なＲＡＷ画像の記録判定期間を設定し、リフォーカス可能なＲＡＷ画像を記録するか否かを判断する。

ステップＳ７０８において、システム制御部１１５は、リフォーカス可能なＲＡＷ画像の記録する際に、制限枚数を超過していないかリフォーカス可能なＲＡＷ画像の記録制限判定を行う。ここで図８を用いて、ステップＳ７０８のリフォーカス可能なＲＡＷ画像の記録制限判定処理の詳細について説明する。図８は、リフォーカス可能なＲＡＷ画像の記録制限判定処理を示すフローチャートである。

ステップＳ８０１において、システム制御部１１５は、リフォーカス可能なＲＡＷ画像の記録枚数がすでに制限枚数に達しているかを判定する。本実施形態においては、リフォーカス可能なＲＡＷ画像の記録可能な枚数を２枚に制限したものとして説明する。制限枚数に達していない場合は、ステップＳ８０２に進む。一方、制限枚数に達している場合は、ステップＳ８０３に進む。なお、制限枚数は２枚に限られるものではなく、例えば、メモリ残量に応じて動的に切り替えてもよい。
ステップＳ８０２において、システム制御部１１５は、リフォーカス可能なＲＡＷ画像の記録を行う。

ステップＳ８０３において、システム制御部１１５は、リフォーカス可能なＲＡＷ画像の記録領域とは別に確保されたバッファ領域に画像が既に格納されているかを判定する。本実施形態では、撮影開始時に制限枚数分のメモリ容量に加えて、バッファ用に１枚分多くメモリを確保しているものとする。バッファ領域に画像が格納されている場合は。ステップＳ８０４に進む。一方、バッファ領域に画像が格納されていない場合は、ステップＳ８０６に進む。

ステップＳ８０４において、システム制御部１１５は、最も古いリフォーカス可能なＲＡＷ画像を削除する。ステップＳ８０４は、リフォーカス可能なＲＡＷ画像の記録枚数が制限を超えており、かつ、バッファ領域にも画像が格納されている場合に実行される処理である。
ステップＳ８０５において、システム制御部１１５は、ステップＳ８０４で削除したリフォーカス可能なＲＡＷ画像に替えて、バッファ領域に格納されていた画像を新たに記録する。
ステップＳ８０６において、システム制御部１１５は、バッファ領域に最新のリフォーカス可能なＲＡＷ画像を格納し、本フローチャートを終了する。

このように、本実施形態では、制限枚数を超えた場合は、古いリフォーカス可能なＲＡＷ画像を削除して新しいものを記録していく。制限枚数を超えている場合は、ユーザがまだ所望のシーンが撮れていないために撮影を継続している可能性が高く、より新しいリフォーカス可能なＲＡＷ画像を記録しておくことでユーザが所望の画像を得られる可能性が高くなる。

図７のフローチャートの説明に戻る。
ステップＳ７０９において、システム制御部１１５は、合焦画像が撮影された場合に、バッファ領域にリフォーカス可能なＲＡＷ画像があるか判定する。バッファ領域にリフォーカス可能なＲＡＷ画像がある場合は、ステップＳ７１０に進む。一方、バッファ領域にリフォーカス可能なＲＡＷ画像がない場合は本フローチャートを終了する。
ステップＳ７１０において、システム制御部１１５は、バッファに格納されている画像を削除する。これはバッファに格納されているリフォーカス可能なＲＡＷ画像に近いタイミングで撮像された合焦画像があるため、このリフォーカス可能なＲＡＷ画像を用いてリフォーカス処理を行って合焦画像を生成する必要性が低いためである。

以上説明したように、本実施形態によると、リフォーカスに必要な画像データを記録するか否かを、合焦画像有無や被写体移動量に応じて適切に判定すると共に、記録可能なリフォーカス可能なＲＡＷ画像の枚数を制限することができる。これにより、メモリの残量が少なく、記録するデータ量の低減が求められる場合に、データ消費量を制限しつつ、適切にリフォーカス可能なＲＡＷ画像を記録することで、所望の画像が非合焦画像となってしまった際にリフォーカス処理で合焦画像を得ることができる。

第１実施形態では、合焦画像有無や被写体移動量に応じて、リフォーカス可能なＲＡＷ画像を記録する（節約モード１）か否か判定し、第２実施形態では、さらに、記録するリフォーカス可能なＲＡＷ画像枚数制限を設けた（節約モード２）。さらに、判定期間をメモリの残量に応じて調整するようにしてもよい。例えば、メモリの残量が所定値未満である場合は、判定期間を長くして、リフォーカス可能なＲＡＷ画像の記録によるデータ消費量を抑制し、メモリの残量が所定値以上である場合は、判定期間を短くする。また、不図示のリフォーカス可能なＲＡＷ画像の記録条件を設定する設定手段により、メモリの残量に応じて、すべてのリフォーカス可能なＲＡＷ画像を記録するモード、節約モード１、節約モード２、リフォーカス可能なＲＡＷ画像の記録を行わないモードのいずれかに、切り替えるようにしてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０４ 第１の画像信号生成部
１０５ 第２の画像信号生成部
１０６ 第３の画像信号生成部
１０７ 焦点検出部
１１３ 記録部
１１５ システム制御部

Claims (12)

1. 被写体像を光電変換して画像信号を出力する撮像手段と、
   出力された画像信号に基づいて焦点検出を行う焦点検出手段と、
   リフォーカス可能な画像信号の記録手段への記録を制御する制御手段と、を備え、
   前記制御手段は、前記焦点検出手段による焦点検出結果が非合焦状態であり、かつリフォーカス可能な状態である画像信号の出力が所定の期間続いた場合に、リフォーカス可能な画像信号の記録を実行することを特徴とする撮像装置。
2. 前記制御手段は、一連の撮像において合焦状態である画像信号が記録されていた場合は、前記所定の期間を長くし、一連の撮像において合焦状態である画像信号が記録されていない場合は、前記所定の期間を短くすることを特徴とする請求項１に記載の撮像装置。
3. 画像信号から被写体の動きを検出する動き検出手段をさらに備え、
   前記制御手段は、前記動き検出手段によって検出された被写体の動きが大きい場合は、前記所定の期間を短くすることを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記記録手段のメモリ残量が多い場合は、前記所定の期間を短くし、前記メモリ残量が少ない場合は、前記所定の期間を長くすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記リフォーカス可能な画像信号を記録する条件を設定する設定手段をさらに備え、
   前記設定手段により前記リフォーカス可能な画像信号を記録する枚数が制限されている場合に、前記制御手段が記録すると決定した前記リフォーカス可能な画像信号の枚数が前記制限を超えた場合、前記記録手段から最も古い前記リフォーカス可能な画像信号を削除して、新しい前記リフォーカス可能な画像信号を記録することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記設定手段により前記リフォーカス可能な画像信号を記録する枚数が制限されている場合に、合焦状態である画像信号が得られた場合には、前記記録手段のバッファに記録されているリフォーカス可能な画像信号を削除することを特徴とする請求項５に記載の撮像装置。
7. 前記設定手段は、前記記録手段のメモリ残量に応じて、前記リフォーカス可能な画像信号をすべて記録するモード、前記制御手段が決定したリフォーカス可能な画像信号を記録する節約モード、前記節約モードにさらに記録するリフォーカス可能な画像信号の枚数を制限したモード、リフォーカス可能な画像信号の記録を行わないモードのいずれかを設定することを特徴とする請求項５または６に記載の撮像装置。
8. 前記焦点検出手段は、前記複数のリフォーカス可能な画像信号から位相差方式の焦点検出を行い、像ずれ量が第１の画素数以上である場合に非合焦状態であると判定し、前記像ずれ量が前記第１の画素数より大きい第２の画素数未満である場合にリフォーカス可能な状態であると判定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像手段は、１つのマイクロレンズに対して複数の光電変換部を有する画素が複数配置された撮像素子であって、
   前記生成手段は、前記複数の光電変換部から出力された、撮像光学系の互いに異なる瞳領域を通過した光束に対応する複数の像信号から前記リフォーカス可能な画像信号を生成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記リフォーカス可能な画像信号は、ＲＡＷ画像であることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 被写体像を光電変換して画像信号を出力する撮像手段を有する撮像装置の制御方法であって、
    出力された画像信号に基づいて焦点検出を行う焦点検出工程と、
    リフォーカス可能な画像信号の記録手段への記録を制御する制御工程と、を有し、
    前記制御工程では、前記焦点検出工程による焦点検出結果が非合焦状態であり、かつリフォーカス可能な状態である画像信号の出力が所定の期間続いた場合に、リフォーカス可能な画像信号の記録を実行することを特徴とする制御方法。
12. 請求項１乃至１０のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。

Images