JP2014056000A - 処理装置、処理方法、及び、プログラム - Google Patents

処理装置、処理方法、及び、プログラム Download PDF

Info

Publication number
JP2014056000A
JP2014056000A JP2012199125A JP2012199125A JP2014056000A JP 2014056000 A JP2014056000 A JP 2014056000A JP 2012199125 A JP2012199125 A JP 2012199125A JP 2012199125 A JP2012199125 A JP 2012199125A JP 2014056000 A JP2014056000 A JP 2014056000A
Authority
JP
Japan
Prior art keywords
phase difference
focus
camera shake
shake correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012199125A
Other languages
English (en)
Other versions
JP2014056000A5 (ja
JP5967432B2 (ja
Inventor
Yoichi Hasegawa
陽一 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012199125A priority Critical patent/JP5967432B2/ja
Priority to US14/017,688 priority patent/US10021307B2/en
Priority to CN201310412174.4A priority patent/CN103685919A/zh
Publication of JP2014056000A publication Critical patent/JP2014056000A/ja
Publication of JP2014056000A5 publication Critical patent/JP2014056000A5/ja
Application granted granted Critical
Publication of JP5967432B2 publication Critical patent/JP5967432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】手ぶれ補正を、できるだけ機能させつつ、高速かつ高精度のオートフォーカスを実現する。
【解決手段】位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、イメージセンサ上に、被写体からの光を結像させるための光学系との相対的な位置関係を変化させることにより、手ぶれ補正が行われる。手ぶれ補正は、イメージセンサが出力する画像のエリアのうちの、位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御される。本技術は、例えば、画像(動画、静止画)を撮影するディジタルカメラ等に適用できる。
【選択図】図2

Description

本技術は、処理装置、処理方法、及び、プログラムに関し、特に、例えば、手ぶれ補正を、できるだけ機能させつつ、高速かつ高精度のオートフォーカスを実現することができるようにする処理装置、処理方法、及び、プログラムに関する。
例えば、コンパクトカメラや、ミラーレスカメラ、一眼レフカメラ等のディジタル(スチル)カメラにおいて、フォーカスの状態を、自動的に合焦状態にするオートフォーカス(以下、AF(Auto Focus)ともいう)の方式としては、例えば、コントラスト方式と位相差方式とがある。
コントラスト方式では、ディジタルカメラで撮影された画像のコントラストを最大にするように、フォーカスレンズを駆動するフォーカス制御が行われる。
かかるコントラスト方式では、ディジタルカメラで撮影された画像から、フォーカス制御に用いる画像のコントラストを得ることができるため、特別な機構が不要である。
但し、コントラスト方式では、フォーカスレンズを移動しながら、画像を撮影して、その画像のコントラストを検出する必要があり、フォーカスの状態が合焦状態になるのに、比較的、時間を要する。
位相差方式では、ディジタルカメラの光学系の射出瞳の、例えば、第1の端部を通過した被写体からの光(被写体光)が結像することにより形成される第1の像と、例えば、光学系の光軸を挟んで第1の端部と対向する第2の端部を通過した被写体光が結像することにより形成される第2の像との位相差(位置の間隔)を表す位相差情報に基づき、像の位相差(第1の像と第2の像との位相差)が、合焦状態時の位相差になるように、フォーカスレンズを駆動するフォーカス制御が行われる。
かかる位相差方式では、像の位相差(第1の像と第2の像との位相差)から、フォーカスレンズを駆動する方向と大きさ(量)を認識することができるため、フォーカスの状態を、高速に合焦状態にすることができる。
但し、位相差方式では、特別な機構、すなわち、射出瞳の第1及び第2の端部それぞれを通過した被写体光を受光する、画像を撮影するためのイメージセンサとは別の専用のセンサと、射出瞳の第1及び第2の端部それぞれを通過した被写体光を、専用のセンサに分岐させる仕組みとが必要となる。
以上のように、コントラスト方式は、特別な機構が不要であるため、小型化の要請が強いコンパクトカメラやミラーレスカメラで、広く採用されている。
一方、位相差方式は、フォーカスの状態を、高速に、合焦状態にすることができるが、特別な機構が必要であり、小型化が困難であるため、一眼レフカメラでの採用が多い。
ところで、位相差方式は、上述のように、高速のAF(フォーカスの状態を、高速に合焦状態にすること)が可能であることから、コンパクトカメラやミラーレスカメラで採用することの要請が高い。
そこで、例えば、特許文献1では、像の位相差を検出するための画素である位相差画素を一部の画素として有するイメージセンサを採用し、そのイメージセンサが有する位相差画素の画素値から、像の位相差を表す位相差情報を検出する位相差方式が提案されている。
特許文献1に記載の位相差方式では、射出瞳の第1の端部を通過した被写体光を受光する位相差画素と、第2の端部を通過した被写体光を受光する位相差画素とのセットが、所定の複数セットだけ、イメージセンサに含められており、そのイメージセンサに含まれる位相差画素の画素値から、位相差情報が検出される。
以上のように、位相差画素を一部の画素として有するイメージセンサを用いた位相差方式では、専用のセンサ等の特別な機構が不要であるため、ディジタルカメラを小型に構成することができる。
ところで、ディジタルカメラには、一般に、イメージセンサと光学系との、光軸と垂直方向の相対的な位置関係を変化させることにより手ぶれ補正を行う手ぶれ補正の機能が実装されている。
手ぶれ補正がオンしている(機能している)場合、イメージセンサと光学系との、光軸と垂直方向の相対的な位置関係が変化することにより、位相差画素で受光される被写体光の光量(位相差画素の輝度)の分布が変動し、位相差画素の画素値から検出される位相差情報、すなわち、合焦状態でない程度を表すデフォーカス量に、誤差が生じる。
そして、位相差情報(デフォーカス量)に誤差が生じる場合には、その位相差情報に基づいてフォーカス制御が行われる位相差方式のAFの精度が低下する。
そこで、特許文献2では、撮影レンズの光学情報に基づき、手ぶれ補正によって、位相差画素にケラレ(口径蝕)が生じるかどうかを判定し、位相差画素にケラレが生じる場合には、手ぶれ補正をオフにして(停止させて)、位相差方式によるAFを行う技術が提案されている。
特許第3592147号明細書 特開2011-081201号公報
手ぶれ補正をオフにする場合、特に、例えば、シャッタスピードが遅い(露光時間が長い)、低照度の環境での撮影や、手ぶれの影響を受けやすい望遠での撮影等において、ぶれた画像が撮影される可能性が高くなる。
したがって、手ぶれ補正を、できるだけ機能させつつ、高速かつ高精度のAFを実現することが要請されている。
本技術は、このような状況に鑑みてなされたものであり、手ぶれ補正を、できるだけ機能させつつ、高速かつ高精度のAFを実現することができるようにするものである。
本技術の一側面の処理装置、又は、プログラムは、位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、前記イメージセンサ上に、被写体からの光を結像させるための光学系との、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部を備える処理装置、又は、処理装置として、コンピュータを機能させるためのプログラムである。
本技術の一側面の処理方法は、位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、前記イメージセンサ上に、被写体からの光を結像させるための光学系との、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御するステップを含む処理方法である。
以上のような一側面においては、位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、前記イメージセンサ上に、被写体からの光を結像させるための光学系との、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正が、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御される。
なお、処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の一側面によれば、手ぶれ補正を、できるだけ機能させつつ、高速かつ高精度のAFを実現することが可能となる。
本技術の処理装置を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 撮影部11の構成例を示すブロック図である。 ディジタルカメラのAF機能、及び、手ぶれ補正機能を実現するための制御部18の機能的な構成例を示すブロック図である。 イメージセンサ54の構成例の概要を示す平面図である。 イメージセンサ54の位相差画素の画素値から得られる位相差情報の誤差と、手ぶれ補正による手ぶれ補正量との関係を示す図である。 位相差情報の信頼性を判定するAF信頼性判定を説明する図である。 AF信頼性判定に用いられる手ぶれ補正量を説明する図である。 手ぶれ補正優先モードにおいて、手ぶれ補正量に基づき、信頼性があるフォーカスエリアを判定するAF信頼性判定を説明する図である。 x方向及びy方向のそれぞれごとに、信頼性があるフォーカスエリアを判定するAF信頼性判定を説明する図である。 手ぶれ補正優先モードのAFの処理を説明するフローチャートである。 AF優先モードにおいて、フォーカスエリアに基づいて制限される手ぶれ補正量を説明する図である。 x方向及びy方向のそれぞれごとに、フォーカスエリアに基づいて制限される手ぶれ補正量を説明する図である。 AF優先モードのAFの処理を説明するフローチャートである。
[本技術を適用したディジタルカメラの一実施の形態]
図1は、本技術の処理装置を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
図1において、ディジタルカメラは、撮影部11、信号処理部12、記録部13、入出力パネル14、操作部17、並びに、制御部18を有し、画像(静止画や、音声を含む動画)を撮影する。
撮影部11は、制御部18からの制御に従って、そこに入射する光に対応する画像を撮影し、その結果得られる画像(信号)を、信号処理部12に供給する。
信号処理部12は、制御部18からの制御に従って、撮影部11からの画像に信号処理を施し、必要に応じて、記録部13や入出力パネル14に供給する。
記録部13は、例えば、メモリカードや光ディスク、磁気ディスク等のリムーバブルな記録媒体(図示せず)の着脱が可能になっており、信号処理部12から供給される画像を、記録媒体に記録する。
また、記録部13は、記録媒体に記録された画像を再生し、信号処理部12を介して、入出力パネル14に供給して表示させる。
入出力パネル14は、検出部15と表示部16とを有する。
検出部15は、外部からの入力を検知(検出)する機能を有するデバイス、すなわち、例えば、静電式等のタッチパネルや、光を照射する光源と、その光の、物体からの反射光を受光するセンサとのセット等で構成される。
検出部15は、外部からの物体、すなわち、例えば、ユーザの指や、ユーザが扱うタッチペン等が近接し、又は、タッチされると、その近接、又は、タッチの位置を検出し、その位置を表す検出信号を、制御部18に供給する。
表示部16は、画像を表示するデバイス、すなわち、例えば、液晶パネル等で構成され、信号処理部12から供給される画像を表示する。
入出力パネル14は、以上のような検出部15と表示部16とが一体的になっており、表示部16において画像を表示し、検出部15において、表示部16に表示された画像に対する外部からの操作入力(タッチや近接)を検出することができる。
操作部17は、ユーザによって操作される、例えば、レリーズボタン(シャッタボタン)等の物理的なボタン等であり、ユーザの操作に対応する操作信号を、制御部18に供給する。
制御部18は、CPU(Central Processing Unit)19、不揮発性メモリ20、及び、RAM(Random Access Memory)21を有し、入出力パネル14(の検出部15)からの検出信号や、操作部17からの操作信号等に応じて、撮影部11、及び、信号処理部12を制御する。
CPU19は、不揮発性メモリ20に記憶されたプログラムを実行することにより、ディジタルカメラを構成する各ブロックを制御する。
不揮発性メモリ20は、CPU19が実行するプログラムや、CPU19の動作上記憶しておくことが必要なデータ、ユーザが操作部17等を操作することにより設定した撮影パラメータ等の、ディジタルカメラの電源がオフされたときにも保持する必要があるデータ(プログラムを含む)を記憶する。
RAM21は、CPU19の動作上必要なデータ等を一時記憶する。
以上のように構成されるディジタルカメラでは、制御部18において、CPU19が、不揮発性メモリ20等に記録されているプログラムを実行することにより、ディジタルカメラの各部を制御する。
撮影部11は、制御部18からの制御に従って、そこに入射する光に対応する画像を撮影し、その結果得られる画像信号を、信号処理部12、及び、制御部18に供給する。
信号処理部12では、撮影部11からの画像信号に、(ディジタル)信号処理が施され、入出力パネル14(の表示部16)に供給される。入出力パネル14では、信号処理部12からの画像信号に対応する画像、すなわち、いわゆるスルー画が表示される。
また、制御部18は、入出力パネル14(の検出部15)や操作部17からの信号に従い、所定の処理を実行する。
すなわち、入出力パネル14や操作部17が、例えば、撮影を行うように操作されると、制御部18は、信号処理部12を制御することにより、撮影部11からの画像信号を圧縮符号化させ、記録部13に装着された記録媒体に記録させる。
その他、制御部18は、信号処理部12を制御することにより、入出力パネル14(の表示部16)に、UI(User Interface)としてのアイコン等を表示させる。
また、制御部18は、信号処理部12を制御することにより、記録部13に、記録媒体から画像を再生させ、入出力パネル14に表示させる。
なお、ディジタルカメラは、例えば、AF(Auto focus)機能、AE(Auto Exposure)機能、AWB(Auto White Balance)機能、手ぶれ補正機能等を有しており、これらの機能は、例えば、制御部18において、CPU19がプログラムを実行することにより実現される。
CPU19に実行させるプログラムは、あらかじめ、ディジタルカメラにインストールしておく他、例えば、リムーバブルな記録媒体からディジタルカメラにインストールすることや、ネットワークを介してダウンロードし、ディジタルカメラにインストールすることができる。
[撮影部11の構成例]
図2は、図1の撮影部11の構成例を示すブロック図である。
撮影部11は、撮像系41、画像処理部42、及び、駆動部43を有し、画像を撮影して出力する。
撮像系41は、光学系51、及び、撮像素子としてのイメージセンサ54を有する。
光学系51は、レンズ群52、及び、絞り53を有し、そこに入射する光を調整して、イメージセンサ54に入射させる。
すなわち、レンズ群52は、光軸方向に移動してフォーカスを調整するフォーカスレンズや、ズームを調整するズームレンズ等からなり、被写体光を、絞り53を介して、イメージセンサ54上に結像させる。
なお、レンズ群52には、その他、例えば、光学系51の光軸と垂直方向(垂直な方向)に移動して、手ぶれを補正する防振レンズを含めることができる。この場合、ディジタルカメラでは、防振レンズが、光軸と垂直方向に移動することにより、手ぶれ補正が行われる。
絞り53は、開口のサイズを調整することにより、レンズ群52からイメージセンサ54に入射する光の光量を調整する。
イメージセンサ54は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ等から構成され、被写体を撮影し、その結果得られる画像信号を出力する。
すなわち、イメージセンサ54は、光学系51から入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号に光電変換して出力する。イメージセンサ54が出力する画像信号は、画像処理部42に供給される。
また、イメージセンサ54は、位相差方式によるフォーカス制御に用いられる位相差情報を得るための位相差画素を一部の画素として有する。したがって、ディジタルカメラでは、位相差方式によるフォーカス制御を行うことができる。
画像処理部42は、イメージセンサ54からの画像信号のゲイン調整やホワイトバランス調整等を行う画像処理を、必要に応じて施し、信号処理部12(図1)に供給する。
なお、画像処理部42には、制御部18から制御信号が供給される。画像処理部42は、制御部18からの制御信号に従い、画像処理を行う。
駆動部43には、制御部18から制御信号が供給される。
駆動部43は、制御部18からの制御信号に従い、撮像系41を駆動する。
すなわち、駆動部43は、制御部18からの制御信号に従い、撮像系41が有する光学系51を駆動する。
具体的には、駆動部43は、例えば、光学系51が有するレンズ群52のフォーカスレンズやズームレンズを駆動することにより、フォーカスやズーム倍率を調整する。
また、駆動部43は、例えば、光学系51が有する絞り53を駆動し、絞り(絞り53の開口)を調整する。
さらに、駆動部43は、例えば、光学系51が有するレンズ群52の防振レンズを駆動することにより、手ぶれ補正を行う。
また、駆動部43は、イメージセンサ54のシャッタスピードを調整する。
[制御部18の機能的な構成例]
図3は、図1のディジタルカメラのAF機能、及び、手ぶれ補正機能を実現するための制御部18の機能的な構成例を示すブロック図である。
図3の機能的な構成は、CPU19がプログラムを実行することにより実現される。
図3において、制御部18は、フォーカス制御部61、及び、手ぶれ補正部62を有する。
フォーカス制御部61には、撮影部11が出力する画像が供給される。
フォーカス制御部61は、撮影部11が出力する画像のうちの、位相差画素の画素値から求められる位相差情報の信頼性を判定する信頼性判定(以下、AF信頼性判定ともいう)を行い、そのAF信頼性判定の判定結果に基づき、撮影部11からの画像から得られる位相差情報を用いて、位相差方式によるAFのフォーカス制御を行う。
フォーカス制御部61において、フォーカス制御は、駆動部43(図2)に制御信号を供給することにより行われる。
手ぶれ補正制御部62は、光学系51とイメージセンサ54との、光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を制御する。
すなわち、手ぶれ補正制御部62は、例えば、図示せぬジャイロスコープで検出される、ディジタルカメラの移動量である手ぶれ量に基づいて、光学系51の防振レンズを、光軸に垂直な方向に移動させ、光学系51とイメージセンサ54との(光軸と垂直方向の)相対的な位置関係を変化させることにより、手ぶれ補正を制御する。
ここで、手ぶれ補正制御部62により制御される手ぶれ補正では、手ぶれ等によって、ディジタルカメラが移動することにより生じる、イメージセンサ54に形成される被写体光の像の位置のずれ(手ぶれ量)をキャンセルするように、光学系51とイメージセンサ54との相対的な位置関係が変化される。
ここでは、光学系51(の防振レンズ)を、光軸に垂直な方向に移動させることにより、光学系51とイメージセンサ54との相対的な位置関係を変化させることとするが、手ぶれ補正では、その他、例えば、イメージセンサ54を、光軸に垂直な方向に移動させることにより、光学系51とイメージセンサ54との相対的な位置関係を変化させることができる。
また、手ぶれ補正制御部62において、手ぶれ補正の制御は、駆動部43(図2)に制御信号を供給することにより行われる。
[イメージセンサ54の構成例]
図4は、図2のイメージセンサ54の構成例の概要を示す平面図である。
イメージセンサ54は、水平方向(x方向)と垂直方向(y方向)との2次元の方向に配置された画素を有し、その画素のうちの一部の画素が、位相差画素になっている。位相差画素は、数ラインごとに配置されている。
なお、図4では(後述する図6でも同様)、位相差画素(としての黒丸)を、強調して図示してある。
[位相差情報の誤差と、手ぶれ補正量との関係]
図5は、イメージセンサ54の位相差画素の画素値から得られる位相差情報(デフォーカス量)の誤差と、手ぶれ補正による手ぶれ補正量との関係を示す図である。
手ぶれ補正がオンしている(機能している)場合、光学系51とイメージセンサ54との相対的な位置関係が変化することにより、位相差画素で受光される被写体光の光量の分布が変動し、位相差画素の画素値から検出される位相差情報、すなわち、合焦状態でない程度を表すデフォーカス量に、誤差が生じる。
手ぶれ補正量が大であるほど、位相差情報の誤差は大になり、位相差情報の信頼性は、低くなる。そして、その結果、位相差方式によるAFの精度は低下する。
そこで、フォーカス制御部61(図3)は、手ぶれ補正量に応じて、撮影部11からの画像から得られる位相差情報の信頼性を判定するAF信頼性判定を行い、そのAF信頼性判定の判定結果に基づき、位相差情報を用いて、位相差方式によるAFのフォーカス制御を行う。
[位相差情報の信頼性を判定するAF信頼性判定]
図6は、位相差情報の信頼性を判定するAF信頼性判定を説明する図である。
撮影部11からの画像から得られる位相差情報、すなわち、イメージセンサ54の位相差画素の画素値から求められる位相差情報は、図5で説明したように、手ぶれ補正量が大であるほど、誤差が大になり、信頼性が低下する。
また、光軸から遠い位相差画素ほど、手ぶれ補正によって生じる、位相差画素で受光される被写体光の光量の変動は大になる。
したがって、0でない手ぶれ補正量の手ぶれ補正が行われている場合には、例えば、(手ぶれ補正量が0のときの)光軸に近い位相差画素のみから得られる位相差情報と、イメージセンサ54に配置された位相差画素すべてから得られる位相差情報、すなわち、光軸から遠い位相差画素を含む位相差画素から得られる位相差情報とでは、光軸に近い位相差画素のみから得られる位相差情報の方が、光軸から遠い位相差画素を含む位相差画素から得られる位相差情報よりも、信頼性が高い(光軸から遠い位相差画素を含む位相差画素から得られる位相差情報の方が、光軸に近い位相差画素のみから得られる位相差情報よりも、信頼性が低い)。
ここで、イメージセンサ54が出力する画像のエリアのうちの、位相差画素の画素値がフォーカス制御に用いられる、その位相差画素のエリア、すなわち、フォーカス制御に用いられる位相差情報を求めるのに画素値が用いられる位相差画素のエリアを、フォーカスエリアということとする。
いま、説明を簡単にするため、光軸を中心(重心)とする矩形のエリアを、フォーカスエリアとして採用することとする。
図6では、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される(イメージセンサ54の受光面と平行の)2次元座標系において、右上の点の座標が(x0,y0)のエリアFA#0、(x1,y1)のエリアFA#1、(x2,y2)のエリアFA#2、及び、(x3,y3)のエリアFA#3の4つのサイズのエリアが、フォーカスエリアとなるエリア(フォーカスエリアになり得るエリア)として図示されている。
かかる2次元座標系において、x座標は、イメージセンサ54上の水平(H(Horizontal))方向の像高(H像高)に対応し、y座標は、イメージセンサ54上の垂直(V(Vertical))方向の像高(V像高)に対応する。
なお、図6において、0<x0<x1<x2<x3、及び、0<y0<y1<y2<y3であり、したがって、エリアFA#0,FA#1,FA#2、及び、FA#3は、その順で、サイズが大きくなっている。そして、最もサイズの大きいエリアFA#3は、イメージセンサ54が出力する画像とサイズが等しい。
フォーカス制御部61は、イメージセンサ54に配置された位相差画素のうちの、フォーカスエリア内の位相差画素のみの画素値を用いて、位相差情報を求め、その位相差情報に基づいて、フォーカス制御としての防振レンズの移動(駆動)の制御を行う。
例えば、光軸に近い位相差画素のみを含む、サイズが最も小さいエリアFA#0が、フォーカスエリアである場合、(手ぶれ補正が行われているときに)最も信頼性が高い位相差情報が得られる。そして、その位相差情報に基づいて行われるフォーカス制御では、サイズが最も小さいエリアFA#0に映る被写体に、いわばピンポイントで、ピントが合うように、防振レンズが移動される。
この場合、イメージセンサ54で撮影される画像は、エリアFA#0以外に映る被写体には、多少ピントが合っていないような画像になることがある。
一方、例えば、光軸から最も遠い位相差画素をも含む、サイズが最も大きいエリアFA#3が、フォーカスエリアである場合、(手ぶれ補正が行われているときに)最も信頼性が低い位相差情報が得られる。そして、その位相差情報に基づいて行われるフォーカス制御では、サイズが最も大きいエリアFA#3に映る被写体に、いわば平均的に、ピントが合うように、防振レンズが移動される。
この場合、イメージセンサ54で撮影される画像は、その画像の各部に映る被写体に、ピントが合っているような画像になる。
以上のように、位相差情報の信頼性は、手ぶれ補正量の他、位相差情報が得られるフォーカスエリアによっても異なる。AF信頼性判定では、位相差情報の信頼性の判定として、信頼性がある位相差情報、つまり、あらかじめ決められた許容誤差以内の位相差情報、ひいては、そのような信頼性がある位相差情報が得られるフォーカスエリアの判定が行われる。
すなわち、AF信頼性判定では、手ぶれ補正量に基づき、その手ぶれ補正量の手ぶれ補正が行われているときに、あらかじめ決められた許容誤差以内の位相差情報が得られる最大のエリアが、信頼性があるフォーカスエリアとして判定される。
上述したように、手ぶれ補正量が大であるほど、位相差情報の信頼性は低下し、また、光軸から遠い位相差画素を含む位相差画素から得られる位相差情報の方が、光軸に近い位相差画素のみから得られる位相差情報よりも、信頼性が低い。
したがって、手ぶれ補正量が小である場合には、光軸から比較的遠い位相差画素を含むエリアFA#2やFA#3が、信頼性があるフォーカスエリアとして判定される。
一方、手ぶれ補正量が大である場合には、光軸から比較的近い位相差画素のみのエリアFA#0やFA#1が、信頼性があるフォーカスエリアとして判定される。
そして、フォーカス制御部61では、AF信頼性判定の判定結果に基づき、位相差方式によるAFのフォーカス制御が行われる。
すなわち、フォーカス制御部61において、AF信頼性判定の結果得られる、信頼性があるフォーカスエリアの位相差画素の画素値から求められる位相差情報に基づいて、フォーカスの状態を合焦状態にするように、防振レンズが移動される。
ここで、図1のディジタルカメラの動作モードの中には、手ぶれ補正と、位相差方式によるAFとのうちの、手ぶれ補正を優先させる手ぶれ補正優先モードと、位相差方式によるAFを優先させるAF優先モードとがある。手ぶれ補正優先モードとAF優先モードとは、例えば、ユーザの操作に応じて切り替えることができる。
上述のように、フォーカス制御部61において、手ぶれ補正量に基づき、信頼性があるフォーカスエリアを判定し、その信頼性があるフォーカスエリアから得られる位相差情報に基づいて、位相差方式によるAFのフォーカス制御を行うことは、動作モードが、手ぶれ補正を優先させる手ぶれ補正優先モードの場合に行われる。
[AF信頼性判定に用いられる手ぶれ補正量]
図7は、AF信頼性判定に用いられる手ぶれ補正量を説明する図である。
手ぶれ補正制御部62(図3)は、手ぶれ量をキャンセルする手ぶれ補正量だけ、光学系51の防振レンズを、光軸に垂直な方向に移動させるように、駆動部43(図2)を制御する。
図7は、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向の手ぶれ補正量の時間変化を示している。
手ぶれ補正制御部62は、例えば、直前に行われたイメージセンサ54での画像の撮影の露光時間内での手ぶれ補正量の平均値を、現在の手ぶれ補正量sとみなして、フォーカス制御部61に供給する。
したがって、ディジタルカメラにおいて、例えば、写真としての静止画が1枚だけ撮影(記録)される場合には、その直前のスルー画の撮影のための露光時間中の手ぶれ補正量の平均値が、静止画の撮影時(現在)の手ぶれ補正量sとなる。
また、ディジタルカメラにおいて、例えば、写真としての静止画が連写によって複数枚撮影される場合には、各静止画の直前に撮影された静止画の撮影のための露光時間中の手ぶれ補正量の平均値が、各静止画の撮影時(現在)の手ぶれ補正量sとなる。
さらに、ディジタルカメラにおいて、例えば、動画が撮影される場合には、各フレームの直前のフレームの撮影のための露光時間中の手ぶれ補正量の平均値が、各フレームの撮影時(現在)の手ぶれ補正量sとなる。
フォーカス制御部61は、手ぶれ補正制御部62からの現在の手ぶれ補正量sを取得し、その手ぶれ補正量sに基づき、AF信頼性判定を行う。
なお、手ぶれ補正量は、手ぶれ量をキャンセルする量であり、理想的には、手ぶれ補正量を表すベクトルは、手ぶれ量を表すベクトルとは、大きさが同一で、方向が反対のベクトルになる。したがって、AF信頼度判定は、手ぶれ補正量の他、手ぶれ量に基づいて行うことができ、手ぶれ量に基づいてAF信頼度判定を行うことは、手ぶれ補正量に基づいてAF信頼度判定を行うことと等価(均等)である。
[手ぶれ補正優先モード]
図8は、手ぶれ補正優先モードにおいて、手ぶれ補正量に基づき、信頼性があるフォーカスエリアを判定するAF信頼性判定を説明する図である。
図8Aは、例えば、図6に示したように、4つのエリアFA#0,FA#1,FA#2、及び、FA#3が、フォーカスエリアとなり得る場合の、手ぶれ補正量(の大きさ)sと、信頼性があるフォーカスエリア(となるエリアFA)のサイズrとの関係を示す図である。
ここで、図8では、説明を簡単にするため、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向にだけ注目している。
また、手ぶれ補正量sは、s3,s2,s1,s0の順に大になっており(0<s3<s2<s1<s0)、フォーカスエリアのサイズrは、r0,r1,r2,r3の順に大になっていることとする(0<r0<r1<r2<r3)。
図8Aでは、手ぶれ補正量sが、0ないしs3の最小の範囲である場合、AF信頼性判定において、サイズrが最大のサイズr3のエリアFA#3が、信頼性があるフォーカスエリアに判定される。
また、手ぶれ補正量sが、s3ないしs2の2番目に小さい範囲である場合、AF信頼性判定において、サイズrが2番目に大きいサイズr2のエリアFA#2が、信頼性があるフォーカスエリアに判定される。
さらに、手ぶれ補正量sが、s2ないしs1の3番目に小さい範囲である場合、AF信頼性判定において、サイズrが3番目に大きいサイズr1のエリアFA#1が、信頼性があるフォーカスエリアに判定される。
また、手ぶれ補正量sが、s1ないしs0の4番目に小さい範囲である場合、AF信頼性判定において、サイズrが最小の(4番目に大きい)サイズr0のエリアFA#0が、信頼性があるフォーカスエリアに判定される。
そして、手ぶれ補正量sが、s0以上である(を超える)場合、AF信頼性判定では、サイズrが0のエリアが信頼性があるフォーカスエリアであると判定される。すなわち、手ぶれ補正量sが、s0以上である場合、信頼性があるフォーカスエリアがないと判定される。
エリアFA#0,FA#1,FA#2、又は、FA#3が、信頼性があるフォーカスエリアに判定された場合、そのフォーカスエリア内の位相差画素から得られる位相差情報は、許容誤差以内の位相差情報であり、フォーカス制御部61では、その位相差情報に基づいて、AFのフォーカス制御としての防振レンズの移動の制御が行われる。
また、信頼性があるフォーカスエリアがないと判定された場合、許容誤差以内の位相差情報が得られないので、フォーカス制御部61では、位相差方式以外の方式、すなわち、例えば、コントラスト方式等によるAFのフォーカス制御が行われる。
図8Bは、例えば、図6に示した4つのエリアFA#0,FA#1,FA#2、及び、FA#3のうちの、エリアFA#3だけが、フォーカスエリアとなり得る場合の、手ぶれ補正量sと、信頼性があるフォーカスエリアのサイズrとの関係を示す図である。
図8Bでは、手ぶれ補正量sが、0ないしs3の範囲である場合、AF信頼性判定において、サイズrがサイズr3のエリアFA#3、すなわち、イメージセンサ54で撮影される画像のエリア全体が、信頼性があるフォーカスエリアに判定される。
また、手ぶれ補正量sが、s3以上である(を超える)場合、AF信頼性判定では、信頼性があるフォーカスエリアがないと判定される。
そして、フォーカス制御部61では、AF信頼性判定の判定結果に基づき、図8Aの場合と同様のフォーカス制御が行われる。
すなわち、エリアFA#3が、信頼性があるフォーカスエリアに判定された場合、フォーカス制御部61では、その信頼性があるフォーカスエリア内の位相差画素から得られる位相差情報に基づいて、AFのフォーカス制御としての防振レンズの移動の制御が行われる。
また、信頼性があるフォーカスエリアがないと判定された場合、フォーカス制御部61では、位相差方式以外のコントラスト方式によるAFのフォーカス制御が行われる。
したがって、図8Bでは、位相差方式によるAFのフォーカス制御が行われる場合には、そのフォーカス制御は、必ず、イメージセンサ54に含まれるすべての位相差画素から得られる位相差情報に基づいて行われる。
図8A及び図8Bでは、信頼性があるフォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用したが、信頼性があるフォーカスエリアのサイズとしては、連続的なサイズを採用することができる。
図8Cは、信頼性があるフォーカスエリアのサイズとして、連続的なサイズを採用した場合の、手ぶれ補正量sと、信頼性があるフォーカスエリアのサイズrとの関係を示す図である。
図5及び図6で説明したように、手ぶれ補正量が大であるほど、位相差情報の信頼性は低下する(誤差が大になる)。また、位相差情報を得るフォーカスエリアに、光軸から遠い位相差画素が含まれるほど、すなわち、本実施の形態では、光軸を中心とする矩形のエリアを、フォーカスエリアとして採用するので、サイズが大きいフォーカスエリアほど、位相差情報の信頼性は低下する。
このため、図8Cでは、手ぶれ補正量が大であるほど、サイズの小さなエリア(本実施の形態では、光軸に近い位相差画素のみを含むエリア)が、信頼性があるフォーカスエリアとして判定される。
図8では、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向にだけ注目して、AF信頼性判定を説明したが、AF信頼性判定では、信頼性があるフォーカスエリアは、x方向及びy方向のそれぞれごとに判定することができる。
図9は、x方向及びy方向のそれぞれごとに、信頼性があるフォーカスエリアを判定するAF信頼性判定を説明する図である。
すなわち、図9は、手ぶれ補正量s=(sy,sp)(=(x成分,y成分))と、信頼性があるフォーカスエリアのサイズr=(rx,ry)との関係を、x方向及びy方向のそれぞれごとに示している。
なお、図9では、例えば、図8Aの場合と同様に、信頼性があるフォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用している。
また、図9において、sy=sy3,sy2,sy1,sy0は、手ぶれ補正量sのx方向の成分(x方向の手ぶれ量)(の大きさ)を表し、sy3,sy2,sy1,sy0の順に大になっていることとする(0<sy3<sy2<sy1<sy0)。
さらに、図9において、sp=sp3,sp2,sp1,sp0は、手ぶれ補正量sのy方向の成分(y方向の手ぶれ量)(の大きさ)を表し、sp3,sp2,sp1,sp0の順に大になっていることとする(0<sp3<sp2<sp1<sp0)。
また、図9において、rx=x0,x1,x2,x3は、フォーカスエリア(となるエリア)のx方向のサイズとしての、そのフォーカスエリアの右上の点のx座標を表し、x0,x1,x2,x3の順に大になっていることとする(0<x0<x1<x2<x3)。
さらに、図9において、ry=y0,y1,y2,y3は、フォーカスエリア(となるエリア)のy方向のサイズとしての、そのフォーカスエリアの右上の点のy座標を表し、y0,y1,y2,y3の順に大になっていることとする(0<y0<y1<y2<y3)。
サイズr=(xi,yi)のフォーカスエリアは、図6のエリアFA#iに一致する(i=0,1,2,3)。
ここで、図示せぬジャイロスコープで検出される手ぶれ量が、ヨー(Yaw)方向の手ぶれ量と、ピッチ(Pitch)方向の手ぶれ量とで表される場合、ヨー方向の手ぶれ量は、x方向の手ぶれ補正量syに対応し、ピッチ方向の手ぶれ量は、y方向の手ぶれ補正量spに対応する。
図9では、x方向の手ぶれ補正量syが、0ないしsy3の最小の範囲である場合、AF信頼性判定において、x方向のサイズrxが最大のサイズx3のエリアが、信頼性があるフォーカスエリアに判定される。
また、x方向の手ぶれ補正量syが、sy3ないしsy2の2番目に小さい範囲である場合、AF信頼性判定において、x方向のサイズrxが2番目に大きいサイズx2のエリアが、信頼性があるフォーカスエリアに判定される。
さらに、x方向の手ぶれ補正量syが、sy2ないしsy1の3番目に小さい範囲である場合、AF信頼性判定において、x方向のサイズrxが3番目に大きいサイズx1のエリアが、信頼性があるフォーカスエリアに判定される。
また、x方向の手ぶれ補正量syが、sy1ないしsy0の4番目に小さい範囲である場合、AF信頼性判定において、x方向のサイズrxが最小の(4番目に大きい)サイズx0のエリアが、信頼性があるフォーカスエリアに判定される。
そして、x方向の手ぶれ補正量syが、sy0以上である(を超える)場合、AF信頼性判定では、x方向のサイズrxが0のエリアが信頼性があるフォーカスエリアであると判定される。すなわち、x方向の手ぶれ補正量syが、sy0以上である場合、信頼性があるフォーカスエリアがないと判定される。
また、図9では、y方向の手ぶれ補正量spが、0ないしsp3の最小の範囲である場合、AF信頼性判定において、y方向のサイズryが最大のサイズy3のエリアが、信頼性があるフォーカスエリアに判定される。
また、y方向の手ぶれ補正量spが、sp3ないしsp2の2番目に小さい範囲である場合、AF信頼性判定において、y方向のサイズryが2番目に大きいサイズy2のエリアが、信頼性があるフォーカスエリアに判定される。
さらに、y方向の手ぶれ補正量spが、sp2ないしsp1の3番目に小さい範囲である場合、AF信頼性判定において、y方向のサイズryが3番目に大きいサイズy1のエリアが、信頼性があるフォーカスエリアに判定される。
また、y方向の手ぶれ補正量spが、sp1ないしsp0の4番目に小さい範囲である場合、AF信頼性判定において、y方向のサイズryが最小の(4番目に大きい)サイズy0のエリアが、信頼性があるフォーカスエリアに判定される。
そして、y方向の手ぶれ補正量spが、sp0以上である(を超える)場合、AF信頼性判定では、y方向のサイズryが0のエリアが信頼性があるフォーカスエリアであると判定される。すなわち、y方向の手ぶれ補正量spが、sp0以上である場合、信頼性があるフォーカスエリアがないと判定される。
したがって、例えば、x方向の手ぶれ補正量syが、0ないしsy3の範囲であり、かつ、y方向の手ぶれ補正量spが、sp1ないしsp0の範囲である場合、AF信頼性判定では、x方向のサイズrxがサイズx3であり、かつ、y方向のサイズryがサイズy0のエリアが、信頼性があるフォーカスエリアに判定される。
また、例えば、x方向の手ぶれ補正量syが、sy0以上であるか、又は、y方向の手ぶれ補正量spが、sp0以上である場合、AF信頼性判定では、信頼性があるフォーカスエリアがないと判定される。
図10は、手ぶれ補正優先モードのAFの処理を説明するフローチャートである。
ステップS11において、フォーカス制御部61は、手ぶれ補正がオンになっているかどうか(手ぶれ補正が機能しているかどうか)を判定する。
ステップS11において、手ぶれ補正がオンになっていないと判定された場合、すなわち、手ぶれ補正に起因する位相差情報の誤差が生じない場合、処理は、ステップS12に進み、フォーカス制御部61は、任意のフォーカスエリア(の位相差画素)から、位相差情報を取得して、処理は、ステップS20に進む。
すなわち、手ぶれ補正に起因する位相差情報の誤差が生じない場合、フォーカス制御部61は、例えば、イメージセンサ54が出力する画像のエリアの全体や、画像上の、ユーザが指定する位置を含む所定のサイズのエリア、画像上の人の顔を囲むエリア等を、フォーカスエリアに設定し、そのフォーカスエリアから、位相差情報を取得する。
イメージセンサ54が出力する画像のエリアの全体が、フォーカスエリアに設定された場合には、その位相差情報に基づいて行われるフォーカス制御では、イメージセンサ54が出力する画像全体に、平均的に、ピントが合うように、フォーカス制御が行われる。
イメージセンサ54が出力する画像上の、ユーザが指定する位置を含む所定のサイズのエリアが、フォーカスエリアに設定された場合には、その位相差情報に基づいて行われるフォーカス制御では、イメージセンサ54が出力する画像上の、ユーザが指定する位置に映る被写体に、ピントが合うように、フォーカス制御が行われる。
イメージセンサ54が出力する画像上の、人の顔を囲むエリアが、フォーカスエリアに設定された場合には、その位相差情報に基づいて行われるフォーカス制御では、イメージセンサ54が出力する画像に映る人の顔に、ピントが合うように、フォーカス制御が行われる。
一方、ステップS11において、手ぶれ補正がオンになっていると判定された場合、すなわち、手ぶれ補正に起因して、位相差情報に誤差が生じ得る場合、処理は、ステップS13に進み、フォーカス制御部61は、直前に行われたイメージセンサ54での画像の撮影の露光時間内での手ぶれ補正量の平均値を、現在の手ぶれ補正量sとして取得し、処理は、ステップS14に進む。
ステップS14では、フォーカス制御部61は、手ぶれ補正量sに基づき、AF信頼性判定を行い、すなわち、例えば、図8や図9で説明したようにして、信頼性があるフォーカスエリアを判定し、処理は、ステップS15に進む。
ステップS15では、フォーカス制御部61は、ステップS14のAF信頼性判定の結果、信頼性があるフォーカスエリアがあるかどうかを判定する。
ステップS15において、信頼性があるフォーカスエリアがないと判定された場合、すなわち、手ぶれ補正量sが大きく、イメージセンサ54に含まれる位相差画素から、許容誤差以内の位相差情報を得ることができないために、位相差方式によるフォーカス制御を行ったのでは、精度の高いAFを実現することができない可能性が高い場合、処理は、ステップS16に進み、以下、位相差方式以外の、例えば、コントラスト方式によるAFのフォーカス制御が行われる。
すなわち、ステップS16では、フォーカス制御部61は、イメージセンサ54(撮影部11)が出力する画像から、その画像のコントラストを表すコントラスト情報を取得し(求め)、処理は、ステップS17に進む。
ここで、コントラスト情報としては、イメージセンサ54が出力する画像の全体、又は、一部のコントラストを表す情報を求めることができる。イメージセンサ54が出力する画像の一部のコントラストを表すコントラスト情報としては、例えば、イメージセンサ54が出力する画像上の、ユーザが指定する位置を含む所定のサイズのエリアのコントラストや、その画像上の人の顔を囲むエリアのコントラスト、その他、あらかじめ決められたエリアのコントラストを表す情報を採用することができる。
ステップS17では、フォーカス制御部61は、コントラスト情報に基づく合焦判定を行う。
すなわち、ステップS17では、フォーカス制御部61は、コントラスト情報に基づき、フォーカスの状態が合焦状態であるかどうかを判定する。
ステップS17において、フォーカスの状態が合焦状態でないと判定された場合、すなわち、コントラスト情報が表すコントラストが最大ではない場合、処理は、ステップS18に進み、フォーカス制御部61は、コントラスト情報に基づくフォーカス制御、すなわち、コントラスト情報に基づいて、光学系51の防振レンズを移動させ、処理は、ステップS11に戻る。
また、ステップS18において、フォーカスの状態が合焦状態であると判定された場合、AFの処理は終了する。
以上のように、手ぶれ補正量sが大きく、イメージセンサ54に含まれる位相差画素から、許容誤差以内の位相差情報を得ることができないため、位相差方式によるフォーカス制御を行ったのでは、精度の高いAFを実現することができない可能性が高い場合、手ぶれ補正優先モードでは、手ぶれ補正を優先させるために、特に、手ぶれ補正は制限されない。
そして、精度の高いAFを実現することができない可能性が高い位相差方式に代えて、コントラスト方式によって、AFのフォーカス制御が行われる。
したがって、この場合、位相差方式によるAFのフォーカス制御を行う場合よりも、フォーカスの状態が合焦状態になるのに、時間を要することとなるが、手ぶれ補正は制限されないので、いわゆる失敗写真となる、ぶれた画像が撮影されることを防止することができる。
一方、ステップS15において、信頼性があるフォーカスエリアがあると判定された場合、すなわち、手ぶれ補正により生じる誤差が許容誤差以内の位相差情報を得ることができる場合、処理は、ステップS19に進み、以下、信頼性があるフォーカスエリアから得られる位相差情報を用いて、位相差方式によるAFのフォーカス制御が行われる。
すなわち、ステップS19では、フォーカス制御部61は、イメージセンサ54が出力する画像の、信頼性があるフォーカスエリア内の位相差画素の画素値から、位相差情報を取得し(求め)、処理は、ステップS20に進む。
ステップS20では、フォーカス制御部61は、位相差情報に基づく合焦判定を行う。
すなわち、ステップS20では、フォーカス制御部61は、フォーカスエリアから得られた位相差情報に基づき、フォーカスの状態が合焦状態であるかどうかを判定する。
ステップS20において、フォーカスの状態が合焦状態でないと判定された場合、処理は、ステップS21に進み、フォーカス制御部61は、位相差情報に基づくフォーカス制御、すなわち、位相差情報に基づいて、光学系51の防振レンズを移動させ、処理は、ステップS11に戻る。
また、ステップS21において、フォーカスの状態が合焦状態であると判定された場合、AFの処理は終了する。
以上のように、手ぶれ補正が行われていても、許容誤差以内の位相差情報を得ることができるフォーカスエリア(信頼性があるフォーカスエリア)が存在する場合には、手ぶれ補正優先モードでは、特に、手ぶれ補正を制限せずに、信頼性があるフォーカスエリアから得られる位相差情報に基づき、位相差方式によるAFのフォーカス制御が行われる。
したがって、この場合、手ぶれ補正を機能させつつ、位相差方式によるAFのフォーカス制御により、高速かつ高精度のAFを実現することができる。その結果、失敗写真となる、ぶれた画像が撮影されることを防止することができる。
また、一般に、撮影は、光軸付近に、撮影しようとする被写体(主要な被写体)が位置するように行われ、本実施の形態では、信頼性があるフォーカスエリアは、光軸付近を含むので、主要な被写体に、ピントがあった写真を撮影することができる。
さらに、AF信頼性判定、すなわち、位相差情報の信頼性、ひいては、許容誤差以内の位相差情報が得られるフォーカスエリア(信頼性があるフォーカスエリア)の判定は、手ぶれ補正量を用いて行われ、光学系51の防振レンズの移動による手ぶれ補正の性能等の、光学系51の仕様に依存しない。
したがって、図1のディジタルカメラが、各種の交換レンズへのレンズ交換が可能なレンズ交換式のディジタルカメラであっても、ディジタルカメラの本体において、その本体に装着された交換レンズの仕様等の、交換レンズに固有の情報が必要になることはない。
[AF優先モード]
図11は、AF優先モードにおいて、フォーカスエリアに基づいて制限される手ぶれ補正量を説明する図である。
ここで、上述したように、手ぶれ補正優先モードでは、手ぶれ補正を優先するために、手ぶれ補正は制限されず、その代わり、位相差方式によるAFのフォーカス制御に用いられるフォーカスエリアが、信頼性があるフォーカスエリア、すなわち、手ぶれ補正に起因する誤差が許容誤差以内の位相差情報が得られるフォーカスエリアに制限される。
これに対して、AF優先モードでは、位相差方式によるAFのフォーカス制御が優先され、そのために、手ぶれ補正が制限されることがある。
すなわち、AF優先モードでは、位相差方式によるAFのフォーカス制御によってピントを合わせる位置を含むエリアが、フォーカスエリアに設定される。そして、そのフォーカスエリアが信頼性があるフォーカスエリアになるように、つまり、フォーカスエリアから得られる位相差情報の誤差が許容誤差以内になるように、手ぶれ補正量を制限する制御が行われる。
図11Aは、例えば、図6に示したように、4つのエリアFA#0,FA#1,FA#2、及び、FA#3が、フォーカスエリアに設定され得る場合の、フォーカスエリア(となるエリアFA)のサイズrと、そのフォーカスエリアが信頼性があるフォーカスエリアになる手ぶれ補正量の(大きさの)最大値sとの関係を示す図である。
ここで、フォーカスエリアが信頼性があるフォーカスエリアになる手ぶれ補正量の最大値sを、以下、許容補正量sともいう。
図11では、説明を簡単にするため、図8の場合と同様に、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向にだけ注目している。
また、許容補正量sは、s3,s2,s1,s0の順に大になっており(0<s3<s2<s1<s0)、フォーカスエリアのサイズrは、r0,r1,r2,r3の順に大になっていることとする(0<r0<r1<r2<r3)。
図11Aでは、サイズrが最大のサイズr3のエリアFA#3が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの最小の値s3が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s3に制限される。
また、サイズrが2番目に大きいサイズr2のエリアFA#2が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの2番目に小さい値s2が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s2に制限される。
さらに、サイズrが3番目に大きいサイズr1のエリアFA#1が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの3番目に小さい値s1が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s1に制限される。
また、サイズrが4番目に大きい(最も小さい)サイズr0のエリアFA#0が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの4番目に小さい(最も大きい)値s0が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s0に制限される。
図11Bは、例えば、図6に示した4つのエリアFA#0,FA#1,FA#2、及び、FA#3のうちの、エリアFA#3だけが、フォーカスエリアとなり得る場合の、フォーカスエリアのサイズrと、許容補正量sとの関係を示す図である。
図11Bでは、常時、サイズrがサイズr3のエリアFA#3、すなわち、イメージセンサ54で撮影される画像のエリア全体が、フォーカスエリアに設定される。そして、そのフォーカスエリアに応じて、値s3が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s3に制限される。
図11A及び図11Bでは、フォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用したが、フォーカスエリアのサイズとしては、連続的なサイズを採用することができる。
図11Cは、フォーカスエリアのサイズとして、連続的なサイズを採用した場合の、フォーカスエリアのサイズrと、許容補正量sとの関係を示す図である。
図5及び図6で説明したことから、フォーカスエリアに、光軸から遠い位相差画素が含まれるほど、すなわち、本実施の形態では、光軸を中心とする矩形のエリアを、フォーカスエリアとして採用するので、サイズが大きいフォーカスエリアほど、そのフォーカスエリアから許容誤差以内の位相差情報が得られるようにするには、手ぶれ補正量を、より小さい値に制限する必要がある。
このため、図11Cでは、フォーカスエリアのサイズrが大であるほど、小さい値の許容補正量sが求められ、手ぶれ補正量は、その許容補正量sに制限される。
図12は、x方向及びy方向のそれぞれごとに、フォーカスエリアに基づいて制限される手ぶれ補正量を説明する図である。
すなわち、図12は、フォーカスエリアのサイズr=(rx,ry)と、許容補正量s=(sy,sp)との関係を、x方向及びy方向のそれぞれごとに示している。
なお、図12では、例えば、図11Aの場合と同様に、信頼性があるフォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用している。
また、図12において、sy=sy3,sy2,sy1,sy0は、許容補正量sのx方向の成分(の大きさ)を表し、sy3,sy2,sy1,sy0の順に大になっていることとする(0<sy3<sy2<sy1<sy0)。
さらに、図12において、sp=sp3,sp2,sp1,sp0は、許容補正量sのy方向の成分(の大きさ)を表し、sp3,sp2,sp1,sp0の順に大になっていることとする(0<sp3<sp2<sp1<sp0)。
また、図12において、rx=x0,x1,x2,x3は、フォーカスエリアのx方向のサイズとしての、そのフォーカスエリアの右上の点のx座標を表し、x0,x1,x2,x3の順に大になっていることとする(0<x0<x1<x2<x3)。
さらに、図12において、ry=y0,y1,y2,y3は、フォーカスエリアのy方向のサイズとしての、そのフォーカスエリアの右上の点のy座標を表し、y0,y1,y2,y3の順に大であることとする(0<y0<y1<y2<y3)。
サイズr=(xi,yi)のフォーカスエリアは、図6のエリアFA#iに一致する(i=0,1,2,3)。
図12では、x方向のサイズ(H像高)rxが最大のサイズx3のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの最小の値sy3が求められ、x方向(ヨー方向)の手ぶれ補正量は、そのx方向の許容補正量sy3に制限される。
また、x方向のサイズrxが2番目に大きいサイズx2のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの2番目に小さい値sy2が求められ、x方向の手ぶれ補正量は、そのx方向の許容補正量sy2に制限される。
さらに、x方向のサイズrxが3番目に大きいサイズx1のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの3番目に小さい値sy1が求められ、x方向の手ぶれ補正量は、そのx方向の許容補正量sy1に制限される。
また、x方向のサイズrxが4番目に大きい(最小の)サイズx0のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの4番目に小さい(最大の)値sy0が求められ、x方向の手ぶれ補正量は、そのx方向の許容補正量sy0に制限される。
y方向についても、手ぶれ補正量は、x方向の場合と同様に制限される。
すなわち、y方向のサイズ(V像高)ryが最大のサイズy3のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの最小の値sp3が求められ、y方向(ヨー方向)の手ぶれ補正量は、そのy方向の許容補正量sp3に制限される。
また、y方向のサイズryが2番目に大きいサイズy2のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの2番目に小さい値sp2が求められ、y方向の手ぶれ補正量は、そのy方向の許容補正量sp2に制限される。
さらに、y方向のサイズryが3番目に大きいサイズy1のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの2番目に小さい値sp1が求められ、y方向の手ぶれ補正量は、そのy方向の許容補正量sp1に制限される。
また、y方向のサイズryが4番目に大きい(最小の)サイズy0のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの4番目に小さい(最大の)値sp0が求められ、y方向の手ぶれ補正量は、そのy方向の許容補正量sp0に制限される。
したがって、フォーカスエリアが、例えば、図6に示した右上の点の座標が(x0,y0)のエリアFA#0である場合には、手ぶれ補正量は、x方向については、許容補正量sy0に制限され、y方向については、許容補正量sp0に制限される。
図13は、AF優先モードのAFの処理を説明するフローチャートである。
ステップS31において、フォーカス制御部61は、フォーカスエリアを設定し、処理は、ステップS32に進む。
ここで、フォーカスエリアの設定では、例えば、図6に示したエリアFA#0ないしFA#3のうちのいずれかのエリアを、デフォルトのエリアに設定しておき、そのデフォルトのエリアを、フォーカスエリアに設定することができる。
また、例えば、ユーザが、イメージセンサ54から出力され、入出力パネル14上に表示された画像上の所定の位置をタッチ等することにより指定したときには、その、ユーザが指定する位置を含む所定のサイズのエリアを、フォーカスエリアに設定することができる。
さらに、例えば、ディジタルカメラが、人の顔等の所定の被写体を認識する機能を有する場合には、イメージセンサ54が出力する画像から、所定の被写体を認識し、その所定の被写体を囲むエリアを、フォーカスエリアに設定することができる。
イメージセンサ54が出力する画像上の、ユーザが指定する位置を含む所定のサイズのエリアが、フォーカスエリアに設定された場合には、イメージセンサ54が出力する画像上の、ユーザが指定する位置に映る被写体に、ピントが合うように、AFのフォーカス制御が行われる。
また、イメージセンサ54が出力する画像上の、所定の被写体としての、例えば、人の顔を囲むエリアが、フォーカスエリアに設定された場合には、イメージセンサ54が出力する画像に映る人の顔に、ピントが合うように、AFのフォーカス制御が行われる。
ステップS32では、フォーカス制御部61は、フォーカスエリアを特定するためのフォーカスエリア情報を取得し、処理は、ステップS33に進む。
ここで、フォーカスエリア情報としては、例えば、フォーカスエリアとしての矩形の4つの頂点を特定する情報(フォーカスエリアの左上の頂点と、横及び縦の長さや、重心を挟んで向かい合う2つの頂点の座標等)を採用することができる。
ステップS33では、フォーカス制御部61は、手ぶれ補正がオンになっているかどうか(手ぶれ補正が機能しているかどうか)を判定する。
ステップS33において、手ぶれ補正がオンになっていると判定された場合、すなわち、手ぶれ補正に起因して、位相差情報に誤差が生じ得る場合、処理は、ステップS34に進み、フォーカス制御部61は、フォーカスエリア情報に基づく手ぶれ補正の制御を行い、処理は、ステップS35に進む。
すなわち、ステップS34では、フォーカス制御部61は、フォーカスエリア情報から特定されるフォーカスエリアが、信頼性があるフォーカスエリアとなる許容補正量s、つまり、フォーカスエリアから得られる位相差情報の誤差が、許容誤差以内になる許容補正量sを、例えば、図11や図12で説明したようにして求める。
そして、フォーカス制御部61は、手ぶれ補正の手ぶれ補正量を、許容補正量sに制限するように、手ぶれ補正制御部62を制御する。これにより、手ぶれ補正制御部62は、手ぶれ補正量が許容補正量sに制限されるように、手ぶれ補正の制御を行う。その結果、手ぶれ補正は、例えば、許容補正量sを、最大の手ぶれ補正量として行われる。
一方、ステップS33において、手ぶれ補正がオンになっていないと判定された場合、手ぶれ補正を制限する必要はないので、処理は、ステップS34をスキップして、ステップS35に進み、フォーカス制御部61は、フォーカスエリア(の位相差画素)から、位相差情報を取得して(求めて)、処理は、ステップS36に進む。
ステップS36では、フォーカス制御部61は、図10のステップS20の場合と同様に、位相差情報に基づく合焦判定を行う。
すなわち、ステップS36では、フォーカス制御部61は、フォーカスエリアから得られた位相差情報に基づき、フォーカスの状態が合焦状態であるかどうかを判定する。
ステップS36において、フォーカスの状態が合焦状態でないと判定された場合、処理は、ステップS37に進み、フォーカス制御部61は、位相差情報に基づくフォーカス制御、すなわち、位相差情報に基づいて、光学系51の防振レンズを移動させ、処理は、ステップS31に戻る。
また、ステップS37において、フォーカスの状態が合焦状態であると判定された場合、AFの処理は終了する。
以上のように、AF優先モードでは、フォーカスエリアから得られる位相差情報の誤差が許容誤差以内になるように、手ぶれ補正が制限されるので、手ぶれ補正を、できるだけ機能させつつ、位相差方式によるAFのフォーカス制御により、高速かつ高精度のAFを実現することができる。その結果、失敗写真となる、ぶれた画像が撮影されることを防止することができる。
また、フォーカスエリアは、ユーザの指定に従って設定することができるので、ユーザは、例えば、入出力パネル14(図1)に表示された画像上の、撮影しようとする被写体(主要な被写体)を指定することにより、主要な被写体に、ピントがあった写真を、容易に撮影することができる。
ここで、本明細書において、コンピュータ(CPU等のプロセッサ)がプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、AF優先モードとAF優先モードとは、両方実装することもできるし、一方だけ実装することもできる。
また、フォーカスエリアの形状は、矩形に限定されるものではなく、例えば、円形や、十字の形状等であってもよい。
さらに、フォーカスエリアとしては、1つの連続的なエリアの他、複数の離散的なエリア(例えば、光軸を中心とする小さな矩形のエリア、及び、光軸から離れた四隅付近の所定の位置を中心とする小さな矩形のエリア等)を採用することができる。
なお、本技術は、以下のような構成をとることができる。
[1]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部を備える
処理装置。
[2]
前記手ぶれ補正制御部は、前記手ぶれ補正の手ぶれ補正量を制限する
[1]に記載の処理装置。
[3]
前記フォーカスエリアを設定し、前記フォーカスエリアから得られる前記位相差情報に基づいて、位相差方式によるフォーカス制御を行うフォーカス制御部をさらに備える
[1]又は[2]に記載の処理装置。
[4]
前記フォーカス制御部は、ユーザの操作に従って、前記フォーカスエリアを設定する
[3]に記載の処理装置。
[5]
前記手ぶれ補正制御部は、前記イメージセンサ、又は、前記光学系を、前記光軸と垂直方向に移動させる手ぶれ補正の制御を行う
[1]ないし[4]のいずれかに記載の処理装置。
[6]
前記イメージセンサをさらに備えるディジタルカメラである
[1]ないし[5]のいずれかに記載の処理装置。
[7]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御するステップを含む
処理方法。
[8]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部
として、コンピュータを機能させるためのプログラム。
[1]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正の手ぶれ補正量に応じて、前記位相差情報の信頼性を判定する信頼性判定を行うフォーカス制御部を備える
処理装置。
[2]
前記フォーカス制御部は、前記信頼性判定の判定結果に基づいて、位相差方式によるフォーカス制御を行う
[1]に記載の処理装置。
[3]
前記フォーカス制御部は、
前記信頼性判定において、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアの中で、許容誤差以内の前記位相差情報が得られる、信頼性があるフォーカスエリアを判定し、
前記信頼性があるフォーカスエリアから得られる前記位相差情報に基づいて、位相差方式によるフォーカス制御を行う
[1]又は[2]に記載の処理装置。
[4]
前記フォーカス制御部は、前記信頼性があるフォーカスエリアがない場合、位相差方式以外の方式によるフォーカス制御を行う
[3]に記載の処理装置。
[5]
前記イメージセンサ、又は、前記光学系を、前記光軸と垂直方向に移動することにより行われる手ぶれ補正を制御する手ぶれ補正制御部をさらに備える
[1]ないし[4]のいずれかに記載の処理装置。
[6]
前記イメージセンサをさらに備えるディジタルカメラである
[1]ないし[5]のいずれかに記載の処理装置。
[7]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正の手ぶれ補正量に応じて、前記位相差情報の信頼性を判定する信頼性判定を行うステップを含む
処理方法。
[8]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正の手ぶれ補正量に応じて、前記位相差情報の信頼性を判定する信頼性判定を行うフォーカス制御部
として、コンピュータを機能させるためのプログラム。
[1]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部を備える
処理装置。
[2]
前記手ぶれ補正制御部は、前記手ぶれ補正の手ぶれ補正量を制限する
[1]に記載の処理装置。
[3]
前記フォーカスエリアを設定し、前記フォーカスエリアから得られる前記位相差情報に基づいて、位相差方式によるフォーカス制御を行うフォーカス制御部をさらに備える
[1]又は[2]に記載の処理装置。
[4]
前記フォーカス制御部は、ユーザの操作に従って、前記フォーカスエリアを設定する
[3]に記載の処理装置。
[5]
前記手ぶれ補正制御部は、前記イメージセンサ、又は、前記光学系を、前記光軸と垂直方向に移動させる手ぶれ補正の制御を行う
[1]ないし[4]のいずれかに記載の処理装置。
[6]
前記イメージセンサをさらに備えるディジタルカメラである
[1]ないし[5]のいずれかに記載の処理装置。
[7]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御するステップを含む
処理方法。
[8]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部
として、コンピュータを機能させるためのプログラム。
11 撮影部, 12 信号処理部, 13 記録部, 14 入出力パネル, 15 検出部, 16 表示部, 17 操作部, 18 制御部, 19 CPU, 20 不揮発性メモリ, 21 RAM, 41 撮像系, 42 画像処理部, 43 駆動部, 51 光学系, 52 レンズ群, 53 絞り, 54 イメージセンサ, 61 フォーカス制御部, 62 手ぶれ補正制御部

Claims (8)

  1. 位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
    前記イメージセンサ上に、被写体からの光を結像させるための光学系と
    の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部を備える
    処理装置。
  2. 前記手ぶれ補正制御部は、前記手ぶれ補正の手ぶれ補正量を制限する
    請求項1に記載の処理装置。
  3. 前記フォーカスエリアを設定し、前記フォーカスエリアから得られる前記位相差情報に基づいて、位相差方式によるフォーカス制御を行うフォーカス制御部をさらに備える
    請求項2に記載の処理装置。
  4. 前記フォーカス制御部は、ユーザの操作に従って、前記フォーカスエリアを設定する
    請求項3に記載の処理装置。
  5. 前記手ぶれ補正制御部は、前記イメージセンサ、又は、前記光学系を、前記光軸と垂直方向に移動させる手ぶれ補正の制御を行う
    請求項2に記載の処理装置。
  6. 前記イメージセンサをさらに備えるディジタルカメラである
    請求項2に記載の処理装置。
  7. 位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
    前記イメージセンサ上に、被写体からの光を結像させるための光学系と
    の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御するステップを含む
    処理方法。
  8. 位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
    前記イメージセンサ上に、被写体からの光を結像させるための光学系と
    の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部
    として、コンピュータを機能させるためのプログラム。
JP2012199125A 2012-09-11 2012-09-11 処理装置、処理方法、及び、プログラム Active JP5967432B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012199125A JP5967432B2 (ja) 2012-09-11 2012-09-11 処理装置、処理方法、及び、プログラム
US14/017,688 US10021307B2 (en) 2012-09-11 2013-09-04 Processing apparatus for camera shake correction
CN201310412174.4A CN103685919A (zh) 2012-09-11 2013-09-11 处理装置、处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012199125A JP5967432B2 (ja) 2012-09-11 2012-09-11 処理装置、処理方法、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2014056000A true JP2014056000A (ja) 2014-03-27
JP2014056000A5 JP2014056000A5 (ja) 2015-03-12
JP5967432B2 JP5967432B2 (ja) 2016-08-10

Family

ID=50232913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012199125A Active JP5967432B2 (ja) 2012-09-11 2012-09-11 処理装置、処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US10021307B2 (ja)
JP (1) JP5967432B2 (ja)
CN (1) CN103685919A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016067648A1 (ja) * 2014-10-30 2016-05-06 オリンパス株式会社 焦点調節装置、カメラシステム、および焦点調節方法
JP2020194123A (ja) * 2019-05-29 2020-12-03 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014126861A (ja) 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
JP6071545B2 (ja) * 2012-12-27 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体
JP5743236B2 (ja) * 2013-09-17 2015-07-01 オリンパス株式会社 撮影機器及び撮影方法
JP2015115865A (ja) * 2013-12-13 2015-06-22 株式会社東芝 カメラモジュール
JP6249825B2 (ja) * 2014-03-05 2017-12-20 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6438671B2 (ja) * 2014-04-10 2018-12-19 オリンパス株式会社 焦点調節装置、カメラシステム、および撮像装置の焦点調節方法
KR102261728B1 (ko) 2014-12-17 2021-06-08 엘지이노텍 주식회사 영상 획득 장치 및 이를 포함하는 휴대용 단말기
KR102328098B1 (ko) * 2015-02-13 2021-11-17 삼성전자주식회사 전자장치의 초점 검출 장치 및 방법
JP6613697B2 (ja) * 2015-08-06 2019-12-04 株式会社リコー 画像処理装置、プログラムおよび記録媒体
US9854150B2 (en) * 2015-10-27 2017-12-26 Blackberry Limited Auto-focus control in a camera to prevent oscillation
JP2017191140A (ja) * 2016-04-11 2017-10-19 キヤノン株式会社 撮像装置、及びその制御方法
KR102618590B1 (ko) * 2016-05-12 2023-12-28 삼성전자주식회사 이미지의 광원을 판단하는 방법 및 이를 수행하는 전자 장치
JP2018101110A (ja) * 2016-12-21 2018-06-28 オリンパス株式会社 焦点検出装置
CN110290320B (zh) * 2019-06-27 2021-01-22 Oppo广东移动通信有限公司 视频预览图生成方法和装置、电子设备、计算机可读存储介质
CN213633958U (zh) * 2020-06-19 2021-07-06 台湾东电化股份有限公司 光学元件驱动机构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209691A (ja) * 1994-01-14 1995-08-11 Nikon Corp 振れ検出手段を備えたカメラ
JP2006171290A (ja) * 2004-12-15 2006-06-29 Canon Inc カメラ
JP2010154414A (ja) * 2008-12-26 2010-07-08 Nikon Corp 撮像装置
JP2011075841A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4511766B2 (ja) * 2000-07-10 2010-07-28 株式会社リコー 撮影装置および撮影装置における振れ補正方法
US7133077B2 (en) * 2001-07-02 2006-11-07 Canon Kabushiki Kaisha Auto focus camera, lens apparatus and camera system with a vibration motor drive
JP4717572B2 (ja) * 2005-09-20 2011-07-06 キヤノン株式会社 光学機器および焦点調節方法
JP4509925B2 (ja) * 2005-12-27 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
KR101256961B1 (ko) * 2008-04-30 2013-04-26 캐논 가부시끼가이샤 촬상장치
JP5146295B2 (ja) * 2008-12-15 2013-02-20 ソニー株式会社 撮像装置および合焦制御方法
JP5118680B2 (ja) 2009-10-07 2013-01-16 キヤノン株式会社 撮像装置
JP2012060371A (ja) * 2010-09-08 2012-03-22 Pentax Ricoh Imaging Co Ltd 撮像システムおよび画素信号読出し方法
JP5901246B2 (ja) * 2010-12-13 2016-04-06 キヤノン株式会社 撮像装置
JP5956749B2 (ja) * 2011-12-21 2016-07-27 キヤノン株式会社 防振制御装置及びその制御方法、及び撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209691A (ja) * 1994-01-14 1995-08-11 Nikon Corp 振れ検出手段を備えたカメラ
JP2006171290A (ja) * 2004-12-15 2006-06-29 Canon Inc カメラ
JP2010154414A (ja) * 2008-12-26 2010-07-08 Nikon Corp 撮像装置
JP2011075841A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016067648A1 (ja) * 2014-10-30 2016-05-06 オリンパス株式会社 焦点調節装置、カメラシステム、および焦点調節方法
JP2016090649A (ja) * 2014-10-30 2016-05-23 オリンパス株式会社 焦点調節装置、カメラシステム、および焦点調節方法
JP2020194123A (ja) * 2019-05-29 2020-12-03 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
JP7282598B2 (ja) 2019-05-29 2023-05-29 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム

Also Published As

Publication number Publication date
JP5967432B2 (ja) 2016-08-10
US20140071303A1 (en) 2014-03-13
CN103685919A (zh) 2014-03-26
US10021307B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
JP5967432B2 (ja) 処理装置、処理方法、及び、プログラム
US10848680B2 (en) Zooming control apparatus, image capturing apparatus and control methods thereof
JP5900257B2 (ja) 処理装置、処理方法、及び、プログラム
JP6486656B2 (ja) 撮像装置
CN108377329B (zh) 摄像装置及其控制方法
US11729503B2 (en) Image capturing apparatus and control method thereof
JP7484866B2 (ja) ブレ補正装置、交換レンズ、撮像装置及び像ブレ補正方法
JP6178987B2 (ja) 撮像装置
JP2019029998A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
US20220417423A1 (en) Image processing apparatus and method for controlling image processing apparatus
JP2019216365A (ja) 画像処理装置、画像処理方法、およびレンズ装置
JP2012160780A (ja) 撮像装置、画像処理装置、画像処理プログラム
US11037277B2 (en) Image processing apparatus, imaging apparatus, lens apparatus, and image processing method
JP2015194686A (ja) 撮像装置
JP2015031726A (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2016126164A (ja) 撮像装置及び撮像方法
JP5153021B2 (ja) 撮影装置、撮影方法及びプログラム
US20240361569A1 (en) Lens apparatus and image pickup apparatus
US20230281859A1 (en) Image processing apparatus, control method thereof, image capturing apparatus, and storage medium
US11368622B2 (en) Photographing method, photographing device and mobile terminal for shifting a lens
US20230305294A1 (en) Control apparatus, lens apparatus, image pickup apparatus, camera system, control method, and storage medium
JP2017058563A (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP6539114B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP2020101730A (ja) 撮像装置およびその制御方法
JP2013162488A (ja) 画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160622

R151 Written notification of patent or utility model registration

Ref document number: 5967432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250