JP2009181024A - 合焦装置、光学機器 - Google Patents
合焦装置、光学機器 Download PDFInfo
- Publication number
- JP2009181024A JP2009181024A JP2008021173A JP2008021173A JP2009181024A JP 2009181024 A JP2009181024 A JP 2009181024A JP 2008021173 A JP2008021173 A JP 2008021173A JP 2008021173 A JP2008021173 A JP 2008021173A JP 2009181024 A JP2009181024 A JP 2009181024A
- Authority
- JP
- Japan
- Prior art keywords
- focusing device
- optical system
- image
- unit
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】好適に合焦を行うことができる合焦装置及び光学機器を提供する。
【解決手段】合焦装置(10)を、光学系(11)を通過した被写体光を電気信号に変換して出力する光電変換部(13)と、前記光電変換部の出力に基づいて生成される画像データを用いて点像分布関数を求め、該点像分布関数を用いて前記光学系の合焦状態を求める処理部(18)と、前記処理部の出力に基づいて前記光学系の焦点距離を制御する制御部(19)とを備える構成とした。
【選択図】図7
【解決手段】合焦装置(10)を、光学系(11)を通過した被写体光を電気信号に変換して出力する光電変換部(13)と、前記光電変換部の出力に基づいて生成される画像データを用いて点像分布関数を求め、該点像分布関数を用いて前記光学系の合焦状態を求める処理部(18)と、前記処理部の出力に基づいて前記光学系の焦点距離を制御する制御部(19)とを備える構成とした。
【選択図】図7
Description
本発明は、合焦装置及び光学機器に関するものである。
従来、カメラ等の光学機器としては、被写体像のコントラストに基づいてオートフォーカス制御を行うものが知られている(例えば、特許文献1参照)。
特開2001−119623号公報
上述したコントラスト検出式のオートフォーカス制御を行うためには、被写体像のコントラストがある程度高い必要があり、被写体の種類や撮影条件によっては合焦精度が低下する可能性がある。
本発明の課題は、好適に合焦を行うことができる合焦装置及び光学機器を提供することである。
本発明の課題は、好適に合焦を行うことができる合焦装置及び光学機器を提供することである。
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項1の発明は、光学系(11)を通過した被写体光を電気信号に変換して出力する光電変換部(13)と、前記光電変換部の出力に基づいて生成される画像データを用いて点像分布関数を求め、該点像分布関数を用いて前記光学系の合焦状態を求める処理部(18)と、前記処理部の出力に基づいて前記光学系の焦点距離を制御する制御部(19)とを備える合焦装置(10)である。
請求項1の発明は、光学系(11)を通過した被写体光を電気信号に変換して出力する光電変換部(13)と、前記光電変換部の出力に基づいて生成される画像データを用いて点像分布関数を求め、該点像分布関数を用いて前記光学系の合焦状態を求める処理部(18)と、前記処理部の出力に基づいて前記光学系の焦点距離を制御する制御部(19)とを備える合焦装置(10)である。
請求項2の発明は、請求項1に記載の合焦装置において、前記制御部(19)の出力に基づいて前記光学系(11)を駆動する駆動部(12)を有することを特徴とする合焦装置(10)である。
請求項3の発明は、請求項2に記載の合焦装置において、前記処理部(18)は、前記点像分布関数を用いて前記光電変換部(13)に結像される被写体像のデフォーカス量を演算し、前記駆動部(12)は、前記デフォーカス量が所定の閾値よりも大きい場合に前記光学系(11)を駆動することを特徴とする合焦装置(10)である。
請求項4の発明は、請求項3に記載の合焦装置において、前記処理部(18)は、前記被写体像のデフォーカス量に基づいて前記光学系(11)の駆動量を演算することを特徴とする合焦装置(10)である。
請求項5の発明は、請求項1から請求項4までのいずれか1項に記載の合焦装置において、前記処理部(18)は、指定された焦点検出領域(F)に対応する領域の画像データを用いて前記点像分布関数を求めることを特徴とする合焦装置(10)である。
請求項6の発明は、請求項5に記載の合焦装置において、前記処理部(18)は、前記焦点検出領域(F)内に該焦点検出領域よりも狭い領域(B)を設定するとともに、前記狭い領域に対応する位置の画像データを用いて前記点像分布関数を求めることを特徴とする合焦装置(10)である。
請求項7の発明は、請求項6に記載の合焦装置において、前記処理部(18)は、前記焦点検出領域(F)内に複数の前記狭い領域(B)を設定するとともに、該複数の狭い領域のそれぞれについて前記点像分布関数を求め、前記制御部(19)は、前記処理部が演算した複数の演算結果のうち、2つ以上の演算結果に基づいて前記光学系(11)を制御することを特徴とする合焦装置(10)である。
請求項8の発明は、請求項1から請求項7までのいずれか1項に記載の合焦装置において、前記画像データから被写体像のコントラストを演算するコントラスト演算部(23)を備え、前記制御部(119)は、前記コントラストが高くなるように前記光学系(11)の焦点距離を制御することを特徴とする合焦装置(110)である。
請求項9の発明は、請求項8に記載の合焦装置において、前記制御部(119)は、前記コントラスト演算部(23)の出力に基づいて前記光学系を制御しても前記コントラストを所定の閾値よりも高くできない場合に前記処理部(18)の出力に基づいて前記光学系を制御することを特徴とする合焦装置(110)である。
請求項10の発明は、請求項1から請求項9までのいずれか1項に記載の合焦装置を備えることを特徴とする光学機器(10)である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
請求項3の発明は、請求項2に記載の合焦装置において、前記処理部(18)は、前記点像分布関数を用いて前記光電変換部(13)に結像される被写体像のデフォーカス量を演算し、前記駆動部(12)は、前記デフォーカス量が所定の閾値よりも大きい場合に前記光学系(11)を駆動することを特徴とする合焦装置(10)である。
請求項4の発明は、請求項3に記載の合焦装置において、前記処理部(18)は、前記被写体像のデフォーカス量に基づいて前記光学系(11)の駆動量を演算することを特徴とする合焦装置(10)である。
請求項5の発明は、請求項1から請求項4までのいずれか1項に記載の合焦装置において、前記処理部(18)は、指定された焦点検出領域(F)に対応する領域の画像データを用いて前記点像分布関数を求めることを特徴とする合焦装置(10)である。
請求項6の発明は、請求項5に記載の合焦装置において、前記処理部(18)は、前記焦点検出領域(F)内に該焦点検出領域よりも狭い領域(B)を設定するとともに、前記狭い領域に対応する位置の画像データを用いて前記点像分布関数を求めることを特徴とする合焦装置(10)である。
請求項7の発明は、請求項6に記載の合焦装置において、前記処理部(18)は、前記焦点検出領域(F)内に複数の前記狭い領域(B)を設定するとともに、該複数の狭い領域のそれぞれについて前記点像分布関数を求め、前記制御部(19)は、前記処理部が演算した複数の演算結果のうち、2つ以上の演算結果に基づいて前記光学系(11)を制御することを特徴とする合焦装置(10)である。
請求項8の発明は、請求項1から請求項7までのいずれか1項に記載の合焦装置において、前記画像データから被写体像のコントラストを演算するコントラスト演算部(23)を備え、前記制御部(119)は、前記コントラストが高くなるように前記光学系(11)の焦点距離を制御することを特徴とする合焦装置(110)である。
請求項9の発明は、請求項8に記載の合焦装置において、前記制御部(119)は、前記コントラスト演算部(23)の出力に基づいて前記光学系を制御しても前記コントラストを所定の閾値よりも高くできない場合に前記処理部(18)の出力に基づいて前記光学系を制御することを特徴とする合焦装置(110)である。
請求項10の発明は、請求項1から請求項9までのいずれか1項に記載の合焦装置を備えることを特徴とする光学機器(10)である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
本発明によれば、好適に合焦を行うことができる合焦装置及び光学機器を提供することができる。
[第1実施形態]
以下、図面等を参照して、本発明を適用した合焦装置を含む光学機器の実施形態について説明する。なお、以下の実施形態は、光学機器としてカメラを例にとって説明する。
図1は、第1実施形態のカメラの構造を示すブロック図である。
以下、図面等を参照して、本発明を適用した合焦装置を含む光学機器の実施形態について説明する。なお、以下の実施形態は、光学機器としてカメラを例にとって説明する。
図1は、第1実施形態のカメラの構造を示すブロック図である。
カメラ10は、フォーカスレンズ11、レンズ駆動部12、撮像素子13、入力部14、表示部15、制御部16等を備えている。
カメラ10は、複数のレンズ群によって形成される撮影レンズを備えており、フォーカスレンズ11は、撮影レンズの一部を形成している。撮影レンズは、フォーカスレンズ11が光軸方向に進退動作を行うことによって、後述するAF(Auto Focus)エリアに対応する位置の被写体に対して合焦動作(フォーカシング)を行うようになっている。
カメラ10は、複数のレンズ群によって形成される撮影レンズを備えており、フォーカスレンズ11は、撮影レンズの一部を形成している。撮影レンズは、フォーカスレンズ11が光軸方向に進退動作を行うことによって、後述するAF(Auto Focus)エリアに対応する位置の被写体に対して合焦動作(フォーカシング)を行うようになっている。
レンズ駆動部12は、例えば、電動モータ等のアクチュエータを備えており、フォーカスレンズ11を光軸方向に進退動作させる。レンズ駆動部12は、制御部16に備えられた後述するAF制御部19からの指示信号に応じてフォーカスレンズ11を進退動作させるようになっている。
撮像素子13は、前述の撮影レンズによって導かれた被写体光が露光されると、この被写体光を電気信号に変換して出力する複数の光電変換素子(以下、光電変換素子を適宜、画素と称して説明する)を備えたイメージセンサである。撮像素子13には、例えば、CCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)等を使用することができる。
撮像素子13から出力された電気信号(アナログ信号)は、A/Dコンバータ20によってデジタル信号に変換され、このデジタル信号は、メモリ21に一時的に記録される。
撮像素子13は、前述の撮影レンズによって導かれた被写体光が露光されると、この被写体光を電気信号に変換して出力する複数の光電変換素子(以下、光電変換素子を適宜、画素と称して説明する)を備えたイメージセンサである。撮像素子13には、例えば、CCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)等を使用することができる。
撮像素子13から出力された電気信号(アナログ信号)は、A/Dコンバータ20によってデジタル信号に変換され、このデジタル信号は、メモリ21に一時的に記録される。
入力部14は、撮影者等のカメラのユーザ(以下、撮影者等という)がカメラ10を操作する際に使用するものである。撮影者等は、この入力部14を操作することによって、制御部16に対して各種の入力指示を発するようになっている。
表示部15は、例えば、液晶パネル等を含んでおり、撮影済み画像や各種設定を行うメニュー画面を表示する。
また、本実施形態のカメラ10は、撮影時において、前述の撮像素子13から出力される電気信号に基づいて生成されるスルー画像を、略リアルタイムで表示部15に表示するライブビュー機能を備えている。撮影者等は、このスルー画像を確認しながらフレーミングを行うことができ、表示部15は、ファインダ装置としても機能する。
また、本実施形態のカメラ10は、撮影時において、前述の撮像素子13から出力される電気信号に基づいて生成されるスルー画像を、略リアルタイムで表示部15に表示するライブビュー機能を備えている。撮影者等は、このスルー画像を確認しながらフレーミングを行うことができ、表示部15は、ファインダ装置としても機能する。
制御部16は、カメラ10に備えられた各要素を統括的に制御する部分であり、CPU等の演算装置を備えている。
制御部16は、フォーカスエリア情報取得部17、PSF(Point Spread Function)演算部18、AF制御部19等を備えている。
制御部16は、フォーカスエリア情報取得部17、PSF(Point Spread Function)演算部18、AF制御部19等を備えている。
フォーカスエリア情報取得部17は、制御部16がAF制御を行う際に自動的に選択したフォーカスエリアの位置情報、又は、撮影者等が手動で設定したフォーカスエリアの位置情報を取得する部分である。
図2は、図1に示すカメラに備えられた表示部の表示画面の一例を示す図であり、表示画面にフォーカスエリアが表示された状態を示している。
図2は、図1に示すカメラに備えられた表示部の表示画面の一例を示す図であり、表示画面にフォーカスエリアが表示された状態を示している。
図2に示すように、フォーカスエリアAは、表示画面の複数箇所(本実施形態では、例えば9箇所)に配置され、制御部16は、例えば、これらのフォーカスエリアAに対応する位置の被写体のうち最も至近距離の被写体を主要被写体と見なし、この主要被写体に対応するフォーカスエリアAを用いてAF制御を行う。また、撮影者が手動でフォーカスエリアAを設定する場合には、表示画面を確認しながら入力部14を操作して、所望のフォーカスエリアAを選択する。なお、フォーカスエリアAの数や配置は、図2に示すものに限らず、適宜変更が可能である。
PSF演算部18は、撮像素子13の出力に基づいて生成される画像データの自己相関値に基づいて点広がり関数(PSF)を演算する部分である。PSFは、点像強度分布等とも称されており、理想的な点像が光学系を通過した場合にどのように光線が広がるかを示している。PSF演算部18が行うPSF演算の手法については、後に詳しく説明する。
制御部16は、撮影画像データに対してPSF演算部18が演算するとともに、AF制御部19がPSFに基づいて前述のレンズ駆動部12を制御し、フォーカスエリアAのうち、撮影時に選択されたフォーカスエリアA(以下、AFエリアFと称する)に対応する位置の被写体に対して撮影レンズを合焦させる。なお、AFエリアFは、AF制御に使用しない他のフォーカスエリアAと区別するために、これらの他のフォーカスエリアAとは異なる色で表示される(図2参照)。
次に、制御部16が行うAF制御について説明する。
図3は、図1に示すカメラに備えられた制御部が行うAF制御を示すフローチャートである。
以下、ステップごとに説明する。
図3は、図1に示すカメラに備えられた制御部が行うAF制御を示すフローチャートである。
以下、ステップごとに説明する。
(ステップS01:画像データ取得)
撮影者等からAFを実行する旨の指示が入力されると、制御部16は、PSF演算部18がフォーカスエリア情報取得部17の出力に基づいてAFエリアFを判定し、このAFエリアFに対応する位置の画像データをメモリ21から取得してステップS02に進む。
なお、複数のフォーカスエリアAを用いてAFを行う場合には、複数のフォーカスエリアAがAFエリアFとして選択されるが、PSF演算部18は、複数のAFエリアFに対応する画像データをそれぞれ取得し、制御部16は、以下に説明する処理を各画像データに対して並行して行う。
撮影者等からAFを実行する旨の指示が入力されると、制御部16は、PSF演算部18がフォーカスエリア情報取得部17の出力に基づいてAFエリアFを判定し、このAFエリアFに対応する位置の画像データをメモリ21から取得してステップS02に進む。
なお、複数のフォーカスエリアAを用いてAFを行う場合には、複数のフォーカスエリアAがAFエリアFとして選択されるが、PSF演算部18は、複数のAFエリアFに対応する画像データをそれぞれ取得し、制御部16は、以下に説明する処理を各画像データに対して並行して行う。
(ステップS02:G成分抽出)
撮像素子13の出力に基づいて生成される画像データは、例えば、RBG等の色情報を含んでいるが、PSFの演算に色情報は不要であるため、PSF演算部18は、画像データからG成分のみ抽出してステップS03に進む。PSF演算部18は、G成分のみに基づいてPSFの演算を行うので、演算速度が高速化する。
撮像素子13の出力に基づいて生成される画像データは、例えば、RBG等の色情報を含んでいるが、PSFの演算に色情報は不要であるため、PSF演算部18は、画像データからG成分のみ抽出してステップS03に進む。PSF演算部18は、G成分のみに基づいてPSFの演算を行うので、演算速度が高速化する。
(ステップS03:画像縮小)
PSF演算部18は、ステップS01出取得した画像データをダウンサンプリングし、画像のサイズを小さくする処理を行って、ステップS04に進む。PSF演算部18は、これによって演算速度が高速化する。以下、このステップS03で生成した画像に符号gを付して説明する。
PSF演算部18は、ステップS01出取得した画像データをダウンサンプリングし、画像のサイズを小さくする処理を行って、ステップS04に進む。PSF演算部18は、これによって演算速度が高速化する。以下、このステップS03で生成した画像に符号gを付して説明する。
(ステップS04:ブロック分割)
PSF演算部18は、ステップS03で生成した画像gを、例えば、マトリクス状に分割することによって49個(7×7)のブロックを設定し、ステップS05に進む。
図4は、画像gに対してPSF演算部が設定したブロックを模式的に表す図である。
図4に示すように、PSF演算部18が設定した49個のブロックは、全て同じ形状及び面積を有している。
PSF演算部18は、ステップS03で生成した画像gを、例えば、マトリクス状に分割することによって49個(7×7)のブロックを設定し、ステップS05に進む。
図4は、画像gに対してPSF演算部が設定したブロックを模式的に表す図である。
図4に示すように、PSF演算部18が設定した49個のブロックは、全て同じ形状及び面積を有している。
(ステップS05:飽和ブロック除去)
PSF演算部18は、ステップS04で設定した49個のブロックのうち、画素値が飽和している画素を含むブロックをPSFの演算対象から除去してステップS06に進む。
(ステップS06:ラプラシアン処理)
PSF演算部18は、画像データに対してラプラシアン処理を施すことによって、画像の輪郭を強調する処理を行いステップS07に進む。
PSF演算部18は、ステップS04で設定した49個のブロックのうち、画素値が飽和している画素を含むブロックをPSFの演算対象から除去してステップS06に進む。
(ステップS06:ラプラシアン処理)
PSF演算部18は、画像データに対してラプラシアン処理を施すことによって、画像の輪郭を強調する処理を行いステップS07に進む。
(ステップS07:無模様ブロック除去)
PSF演算部18は、ラプラシアン処理を行っても実質的にテクスチャ(模様)がないと認められるブロックをPSFの演算対象から除去してステップS08に進む。画像にテクスチャがない場合には、PSFの演算を行うことが困難だからである。
ステップS04において画像gに対して設定した49個のブロックは、ステップS05からステップS07の処理が行われることによって、画素値が飽和しておらず、かつ、テクスチャが存在するブロックのみが残る。PSF演算部18は、これらのブロックをPSFの演算対象とする。なお、本実施形態においては、例えば、4個のブロックをPSF演算の演算対象とするが、PSF演算の演算対象とするブロックの数はこれに限られず、場合によっては、例えば、1つでもよい。また、全てのブロックをPSFの演算対象とすることもできる。
PSF演算部18は、ラプラシアン処理を行っても実質的にテクスチャ(模様)がないと認められるブロックをPSFの演算対象から除去してステップS08に進む。画像にテクスチャがない場合には、PSFの演算を行うことが困難だからである。
ステップS04において画像gに対して設定した49個のブロックは、ステップS05からステップS07の処理が行われることによって、画素値が飽和しておらず、かつ、テクスチャが存在するブロックのみが残る。PSF演算部18は、これらのブロックをPSFの演算対象とする。なお、本実施形態においては、例えば、4個のブロックをPSF演算の演算対象とするが、PSF演算の演算対象とするブロックの数はこれに限られず、場合によっては、例えば、1つでもよい。また、全てのブロックをPSFの演算対象とすることもできる。
図5は、図1に示すPSF演算部が自己相関値の演算を行う際の手法を説明する図である。
図5(a)は、図4に示す画像gに設定された49個のブロックのうち、PSFの演算対象となるブロックのみを太線で囲って示している。以下、PSFの演算対象となるブロックを画像Bと称して説明する。図5(b)に示すように、PSF演算部18は、画像Bに対して、さらに、例えば、25個(5×5)のブロックを設定する。この25個のブロックのそれぞれには、複数の画素が含まれている。
図5(a)は、図4に示す画像gに設定された49個のブロックのうち、PSFの演算対象となるブロックのみを太線で囲って示している。以下、PSFの演算対象となるブロックを画像Bと称して説明する。図5(b)に示すように、PSF演算部18は、画像Bに対して、さらに、例えば、25個(5×5)のブロックを設定する。この25個のブロックのそれぞれには、複数の画素が含まれている。
(ステップS08:自己相関演算)
PSF演算部18は、ステップS05〜S07の処理で演算対象から除外されずに残っている4つのブロックについて、それぞれ2次元の自己相関値を演算する。
PSF演算部18は、図5(b)に示すように、画像Bをずらしながら重なり合っている領域の画素同士の積の結果を加算して得られた値を、重なり合った領域の面積(図5(b)の場合は4画素×4画素)で除することによって自己相関値を求める。
2次元の自己相関関数値は、以下の(数1)によって定義される。
PSF演算部18は、ステップS05〜S07の処理で演算対象から除外されずに残っている4つのブロックについて、それぞれ2次元の自己相関値を演算する。
PSF演算部18は、図5(b)に示すように、画像Bをずらしながら重なり合っている領域の画素同士の積の結果を加算して得られた値を、重なり合った領域の面積(図5(b)の場合は4画素×4画素)で除することによって自己相関値を求める。
2次元の自己相関関数値は、以下の(数1)によって定義される。
この(数1)において、a、bは、それぞれX、Y方向の画素間距離、N、Mは、それぞれ自己相関を演算する領域のX方向、Y方向の長さを示している(ステップS09に進む)。
(ステップS09:自己相関画像作成)
PSF演算部18は、ステップS08において演算した各ブロックの自己相関値に基づいて、自己相関画像を作成する。
(数1)によって求められる自己相関値は、a=0、b=0のとき、すなわち画素が完全に重なっているときに最大となるので、(数1)における、Rff(0,0)のときの自己相関値を基に正規化を行い、自己相関値を8ビットのグレースケール(0〜255(白〜黒)の256階調)に対応させてモノクロ画像(自己相関画像)を作成する。
PSF演算部18は、ステップS08において演算した各ブロックの自己相関値に基づいて、自己相関画像を作成する。
(数1)によって求められる自己相関値は、a=0、b=0のとき、すなわち画素が完全に重なっているときに最大となるので、(数1)における、Rff(0,0)のときの自己相関値を基に正規化を行い、自己相関値を8ビットのグレースケール(0〜255(白〜黒)の256階調)に対応させてモノクロ画像(自己相関画像)を作成する。
図6は、図1に示すPSF演算部が作成した自己相関画像の一例を示す図である。この図6において(a)は、画像gを示し、(b)は、画像gに含まれる画像Bを拡大して示している。
PSF演算部18は、図6(a)に示すように、PSFの演算対象となる画像gの全てに対して自己相関画像を作成する。モノクロ画像である自己相関画像において、自己相関が高い画素ほど白く表示される。PSF演算部18は、グレースケールの階調に予め閾値を設定し、この閾値よりも白く表示された領域の幅によって、画像のぼけ幅(ぼけ量)を求める(図6(b)参照)。なお、図6に示す自己相関画像において、白く表示される画素は、例えば、45°程度斜めの方向に分布しているが、これは、画像がこの方向にブレていることを示している。
PSF演算部18は、図6(a)に示すように、PSFの演算対象となる画像gの全てに対して自己相関画像を作成する。モノクロ画像である自己相関画像において、自己相関が高い画素ほど白く表示される。PSF演算部18は、グレースケールの階調に予め閾値を設定し、この閾値よりも白く表示された領域の幅によって、画像のぼけ幅(ぼけ量)を求める(図6(b)参照)。なお、図6に示す自己相関画像において、白く表示される画素は、例えば、45°程度斜めの方向に分布しているが、これは、画像がこの方向にブレていることを示している。
(ステップS10:ぼけ幅の平均化)
AF制御部19は、PSF演算部18が求めた各ブロックのぼけ幅(ぼけ量)を平均化することによって画像gの全体的なぼけ量を演算し、ステップS11に進む。
AF制御部19は、PSF演算部18が求めた各ブロックのぼけ幅(ぼけ量)を平均化することによって画像gの全体的なぼけ量を演算し、ステップS11に進む。
(ステップS11:ぼけ量と閾値の比較)
AF制御部19は、ステップS10で求めたぼけ量と、予め設定された閾値とを比較する。ぼけ量がこの閾値未満である場合(Yes判定)、すなわち、ぼけ量が実質的に無視できる程度に小さい場合には、AFエリアF対応する領域の被写体に合焦していると見なして処理を終了する。
これに対し、AF制御部19は、ぼけ量が前述した閾値以上である場合には、ステップS12に進む。
AF制御部19は、ステップS10で求めたぼけ量と、予め設定された閾値とを比較する。ぼけ量がこの閾値未満である場合(Yes判定)、すなわち、ぼけ量が実質的に無視できる程度に小さい場合には、AFエリアF対応する領域の被写体に合焦していると見なして処理を終了する。
これに対し、AF制御部19は、ぼけ量が前述した閾値以上である場合には、ステップS12に進む。
(ステップS12:フォーカスレンズ駆動量決定)
制御部16にはフォーカスレンズ11を駆動量とぼけ量の変化度合いとの相関を示すデータが予めテーブル化されて用意されており、AF制御部19は、ステップS10で求めたぼけ量を前述した閾値未満にすることができるフォーカスレンズ11の駆動量を、このテーブルを参照することによって決定してステップS13に進む。
制御部16にはフォーカスレンズ11を駆動量とぼけ量の変化度合いとの相関を示すデータが予めテーブル化されて用意されており、AF制御部19は、ステップS10で求めたぼけ量を前述した閾値未満にすることができるフォーカスレンズ11の駆動量を、このテーブルを参照することによって決定してステップS13に進む。
(ステップS13:レンズ駆動)
AF制御部19は、レンズ駆動部12に対してフォーカスレンズ11の駆動量に関する情報を含む指示信号を発信してステップS01に戻る。レンズ駆動部12は、制御部16から発信された指示信号に応じてフォーカスレンズ11を駆動する。
ここで、撮影レンズが主要被写体に対して合焦していない場合、カメラ10から見て被写体より手前のものに合焦している場合と、カメラ10から見て被写体よりも遠いものに合焦している場合が考えられる。これらの違いによって、AF制御時のフォーカスレンズ11の駆動方向は異なるが、AF制御部19は、合焦前の状態を判定することができないので、最初にフォーカスレンズ11を駆動するときの方向は、一定の方向とする。
制御部16は、この後、再度ステップS01〜S12の処理を繰り返し、ステップS11でぼけ量が閾値未満になっていないと判定した場合には、フォーカスレンズ11を逆の方向に駆動する。
AF制御部19は、レンズ駆動部12に対してフォーカスレンズ11の駆動量に関する情報を含む指示信号を発信してステップS01に戻る。レンズ駆動部12は、制御部16から発信された指示信号に応じてフォーカスレンズ11を駆動する。
ここで、撮影レンズが主要被写体に対して合焦していない場合、カメラ10から見て被写体より手前のものに合焦している場合と、カメラ10から見て被写体よりも遠いものに合焦している場合が考えられる。これらの違いによって、AF制御時のフォーカスレンズ11の駆動方向は異なるが、AF制御部19は、合焦前の状態を判定することができないので、最初にフォーカスレンズ11を駆動するときの方向は、一定の方向とする。
制御部16は、この後、再度ステップS01〜S12の処理を繰り返し、ステップS11でぼけ量が閾値未満になっていないと判定した場合には、フォーカスレンズ11を逆の方向に駆動する。
以上説明したAF制御について、具体的な画像を用いて説明する。
図7は、図1に示す表示部に表示された被写体像(スルー画像)と自己相関画像との関係を示す図である。この図7において、(a)が合焦前、(b)が合焦後のスルー画像をそれぞれ示している。また、図7において、(c)及び(d)は、自己相関画像を模式的に表した図であり、(c)は、図7(a)の自己相関画像、(d)は、図7(b)の自己相関画像を示している。
図7は、図1に示す表示部に表示された被写体像(スルー画像)と自己相関画像との関係を示す図である。この図7において、(a)が合焦前、(b)が合焦後のスルー画像をそれぞれ示している。また、図7において、(c)及び(d)は、自己相関画像を模式的に表した図であり、(c)は、図7(a)の自己相関画像、(d)は、図7(b)の自己相関画像を示している。
図7では、中央の1点のフォーカスエリアAを用いて主要被写体である人物Pに対してAF制御を行う場合を示している。また、スルー画像には、主要被写体である人物Pの他、AFエリアFと対応しない位置に背景として木Wが写っている。
図7(a)に示すAFを行う前の状態において、撮影レンズは、木Wに対して合焦した状態になっている。人物Pに対応するAFエリアFの画像データに基づいて生成された自己相関画像A1は、図7(c)に示すように、ぼけの影響によってある程度の幅(ぼけ幅)を有している。これに対し、この図7(a)の状態では、背景の木Wに合焦しているので、木Wに対応する画像データに基づいて生成された自己相関画像B1は、ぼけ幅が小さくなっている。なお、実際のAF制御時において、自己相関画像は、AFエリアFに対応する領域の画像データに基づいて生成されるので、背景である木Wに対応する領域の自己相関画像は生成されない。
これに対し、図7(d)に示す合焦後における自己相関画像A2は、人物Pに対応する自己相関画像A1のぼけ幅が狭く、木Wに対応する自己相関画像B2のぼけ幅が広くなっている。
図7(a)に示すAFを行う前の状態において、撮影レンズは、木Wに対して合焦した状態になっている。人物Pに対応するAFエリアFの画像データに基づいて生成された自己相関画像A1は、図7(c)に示すように、ぼけの影響によってある程度の幅(ぼけ幅)を有している。これに対し、この図7(a)の状態では、背景の木Wに合焦しているので、木Wに対応する画像データに基づいて生成された自己相関画像B1は、ぼけ幅が小さくなっている。なお、実際のAF制御時において、自己相関画像は、AFエリアFに対応する領域の画像データに基づいて生成されるので、背景である木Wに対応する領域の自己相関画像は生成されない。
これに対し、図7(d)に示す合焦後における自己相関画像A2は、人物Pに対応する自己相関画像A1のぼけ幅が狭く、木Wに対応する自己相関画像B2のぼけ幅が広くなっている。
以上説明した第1実施形態のカメラ10によれば、以下の効果を得ることができる。
(1)AFエリアF内の一部の領域の画像(点像)を用いてピンポイントでぼけ量を演算するので、全体的に被写体がコントラストが低い場合であっても、精度よくAFを行うことができる。また、画像gの自己相関値に基づいてPSFを演算するので、演算速度が高速である。
(2)自己相関画像のぼけ量に基づいてフォーカスレンズ11の駆動量を予め求めることができるので、AF動作を高速で行うことができる。
(3)AFエリアFを49個の狭いブロックに分割してPSFを演算するので、演算処理を高速化できる。
(4)AFエリアFに含まれる複数のブロックについてPSFを演算し、これによって得られたぼけ量の平均値に基づいてフォーカスレンズ11の駆動量を決定するので、AFエリアFの全体に対してピントが合った画像を撮影することができる。
(1)AFエリアF内の一部の領域の画像(点像)を用いてピンポイントでぼけ量を演算するので、全体的に被写体がコントラストが低い場合であっても、精度よくAFを行うことができる。また、画像gの自己相関値に基づいてPSFを演算するので、演算速度が高速である。
(2)自己相関画像のぼけ量に基づいてフォーカスレンズ11の駆動量を予め求めることができるので、AF動作を高速で行うことができる。
(3)AFエリアFを49個の狭いブロックに分割してPSFを演算するので、演算処理を高速化できる。
(4)AFエリアFに含まれる複数のブロックについてPSFを演算し、これによって得られたぼけ量の平均値に基づいてフォーカスレンズ11の駆動量を決定するので、AFエリアFの全体に対してピントが合った画像を撮影することができる。
[第2実施形態]
次に、本発明を適用した合焦装置の第2実施形態を含む光学機器(カメラ)について説明する。この第2実施形態において、上述した第1実施形態と同様な機能を果たす部分には、同一の符号又は末尾に統一した符号を付して、重複する説明や図面を適宜省略する。
図8は、第2実施形態のカメラの構造を示すブロック図である。
次に、本発明を適用した合焦装置の第2実施形態を含む光学機器(カメラ)について説明する。この第2実施形態において、上述した第1実施形態と同様な機能を果たす部分には、同一の符号又は末尾に統一した符号を付して、重複する説明や図面を適宜省略する。
図8は、第2実施形態のカメラの構造を示すブロック図である。
第2実施形態のカメラ110に備えられた制御部116は、第1実施形態で説明したPSFに基づくAF制御(以下、PSF−AF制御と称する)に加え、画像データのコントラストに基づいてAF制御を行うコントラストAF制御の2種類のAF制御を行うことが可能になっている。
そして、AF制御部116は、コントラストAF制御行っても主要被写体にピント合わせができなかった場合に、PSF−AF制御を行うようになっている。
そして、AF制御部116は、コントラストAF制御行っても主要被写体にピント合わせができなかった場合に、PSF−AF制御を行うようになっている。
カメラ110は、被写体像のコントラストを検出するための専用のAFセンサ22を備えている。このAFセンサ22には、撮像素子13と同様に撮影レンズを通過した被写体光が露光される。コントラストAF制御を行う場合、AFセンサ22の出力は、制御部116に備えられたコントラスト演算部23に入力され、コントラスト演算部23は、AFセンサ22の出力と、フォーカスエリア情報取得部17の出力とに基づいて、AFエリアFに対応する位置の被写体のコントラストを演算する。
そして、コントラストが所定の閾値以下である場合、AF制御部19は、被写体に対して合焦していないとみなしてレンズ駆動部12に対して指示信号を発信し、フォーカスレンズ11を駆動する。AF制御部19は、フォーカスレンズ11の駆動と被写体のコントラスト検出とを並行して行い、コントラストに応じて変化する焦点評価値がピークとなる位置でフォーカスレンズ11の駆動を停止する。なお、本実施形態のカメラ110は、専用のAFセンサ22によって被写体のコントラストを検出するが、これに限らず、撮像素子13の出力に基づいて被写体のコントラストを検出してもよい。
図9は、第2実施形態のカメラに備えられた制御部が行うAF制御を示すフローチャートである。
(ステップS20:画像データ取得)
制御部116は、図3のステップS01と同様にAFエリアFに対応する位置の画像データをメモリ21から取得してステップS21に進む。
(ステップS21:コントラストAF実行)
制御部116は、ステップS20で取得した画像データのコントラストに基づいてコントラストAF制御を行いステップS22に進む。
(ステップS22:合焦判定)
制御部116は、ステップS21によるコントラスト検出AFによって、被写体に対するピント合わせが完了した場合には、処理を終了する。また、ステップS21の処理によってピント合わせができなかった場合(フォーカスレンズ11を動かしてもコントラストを所定値以上にできなかった場合)には、ステップS23に進む。
(ステップS20:画像データ取得)
制御部116は、図3のステップS01と同様にAFエリアFに対応する位置の画像データをメモリ21から取得してステップS21に進む。
(ステップS21:コントラストAF実行)
制御部116は、ステップS20で取得した画像データのコントラストに基づいてコントラストAF制御を行いステップS22に進む。
(ステップS22:合焦判定)
制御部116は、ステップS21によるコントラスト検出AFによって、被写体に対するピント合わせが完了した場合には、処理を終了する。また、ステップS21の処理によってピント合わせができなかった場合(フォーカスレンズ11を動かしてもコントラストを所定値以上にできなかった場合)には、ステップS23に進む。
(ステップS23:コントラストAF回数判定)
制御部116は、コントラストAF制御によるピント合わせが不調に終わった場合には、第1実施形態と同様にPSF−AF制御を行う。ただし、1回目のコントラストAFが不調に終わった場合であっても、すぐにPSF−AF制御を行わず、コントラストAF制御を所定の回数(以下、この回数に符号Nを付して説明する)、繰り返す(ステップS20に戻る)。コントラストAF制御を繰り返す回数Nは、特に限定されない。
コントラストAF制御をN回繰り返してもピント合わせがうまくいかない場合、制御部116は、ステップS24に進んでPSF−AF制御を実行する。
制御部116は、コントラストAF制御によるピント合わせが不調に終わった場合には、第1実施形態と同様にPSF−AF制御を行う。ただし、1回目のコントラストAFが不調に終わった場合であっても、すぐにPSF−AF制御を行わず、コントラストAF制御を所定の回数(以下、この回数に符号Nを付して説明する)、繰り返す(ステップS20に戻る)。コントラストAF制御を繰り返す回数Nは、特に限定されない。
コントラストAF制御をN回繰り返してもピント合わせがうまくいかない場合、制御部116は、ステップS24に進んでPSF−AF制御を実行する。
(ステップS24:PSF−AF実行)
制御部116は、ステップS20で取得した画像データに基づいてPSF−AF制御を実行する。PSF−AF制御については、第1実施形態と実質的に同じであるので、説明を省略する(図3のステップS02〜S13参照)。
制御部116は、ステップS20で取得した画像データに基づいてPSF−AF制御を実行する。PSF−AF制御については、第1実施形態と実質的に同じであるので、説明を省略する(図3のステップS02〜S13参照)。
以上説明した第2実施形態のカメラ110によれば、以下の効果を得ることができる。
PSF−AF制御とコントラストAF制御とを比較した場合、PSF−AF制御の方が低コントラストの被写体であってもピント合わせに成功する確率が高いが、コントラストAF制御に比べてPSFの演算やぼけ幅の平均か処理等によってAF速度が遅くなる可能性がある。本第2実施形態では、最初に処理速度で有利なコントラストAF制御を行い、このコントラストAF制御での合焦ができない場合にPSF−AF制御を行うので、合焦速度の低下を防止しつつ、低コントラストの被写体であっても精度よく合焦を行うことができる。
PSF−AF制御とコントラストAF制御とを比較した場合、PSF−AF制御の方が低コントラストの被写体であってもピント合わせに成功する確率が高いが、コントラストAF制御に比べてPSFの演算やぼけ幅の平均か処理等によってAF速度が遅くなる可能性がある。本第2実施形態では、最初に処理速度で有利なコントラストAF制御を行い、このコントラストAF制御での合焦ができない場合にPSF−AF制御を行うので、合焦速度の低下を防止しつつ、低コントラストの被写体であっても精度よく合焦を行うことができる。
[変形形態]
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)実施形態のカメラは、(数1)に示す自己相関関数によってPSFを算出したが、PSFの算出手法は、これに限られず、他の手法であってもよい。例えば、劣化画像のフーリエ変換の振幅スペクトルがゼロになる周波数と方向とを検出してブレの大きさと方向とを検出する方法や、動きベクトルを利用してPSFを算出する方法等が知られており、これらの方法で用いられているPSFの算出手法を用いてもよい。
(2)実施形態は、フォーカスレンズを撮像素子に対して動かすことによって光学系の焦点距離を制御したが、焦点距離の制御方法はこれに限らず、例えば、撮像素子を動かすことによって焦点距離を制御してもよい。
(3)本発明の合焦装置を備える光学機器は、実施形態のようなカメラに限らず、例えば、望遠鏡や顕微鏡等であってもよい。また、光学機器は、携帯電話のような電子機器に組み込まれたものも含むものとする。
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)実施形態のカメラは、(数1)に示す自己相関関数によってPSFを算出したが、PSFの算出手法は、これに限られず、他の手法であってもよい。例えば、劣化画像のフーリエ変換の振幅スペクトルがゼロになる周波数と方向とを検出してブレの大きさと方向とを検出する方法や、動きベクトルを利用してPSFを算出する方法等が知られており、これらの方法で用いられているPSFの算出手法を用いてもよい。
(2)実施形態は、フォーカスレンズを撮像素子に対して動かすことによって光学系の焦点距離を制御したが、焦点距離の制御方法はこれに限らず、例えば、撮像素子を動かすことによって焦点距離を制御してもよい。
(3)本発明の合焦装置を備える光学機器は、実施形態のようなカメラに限らず、例えば、望遠鏡や顕微鏡等であってもよい。また、光学機器は、携帯電話のような電子機器に組み込まれたものも含むものとする。
10 カメラ : 11 フォーカスレンズ : 13 撮像素子 : 16 制御部 : 18 PSF演算部 : 19 AF制御部
Claims (10)
- 光学系を通過した被写体光を電気信号に変換して出力する光電変換部と、
前記光電変換部の出力に基づいて生成される画像データを用いて点像分布関数を求め、該点像分布関数を用いて前記光学系の合焦状態を求める処理部と、
前記処理部の出力に基づいて前記光学系の焦点距離を制御する制御部と
を備える合焦装置。 - 請求項1に記載の合焦装置において、
前記制御部の出力に基づいて前記光学系を駆動する駆動部を有すること
を特徴とする合焦装置。 - 請求項2に記載の合焦装置において、
前記処理部は、前記点像分布関数を用いて前記光電変換部に結像される被写体像のデフォーカス量を演算し、
前記駆動部は、前記デフォーカス量が所定の閾値よりも大きい場合に前記光学系を駆動すること
を特徴とする合焦装置。 - 請求項3に記載の合焦装置において、
前記処理部は、前記被写体像のデフォーカス量に基づいて前記光学系の駆動量を演算すること
を特徴とする合焦装置。 - 請求項1から請求項4までのいずれか1項に記載の合焦装置において、
前記処理部は、指定された焦点検出領域に対応する領域の画像データを用いて前記点像分布関数を求めること
を特徴とする合焦装置。 - 請求項5に記載の合焦装置において、
前記処理部は、前記焦点検出領域内に該焦点検出領域よりも狭い領域を設定するとともに、前記狭い領域に対応する位置の画像データを用いて前記点像分布関数を求めること
を特徴とする合焦装置。 - 請求項6に記載の合焦装置において、
前記処理部は、前記焦点検出領域内に複数の前記狭い領域を設定するとともに、該複数の狭い領域のそれぞれについて前記点像分布関数を求め、
前記制御部は、前記処理部が演算した複数の演算結果のうち、2つ以上の演算結果に基づいて前記光学系を制御すること
を特徴とする合焦装置。 - 請求項1から請求項7までのいずれか1項に記載の合焦装置において、
前記画像データから被写体像のコントラストを演算するコントラスト演算部を備え、
前記制御部は、前記コントラストが高くなるように前記光学系の焦点距離を制御すること
を特徴とする合焦装置。 - 請求項8に記載の合焦装置において、
前記制御部は、前記コントラスト演算部の出力に基づいて前記光学系を制御しても前記コントラストを所定の閾値よりも高くできない場合に前記処理部の出力に基づいて前記光学系を制御すること
を特徴とする合焦装置。 - 請求項1から請求項9までのいずれか1項に記載の合焦装置を備えること
を特徴とする光学機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008021173A JP2009181024A (ja) | 2008-01-31 | 2008-01-31 | 合焦装置、光学機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008021173A JP2009181024A (ja) | 2008-01-31 | 2008-01-31 | 合焦装置、光学機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009181024A true JP2009181024A (ja) | 2009-08-13 |
Family
ID=41035025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008021173A Pending JP2009181024A (ja) | 2008-01-31 | 2008-01-31 | 合焦装置、光学機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009181024A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223401A (ja) * | 2008-03-13 | 2009-10-01 | Olympus Corp | 画像処理装置、撮像装置及び画像処理方法 |
JP2010134700A (ja) * | 2008-12-04 | 2010-06-17 | Toshiba Corp | 画像評価装置および画像評価方法 |
JP2011048856A (ja) * | 2010-11-05 | 2011-03-10 | Toshiba Corp | 画像評価装置 |
JP2011112630A (ja) * | 2009-11-30 | 2011-06-09 | Mitsubishi Electric Corp | レーダ画像処理装置 |
JP2012150224A (ja) * | 2011-01-18 | 2012-08-09 | Canon Inc | 撮像装置および制御方法 |
KR101394799B1 (ko) | 2012-05-09 | 2014-05-15 | 한국과학기술원 | 현미경 초점 면 안정화 방법 및 장치 |
JP2014138290A (ja) * | 2013-01-17 | 2014-07-28 | Sharp Corp | 撮像装置及び撮像方法 |
JP2016126144A (ja) * | 2014-12-26 | 2016-07-11 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP2020129147A (ja) * | 2018-07-26 | 2020-08-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
-
2008
- 2008-01-31 JP JP2008021173A patent/JP2009181024A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223401A (ja) * | 2008-03-13 | 2009-10-01 | Olympus Corp | 画像処理装置、撮像装置及び画像処理方法 |
JP2010134700A (ja) * | 2008-12-04 | 2010-06-17 | Toshiba Corp | 画像評価装置および画像評価方法 |
JP2011112630A (ja) * | 2009-11-30 | 2011-06-09 | Mitsubishi Electric Corp | レーダ画像処理装置 |
JP2011048856A (ja) * | 2010-11-05 | 2011-03-10 | Toshiba Corp | 画像評価装置 |
JP2012150224A (ja) * | 2011-01-18 | 2012-08-09 | Canon Inc | 撮像装置および制御方法 |
KR101394799B1 (ko) | 2012-05-09 | 2014-05-15 | 한국과학기술원 | 현미경 초점 면 안정화 방법 및 장치 |
JP2014138290A (ja) * | 2013-01-17 | 2014-07-28 | Sharp Corp | 撮像装置及び撮像方法 |
JP2016126144A (ja) * | 2014-12-26 | 2016-07-11 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP2020129147A (ja) * | 2018-07-26 | 2020-08-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009181024A (ja) | 合焦装置、光学機器 | |
JP5909540B2 (ja) | 画像処理表示装置 | |
JP5484631B2 (ja) | 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体 | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
JP5468404B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP5453573B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2007199633A (ja) | 合焦検出装置 | |
KR20130018330A (ko) | 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체 | |
JP2012049773A (ja) | 撮像装置および方法、並びにプログラム | |
EP2688284B1 (en) | Imaging device, imaging method, integrated circuit, and computer program | |
JP4145308B2 (ja) | 手ぶれ補正装置 | |
US10116865B2 (en) | Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions | |
JP5900049B2 (ja) | 被写界深度拡張システム及び被写界深度拡張方法 | |
JP6639276B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP6212717B2 (ja) | 撮像装置 | |
JP2009047735A (ja) | 撮像装置及び画像処理プログラム | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
US20170366738A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6053449B2 (ja) | 顕微鏡 | |
JP2010088024A (ja) | 撮影装置 | |
JP6900228B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム | |
JP6570406B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP6685550B2 (ja) | オートフォーカス装置及びオートフォーカス用プログラム | |
JP2015102855A (ja) | レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム |