JP2014182237A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2014182237A
JP2014182237A JP2013055926A JP2013055926A JP2014182237A JP 2014182237 A JP2014182237 A JP 2014182237A JP 2013055926 A JP2013055926 A JP 2013055926A JP 2013055926 A JP2013055926 A JP 2013055926A JP 2014182237 A JP2014182237 A JP 2014182237A
Authority
JP
Japan
Prior art keywords
calculation
focus detection
unit
signal
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013055926A
Other languages
English (en)
Other versions
JP5911445B2 (ja
Inventor
Mineo Uchida
峰雄 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013055926A priority Critical patent/JP5911445B2/ja
Priority to US14/211,571 priority patent/US9307136B2/en
Publication of JP2014182237A publication Critical patent/JP2014182237A/ja
Application granted granted Critical
Publication of JP5911445B2 publication Critical patent/JP5911445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】消費電力を抑制しつつ撮影中に焦点検出動作を行える撮像装置及びその制御方法を提供すること。
【解決手段】撮像装置100は、焦点検出用信号および画像生成用信号を出力する撮像素子106を備える。DFE108は撮像素子106の出力信号を用いて位相差検出方式の焦点検出演算を行う。CPU114は演算結果に応じてフォーカス駆動回路116を制御し、フォーカスアクチュエータ118によりフォーカスレンズが駆動されて焦点調節動作が行われる。CPU114はDFE108を制御し、複数の画像フレームに対して所定の頻度で間欠的に焦点検出演算を実行させる。例えば、第1のモードでは数フレームに1回の割合でオートフォーカス処理が実行され、焦点検出演算を行わないフレーム期間には相関演算などを行う回路部の動作が停止する。また、第2のモードでは毎フレームでAF処理が実行され、被写体の動きに追従した焦点調節動作が行われる。
【選択図】 図1

Description

本発明は、画素毎に複数の光電変換部を有する撮像素子を用いた撮像装置及びその制御方法に関するものである。
近年、CMOS(相補型金属酸化膜半導体)センサなどの撮像素子を用いた撮像装置では多機能化が進んでいる。静止画や動画のデータ生成だけでなく、例えば焦点調節のような撮像装置の制御も撮像素子で得た画像情報に基づいて行われるようになっている。
特許文献1では、撮像素子から得た撮像信号を用いて瞳分割方式の焦点検出を行う技術が開示されている。撮像素子の画素毎に1つのマイクロレンズと2つのフォトダイオードを備えることにより、各フォトダイオードは撮影レンズの異なる瞳領域を通過した光を受光する。フォトダイオード同士の出力信号を比較することで焦点検出が可能となると共に、これらの出力信号を加算することで撮像画像データを生成可能である。
特開2001−124984号公報
しかしながら、画素毎の複数のフォトダイオードから信号を取得して焦点検出を行う場合、撮像素子から読み出す信号量が増加することや、焦点検出の演算を行うために消費電力が増加するという課題がある。
本発明の目的は、消費電力を抑制しつつ撮影中に焦点検出動作を行える撮像装置及びその制御方法を提供することである。
上記課題を解決するために、本発明に係る装置は、画素部がそれぞれ複数の光電変換部を有し、該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子と、焦点調節用のレンズを駆動する駆動部を備える撮像装置であって、前記焦点検出用信号を取得して位相差検出方式の焦点検出演算を行う演算手段と、前記演算手段の演算結果を取得し、前記駆動部を制御して焦点調節を行う制御手段を備える。前記制御手段は前記演算手段を制御し、複数の画像フレームに対して設定された頻度で間欠的に焦点検出演算を実行させる。
本発明によれば、消費電力を抑制しつつ撮影中に焦点検出動作が可能である。
本発明の実施形態に係る撮像装置の全体構成を例示する図である。 本発明の実施形態に係る撮像素子の画素配置図である。 撮影レンズの射出瞳から出る光束と画素との関係を示した模式図である。 焦点調節状態と像信号の関係を示す模式図である。 撮像素子の全体構成を例示する図である。 撮像素子の1画素の回路構成例を示す図である。 撮像素子の各列の読出し回路構成を示す図である。 撮像素子の1行の読出し動作を示すタイミングチャートである。 画像信号処理部(DFE108)の構成例を示す模式図である。 本発明の第1実施形態における撮像素子の読出し動作及びAF動作を示す模式図である。 本発明の第2実施形態における撮像素子の読出し動作及びAF動作を示す模式図である。
以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。図1ないし図9を参照して、各実施形態に共通する装置構成を説明する。図1は、本発明の実施形態に係る撮像装置100の全体構成を例示した図である。
第1レンズ群101は撮像光学系を構成し、レンズ鏡筒の前端部(被写体側)に配置されて光軸方向に沿って進退可能に保持される。絞り102は、その開口径を調節することで撮影時の光量調節を行う。第2レンズ群103は、第1レンズ群101の進退動作と連動した変倍作用(ズーム機能)を有する。第3レンズ群104は焦点調節用レンズ(フォーカスレンズ)であり、光軸方向の進退により焦点調節を行う。光学的ローパスフィルタ105は、撮影画像の偽色やモアレを軽減するための光学素子である。
撮像素子106は、撮像光学系により結像された被写体像を光電変換する。本実施形態では、撮像素子106にベイヤー配列のCMOSイメージセンサが使用される。撮像素子106の各画素は複数の光電変換部を有する。後述するように画素内には複数のフォトダイオード(以下、PDと略記する)が設けられる。1つの画素部におけるPDの数は2以上であり(2個、4個、9個など)、本実施形態では、2つのPDにより副画素aおよび副画素bがそれぞれ構成されるものとする。撮像素子106から出力されるアナログ画像信号はAFE(Analog Front End)107がデジタル信号に変換する。AFE107が出力するデジタル画像信号はDFE(Digital Front End)108に入力され、所定の演算処理が行われる。DFE108は、各画素部の副画素a,bからそれぞれ得られる信号を用いて、像ずれを検出して位相ずれ量を算出する相関演算を行う。
DSP(Digital Signal Processer)109は、DFE108から出力されるデジタル画像信号に対して補正処理や現像処理などを行う。記録媒体110はDSP109が処理した画像データを記録する。表示部111は、撮影された画像や各種メニュー画面などを表示する液晶ディスプレイ(LCD)などを備える。RAM(ランダム・アクセス・メモリ)112は画像データなどを一時記憶するデバイスであり、DSP109と接続されている。タイミングジェネレータ(TG)113は、撮像素子106に駆動信号を供給する。
CPU(中央演算処理装置)114は、AFE107,DFE108,DSP109,TG113,絞り駆動回路115を制御する。またCPU114はAF(オートフォーカス)制御を行い、DFE108にて算出される相関演算結果から焦点ずれ量(デフォーカス量)を算出し、焦点ずれ量に応じてフォーカス駆動回路116を制御する。フォーカス駆動回路116はフォーカスアクチュエータ118の駆動部であり、第3レンズ群104を光軸方向に進退させて焦点調節を行う。絞り駆動回路115はCPU114の制御指令に従って、絞りアクチュエータ117を制御することにより絞り102を駆動する。ROM(リード・オンリ・メモリ)119は補正データなどを記憶する。操作部120はシャッタースイッチ釦(SW)を備える。撮影者によるシャッタースイッチ釦の半押しや全押しなどの操作により撮影者の指示信号がCPU114に入力される。
図2は、撮像素子106の画素配置例を示す模式図である。単位画素部300は行列状に配列され、それぞれR(Red)/G(Green)/B(Blue)のカラーフィルタがベイヤー配列で配置されている。各単位画素部300内にはそれぞれ副画素aと副画素bが配置されている。図中のPD401aは副画素aを構成する第1の光電変換部であり、PD401bは副画素bを構成する第2の光電変換部である。副画素aおよび副画素bの各信号は焦点検出に利用される他、副画素aの信号と副画素bの信号を加算したa/b加算信号(以下、単に加算信号という)は画像データの生成に利用される。
図3は、第1ないし第3レンズ群及び絞り(図1:101〜104参照)により構成される撮影レンズの射出瞳203から出る光束と、単位画素部300との関係を説明する模式図である。単位画素部300はPD401aとPD401bを有する。カラーフィルタ201、マイクロレンズ202はそれぞれ単位画素部300上に形成される。
マイクロレンズ202を有する画素部に対して、射出瞳203から出た光束の中心を光軸204で示す。射出瞳203を通過した光は、光軸204を中心として単位画素部300に入射する。領域205、206は撮影レンズの射出瞳203の一部領域をそれぞれ表す。図3に示すように領域205を通過する光束はマイクロレンズ202を通してPD401a(副画素a)が受光する。また瞳領域206を通過する光束はマイクロレンズ202を通してPD401b(副画素b)が受光する。したがって、副画素aと副画素bはそれぞれ、撮影レンズの射出瞳203の異なる領域を通過する光を受光する。このため、副画素aと副画素bの出力信号を比較することで位相差方式の焦点検出が可能である。
図4は、副画素aから得られる像信号波形および副画素bから得られる像信号波形を示す模式図である。横軸は水平方向の画素位置を示し、縦軸は信号出力レベルを示す。
図4(A)は合焦状態から外れている場合の各像信号波形を例示する。副画素a,bのそれぞれから得られる像信号波形は一致せず、互いにずれた状態となる。合焦状態に近づくと、図4(B)に示すように、像信号波形同士のずれは小さくなり、合焦状態で両波形が重なる。このように副画素a,bから得られる各像信号波形の相関により焦点ずれ量(デフォーカス量)を検出し、検出結果に基づいて焦点調節を行うことができる。
次に、図5ないし図7を参照して撮像素子106の構成を説明する。図5は撮像素子106の全体構成例を示す図である。図6は単位画素部300の構成を示す回路図である。図7は列共通読出し回路303の構成を示す回路図である。
図5に示す画素領域PAには、多数の単位画素部300(p11〜pkn参照)が行列状に配置されている。図6を参照して単位画素部300の構成を説明する。
PD401a,401bは、入射光を光電変換し、露光量に応じた電荷を蓄積する。転送ゲート402a,402bはそれぞれ信号txa,txbをHighレベルにすることでON状態となる。これにより、PD401a,401bに蓄積されている電荷がFD(フローティングディフュージョン)部403に転送される。FD部403は、フローティングディフュージョンアンプ404(以下、FDアンプという)のゲートに接続されている。FDアンプ404でPD401a,401bから転送されてきた電荷量が電圧量に変換される。FDリセットスイッチ405は、信号resをHighレベルとすることにより、FD部403をリセットする。また、PD401a,401bの電荷をリセットする場合には、信号resと信号txa,txbとを同時にHighレベルとする。転送ゲート402a,402b及びFDリセットスイッチ405がON状態になると、FD部403経由でPD401a,401bのリセットが行われる。画素選択スイッチ406では、信号selをHighレベルとすることにより、FDアンプ404で電圧に変換された画素信号が単位画素部300の出力端子voutから出力される。
図5の垂直走査回路301は、単位画素部300のトランジスタにゲート制御信号(res,txa,txb,sel)を供給する。これらの信号は行毎に共通となっている。各単位画素部300の出力端子voutは、列毎に垂直出力線302を介して列共通読出し回路303に接続されている。図7を参照して列共通読出し回路303の構成を説明する。
垂直出力線302は列毎に設けられ、1列分の単位画素部300の出力端子voutが接続されている。垂直出力線302には電流源304が接続されている。この電流源304と、垂直出力線302に接続された単位画素部300のFDアンプ404によってソースフォロワ回路が構成される。
クランプ容量(C1)501は演算増幅器503の反転入力端子に接続されている。またフィードバック容量(C2)502は、演算増幅器503の出力端子と反転入力端子に接続されている。演算増幅器503の非反転入力端子には基準電源Vrefが接続されている。スイッチ504はフィードバック容量C2の両端をショートさせるためのトランジスタであり、信号cfsにより制御される。転送スイッチ505〜508は、それぞれ単位画素部300から読み出される信号を各信号保持容量509〜512に転送するためのトランジスタである。後述する読出し動作により、第1のS信号保持容量509には副画素aの画素信号Saが記憶され、第2のS信号保持容量511には副画素aの信号と副画素bの信号を加算した加算信号Sabが記憶される。また、第1のN信号保持容量510及び第2のN信号保持容量512には単位画素部300のノイズ信号Nがそれぞれ記憶される。各信号保持容量509〜512は、列共通読出し回路303の出力端子vsa,vna,vsb,vnbにそれぞれ接続されている。
図5の列共通読出し回路303の出力端子vsa,vnaには、それぞれ水平転送スイッチ305,306が接続されている。水平転送スイッチ305,306は水平走査回路311の出力信号ha*(*は任意の列番号を表す)によって制御される。信号ha*がHighレベルになることにより、第1のS信号保持容量509、第1のN信号保持容量510の各信号がそれぞれ水平出力線309,310へ転送される。
また、列共通読出し回路303の出力端子vsb,vnbには、それぞれ水平転送スイッチ307,308が接続されている。水平転送スイッチ307,308は水平走査回路311の出力信号hb*(*は任意の列番号を表す)によって制御される。信号hb*がHighレベルになることにより、第2のS信号保持容量511、第2のN信号保持容量512の各信号がそれぞれ水平出力線309,310へ転送される。
水平出力線309,310は差動増幅器314の各入力端子に接続されている。差動増幅器314ではS信号とN信号の差分を演算し、同時に所定のゲインをかけ、最終的な出力信号を出力端子315へ出力する。水平出力線リセットスイッチ312,313は、信号chresがHighレベルになることによってON状態となり、各水平出力線309,310がリセット電圧Vchresに設定される(リセット)。
次に、図8を参照して撮像素子106の読出し動作について説明する。図8は撮像素子106の各行の読出し動作を示すタイミングチャートである。
まず、信号cfsをHighレベルにすることで、図7のスイッチ504がON状態になり、演算増幅器503がバッファ状態となる。次に、信号selをHighレベルにすると、図6の画素選択スイッチ406がONする。その後、信号resをLowレベルにすることでFDリセットスイッチ405がOFFとなり、FD部403のリセットが解放される。続いて信号cfsをLowレベルに戻し、スイッチ504がOFFした後、信号tna,tnbがHighレベルとなる。これにより、転送スイッチ506,508を介して第1のN信号保持容量510及び第2のN信号保持容量512にN信号が記憶される。
次に信号tna,tnbをLowレベルにすると、転送スイッチ506,508がOFFになる。その後、信号tsaをHighレベルにして転送スイッチ505をONにすると共に、信号txaをHighレベルにすることで転送ゲート402aをONにする制御が行われる。この動作により、副画素aのPD401aに蓄積されていた信号がFDアンプ404、画素選択スイッチ406を介して垂直出力線302へ出力される。垂直出力線302の信号は、演算増幅器503においてクランプ容量C1とフィードバック容量C2の容量比に応じたゲインで増幅され、転送スイッチ505を介して第1のS信号保持容量509へ記憶される(画素信号Sa)。
次に、信号txaと信号tsaを順次Lowレベルにする。その後、信号tsbをHighレベルにして転送スイッチ507をONにすると共に、信号txa及びtxbをHighレベルにすることで転送ゲート402aと402bをONにする。この動作により、副画素bのPD401bに蓄積されていた信号がFD部403で副画素aの信号と加算される。加算後の信号はFDアンプ404、画素選択スイッチ406を介して垂直出力線302へ出力される。垂直出力線302の信号は、演算増幅器503においてクランプ容量C1とフィードバック容量C2の容量比に応じたゲインで増幅され、転送スイッチ507を介して第2のS信号保持容量511へ記憶される(加算信号Sab)。
転送ゲート402a及び402bと、転送スイッチ507が順次OFFとなった後、信号resをHighレベルにするとFDリセットスイッチ405がONし、FD部403がリセットされる。
次に、水平走査回路311の出力ha1がHighレベルになることにより、水平転送スイッチ305,306がONする。第1のS信号保持容量509、第1のN信号保持容量510の各信号が水平出力線309,310と差動増幅器314を介して出力端子315に出力される。水平走査回路311は、各列の選択信号ha1,ha2,・・・,hakを順次Highレベルにすることにより、1行分の副画素aの信号(像信号A)を出力する。
像信号Aの読出しが終了すると、続いて、水平走査回路311の出力hb1がHighレベルになる。これにより、水平転送スイッチ307,308がONになり、第2のS信号保持容量511、第2のN信号保持容量512の信号が水平出力線309,310と差動増幅器314を介して出力端子315に出力される。水平走査回路311は、各列の選択信号hb1,hb2,・・・,hbkを順次Highレベルにすることにより、1行分の加算信号(像信号AB)を出力する。
尚、信号ha1〜hak及び信号hb1〜hbkによって各列の信号が読み出される期間中、信号chresをHighレベルにすることで水平出力線リセットスイッチ312,313は一時的にONになる。このとき、水平出力線309,310はリセット電圧Vchresのレベルにリセットされる。
次に図9を参照してDFE108を説明する。図9はDFE108の構成を示すブロック図である。
入力データ処理部601には、上述の読出し動作によって撮像素子106から読み出された信号が、AFE107を経由して入力される。入力データ処理部601は、AFE107から入力された像信号Aと像信号ABを画素加算処理部602へ出力すると共に、像信号ABのみをDSP109へ出力する。像信号Aは焦点検出用信号であり、像信号ABは焦点検出および画像生成用信号である。
画素加算処理部602からデータ出力部606は位相差検出方式の焦点検出演算を行う演算手段であり、CPU114の制御下で動作する。画素加算処理部602は、像信号A及び像信号ABに対して画素加算処理を行う。ここでは、2行2列の画素群についてベイヤー単位での画素信号を加算して輝度信号にする処理を行うものとする。この処理により、像信号A及び像信号ABのデータ数はそれぞれ水平方向で1/2、垂直方向で1/2に減少する。像信号減算部603は、画素加算処理部602から輝度信号AB(Yabと記す)と輝度信号A(Yaと記す)を取得し、YabからYaを減算することにより、輝度信号B(Ybと記す)を生成する。Yabは副画素aの信号と副画素bの信号とを加算した輝度信号であり、Yaは副画素aの輝度信号であるから、それらの差であるYbは副画素bの輝度信号を表すものである。
像補正処理部604は、像信号減算部603から取得したYa,Ybに対して、固定パターンノイズ除去などの補正処理を行う。相関演算処理部605は、Ya,Ybの信号波形から相関値Cm(x)を算出する。相関値の算出方法としては、例えば下式を用いる。
Figure 2014182237
この場合、相関値Cm(x)の極小点が最も相関の高い点となる。YaとYbとの差の絶対値から相関値を算出してもよい。または、以下の式で相関値を求めてもよい。
Figure 2014182237
MAX(A,B)はAとBの大きい方を選択することを表す。また、逆に小さい方を選択する方法でも相関値を算出することが可能である。
データ出力部606は、相関演算処理部605が算出した相関値Cm(x)をCPU114へ出力する。CPU114は、取得した相関値Cm(x)から最も相関の高い点を選択し、デフォーカス量を算出する。CPU114は算出したデフォーカス量に基づいてフォーカス駆動回路116を制御する。
[第1実施形態]
以下、図10を参照して、本発明の第1実施形態による撮像動作及びAF動作のシーケンスを説明する。
図10は、動画撮影時の撮像素子読出し動作及びAF動作を示している。動画フレームnは第nフレームを表わし、nないしn+4の各画像フレームを例示する。その下に撮像素子106の読出し動作、相関演算動作、データ出力動作、CPU114のデフォーカス演算処理、フォーカスレンズの駆動をそれぞれ示している。
まず、第nフレーム(画像フレームn)において前述の読出し動作に従って、撮像素子106の信号が先頭ラインから順に読み出される。この際、各ラインから像信号Aと像信号ABの両方が読み出される。図中に点線で示す矩形枠は、焦点検出を行うための領域(焦点検出領域)を示す。焦点検出領域は、焦点検出演算の対象とする範囲内の画素部に相当する領域である。焦点検出領域の信号が読み出され始めると、その信号を使用して相関演算処理部605は像の相関演算処理を開始する。そして、焦点検出領域での信号に対する相関演算が行われる。相関演算の内容は前述の通りである。
相関演算処理が終了すると、続いてその演算結果がデータ出力部606からCPU114へ出力される。この際、本実施形態においては撮像素子106の読出し動作が全て完了した後にデータ出力部606からのデータ出力動作を開始する。これにより、焦点検出領域が撮影画面内のどの位置にあっても、データ出力開始の時点は常に同じタイミングとなる。CPU114は、受信した相関演算データに基づいてデフォーカス量を算出し、フォーカス駆動回路116の駆動制御を行う。
続くフレームn+1とフレームn+2では、相関演算が停止される。このため、CPU114の制御により、撮像素子106では演算処理に不要となる像信号Aの出力が停止される。その分だけ電力を節減することができる。例えば、像信号Aの出力期間に差動増幅器314の電流を遮断し、また、水平走査回路311の動作を停止することにより、電力を節減可能である。それに応じてCPU114は、相関演算処理部605、データ出力部606の動作を停止させる。これによりDFE108の電力を節減できる。更に、画素加算処理部602、像信号減算部603、像補正処理部604も、この期間(相関演算の停止期間)中に動作を停止するので、電力を節減できる。電力の節減は、各ブロックへのクロック供給を停止することで実現される。相関演算を行わない期間中には、デフォーカス算出処理およびレンズ駆動は行わない。
続くフレームn+3では、再びフレームnと同様に撮像素子106から像信号Aおよび像信号ABを読出す処理が実行され、前述した一連のAF処理が行われる。
以上の構成によれば、3フレームに1回の割合でAF処理が実行されることになる。AF処理を行わない画像フレーム期間においては、前述したように使用しない回路部の動作を停止することで全体としての消費電力を低減できる。
本実施形態においては、3フレームに1回の割合でAF処理を行っているが、これに限らず、AF処理を行うフレームと、AF処理を行わないフレームとの割合については構成や仕様に応じて変更しても構わない。また、その割合をフレームレートに応じて変更することで、消費電力を一定に保つように制御してもよい。例えば、30フレーム/秒の撮影モードでは3フレームに1回の割合に設定する。60フレーム/秒の撮影モードでは6フレームに1回の割合に設定すれば、いずれのモードにおいてもAF処理に関わる回路部の消費電力を一定とすることが可能である。
[第2実施形態]
次に本発明の第2実施形態を説明する。
第1実施形態では、数フレームに1回の割合でAF処理が行われるため、消費電力を抑制できる反面、被写体の動きに対する焦点調節の追従性の低下が懸念される。動画撮影時には追従性の要求度がそれほど高くないため、複数の画像フレームに1回の割合でAF処理を行ったとしても十分である。しかし、静止画撮影前のライブビュー動作では追従性が重要となる。そこで、本発明の第2実施形態では、数フレームに1回の割合でAF処理を行う第1のモードに加えて、第1のモードよりも高い頻度でAF処理を行う第2のモードを有する。例えば、第2のモードでは、動画フレームに対して焦点検出演算が毎回実行される。これにより、静止画撮影直前での追従性を損なわずに、全体の消費電力を抑制することができる。
図11は、本発明の第2実施形態における動画撮影時の撮像素子の読出し動作及びAF動作を示している。第nフレームないし第n+6フレームを例示する。
フレームnからn+2までの期間については、図10での説明と同様に、3フレームに1回の割合でAF処理が行われる。フレームn+2の期間において、撮影者によりシャッタースイッチ(SW)の半押し操作が行われると、CPU114は静止画撮影の指示を受け付け、フレームn+3からn+5では毎フレームにて連続してAF処理を実行させる。この際、CPU114はデータ出力部606からのデータ出力動作を相関演算処理部605の相関演算処理の終了直後に開始させる。図10の場合には撮像素子106の読出し動作が全て終了した後にデータ出力動作を開始する。その場合、データ出力に要する時間と次フレームの焦点検出領域の位置によっては、次フレームの相関演算処理開始までにデータ出力が終了しない場合がある。そこで、図11では、相関演算処理部605の演算処理の終了直後にデータ出力動作を開始することにより、次フレームの相関演算処理開始までにデータ出力動作を終了させることができる。但し、焦点検出領域の位置設定に応じてデータ出力タイミングが変わってしまうことになるが、毎フレームのAF処理が保証される。尚、図10のデータ出力タイミングであっても、相関演算処理部605とデータ出力部606の間に一時的にデータを格納するバッファメモリを設ければ、毎フレームにてAF動作を行える。
AF動作によってフォーカスレンズが移動して合焦状態になった後、フレームn+6以降からは再び間欠的なAF処理が行われるので、省電力モードに入ることとなる。
以上の構成により、静止画撮影直前などにおいて必要なAF追従性を損なわずに、その他の期間には消費電力を抑制することで全体としての電力を節減することができる。
尚、本実施形態では、シャッタースイッチ(SW)が半押し操作された直後の期間にて、毎フレームでAF処理を行い、それ以外の期間では3フレームに1回の間欠的なAF動作を行う例を説明した。AF処理の頻度についてはこれに限られるものではない。例えば、シャッタースイッチの半押し操作が行われた直後の期間で3フレームに1回の割合でAF処理を行い、それ以外の期間ではさらにAF処理の頻度を少なくするか、または全くAF処理を行わない構成にしても構わない。また、シャッタースイッチの半押し操作の検知に代えて、他の状態変化を検知してAF処理の頻度を変更しても構わない。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、以下の通りである。
・AF処理に使用する信号について、画素加算せずにそのままの像信号情報を使用する形態。
・相関演算処理部605がDSP109やCPU114に含まれる形態。
・相関演算を行わないフレームの期間中に、撮像素子106からの像信号Aの出力を停止させ、更にAFE107の動作を停止して消費電力を低減させる形態。
100 撮像装置
106 撮像素子
108 DFE
109 DSP
114 CPU
605 相関演算処理部
606 データ出力部

Claims (12)

  1. 画素部がそれぞれ複数の光電変換部を有し、該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子と、焦点調節用のレンズを駆動する駆動部を備える撮像装置であって、
    前記焦点検出用信号を取得して位相差検出方式の焦点検出演算を行う演算手段と、
    前記演算手段の演算結果を取得し、前記駆動部を制御して焦点調節を行う制御手段を備え、
    前記制御手段は前記演算手段を制御し、複数の画像フレームに対して設定された頻度で間欠的に焦点検出演算を実行させることを特徴とする撮像装置。
  2. 画素部がそれぞれ複数の光電変換部を有し、該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子と、焦点調節用のレンズを駆動する駆動部を備える撮像装置であって、
    前記焦点検出用信号を取得して位相差検出方式の焦点検出演算を行う演算手段と、
    前記演算手段の演算結果を取得し、前記駆動部を制御して焦点調節を行う制御手段を備え、
    前記制御手段は前記演算手段を制御し、第1のモードにおいて複数の画像フレームに対して1回の割合で前記焦点検出演算を実行させ、第2のモードにおいて前記第1のモードよりも高い頻度で前記焦点検出演算を実行させることを特徴とする撮像装置。
  3. 前記演算手段は前記焦点検出演算の結果を出力するデータ出力手段を備え、
    前記制御手段は、前記焦点検出演算を行わないフレーム期間に前記データ出力手段の動作を停止させることを特徴とする請求項1または2に記載の撮像装置。
  4. 前記演算手段は前記焦点検出用信号の相関演算を行う相関演算処理手段を備え、
    前記制御手段は、前記焦点検出演算を行わないフレーム期間に前記相関演算処理手段の処理を停止させることを特徴とする請求項1ないし3のいずれか1項に記載の撮像装置。
  5. 静止画撮影を指示する操作手段を備え、
    前記制御手段は、前記操作手段から静止画撮影の指示を受け付けた場合、前記第2のモードに変更する制御を行うことを特徴とする請求項2に記載の撮像装置。
  6. 前記演算手段は、前記焦点検出演算の結果を出力するデータ出力手段と、前記焦点検出用信号の相関演算を行う相関演算処理手段を備え、
    前記制御手段は、前記第2のモードにおいて前記焦点検出演算を行うフレーム期間にて前記データ出力手段の動作を前記相関演算処理手段による相関演算の終了直後に開始させる制御を行い、前記焦点検出演算を行わないフレーム期間に前記データ出力手段の動作および前記相関演算処理手段の処理を停止させることを特徴とする請求項5に記載の撮像装置。
  7. 前記制御手段は、前記第1のモードにおいて前記撮像素子の読出し動作が終了した後に前記データ出力手段の動作を開始させる制御を行うことを特徴とする請求項6に記載の撮像装置。
  8. 前記制御手段は、前記演算手段が演算の対象とする焦点検出領域の位置に応じて前記焦点検出演算の結果を出力するタイミングを変更することを特徴とする請求項1ないし7のいずれか1項に記載の撮像装置。
  9. 前記制御手段は、前記焦点検出演算を行わないフレーム期間に前記演算手段へのクロック供給を停止させる制御を行うことを特徴とする請求項1ないし8のいずれか1項に記載の撮像装置。
  10. 前記制御手段は、前記焦点検出演算を行わないフレーム期間に前記撮像素子からの焦点検出用信号の出力を停止させる制御を行うことを特徴とする請求項1ないし9のいずれか1項に記載の撮像装置。
  11. 画素部がそれぞれ複数の光電変換部を有し、該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子と、焦点調節用のレンズを駆動する駆動部を備える撮像装置にて実行される制御方法であって、
    前記焦点検出用信号を取得して位相差検出方式の焦点検出演算を複数の画像フレームに対して設定された頻度で間欠的に行う演算ステップと、
    前記演算ステップの演算結果を取得し、前記駆動部を制御して焦点調節を行う制御ステップを有することを特徴とする撮像装置の制御方法。
  12. 画素部がそれぞれ複数の光電変換部を有し、該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子と、焦点調節用のレンズを駆動する駆動部を備える撮像装置にて実行される制御方法であって、
    前記焦点検出用信号を取得して位相差検出方式の焦点検出演算を行う演算ステップと、
    前記演算ステップの演算結果を取得し、前記駆動部を制御して焦点調節を行う制御ステップを有し、
    前記演算ステップは、第1のモードにおいて複数の画像フレームに対して1回の割合で前記焦点検出演算を実行するステップと、第2のモードにおいて前記第1のモードよりも高い頻度で前記焦点検出演算を実行するステップを有することを特徴とする撮像装置の制御方法。
JP2013055926A 2013-03-19 2013-03-19 撮像装置及びその制御方法 Active JP5911445B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013055926A JP5911445B2 (ja) 2013-03-19 2013-03-19 撮像装置及びその制御方法
US14/211,571 US9307136B2 (en) 2013-03-19 2014-03-14 Imaging apparatus and method where an output of data indicating a result of a correlation calculation is intermittently performed

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013055926A JP5911445B2 (ja) 2013-03-19 2013-03-19 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2014182237A true JP2014182237A (ja) 2014-09-29
JP5911445B2 JP5911445B2 (ja) 2016-04-27

Family

ID=51568893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013055926A Active JP5911445B2 (ja) 2013-03-19 2013-03-19 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US9307136B2 (ja)
JP (1) JP5911445B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076895A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
KR20170072428A (ko) 2015-12-16 2017-06-27 에스케이하이닉스 주식회사 자동 초점 시스템 및 방법
JP2018170768A (ja) * 2015-01-05 2018-11-01 キヤノン株式会社 撮像素子及び撮像装置
US10157948B2 (en) 2015-08-10 2018-12-18 Samsung Electronics Co., Ltd. Image sensors with light channeling reflective layers therein
US10785438B2 (en) 2015-01-05 2020-09-22 Canon Kabushiki Kaisha Image sensor and image capturing apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6609113B2 (ja) * 2014-06-18 2019-11-20 キヤノン株式会社 撮像装置及びその制御方法
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9420331B2 (en) * 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
JP6506560B2 (ja) * 2015-01-20 2019-04-24 キヤノン株式会社 フォーカス制御装置及びその方法、プログラム、記憶媒体
JP6571939B2 (ja) * 2015-01-26 2019-09-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017142356A (ja) * 2016-02-10 2017-08-17 ソニー株式会社 撮像装置、および、撮像装置の制御方法
US10063763B2 (en) * 2016-07-07 2018-08-28 Tdk Taiwan Corp. Camera module
JP6815777B2 (ja) * 2016-07-25 2021-01-20 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CN118450235A (zh) * 2023-12-29 2024-08-06 荣耀终端有限公司 相机算法的配置方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185998A (ja) * 2009-02-12 2010-08-26 Nikon Corp 撮像素子および撮像装置
JP2010237400A (ja) * 2009-03-31 2010-10-21 Sony Corp 撮像装置および焦点検出方法
JP2012163923A (ja) * 2011-02-09 2012-08-30 Ricoh Co Ltd 測距装置と方法とプログラム並びに撮像装置と方法とプログラム
JP2013050691A (ja) * 2011-08-04 2013-03-14 Nikon Corp 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7358999B2 (en) * 1998-03-10 2008-04-15 Canon Kabushiki Kaisha Focus sensing apparatus, focus sensing method using phase-differential detection and computer-readable storage medium therefor
JP5002086B2 (ja) * 1999-10-28 2012-08-15 キヤノン株式会社 焦点検出装置と撮像装置
US7623178B2 (en) * 2006-07-28 2009-11-24 Hewlett- Packard Development Company, L.P. Focus verification in a digital imaging device
US8525917B2 (en) * 2007-08-06 2013-09-03 Canon Kabushiki Kaisha Image sensing apparatus with plural focus detection pixel groups
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
US8223256B2 (en) * 2008-04-11 2012-07-17 Nikon Corporation Correlation calculation method, correlation calculation device, focus detection device and image-capturing apparatus
JP2009258558A (ja) * 2008-04-21 2009-11-05 Canon Inc 選択された撮影モードに応じて通信方式を切り換えるレンズ交換式カメラ本体、交換レンズ及びカメラシステム
JP5438673B2 (ja) * 2008-04-21 2014-03-12 パナソニック株式会社 交換レンズ、カメラボディ、カメラシステム
WO2011045850A1 (ja) * 2009-10-13 2011-04-21 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP5693082B2 (ja) * 2010-08-09 2015-04-01 キヤノン株式会社 撮像装置
JP5739653B2 (ja) 2010-12-03 2015-06-24 キヤノン株式会社 撮像装置
JP5954964B2 (ja) * 2011-02-18 2016-07-20 キヤノン株式会社 撮像装置およびその制御方法
JP5907595B2 (ja) * 2011-09-27 2016-04-26 キヤノン株式会社 撮像装置
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
JP6223000B2 (ja) * 2012-08-23 2017-11-01 キヤノン株式会社 撮像装置
JP5946421B2 (ja) * 2013-03-19 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP6253272B2 (ja) * 2013-06-18 2017-12-27 キヤノン株式会社 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185998A (ja) * 2009-02-12 2010-08-26 Nikon Corp 撮像素子および撮像装置
JP2010237400A (ja) * 2009-03-31 2010-10-21 Sony Corp 撮像装置および焦点検出方法
JP2012163923A (ja) * 2011-02-09 2012-08-30 Ricoh Co Ltd 測距装置と方法とプログラム並びに撮像装置と方法とプログラム
JP2013050691A (ja) * 2011-08-04 2013-03-14 Nikon Corp 撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076895A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2018170768A (ja) * 2015-01-05 2018-11-01 キヤノン株式会社 撮像素子及び撮像装置
JP2020108165A (ja) * 2015-01-05 2020-07-09 キヤノン株式会社 撮像素子及び撮像装置
US10785438B2 (en) 2015-01-05 2020-09-22 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
US11457168B2 (en) 2015-01-05 2022-09-27 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
US11539907B2 (en) 2015-01-05 2022-12-27 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
US10157948B2 (en) 2015-08-10 2018-12-18 Samsung Electronics Co., Ltd. Image sensors with light channeling reflective layers therein
US10672817B2 (en) 2015-08-10 2020-06-02 Samsung Electronics Co., Ltd. Image sensors with light channeling reflective layers therein
US10943937B2 (en) 2015-08-10 2021-03-09 Samsung Electronics Co., Ltd. Image sensors with light channeling reflective layers therein
US11804506B2 (en) 2015-08-10 2023-10-31 Samsung Electronics Co., Ltd. Image sensors with light channeling reflective layers therein
KR20170072428A (ko) 2015-12-16 2017-06-27 에스케이하이닉스 주식회사 자동 초점 시스템 및 방법
US9854152B2 (en) 2015-12-16 2017-12-26 SK Hynix Inc. Auto-focus system for a digital imaging device and method

Also Published As

Publication number Publication date
US9307136B2 (en) 2016-04-05
US20140285705A1 (en) 2014-09-25
JP5911445B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
JP5911445B2 (ja) 撮像装置及びその制御方法
JP6253272B2 (ja) 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体
JP5946421B2 (ja) 撮像装置及びその制御方法
JP5739640B2 (ja) 撮像素子及び撮像装置
US8964061B2 (en) Image capturing apparatus with selection of thinning and readout mode in accordance with moving image recording mode
JP6476065B2 (ja) 撮像装置及び撮像装置の制御方法
RU2616768C2 (ru) Устройство захвата изображения и способ управления устройством захвата изображения
JP6474737B2 (ja) 固体撮像装置および撮像システム
US11290648B2 (en) Image capture apparatus and control method thereof
US11736824B2 (en) Image capture apparatus and control method thereof
JP5657184B2 (ja) 撮像装置及び信号処理方法
JP5484617B2 (ja) 撮像装置
US10871629B2 (en) Imaging apparatus and control method of imaging apparatus
JP6566654B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および記憶媒体
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP6883082B2 (ja) 撮像装置及びその制御方法
JP2018019268A (ja) 撮像装置、撮像システムおよび撮像装置の駆動方法
JP6470589B2 (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP2016039406A (ja) 固体撮像素子及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160329

R151 Written notification of patent or utility model registration

Ref document number: 5911445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151