JP2017142356A - 撮像装置、および、撮像装置の制御方法 - Google Patents

撮像装置、および、撮像装置の制御方法 Download PDF

Info

Publication number
JP2017142356A
JP2017142356A JP2016023373A JP2016023373A JP2017142356A JP 2017142356 A JP2017142356 A JP 2017142356A JP 2016023373 A JP2016023373 A JP 2016023373A JP 2016023373 A JP2016023373 A JP 2016023373A JP 2017142356 A JP2017142356 A JP 2017142356A
Authority
JP
Japan
Prior art keywords
exposure
image data
unit
lines
focus lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016023373A
Other languages
English (en)
Inventor
住広　博
Hiroshi Sumihiro
博 住広
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016023373A priority Critical patent/JP2017142356A/ja
Priority to US16/063,866 priority patent/US11249279B2/en
Priority to PCT/JP2016/083160 priority patent/WO2017138200A1/ja
Publication of JP2017142356A publication Critical patent/JP2017142356A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】コントラストＡＦ方式において高い精度で高速に焦点を検出する。【解決手段】撮像装置は、フォーカスレンズ駆動部、撮像部および焦点検出部を具備する。フォーカスレンズ駆動部は、所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させる。撮像部は、所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する。焦点検出部は、画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する。【選択図】図１

Description

本技術は、撮像装置、および、撮像装置の制御方法に関する。詳しくは、コントラストに基づいて焦点を検出する撮像装置、および、撮像装置の制御方法に関する。
従来より、コントラストに基づいて焦点を検出するコントラストＡＦ（Auto Focus）方式が撮像装置などにおいて広く用いられている。このコントラストＡＦ方式は、撮像中もフォーカスレンズを駆動する方法と、撮像していないときにのみフォーカスレンズを駆動する方法とに分類される。焦点の検出を高速に行う場合には、前者の方法が用いられる。例えば、フォーカスレンズを駆動しつつ、ローリングシャッター方式で画像を撮像し、その画像のコントラスト評価値に基づいてフォーカスレンズの合焦位置を検出する撮像装置が提案されている（例えば、特許文献１参照。）。ここで、ローリングシャッター方式は、画像内のラインのそれぞれについて、異なるタイミングで順に露光開始および露光終了させる方式である。これに対して、ラインの全てについて同時に露光開始および露光終了させる方式は、グローバルシャッター方式と呼ばれる。
特開２０１３−８０２４８号公報
上述の撮像装置では、フォーカスレンズの駆動中において、ラインごとの露光タイミングが異なるローリングシャッター方式で撮像するため、ラインごとに露光時のフォーカスレンズの位置が異なるものとなる。例えば、フォーカスレンズをニアからファーに移動させる場合、露光タイミングの最も早いトップラインＬtopのフォーカスレンズの位置Ｐtopに対して、露光タイミングの最も遅いボトムラインＬbottomの位置Ｐbottomはファー側になる。位置Ｐtopよりも位置Ｐbottomの方が合焦位置に近い場合、ボトムラインＬbottomのコントラストは比較的強くなり、トップラインＬtopのコントラストは比較的弱くなる。ここで、ボトムラインに近いほどコントラストが強い被写体を撮像すると、ＡＦエリア全体のコントラストが実際の値よりも強めになり、コントラスト評価値に誤差が生じてしまう。この結果、焦点検出精度が低下してしまう。
露光中にドライバがフォーカスレンズを停止する構成とすれば、ラインごとのフォーカスレンズの位置が同一になるため、焦点検出精度を向上させることができるが、その構成では焦点の検出速度が低下してしまう。このように、上述の撮像装置では、高精度で高速に焦点を検出することが困難であるという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、コントラストＡＦ方式において高精度で高速に焦点を検出することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動部と、上記所定の駆動期間内において複数のラインの露光を同時に開始させてから上記複数のラインの露光を同時に終了させて画像データを生成する撮像部と、上記画像データのコントラストに基づいて上記フォーカスレンズの合焦位置を検出する焦点検出部とを具備する撮像装置、および、その制御方法である。これにより、フォーカスレンズの駆動期間内に、複数のラインの露光が同時に開始および終了するという作用をもたらす。
また、この第１の側面において、上記複数のラインは、所定の方向に配列された複数の画素ブロックからなり、上記複数の画素ブロックのそれぞれは、浮遊拡散層と、複数の光電変換部と、上記複数の光電変換部のそれぞれにより生成された電荷を上記浮遊拡散層に転送する複数の転送トランジスタとを備えてもよい。これにより、浮遊拡散層を共有する複数の画素により、画像データが撮像されるという作用をもたらす。
また、この第１の側面において、上記複数の転送トランジスタは、上記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて上記電荷を上記浮遊拡散層に同時に転送してもよい。これにより、全ラインの露光の開始および終了が同時に行われるという作用をもたらす。
また、この第１の側面において、上記複数の転送トランジスタの一部のトランジスタは、上記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて上記電荷を上記浮遊拡散層に同時に転送してもよい。これにより、一部のラインの露光の開始および終了が同時に行われるという作用をもたらす。
また、この第１の側面において、上記フォーカスレンズ駆動部は、上記フォーカスレンズを上記合焦位置に移動させ、上記撮像部は、上記フォーカスレンズが上記合焦位置に移動すると上記複数のラインより多くのラインの露光を順に開始させてから上記複数のラインの露光を順に終了させて上記画像データより解像度の高い高解像度画像データを撮像してもよい。これにより、フォーカスレンズが合焦位置に移動した後において高解像度画像データが撮像されるという作用をもたらす。
また、この第１の側面において、上記複数のラインのそれぞれは、所定方向に配列された複数の画素からなり、上記複数の画素のそれぞれは、浮遊拡散層と、光電変換部と、上記光電変換部により生成された電荷を上記浮遊拡散層に転送する転送トランジスタとを備えてもよい。これにより、画素毎に浮遊拡散層が設けられた画素により画像データが撮像されるという作用をもたらす。
また、この第１の側面において、上記合焦位置からデプスマップを生成するデプスマップ生成部と、上記デプスマップに基づいて上記画像データと異なる新たな画像データに対して所定の画像処理を実行する後段処理部とをさらに具備し、上記フォーカスレンズ駆動部は、上記フォーカスレンズを上記合焦位置に移動させ、上記撮像部は、上記フォーカスレンズが上記合焦位置に移動すると上記新たな画像データを撮像してもよい。これにより、デプスマップに基づいて、フォーカスレンズが上記合焦位置に移動してから撮像された画像データに対して所定の画像処理が実行されるという作用をもたらす。
また、この第１の側面において、前記撮像部は、複数のラインが配列された画素アレイ部と、前記所定の駆動期間内において前記複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像信号を生成させるドライバと、前記画像信号に対して所定の信号処理を行って前記画像データを生成する信号処理部とを備えてもよい。これにより、画像信号に対して所定の信号処理が実行されるという作用をもたらす。
また、この第１の側面において、上記信号処理は、相関二重サンプリング処理を含んでもよい。これにより、相関二重サンプリング処理が行われた画像データが撮像されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部は、積層された複数のチップのうち所定のチップに設けられ、上記信号処理部は、上記複数のチップのうち上記所定のチップと異なるチップに設けられてもよい。これにより、積層された複数のチップに分散された画素アレイ部および信号処理部により画像データが撮像されるという作用をもたらす。
また、この第１の側面において、上記撮像部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えてもよい。これにより、ＣＭＯＳイメージセンサにより画像データが撮像されるという作用をもたらす。
また、本技術の第２の側面は、複数のラインの露光を同時に開始させてから上記複数のラインの露光を同時に終了させて画像データを生成する処理と複数のラインの露光を順に開始させてから上記複数のラインの露光を順に終了させて上記画像データより解像度の高い高解像度画像データを生成する処理とを行う撮像部と、上記画像データのコントラストに基づいて上記フォーカスレンズの合焦位置を検出する処理と上記高解像度画像データに対する所定の画像処理とを行う画像処理部とを具備する撮像装置である。これにより、画像データのコントラストに基づいて合焦位置が検出され、高解像度画像データに対して所定の画像処理が実行されるという作用をもたらす。
本技術によれば、コントラストＡＦ方式において高精度で高速に焦点を検出することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における画像処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第１の実施の形態における露光開始時および露光中の画素回路のポテンシャル図の一例である。 本技術の第１の実施の形態における露光終了時および読出し中の画素回路のポテンシャル図の一例である。 本技術の第１の実施の形態における画素回路の制御方法の一例を示すタイミングチャートである。 本技術の第１の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるコントラストＡＦ方式を説明するための図である。 比較例におけるコントラストＡＦ方式を説明するための図である。 比較例のＡＦ精度について説明するための図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における焦点検出処理の一例を示すフローチャートである。 本技術の第２の実施の形態における画素アレイ部の一構成例を示す回路図である。 本技術の第２の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。 本技術の第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第３の実施の形態における画像処理部の一構成例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（グローバルシャッター方式で撮像した画像のコントラストを検出する例）
２．第２の実施の形態（グローバルシャッター方式で撮像した画像のコントラストを検出してローリングシャッター方式で撮像する例）
３．第３の実施の形態（グローバルシャッター方式で撮像した画像のコントラストを検出し、デプスマップを生成する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、実施の形態における第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００として、デジタルスチルカメラ、ビデオカメラやスマートフォンなどが想定される。撮像装置１００は、撮像レンズ１１０、撮像素子２００、画像処理部１２０、記録部１３０、撮像制御部１４０およびフォーカスレンズ駆動部１５０を備える。
撮像レンズ１１０は、被写体からの光を集光して撮像素子２００に導くものである。この撮像レンズは、フォーカスレンズを含む複数のレンズから構成される。
撮像素子２００は、撮像制御部１４０からの垂直同期信号ＶＳＹＮＣに同期して画像データを生成するものである。この撮像素子２００として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Image）イメージセンサが用いられる。撮像素子２００は、生成した画像データを画像処理部１２０に信号線２０９を介して供給する。
なお、撮像レンズ１１０および撮像素子２００からなる部分は、特許請求の範囲に記載の撮像部の一例である。
画像処理部１２０は、撮像制御部１４０の制御に従って、画像データに対して各種の画像処理を行うものである。この画像処理部１２０には、撮像制御部１４０により生成されたモード信号ＭＯＤＥが入力される。このモード信号ＭＯＤＥは、撮像装置１００がセンシングモードであるかビューイングモードであるかを示す信号である。これらのモードのうちセンシングモードは、コントラストＡＦ方式によりフォーカスレンズの合焦位置を検出するモードである。一方、ビューイングモードは、その合焦位置にフォーカスレンズが移動した状態で、画像データを撮像するモードである。
センシングモードにおいて画像処理部１２０は、画像データのコントラストに基づいてフォーカスレンズの合焦位置を検出する。そして、画像処理部１２０は、その合焦位置を信号線１２８を介してフォーカスレンズ駆動部１５０に供給する。
一方、ビューイングモードにおいて画像処理部１２０は、画像データに対してデモザイク処理やホワイトバランス処理などの各種の画像処理を行う。そして、画像処理部１２０は、処理後の画像データを信号線１２９を介して記録部１３０に供給する。記録部１３０は、画像データを記録するものである。
撮像制御部１４０は、撮像装置１００全体を制御するものである。この撮像制御部１４０は、ユーザの操作などに従ってモード信号ＭＯＤＥおよび垂直同期信号ＶＳＹＮＣを生成する。例えば、シャッターボタンを半押しする操作が行われた場合に撮像制御部１４０は、モード信号ＭＯＤＥにセンシングモードを設定する。また、例えば、シャッターボタンを全押しする操作が行われた場合に撮像制御部１４０は、モード信号ＭＯＤＥにビューイングモードを設定する。また、ボタンの操作などにより撮像の開始が指示された際に撮像制御部１４０は、所定の周波数の周期信号を垂直同期信号ＶＳＹＮＣとして生成する。そして、撮像制御部１４０は、垂直同期信号ＶＳＹＮＣを撮像素子２００に信号線１４８を介して供給し、モード信号ＭＯＤＥを信号線１４９を介して画像処理部１２０およびフォーカスレンズ駆動部１５０に供給する。垂直同期信号ＶＳＹＮＣは、撮像の終了が指示されるまで継続して供給される。なお、撮像制御部１４０は、垂直同期信号ＶＳＹＮＣに加えて、露光時間を制御するための信号などをさらに撮像素子２００に供給してもよい。
フォーカスレンズ駆動部１５０は、フォーカスレンズを駆動するものである。このフォーカスレンズ駆動部１５０は、センシングモードに設定されると、所定の駆動期間に亘ってフォーカスレンズの位置を像側（ニア）および物体側（ファー）の一方から他方へ一定の速度で連続的に移動させる。このフォーカスレンズの駆動期間内において、撮像素子２００により複数の画像データが撮像される。これらの撮像中においてもフォーカスレンズは停止せずに継続して駆動する。そして、合焦位置が検出されるとフォーカスレンズ駆動部１５０は、その合焦位置にフォーカスレンズを移動させる。また、ビューイングモードにおいてフォーカスレンズ駆動部１５０は、合焦位置にフォーカスレンズを固定する。
なお、撮像レンズ１１０、撮像素子２００、画像処理部１２０、記録部１３０、撮像制御部１４０およびフォーカスレンズ駆動部１５０を同一の装置に設けているが、これらを複数の装置に分散して設けてもよい。例えば、撮像レンズ１１０および撮像素子２００を情報処理装置に取付けるカメラモジュールに設け、残りを情報処理装置に設けてもよい。
［画像処理部の構成例］
図２は、第１の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この画像処理部１２０は、切替部１２１、デモザイク処理部１２２、コントラスト評価値算出部１２３および焦点検出部１２４を備える。
切替部１２１は、モード信号ＭＯＤＥに従って画像データの出力先を切り替えるものである。この切替部１２１には、撮像素子２００からの画像データがＲＡＷ画像データとして入力される。センシングモードが設定されている場合に切替部１２１は、そのＲＡＷ画像データをコントラスト評価値算出部１２３に供給する。一方、ビューイングモードが設定されている場合に切替部１２１は、そのＲＡＷ画像データをデモザイク処理部１２２に供給する。
デモザイク処理部１２２は、ＲＡＷ画像データに対して、それぞれの画素の周囲の画素から足りない色情報を補間するデモザイク処理を行うものである。このデモザイク処理部１２２は、デモザイク処理後の画像データをデモザイク画像データとして記録部１３０に供給する。
なお、ビューイングモードにおいて、画像処理部１２０は、デモザイク処理を行っているが、さらにホワイトバランス処理や、ＹＣ変換処理、画像合成処理などの他の画像処理を行ってもよい。また、画像処理部１２０は、デモザイク処理を行わずに、ホワイトバランス処理などを行った画像データを出力してもよい。
コントラスト評価値算出部１２３は、ＲＡＷ画像データが入力されるたびに、そのＲＡＷ画像データにおいてＡＦエリア内のコントラストの強さの程度を示す値をコントラスト評価値として算出するものである。ここで、ＡＦエリアは、コントラスト評価値を算出するための領域であり、画像データ内の一部または全部がＡＦエリアとして予め設定される。コントラスト評価値算出部１２３は、所定の遮断周波数を超える高周波数成分を通過させるハイパスフィルタなどを用いて高周波数成分を抽出し、その成分の値をコントラスト評価値として算出する。そして、コントラスト評価値算出部１２３は、算出したコントラスト評価値を焦点検出部１２４に供給する。
焦点検出部１２４は、コントラスト評価値に基づいて、焦点の合うフォーカスレンズの位置を焦点位置として検出するものである。焦点検出部１２４は、フォーカスレンズの駆動中に撮像されたＲＡＷ画像データのそれぞれについて、その撮像時のフォーカスレンズの位置と、コントラスト評価値とを保持する。
ここで、撮像素子２００の露光期間においてもフォーカスレンズは継続して駆動するため、その露光期間内の各時点のフォーカスレンズの位置を代表する代表位置が、ＲＡＷ画像データごとに保持される。例えば、フォーカスレンズが一定の速度で駆動する場合には露光期間の中間の時点のレンズ位置が代表位置として用いられる。
焦点検出部１２４は、複数のコントラスト評価値と、それぞれのコントラスト評価値に対応するレンズ位置とから、最もコントラストが強くなるフォーカスレンズの位置を合焦位置として検出する。焦点検出部１２４は、検出した合焦位置をフォーカスレンズ駆動部１５０に供給する。
［撮像素子の構成例］
図３は、第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、積層された複数のチップを備える。これらのチップは、例えば、画素アレイチップ２０１、信号処理チップ２０２およびメモリチップ２０３の３層からなる。
画素アレイチップ２０１には、行選択部２１０および画素アレイ部２２０が設けられ、画素アレイ部２２０には二次元格子状に複数の画素回路２３０が配列される。所定の方向に配列された画素回路２３０の集合を以下、「行」または「ライン」と称し、その方向に垂直な方向に配列された画素回路２３０の集合を以下、「列」と称する。例えば、Ｎ（Ｎは整数）個の行とＭ（Ｍは整数）個の列とが設けられる。ｎ（ｎは１乃至Ｎの整数）番目の行は、水平信号線２１９−ｎに接続され、ｍ（ｍは１乃至Ｍの整数）番目の列は、垂直信号線２３９−ｍに接続される。
また、信号処理チップ２０２には、制御部２４０とＭ個のＡＤ（Analog to Digital）変換器２５０とデータラッチ部２６０とデータ処理部２７０とが設けられる。ＡＤ変換器２５０は、列ごとに設けられる。メモリチップ２０３には、メモリ部２８０が設けられる。
制御部２４０は、垂直同期信号ＶＳＹＮＣに同期して、行選択部２１０、ＡＤ変換器２５０およびデータラッチ部２６０を制御するものである。
行選択部２１０は、制御部２４０の制御に従って全ての行を同時に選択して露光させるものである。また、行選択部２１０は、露光の終了した行を順に選択してアナログの画素信号をＡＤ変換器２５０に出力させる。
ＡＤ変換器２５０は、対応する列からの画素信号をデジタル信号にＡＤ変換するものである。このＡＤ変換器２５０は、ＡＤ変換した信号を画素データとしてデータラッチ部２６０に供給する。
データラッチ部２６０は、制御部２４０の制御に従って画素データをＡＤ変換器２５０から順に読み出すものである。このデータラッチ部２６０は、画素データをメモリ部２８０またはデータ処理部２７０に供給する。
メモリ部２８０は、画素データからなる画像データを保持するものである。データ処理部２７０は、画像データに対してＣＤＳ（Correlated Double Sampling）処理を行うものである。このデータ処理部２７０は、ＣＤＳ処理後の画像データを画像処理部１２０に供給する。
なお、撮像素子２００内の回路や素子のそれぞれを、積層した３つのチップに分散して設けているが、３つ以外の個数（２つなど）のチップに設けてもよい。２つのチップに設ける場合には、例えば、メモリ部２８０が信号処理チップ２０２側に設けられる。また、撮像素子２００内の回路や素子のそれぞれを１つのチップに設けてもよい。
［画素回路の構成例］
図４は、第１の実施の形態における画素回路２３０の一構成例を示す回路図である。この画素回路２３０は、フォトダイオード２３１、転送トランジスタ２３２、リセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６を備える。
フォトダイオード２３１は、光を光電変換して電荷を生成するものである。なお、フォトダイオード２３１は、特許請求の範囲に記載の光電変換部の一例である。
転送トランジスタ２３２は、行選択部２１０の制御に従って、フォトダイオード２３１で生成された電荷を浮遊拡散層２３４に転送するものである。
浮遊拡散層２３４は、フォトダイオード２３１から転送された電荷を蓄積し、その電荷量に応じた電圧を生成するものである。リセットトランジスタ２３３は、行選択部２１０の制御に従って、浮遊拡散層２３４の電荷量を初期値にするものである。
増幅トランジスタ２３５は、浮遊拡散層２３４の電圧を増幅するものである。選択トランジスタ２３６は、行選択部２１０の制御に従って、増幅トランジスタ２３５により増幅された電圧の信号を画素信号として、ＡＤ変換器２５０に垂直信号線を介して供給するものである。
図５は、第１の実施の形態における露光開始時および露光中の画素回路２３０のポテンシャル図の一例である。露光開始時に行選択部２１０は、全行を同時に選択して、それらの転送トランジスタ２３２を所定のパルス期間に亘ってオン状態に制御する。これにより、全行のフォトダイオード２３１および浮遊拡散層２３４が一括してリセットされる。同図におけるａは、露光開始時のポテンシャル図を示す。
次に、行選択部２１０は、行を順に選択して、リセットトランジスタ２３３および選択トランジスタ２３６を順にパルス期間に亘ってオン状態に制御する。これにより、リセットで生じたノイズ成分ＮＫＴＣがＰ相として読み出される。図５におけるｂは、Ｐ相読出し時のポテンシャル図を示す。読み出されたＰ相は、メモリ部２８０に保持される。
また、フォトダイオード２３１に露光時間に応じた信号成分Ｎｓｉｇが蓄積される。図５におけるｃは、露光蓄積時のポテンシャル図を示す。
図６は、第１の実施の形態における露光終了時および読出し中の画素回路２３０のポテンシャル図の一例である。露光終了時に行選択部２１０は、全行を選択して、それらの転送トランジスタ２３２をパルス期間に亘ってオン状態に制御する。これにより、信号成分Ｎｓｉｇが浮遊拡散層２３４に転送される。同図におけるａは、露光終了時のポテンシャル図を示す。
全行の露光が終了すると行選択部２１０は、行を順に選択して選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ノイズ成分ＮＫＴＣおよび信号成分Ｎｓｉｇからなる信号がＤ相として読み出される。図６におけるｂは、Ｄ相読出し時のポテンシャル図を示す。
データ処理部２７０は、メモリ部２８０からＰ相を読み出し、画素ごとにＤ相とＰ相との差分を算出する。この演算により、ノイズ成分ＮＫＴＣを除去することができる。この処理は、ＣＤＳ処理と呼ばれる。
図７は、第１の実施の形態における画素回路２３０の制御方法の一例を示すタイミングチャートである。行選択部２１０は、１枚目の画像の露光開始時Ｔｓにおいて、全ライン（行）の転送トランジスタ２３２をパルス期間に亘ってオン状態に制御する。露光開始後のＴｒ１において行選択部２１０は、ラインＬ１のリセットトランジスタ２３３をパルス期間に亘ってオン状態に制御する。また、Ｔｒ１後のＴｐ１において行選択部２１０は、ラインＬ１の選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ラインＬ１のＰ相が読み出される。ラインＬ１のＰ相の読み出しの次にラインＬ２のＰ相が読み出される。このように、それぞれのラインのＰ相が順に読み出される。
そして、全ラインのＰ相読出しの後の露光終了時Ｔｅにおいて、全ラインの転送トランジスタ２３２をパルス期間に亘ってオン状態に制御する。これにより、１枚目の画像の露光が終了するとともに、２枚目の画像の露光が開始される。１枚目の露光終了後のＴｄ１において行選択部２１０は、ラインＬ１の選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ラインＬ１のＤ相が読み出される。
また、Ｔｄ１後のＴｒ１において行選択部２１０は、ラインＬ１のリセットトランジスタ２３３をパルス期間に亘ってオン状態に制御する。また、Ｔｒ１後のＴｐ１において行選択部２１０は、ラインＬ１の選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ラインＬ１のＰ相が読み出される。ラインＬ１のＤ相およびＰ相の読み出しの次にラインＬ２のＤ相およびＰ相が読み出される。このように、それぞれのラインのＤ相およびＰ相が順に読み出される。
図８は、第１の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図において縦軸は、ラインのアドレスを示し、横軸は時間を示す。１枚目の露光開始時Ｔｓにおいて、行選択部２１０は、全行を同時に選択して露光を開始させる。そして、行選択部２１０は、ラインを順に選択して選択したラインにＰ相を出力させる。
１枚目の露光終了時Ｔｅにおいて、行選択部２１０は、全行を同時に選択して露光を終了させる。また、同時に２枚目の露光が開始される。そして、行選択部２１０は、ラインを順に選択して選択したラインにＰ相およびＤ相を出力させる。
このように、行選択部２１０は、露光開始時と露光終了時とに全ライン（行）を同時に選択し、Ｐ相やＤ相の画素信号を読み出す際にラインを順に選択する。この制御方式は、一般に、グローバルシャッター方式と呼ばれる。第１の実施の形態においては、センシングモードおよびビューイングモードのいずれにおいてもグローバルシャッター方式で画像が撮像される。
図９は、第１の実施の形態におけるコントラストＡＦ方式を説明するための図である。同図におけるａは、露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図のａにおいて縦軸は、ラインのアドレスを示し、横軸は時間を示す。また、灰色の領域は、ＡＦエリアを示し、実線は、ＡＦエリア内の信号の読出しタイミングを示す。同図におけるａに例示するように、複数枚の画像がグローバルシャッター方式で連続して撮像される。
図９におけるｂは、フォーカスレンズの軌跡の一例を示す図である。同図のｂにおける縦軸は、フォーカスレンズの位置を示し、横軸は時間を示す。同図におけるｂに例示するように、フォーカスレンズは一定の速度でニアからファーに駆動する。そして、その駆動期間内に複数の画像が撮像される。これらのうち１枚目から５枚目までの撮像時のフォーカスレンズ位置をＰｇ１乃至Ｐｇ５とする。
図９におけるｃは、コントラスト評価値曲線の一例を示す図である。同図のｃにおける縦軸は、コントラスト評価値を示し、横軸は、フォーカスレンズの位置を示す。また、同図のｃにおける黒丸は、フォーカスレンズ位置Ｐｇ１乃至Ｐｇ５のそれぞれに対応するコントラスト評価値をプロットしたものである。焦点検出部１２４は、それらのプロットの軌跡から、コントラストが最も強い合焦位置Ｐfocusを検出する。
図１０は、比較例におけるコントラストＡＦ方式を説明するための図である。この比較例では、ローリングシャッター方式で画像が撮像されるものとする。同図におけるａは、露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図のａにおいて縦軸は、ラインのアドレスを示し、横軸は時間を示す。また、灰色の領域は、ＡＦエリアを示し、太い実線は、ＡＦエリア内の信号の読出しタイミングを示す。同図におけるａに例示するように、露光開始、露光終了および読出しのそれぞれにおいてラインを順に選択するローリングシャッター方式により複数の画像が連続して撮像される。
図１０におけるｂは、フォーカスレンズの軌跡の一例を示す図である。比較例のフォーカスレンズの軌跡は、第１の実施の形態と同様である。なお、比較例の焦点位置の検出方法は、第１の実施の形態と同様である。
このように、比較例では、フォーカスレンズの駆動中に、ローリングシャッター方式で複数枚の画像が撮像され、それらの画像のコントラストから合焦位置が検出される。
図１１は、比較例のＡＦ精度について説明するための図である。同図におけるａは、テスト画像５００を示す。このテスト画像５００において、ボトムラインのコントラストが最も強く、トップラインのコントラストが最も弱い。そして、トップラインからボトムラインに近づくにつれて、コントラストが徐々に強くなる。
図１１におけるｂは、露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図のａにおいて縦軸は、ラインのアドレスを示し、横軸は時間を示す。実線は、ローリングシャッター方式で撮像した際のタイミングを示し、一点鎖線は、グローバルシャッター方式で撮像した際のタイミングを示す。
図１１におけるｃは、フォーカスレンズの軌跡の一例を示す図である。同図のｂにおける縦軸は、フォーカスレンズの位置を示し、横軸は時間を示す。実線は、露光期間中もフォーカスレンズを駆動する第１の実施の形態や比較例の軌跡を示す。一方、一点鎖線は、露光中にフォーカスレンズを停止する場合の軌跡を示す。
図１１におけるｃの一点鎖線に例示するように露光中にフォーカスレンズを停止し、同図におけるｂの一点鎖線に例示するように、グローバルシャッター方式で撮像する構成を基準の構成として想定する。この構成では、ラインごとのフォーカスレンズ位置が同一であるため、合焦位置を正確に検出することができる。その反面、露光中はフォーカスレンズを駆動することができないため、合焦位置の検出までの時間が長くなってしまう。
次に、図１１におけるｃの実線に例示するように露光中にフォーカスレンズを駆動し、同図におけるｂの実線に例示するように、ローリングシャッターシャッター方式で撮像する比較例について考える。この比較例では、ラインごとのフォーカスレンズ位置が異なる。例えば、トップラインに対応するフォーカスレンズの位置Ｐtopは、ボトムラインに対応するフォーカスレンズの位置Ｐbottomよりもニアに近い。
ここで、フォーカスレンズの実際の合焦位置Ｐfocusが、ボトムラインに対応する位置Ｐbottomよりもファー側と仮定する。この場合にボトムラインに対応する位置Ｐbottomは、中央のラインに対応する位置Ｐcenterよりも合焦位置Ｐfocusに近いため、ボトムラインのコントラストは基準の構成よりも強くなる。一方、テスト画像５００のトップラインでは、もともとのコントラストが弱いため、基準の構成と比較して変動はほとんどない。このように、トップラインに近いほど、基準よりもコントラストが強くなり、画像全体のコントラストは、基準よりも強めになる。
これに対して、第１の実施の形態では、グローバルシャッター方式で撮像するため、ラインごとのフォーカスレンズの位置が同一になる。したがって、第１の実施の形態で得られたコントラストは、ほぼ基準の値となる。厳密には、露光開始時と露光終了時とのフォーカスレンズの位置が異なるため、それらの位置が同一である基準の構成に対して若干誤差が生じるが、その誤差は、ローリングシャッター方式で撮像した場合よりも小さくなる。
このように、グローバルシャッター方式で撮像することにより、ローリングシャッター方式の比較例と比較して、ＡＦ精度を向上させることができる。また、露光中にフォーカスレンズを駆動することにより、露光中にフォーカスレンズを停止する基準の構成と比較して、ＡＦ速度を速くすることができる。ここで、ＡＦ速度は、合焦位置の検出を開始してから、その検出が終了するまでの時間を示す。したがって、撮像装置１００は、コントラストＡＦ方式において高い精度で高速に焦点を検出することができる。
［撮像装置の動作例］
図１２は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００に電源が投入されたときに開始する。撮像装置１００は、シャッターボタンが半押しされたか否かを判断する（ステップＳ９０１）。シャッターボタンが半押しされていない場合に（ステップＳ９０１：Ｎｏ）、撮像装置１００は、ステップＳ９０１を繰り返す。
シャッターボタンが半押しされた場合に（ステップＳ９０１：Ｙｅｓ）、撮像装置１００は、合焦位置を検出するための焦点検出処理を実行する（ステップＳ９１０）。そして、撮像装置１００は、シャッターボタンが全押しされたか否かを判断する（ステップＳ９０２）。シャッターボタンが全押しされていない場合に（ステップＳ９０２：Ｎｏ）、撮像装置１００は、ステップＳ９０２を繰り返す。
シャッターボタンが全押しされた場合に（ステップＳ９０２：Ｙｅｓ）、撮像装置１００は、グローバルシャッター方式で画像データを撮像する（ステップＳ９０３）。撮像装置１００は、画像データに各種の画像処理を行い（ステップＳ９０４）、撮像のための動作を終了する。
図１３は、第１の実施の形態における焦点検出処理の一例を示すフローチャートである。撮像装置１００は、フォーカスレンズをニアからファーへ一定速度で駆動する（ステップＳ９１１）。また、撮像装置１００は、フォーカスレンズの駆動中に、グローバルシャッター方式で複数枚の画像データを撮像する（ステップＳ９１２）。そして、撮像装置１００は、画像データごとに、ＡＦエリアのコントラスト評価値を算出する（ステップＳ９１３）。
撮像装置１００は、算出したコントラスト評価値と、対応するフォーカスレンズの位置とから、合焦位置を検出する（ステップＳ９１４）。そして、撮像装置１００は、検出した合焦位置までフォーカスレンズを駆動し（ステップＳ９１５）、焦点検出処理を終了する。
このように、本技術の第１の実施の形態によれば、撮像装置１００がフォーカスレンズを駆動期間に亘って駆動させつつ、全行の露光を同時に開始および終了させるため、行のそれぞれに対応するフォーカスレンズの位置を全て同一にすることができる。これにより、行ごとに順に露光開始および露光終了させた場合と比較して、ＡＦ精度を向上させることができる。また、フォーカスレンズが停止中に露光する構成と比較して、ＡＦ速度を向上させることができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、焦点を検出するセンシングモードと、合焦した状態で撮像を行うビューイングモードとで、同一の解像度の画像データを撮像していた。しかし、画像データの解像度が高くなるほど、読出しに時間がかかるため、センシングモードにおいてＡＦ速度が低下するおそれがある。この第２の実施の形態の撮像装置１００は、ＡＦ速度を向上させた点において第１の実施の形態と異なる。
図１４は、第２の実施の形態における画素アレイ部２２０の一構成例を示す回路図である。第２の実施の形態の画素アレイ部２２０では、４行×２列の８個の画素回路２３０からなる画素ブロックが二次元格子状に設けられる。この画素ブロックにおいて、いずれかの画素回路２３０のみにリセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６が設けられる。また、全ての画素回路２３０にはフォトダイオード２３１および転送トランジスタ２３２が設けられる。８つの画素回路２３０のそれぞれの転送トランジスタ２３２は、１つの浮遊拡散層２３４に共通に接続される。すなわち、８つの画素回路２３０により、１つの浮遊拡散層２３４が共有される。なお、リセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６を画素回路の外部に配置し、これらを各画素回路で共有する構成としてもよい。
第２の実施の形態の行選択部２１０は、センシングモードにおいて露光開始時と露光終了時とにおいて、画素ブロックからなるラインＬｂの全てを同時に選択する。これにより、共有された浮遊拡散層２３４に画素ブロック内の全ての電荷が転送され、８画素分の画素信号がアナログ加算される。また、読出しにおいて行選択部２１０は、ラインＬｂを順に選択する。画素ブロックは４行×２列であるため、画素ブロックからなるラインＬｂの個数は、画素回路２３０からなるラインＬｐの１／４となる。したがって、１枚の画像の読出しに要する時間は、第１の実施の形態と比較して１／４になり、ＡＦ速度を向上させることができる。その代りに、画素加算により解像度が低下するが、コントラストＡＦ方式においては、解像度の低下がＡＦ精度に与える影響は少ない。
一方、ビューイングモードにおいて行選択部２１０は、画素回路２３０からなるラインＬｐを順に選択して露光させる。このビューイングモードでは、画素加算を行わないため、センシングモードよりも高解像度の画像データが得られる。
つまり、第２の実施の形態の撮像装置１００は、センシングモードにおいてグローバルシャッター方式により低解像度の画像を撮像する。一方、ビューイングモードにおいて撮像装置１００は、ローリングシャッター方式により高解像度の画像を撮像する。
なお、撮像装置１００は、センシングモードにおいて画素ブロック内の画素全てを画素加算しているが、画素ブロック内の一部の画素（例えば、列方向に並んだ４画素）を加算する構成であってもよい。これにより、８画素を加算する場合よりも解像度が向上し、ＡＦ精度を向上させることができる。
また、列方向に並んだ複数の画素を含むのであれば、４行×２列以外の組合せ（２行×１列など）の画素からなる画素ブロックであってもよい。
図１５は、第２の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図における縦軸は、ラインごとのアドレスを示し、横軸は時間を示す。
センシングモードにおいて、撮像装置１００は、タイミングＴｖ１、Ｔｖ２、Ｔｖ３およびＴｖ４などにおいてグローバルシャッター方式で画像データを撮像し、それらの画像データのコントラストから合焦位置を検出する。そして、タイミングＴviewにおいてビューイングモードに移行すると、撮像装置１００は、ローリングシャッター方式で画像データを撮像する。
図１６は、第２の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この第２の実施の形態の撮像装置１００の動作は、ステップＳ９０３の代わりにステップＳ９０５が実行される点において第１の実施の形態と異なる。
シャッターボタンが全押しされた場合に（ステップＳ９０２：Ｙｅｓ）、撮像装置１００は、ローリングシャッター方式で画像データを撮像し（ステップＳ９０５）、ステップＳ９０４を実行する。
このように、本技術の第２の実施の形態によれば、撮像装置１００は、低解像度の画像のコントラストから焦点を検出し、合焦後に高解像度の画像を撮像するため、焦点検出のための画像を高速で撮像してＡＦ速度を向上させることができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、センシングモードで生成された画像データは、焦点検出のみに用いられていたが、この画像データをビューイングモードにおいて利用することもできる。この第３の実施の形態の撮像装置１００は、センシングモードで生成された画像データを用いてビューイングモードで撮像した画像データを処理する点において第１の実施の形態と異なる。
図１７は、第３の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この第３の実施の形態の画像処理部１２０は、デプスマップ生成部１２６およびフレームメモリ１２７をさらに備える点において第１の実施の形態と異なる。
デプスマップ生成部１２６は、焦点検出部１２４で検出された合焦位置に基づいてデプスマップを生成するものである。このデプスマップは、画素毎に、あるいは、画像を分割した複数のブロックのそれぞれについて、被写体までの距離を表す画像データである。例えば、距離を明るさで表したグレーの画像がデプスマップとして生成される。デプスマップ生成部１２６は、生成したデプスマップをフレームメモリ１２７に保持させる。
ぼかし処理部１２５は、デプスマップに基づいて画像データにぼかし処理を施すものである。例えば、一定距離より遠い部分にぼかし処理が行われ、手前の被写体を強調したポートレート画像が生成される。デプスマップを用いることにより、ユーザが手動でぼかし範囲を指定する必要がなくなり、利便性を向上させることができる。なお、ぼかし処理部１２５は、特許請求の範囲に記載の後段処理部の一例である。
なお、画像処理部１２０は、センシングモードで生成された画像データを用いるものであれば、ぼかし処理以外の画像処理を行ってもよい。例えば、画像処理部１２０は、デプスマップに基づいて、１つの画像データから、一対の視差画像を生成する処理を行ってもよい。また、第３の実施の形態において、第２の実施の形態と同様に、センシングモード設定時にグローバルシャッター方式で低解像度の画像を撮像し、ビューイングモード設定時にローリングシャッター方式で高解像度の画像を撮像してもよい。
このように、本技術の第３の実施の形態によれば、焦点検出の際に生成されたデプスマップを用いて、ぼかし処理などを行うため、ユーザが手動でぼかし範囲を指定する必要がなくなり、利便性を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、本技術は以下のような構成もとることができる。
（１）所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動部と、
前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像部と、
前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出部と
を具備する撮像装置。
（２）前記複数のラインは、所定の方向に配列された複数の画素ブロックからなり、
前記複数の画素ブロックのそれぞれは、
浮遊拡散層と、
複数の光電変換部と、
前記複数の光電変換部のそれぞれにより生成された電荷を前記浮遊拡散層に転送する複数の転送トランジスタと
を備える前記（１）記載の撮像装置。
（３）前記複数の転送トランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
前記（２）記載の撮像装置。
（４）前記複数の転送トランジスタの一部のトランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
前記（２）記載の撮像装置。
（５）前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記複数のラインより多くのラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを撮像する
前記（２）から（４）のいずれかに記載の撮像装置。
（６）前記複数のラインのそれぞれは、所定方向に配列された複数の画素からなり、
前記複数の画素のそれぞれは、
浮遊拡散層と、
光電変換部と、
前記光電変換部により生成された電荷を前記浮遊拡散層に転送する転送トランジスタと
を備える前記（１）に記載の撮像装置。
（７）前記合焦位置からデプスマップを生成するデプスマップ生成部と、
前記デプスマップに基づいて前記画像データと異なる新たな画像データに対して所定の画像処理を実行する後段処理部と
をさらに具備し、
前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記新たな画像データを撮像する
前記（１）から（７）のいずれかに記載の撮像装置。
（８）前記撮像部は、
複数のラインが配列された画素アレイ部と、
前記所定の駆動期間内において前記複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像信号を生成させるドライバと、
前記画像信号に対して所定の信号処理を行って前記画像データを生成する信号処理部と
を備える前記（１）から（７）のいずれかに記載の撮像装置。
（９）前記信号処理は、相関二重サンプリング処理を含む
前記（８）記載の撮像装置。
（１０）前記画素アレイ部は、積層された複数のチップのうち所定のチップに設けられ、
前記信号処理部は、前記複数のチップのうち前記所定のチップと異なるチップに設けられる
前記（８）または（９）に記載の撮像装置。
（１１）前記撮像部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備える
前記（１）から（１０）のいずれかに記載の撮像装置。
（１２）複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する処理と複数のラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを生成する処理とを行う撮像部と、
前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する処理と前記高解像度画像データに対する所定の画像処理とを行う画像処理部と
を具備する撮像装置。
（１３）フォーカスレンズの位置を所定の駆動期間に亘って像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動手順と、
前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像手順と、
前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手順と
を具備する撮像装置の制御方法。
１００ 撮像装置
１１０ 撮像レンズ
１２０ 画像処理部
１２１ 切替部
１２２ デモザイク処理部
１２３ コントラスト評価値算出部
１２４ 焦点検出部
１２５ ぼかし処理部
１２６ デプスマップ生成部
１２７ フレームメモリ
１３０ 記録部
１４０ 撮像制御部
１５０ フォーカスレンズ駆動部
２００ 撮像素子
２０１ 画素アレイチップ
２０２ 信号処理チップ
２０３ メモリチップ
２１０ 行選択部
２２０ 画素アレイ部
２３０ 画素回路
２３１ フォトダイオード
２３２ 転送トランジスタ
２３３ リセットトランジスタ
２３４ 浮遊拡散層
２３５ 増幅トランジスタ
２３６ 選択トランジスタ
２４０ 制御部
２５０ ＡＤ変換器
２６０ データラッチ部
２７０ データ処理部
２８０ メモリ部

Claims (13)

  1. 所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動部と、
    前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像部と、
    前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出部と
    を具備する撮像装置。
  2. 前記複数のラインは、所定の方向に配列された複数の画素ブロックからなり、
    前記複数の画素ブロックのそれぞれは、
    浮遊拡散層と、
    複数の光電変換部と、
    前記複数の光電変換部のそれぞれにより生成された電荷を前記浮遊拡散層に転送する複数の転送トランジスタと
    を備える請求項１記載の撮像装置。
  3. 前記複数の転送トランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
    請求項２記載の撮像装置。
  4. 前記複数の転送トランジスタの一部のトランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
    請求項２記載の撮像装置。
  5. 前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
    前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記複数のラインより多くのラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを撮像する
    請求項２記載の撮像装置。
  6. 前記複数のラインのそれぞれは、所定方向に配列された複数の画素からなり、
    前記複数の画素のそれぞれは、
    浮遊拡散層と、
    光電変換部と、
    前記光電変換部により生成された電荷を前記浮遊拡散層に転送する転送トランジスタと
    を備える請求項１記載の撮像装置。
  7. 前記合焦位置からデプスマップを生成するデプスマップ生成部と、
    前記デプスマップに基づいて前記画像データと異なる新たな画像データに対して所定の画像処理を実行する後段処理部と
    をさらに具備し、
    前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
    前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記新たな画像データを撮像する
    請求項１記載の撮像装置。
  8. 前記撮像部は、
    複数のラインが配列された画素アレイ部と、
    前記所定の駆動期間内において前記複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像信号を生成させるドライバと、
    前記画像信号に対して所定の信号処理を行って前記画像データを生成する信号処理部と
    を備える請求項１記載の撮像装置。
  9. 前記信号処理は、相関二重サンプリング処理を含む
    請求項８記載の撮像装置。
  10. 前記画素アレイ部は、積層された複数のチップのうち所定のチップに設けられ、
    前記信号処理部は、前記複数のチップのうち前記所定のチップと異なるチップに設けられる
    請求項８記載の撮像装置。
  11. 前記撮像部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備える
    請求項１記載の撮像装置。
  12. 複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する処理と複数のラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを生成する処理とを行う撮像部と、
    前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する処理と前記高解像度画像データに対する所定の画像処理とを行う画像処理部と
    を具備する撮像装置。
  13. フォーカスレンズの位置を所定の駆動期間に亘って像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動手順と、
    前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像手順と、
    前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手順と
    を具備する撮像装置の制御方法。
JP2016023373A 2016-02-10 2016-02-10 撮像装置、および、撮像装置の制御方法 Pending JP2017142356A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016023373A JP2017142356A (ja) 2016-02-10 2016-02-10 撮像装置、および、撮像装置の制御方法
US16/063,866 US11249279B2 (en) 2016-02-10 2016-11-09 Imaging apparatus and control method of imaging apparatus
PCT/JP2016/083160 WO2017138200A1 (ja) 2016-02-10 2016-11-09 撮像装置、および、撮像装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016023373A JP2017142356A (ja) 2016-02-10 2016-02-10 撮像装置、および、撮像装置の制御方法

Publications (1)

Publication Number Publication Date
JP2017142356A true JP2017142356A (ja) 2017-08-17

Family

ID=59563006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016023373A Pending JP2017142356A (ja) 2016-02-10 2016-02-10 撮像装置、および、撮像装置の制御方法

Country Status (3)

Country Link
US (1) US11249279B2 (ja)
JP (1) JP2017142356A (ja)
WO (1) WO2017138200A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3759909A4 (en) * 2018-02-28 2021-12-01 Rail Vision Ltd SYSTEM AND PROCEDURE FOR INTEGRATED TEST FOR OPTICAL SENSORS
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
JP2022083147A (ja) * 2020-11-24 2022-06-03 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033831A1 (en) * 1999-09-14 2006-02-16 Nikon Corporation Electronic still camera
JP4349302B2 (ja) * 2005-03-04 2009-10-21 ソニー株式会社 フォーカス制御装置、撮像装置、フォーカス制御方法
JP2007010908A (ja) * 2005-06-29 2007-01-18 Canon Inc 焦点調節方法及び装置
CN101053249B (zh) * 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
JP4208904B2 (ja) * 2006-07-03 2009-01-14 キヤノン株式会社 撮像装置及びその制御方法並びに撮像システム
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
US7893468B2 (en) * 2008-05-30 2011-02-22 International Business Machines Corporation Optical sensor including stacked photodiodes
JP5129683B2 (ja) * 2008-08-05 2013-01-30 キヤノン株式会社 撮像装置及びその制御方法
JP5530262B2 (ja) * 2010-06-16 2014-06-25 オリンパス株式会社 手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラム
JP5744545B2 (ja) * 2011-01-31 2015-07-08 キヤノン株式会社 固体撮像装置およびカメラ
KR101710633B1 (ko) * 2011-08-05 2017-02-27 삼성전자주식회사 자동 초점 조절 방법, 자동 초점 조절 장치, 및 이를 포함하는 디지털 촬영장치
JP2013130643A (ja) * 2011-12-20 2013-07-04 Olympus Corp オートフォーカス装置、撮像装置、及びオートフォーカス方法
US9332192B2 (en) * 2012-02-07 2016-05-03 Seiko Epson Corporation Image generating device and exposure start timing adjustment method
US8981511B2 (en) * 2012-02-29 2015-03-17 Semiconductor Components Industries, Llc Multi-chip package for imaging systems
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
JP6042636B2 (ja) * 2012-05-28 2016-12-14 オリンパス株式会社 固体撮像素子および固体撮像装置
JP5697650B2 (ja) 2012-12-13 2015-04-08 キヤノン株式会社 撮像装置とその制御方法
JP5786847B2 (ja) * 2012-12-19 2015-09-30 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
GB2511405B (en) * 2012-12-28 2016-01-27 Canon Kk Image pickup element, image pickup apparatus, and method and program for controlling the same
JP5911445B2 (ja) * 2013-03-19 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
TWI471677B (zh) * 2013-04-11 2015-02-01 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置
JP6539015B2 (ja) * 2013-12-05 2019-07-03 キヤノン株式会社 撮像装置及びその制御方法
US9854216B2 (en) * 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
JP6351255B2 (ja) * 2013-12-19 2018-07-04 キヤノン株式会社 撮像装置及び撮像方法、プログラム、記憶媒体
JP6476547B2 (ja) * 2014-01-28 2019-03-06 株式会社ニコン 焦点検出装置および撮像装置
JP6075646B2 (ja) 2014-03-17 2017-02-08 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Also Published As

Publication number Publication date
US20180364451A1 (en) 2018-12-20
WO2017138200A1 (ja) 2017-08-17
US11249279B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
JP5739640B2 (ja) 撮像素子及び撮像装置
CN112040118B (zh) 摄像设备
US9762840B2 (en) Imaging device and method of driving the same
JP6264616B2 (ja) 撮像装置及び固体撮像装置
US9277113B2 (en) Image pickup apparatus and driving method therefor
JP5850680B2 (ja) 撮像装置及びその制御方法
JP5946421B2 (ja) 撮像装置及びその制御方法
JP6099904B2 (ja) 撮像装置
JP2007150643A (ja) 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP2015211351A5 (ja)
CN109474781B (zh) 摄像装置、摄像装置的控制方法、记录介质
WO2012014553A1 (ja) 撮像装置及び撮像方法
JP6442362B2 (ja) 撮像装置及び撮像素子の制御方法
US10225494B2 (en) Image capturing apparatus and control method thereof
WO2017138200A1 (ja) 撮像装置、および、撮像装置の制御方法
JP6594048B2 (ja) 撮像装置及びその制御方法
JP2008015353A (ja) 撮像装置
JP2018050267A (ja) 撮像装置及び撮像素子の制御方法
WO2015008635A1 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP5398610B2 (ja) 固体電子撮像装置およびその動作制御方法
JP6759088B2 (ja) 撮像装置とその制御方法及びプログラム
JP7294407B2 (ja) 撮像素子、及び、撮像装置
JP2018182549A (ja) 撮像装置
JP5683985B2 (ja) 固体撮像装置および撮像装置
JP2010081422A (ja) 撮影装置