JP2020098968A - 撮像素子、撮像装置、および撮像方法 - Google Patents

撮像素子、撮像装置、および撮像方法 Download PDF

Info

Publication number
JP2020098968A
JP2020098968A JP2018235610A JP2018235610A JP2020098968A JP 2020098968 A JP2020098968 A JP 2020098968A JP 2018235610 A JP2018235610 A JP 2018235610A JP 2018235610 A JP2018235610 A JP 2018235610A JP 2020098968 A JP2020098968 A JP 2020098968A
Authority
JP
Japan
Prior art keywords
pixel
signal
column
frame
addition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018235610A
Other languages
English (en)
Inventor
利雅 三浦
Toshimasa Miura
利雅 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018235610A priority Critical patent/JP2020098968A/ja
Priority to US16/691,432 priority patent/US11171169B2/en
Publication of JP2020098968A publication Critical patent/JP2020098968A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】位相差ＡＦ用と画像生成用のデータを簡単な構成で出力できるようにした撮像素子、撮像装置および撮像方法を提供する。【解決手段】、複数の撮像フレームのうちの第１のフレーム（奇数フレーム）では、マイクロレンズの第１の列（ｘ１）に対応する第１の画素部の画素信号（Ｒ１Ｌ、Ｒ２Ｌ、Ｒ３Ｌ）を列方向に加算して第１の画素加算信号を生成し、第１の列と異なる第２の列（ｘ２）に対応する第２の画素部の画素加算信号（Ｇｒ１Ｒ、Ｇｒ２Ｒ、Ｇｒ３Ｒ）を列方向に加算して第２の画素信号を生成してそれぞれ出力し、第１のフレームに続く第２のフレーム（偶数フレーム）では、第１の列に対応する第２の画素部の出力（Ｒ１Ｒ、Ｒ２Ｒ、Ｒ２３）を列方向（ｘ１）に加算して第３の画素加算信号を生成し、第２の列に対応する第１の画素部の出力（Ｇｒ１Ｌ、Ｇｒ２Ｌ、Ｇｒ３Ｌ）を列方向に加算して第４の画素加算信号を生成する。【選択図】 図５Ａ

Description

本発明は、位相差ＡＦ用の焦点検出用画素を撮像面に配置した撮像素子、およびこの撮像素子を搭載した撮像装置、この撮像装置における撮像方法に関する。
近年、デジタルカメラにおける撮像素子の画素数は増加しており、２０００万画素〜４０００万画素のものが主流である。 背面パネルや電子ビューファインダ（ＥＶＦ）に表示するスルー画および動画撮影時においては、これほどの画素数が必要でないため、撮像素子内において画素加算や画素間引きを行うことによって、撮像素子からの出力画素数を減らし、スルー画や動画記録に適した出力画素数にしている。 画素数を減らすことによって、撮像素子内のＡ／Ｄ変換処理や、画像処理エンジンにおける画像処理を少なくすることができ、低電力化や高速化（高フレームレート化）を図ることができる。
また、ＡＦ（オートフォーカス）の高速化のため、撮像素子の画素を利用した位相差ＡＦの技術が広く使われている。 これは、撮像素子のフォトダイオード（ＰＤ）を分割し、１つのマイクロレンズを通った光が、分割されたそれぞれのＰＤに照射されると、複数のＰＤの信号出力に位相差が生じることを利用して、焦点検出を行う。
撮像素子は、本来、画像データ生成用であるが、分割したＰＤの出力を合成（画素加算）してしまうと、位相差ＡＦができなくなってしまうため、画素加算と位相差ＡＦの両立が課題となっている。そこで、特許文献１には、撮像素子から、位相差ＡＦ用の位相差データと、スルー画表示用の２つの画像データを生成するようにした撮像装置が提案されている。この撮像装置においては、位相差ＡＦ検出用に、左右に２分割したフォトダイオードの出力データを処理することにより、２分割の内の片側の出力データと、合成出力データの２系統の出力データを生成している。この２系統の出力データから、スルー画表示用の画像データと、位相差ＡＦ用の位相差データを得ることができる。
特開２０１５−０４９２８３号公報
上述の特許文献１に開示の撮像装置においては、片側出力データと、合成出力データの２系統の出力データを読み出すため、撮像素子の回路構成が複雑になる。また、位相差データを生成するために、片側出力データと合成出力データの両データを演算処理しており、複雑な回路が必要となり、また信号処理のための電力消費が増加しまう。
本発明は、このような事情を鑑みてなされたものであり、位相差ＡＦ用と画像生成用のデータを簡単な構成で出力できるようにした撮像素子を提供することを目的とする。また、位相差ＡＦを行うと共に、電力の増加を抑えつつ、スルー画／動画の表示／記録の高速化を行うことができるようにした撮像装置および撮像方法を提供することを目的とする。
上記目的を達成するため第１の発明に係る撮像素子は、行列状に２次元に配置される複数のマイクロレンズと、それぞれのマイクロレンズに対応して配置され、対をなす第１の画素部と第２の画素部と、を有する画素部と、複数の上記第１の画素部の画素信号を加算した画素信号、または複数の上記第２の画素部の画素信号を加算した画素信号により撮像フレームを構成し、該撮像フレームに対応して画素信号を繰り返し出力する画素信号生成部と、を有し、上記画素信号生成部は、上記複数の撮像フレームのうちの第１のフレームでは、上記マイクロレンズの第１の列に対応する上記第１の画素部の画素信号を列方向に加算して第１の画素加算信号を生成し、上記第１の列と異なる第２の列に対応する上記第２の画素部の画素信号を列方向に加算して第２の画素加算信号を生成してそれぞれ出力し、上記第１のフレームに続く第２のフレームでは、上記第１の列に対応する上記第２の画素部の出力を列方向に加算して第３の画素加算信号を生成し、上記第２の列に対応する上記第１の画素部の出力を列方向に加算して第４の画素加算信号を生成してそれぞれ出力する。
第２の発明に係る撮像素子は、上記第１の発明において、上記画素信号生成部は、上記第１の列と第２の列は隣接しており、この隣接した第１および第２の列の第１及び第２の画素部の画素信号を列方向に加算して画素加算信号を生成する。
第３の発明に係る撮像装置は、上記第１または第２の発明に記載の撮像素子を有し、第１のまたは第２の発明に係る撮像素子を有する撮像装置において、 上記撮像素子の出力する画素加算信号を入力して位相差検出を行う位相差検出部を有し、上記位相差検出部は、上記第１の画素加算信号と第２の画素加算信号に基づき位相差検出を行う、または、上記第３の画素加算信号と第４の画素加算信号に基づいて位相差検出を行う。
第４の発明に係る撮像装置は、上記第３の発明において、上記撮像素子の出力する画素信号を入力した表示または記録用画像データを生成する制御部を有し、上記制御部は、上記第１の画素信号と上記第４の画素信号を加算し、上記第２の画素信号と上記第３の画素信号を加算して表示または記録用の画像データを生成する。
第５の発明に係る撮像装置は、上記第４の発明において、上記位相差検出部は、上記撮像フレームの画素信号に基づく位相差検出により、上記撮像フレーム内で合焦部分と非合焦部分を判定し、上記制御部は、上記合焦と判定された部分では、上記第１の画素信号と上記第４の画素信号の加算、および上記第２の画素信号と上記第３の画素信号の加算の加算をせず、上記第１の画素信号と第２の画素信号、または上記第３の画素信号と第４の画素信号を補正して表示または記録用の画像データを生成する。
第６の発明に係る撮像方法は、行列状に２次元に配置される複数のマイクロレンズとそれぞれのマイクロレンズに対応して配置された対をなす第１の画素部と第２の画素部と、を有する画素部を備えた撮像装置における撮像方法において、複数の上記第１の画素部の画素信号を加算した画素信号、または複数の上記第２の画素信号を加算した画素信号により撮像フレームを構成し、該撮像フレームに対応して画素信号を繰り返し出力し、上記複数の撮像フレームのうちの第１のフレームでは、上記マイクロレンズの第１の列に対応する上記第１の画素部の画素信号を列方向に加算して第１の画素加算信号を生成し、上記第１の列と異なる第２の列に対応する上記第２の画素部の画素加算信号を列方向に加算して第２の画素信号を生成してそれぞれ出力し、上記第１のフレームに続く第２のフレームでは、上記第１の列に対応する上記第２の画素部の出力を列方向に加算して第３の画素加算信号を生成し、上記第２の列に対応する上記第１の画素部の出力を列方向に加算して第４の画素加算信号を生成してそれぞれ出力する。
本発明によれば、位相差ＡＦ用と画像生成用のデータを簡単な構成で出力できるようにした撮像素子を提供するができる。また、位相差ＡＦを行うと共に、電力の増加を抑えつつ、スルー画／動画の表示／記録の高速化を行うことができるようにした撮像装置および撮像方法を提供することができる。
本発明の第１実施形態に係る撮像装置の主として電気的構成を示すブロック図である。 本発明の第１実施形態に係る撮像素子の主として電気的構成を示すブロック図である。 本発明の第１実施形態に係る撮像素子の画素の構造を示す図である。 本発明の第１実施形態に係る撮像装置の画素の電気的構成を示す回路図である。 本発明の第１実施形態に係る撮像装置の撮像素子において、画素の配置を示す平面図であり、奇数フレームの画素読み出しを示す。 本発明の第１実施形態に係る撮像装置の撮像素子において、画素の配置を示す平面図であり、偶数フレームの画素読み出しを示す。 本発明の第１実施形態に係る撮像装置の撮像素子において、画素読み出し後における加算処理を示す図である。 本発明の第１実施形態に係る撮像装置の撮像素子において、画素読み出し後における加算処理の第１の変形例を示す図である。 本発明の第１実施形態に係る撮像装置の撮像素子において、画素読み出し後における加算処理の第２の変形例を示す図である。 本発明の第１実施形態に係る撮像装置において、撮影フレームと、表示（記録）フレームの関係を示す図である。 本発明の第１実施形態に係る撮像装置の撮像素子において、画素の配置を示す平面図であり、奇数フレームおよび偶数フレームの画素読み出しを示す。 本発明の第１実施形態に係る撮像装置の撮像素子において、画素の配置の変形例を示す図である。 本発明の第２実施形態に係る撮像装置の撮像素子において、画素の配置を示す平面図であり、奇数フレームの画素読み出しを示す。 本発明の第２実施形態に係る撮像装置の撮像素子において、画素の配置を示す平面図であり、偶数フレームの画素読み出しを示す。
以下、本発明の好ましい実施形態に係る撮像装置としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
また、本発明の好ましい実施形態においては、位相差検出用のマイクロレンズと、このマイクロレンズに対応して少なくとも２つのフォトダイオードを配置している。この２つのダイオードは、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を受光し、それぞれ画素信号を出力する。この異なる射出瞳領域に対応した画素信号を用いて、位相差を検出する。
また、本発明の好ましい実施形態においては、ＲＧＢ画素の画素毎に、位相差検出用の片側の画素（例えば、左側画素と右側画素）の画素信号を出力し、１つの撮影フレームの中では、片側（例えば左側）の画素の画素信号と、他の側（例えば右側）の画素の画素信号の両方が出力されるようにする。このため、１つの撮影フレーム分の全画素信号があれば、位相差検出を行うことができる（例えば、図５Ａ参照）。
また、本発明の好ましい実施形態においては、奇数フレームと偶数フレームにおいて、対応する画素位置の画素信号を加算することにより、スルー画表示用または動画記録用の画像を生成する（例えば、図９参照）。１つのマイクロレンズの片側の瞳領域のみの光束では、適正な画像を生成できないが、両方の瞳領域の光束にそれぞれ対応する画素信号を加算することにより、１つのマイクロレンズの全域に対応する光束の画素信号となるので、適正な画像を生成することができる。
図１は、第１実施形態に係る撮像装置１００の構成を示すブロック図である。この撮像装置１００は、レンズ１０１とレンズ１０１を駆動するモータ１０２と、フォーカス制御部１０３と、絞り機構１０４と、絞り機構１０４を駆動するモータ１０５と、絞り制御部１０６と、撮像素子１０７と、ＡＥ回路１０８と、ＡＦ回路１０９と、画像処理回路１１０と、液晶ディスプレイ（ＬＣＤ）ドライバ１１１と、ＬＣＤ１１２と、不揮発性メモリ１１３と、内蔵メモリ１１４と、圧縮伸張回路１１５と、着脱メモリ１１６と、ＣＰＵ（Central Processing Unit）１１７と、入力部１１８と、電源部１１９と、データバス１２０を有している。なお、レンズ１０１を含むレンズ鏡筒は、カメラ本体に対して固定していてもよく、またレンズ交換式であってもよい。
レンズ１０１は、撮像素子１０７上に、被写体の光学像を結像する。モータ１０２は、レンズ１０１を光軸方向に移動させ、焦点状態を変化させる。フォーカス制御部１０３は、ＡＦ回路１０９およびＣＰＵ１１７の出力に基づいて、レンズ１０１を合焦位置に移動させる。絞り機構１０４は、開口径が変化し、これによってレンズ１０１を透過した被写体光束の光量を変化させる。モータ１０５は、絞り機構１０４の開口径を所定の大きさとなるように駆動する。絞り制御部１０６は、ＡＥ回路１０８およびＣＰＵ１１７の出力に基づいて、露出制御のための絞り値が適正値となるように制御する。
撮像素子１０７は、撮像面に受光した光学像を電気信号に変換し、画像信号を生成する。撮像素子１０７は、複数の画素（位相差検出用画素と画像生成用画素を兼ねる）が２次元状に配列された画素部２２（図２参照）を有する。各画素は、マイクロレンズＬ（図３参照）に対応し、複数の位相差検出用画素に分割された構成となっている。位相差検出用画素は、撮影光学系であるレンズ１０１の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する。撮像素子１０７は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。撮像素子１０７の詳しい構成については、図２ないし図４を用いて後述する。
撮像素子１０７は、行列状に２次元に配置される複数のマイクロレンズ（例えば、図３のマイクロレンズＬ参照）と、それぞれのマイクロレンズに対応して配置された対をなす第１の画素部と第２の画素部（例えば、図３のフォトダイオードＰＤ参照）と、を有する画素部を備えている。撮像素子１０７は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように、所定の瞳分割方向に分割された複数のフォトダイオードが配置されている撮像素子である。また、撮像素子１０７は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように所定の瞳分割方向に分割された複数の受光部が配置されている画素部を有する撮像素子である。
撮像素子１０７は、レンズ１０１の光軸上であって、絞り機構１０４の後方で、かつ、レンズ１０１によって被写体からの光束が結像される位置に配置されている。撮像素子１０７は、被写体を撮像して被写体に係る画像信号を生成する。撮像素子１０７の各画素から読み出されたアナログ画素信号は、ＡＤ変換処理部２３ｂによりデジタル信号に変換され、撮像素子１０７からデジタル画像データ（以下、アナログの画像信号に対応したデジタル信号を、単に「画像データ」と称する）が出力される。
ＡＥ回路１０８は、撮像素子１０７から出力された画像データに基づいて輝度値を求め、この輝度値に基づいて、露出レベルが適正になるように、露出時間や絞り値等の露出制御値を演算する。なお、露出制御値の演算の一部または全部またをＣＰＵ１１７において実現するようにしてもよい。
ＡＦ回路１０９は、撮像素子１０７から出力された画像データの内の位相差ＡＦデータに基づいて、レンズ１０１のデフォーカス量およびレンズ１０１の駆動量を決定する。ＣＰＵ１１７およびフォーカス制御部１０３は、このデフォーカス量に基づいて、レンズ１０１を合焦位置に移動させる。なお、レンズのデフォーカス量および駆動量の算出の一部または全部をＣＰＵ１１７において実現するようにしてもよい。
ＡＦ回路１０９は、撮像素子の出力する画素加算信号を入力して位相差検出を行う位相差検出部として機能する。この位相差検出部は、第１の画素加算信号と第２の画素加算信号に基づき位相差検出を行う、または、第３の画素加算信号と第４の画素加算信号に基づいて位相差検出を行う。後述する図５Ａに示す奇数フレームにおいて、第１の画素加算信号および第２の画素加算信号を出力し、また図５Ｂに示す偶数フレームにおいて、第３の画素加算信号および第４の画素加算信号を出力する。位相差検出部は、これらの画素加算信号を用いて、位相差検出を行う。また、位相差検出部は、撮像フレームの画素信号に基づく位相差検出により、撮像フレーム内で合焦部分と非合焦部分を判定する。撮影画面内においても、ピントのあった部分とピントの合わない部分がある。エリア毎に、位相差を検出し、位相差が所定値よりも小さいエリアは、合焦部分と判定し、位相差が所定値よりも大きいエリアは、非合焦部分と判定すればよい。
画像処理回路１１０は、撮像素子１０７から読み出された画像データに対して各種画像処理を施す。画像処理としては、例えば、同時化処理、階調変換処理、ホワイトバランス調整、エッジ処理、広ダイナミックレンジ画像データの合成処理等がある。
ＬＣＤドライバ１１１は、ＬＣＤ１１２を駆動する。ＬＣＤ１１２は、撮像装置の本体背面等に配置されたディスプレイであり、スルー画表示、撮影済み画像の再生表示、メニュー画面等の表示を行う。
不揮発性メモリ１１３は、電気的に書き換え可能は不揮発性メモリであり、種々のプログラム、撮像装置の調整用データ、ユーザの設定データ等を格納する。内蔵メモリ１１４は、高速書き込み／読み出しが可能なメモリであり、撮像素子１０７から読み出された画像データを一時的に記憶する。また、内蔵メモリ１１４は、画像処理回路１１０における各種処理のワークメモリとしても利用される。
圧縮伸張部１１５は、画像データの記録時には、画像処理回路１１０で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、着脱メモリ１１６に圧縮状態で記録された画像データを伸張し、圧縮前の画像データに戻す。着脱メモリ１１６は、画像データを記録するためのカードメモリ等の電気的に書き換え可能な不揮発性メモリであり、撮像装置１００に対して着脱可能である。
ＣＰＵ１１７は、コントローラ（プロセッサ）であり、不揮発性メモリ１１３に記憶されたプログラムに従って、撮像装置１００の全体を統括的に制御する。ＣＰＵ１１７は、動画撮影や静止画撮影における露光量を制御し、撮像タイミングを制御する撮像制御部としての機能を有する。
また、ＣＰＵ１１７は、撮像素子の出力する画素信号を入力した表示または記録用画像データを生成する制御部として機能する。この制御部は、第１の画素信号と第４の画素信号を加算し、第２の画素信号と第３の画素信号を加算して表示または記録用の画像データを生成する（図９参照）。また、制御部は、合焦と判定された部分では、第１の画素信号と第４の画素信号の加算、および第２の画素信号と第３の画素信号の加算の加算をせず、第１の画素信号と第２の画素信号、または第３の画素信号と第４の画素信号を補正して表示または記録用の画像データを生成する。
入力部１１８は、ユーザが撮像装置１００に指示を行うためのインターフェースであり、各種モードを設定し、レリーズ操作等の各種操作を指示する。電源部１１９は、撮像装置１００の全体に電源を供給する。データバス１２０は、各種データの送受信を行うためのバスラインである。
次に、図２を用いて、撮像素子１０７の構成について説明する。撮像素子１０７は、１つの画素に対して複数の位相差検出用画素に分割されたフォトダイオードを有し、各ダイオードによって被写体光束を光電変換して光電変換信号を生成する。この生成された光電変換信号に基づいて画像用信号と位相差検出用信号を生成する。位相差検出用信号は、１つの画素の内のいずれ一方のフォトダイオードからの光電変換信号に基づいて生成される。画像用信号は、１つの画素に対応する全ての位相差検出用信号を加算することによって生成される。
撮像素子１０７は、図２に示す例においては、垂直走査部２１と、画素部２２と、画素信号処理部２３と、メモリ部２５と、水平走査部２６と、出力部２７と、入力部２８と、素子制御部２９と、を備えている。
上述の画素は画素部２２に配列されている。光電変換信号の生成は、垂直走査部２１〜出力部２７までの少なくとも一部、および素子制御部２９などが行う。画素部２２に配置された各画素の構造については、図３を用いて後述する。また、１画素内のフォトダイオードの電気的な接続については図４を用いて後述する。
垂直走査部２１は、垂直走査回路を有し、画素部２２の画素の水平方向の並び（行）を順次、選択することによって、走査を垂直方向に行う。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の電荷蓄積時間（露光時間）が制御される。
画素信号処理部２３は、画素信号処理回路を有しており、画素部２２から読み出された画素信号を処理し、アナログ処理部２３ａと、ＡＤＣ処理部２３ｂを有する。アナログ処理部２３は、アナログ処理回路を有し、画素部２２から読み出されたアナログの画素信号をアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素信号を増幅するプリアンプ、画素信号からリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。
アナログ・デジタル変換処理部（ＡＤＣ処理部）２３ｂは、ＡＤ変換回路を有し、アナログ処理部２３ａから出力されたアナログの画素信号をデジタルの画素信号に変換する。このＡＤＣ処理部２３ｂは、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素信号を列毎のアナログ・デジタル・コンバータ（ＡＤＣ）でＡＤ変換する構成が採用されている。
後述するように、本実施形態においては、画素列（例えば、図５Ａのｘ１列、ｘ２列、・・・等）毎に、位相差検出用の片側の画素の画素信号を加算処理している。画素信号処理部２３は、この片側の画素信号の加算処理を行う。加算処理にあたっては、アナログ処理部２３ａにおいて、アナログ演算によって加算した後に、ＡＤＣ処理部２３ｂによってＡＤ変換してもよい。また、逆に、ここの画素信号をＡＤＣ処理部２３ｂにおいて、ＡＤ変換した後に、デジタル演算によって加算するようにしてもよい。その他、種々の方法によって、加算処理を行ってもよい。
画素信号処理部２３は、複数の第１の画素部の画素信号を加算した画素信号、または複数の第２の画素部の画素信号を加算した画素信号により撮像フレームを構成し、該撮像フレームに対応して画素信号を繰り返し出力する画素信号生成部として機能する。また、この画素信号生成部は、複数の撮像フレームのうちの第１のフレーム（例えば、図５Ａの奇数フレーム）では、マイクロレンズの第１の列（例えば、図５Ａのｘ１列）に対応する第１の画素部の画素信号（例えば、Ｇｂ１Ｌ、Ｇｂ２Ｌ、Ｇｂ３Ｌ）を列方向に加算して第１の画素加算信号（例えば、図６のＧｂ’１Ｌ）を生成し、第１の列と異なる第２の列（例えば、図５Ａのｘ２列）に対応する第２の画素部の画素信号（例えば、Ｇｒ１Ｒ、Ｇｒ２Ｒ、Ｇｒ３Ｒ）を列方向に加算して第２の画素加算信号（例えば、図６のＧｒ’１Ｒ）を生成してそれぞれ出力し、第１のフレームに続く第２のフレーム（例えば、図５Ｂの偶数フレーム）では、第１の列に対応する第２の画素部の出力（例えば、Ｇｂ１Ｒ、Ｇｂ２Ｒ、Ｇｂ３Ｒ）を列方向に加算して第３の画素加算信号（図６のＧｂ’１Ｒ）を生成し、第２の列に対応する第１の画素部の出力（例えば、Ｇｒ１Ｌ、Ｇｒ２Ｌ、Ｇｒ３Ｌ）を列方向に加算して第４の画素加算信号（例えば、図６のＧｒ’１Ｌ）を生成してそれぞれ出力する。このため、奇数フレームまたは偶数フレームのうちの１フレーム分の第１の列と第２の列の同色の画素加算信号を用いれば、位相差を検出することができる。
また、画素信号生成部は、第１の列と第２の列は隣接しており、この隣接した第１および第２の列の第１及び第２の画素部の画素信号を列方向に加算して画素加算信号を生成する（例えば、図５Ａにおいて、ｘ１列とｘ２列は隣り合っている）。
メモリ部２５は、メモリを有し、ＡＤＣ処理部２３ｂで変換された画素信号を一時的に保持する電気的書き換え可能な揮発性メモリ回路等で構成されている。
水平走査部２６は、水平走査回路を有し、メモリ部２５から、画素信号（画像用画素信号と焦点検出用画素信号）を列順に読み出す。
出力部２７は、出力回路を有し、水平走査部２６により読み出された画素信号を配列して画素信号列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。なお、この出力部２７または上述したＡＤＣ処理部２３Ｂ等は、増感処理（設定されているＩＳＯ感度に応じた信号増幅処理）を行う増感部としても機能するようになっている。
入力部２８は、入力回路を有し、ＣＰＵ１１７から、撮像素子１０７の制御に係る同期信号、基準クロック、動作設定の情報などを受信する。
素子制御部２９は、撮像制御回路を有し、入力部２８を介して受信した同期信号および基準クロックに合わせて、撮像素子１０７内の各ブロックを制御するものであり、読出方法選択部３０を備えている。また、素子制御部２９は、ＣＰＵ１１７から入力部２８を介して撮像駆動モードを切り換える指示等の動作設定指示を受信して、撮像素子１０７内の各ブロックを制御する。
読出方法選択部３０は、選択回路を有し、入力部２８を介して受信した動作設定の情報（例えば、静止画撮影、動画撮影、ライブビュー、ＡＦ等のカメラモード）に基づいて、撮像素子１０７からの読み出し方式を選択して設定する。素子制御部２９は、読出方法選択部３０により設定された読み出し方式に応じて、撮像素子１０７内の各部を制御する。
なお、図２では、撮像素子１０７が垂直走査部２１および画素部２２を備えるだけでなく、さらに、画素信号処理部２３〜素子制御部２９を備える構成例を示している。しかし、これに限るものではなく、例えば画素信号処理部２３〜素子制御部２９の内の１つ以上を撮像素子１０７の外部に配置しても構わない。
次に、図３を用いて、画素部２２に配置された焦点検出用画素および画像用画素の構造について説明する。画素部２２は、上述したように、画素が２次元状（例えば、垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部である。
図３は、１つのマイクロレンズＬに２つまたは４つのフォトダイオードＰＤが配置される画素構造の例を示す図表である。図３には、画像用画素の構造として、２ＰＤ画素構造と４ＰＤ画素構造を例示する。２ＰＤ画素構造は、１つのマイクロレンズＬに対して２つのフォトダイオードＰＤを配置する。４ＰＤ画素構造は、１つのマイクロレンズＬに対して４つのフォトダイオードＰＤを配置する。
各画素は、物体側から像側へ向かう積層方向の順に、マイクロレンズＬとカラーフィルタＦとフォトダイオードＰＤとが配設された構成となっている。ここに、マイクロレンズＬは、光を集めることにより画素に到達する光量を増加させ、画素の開口率を実質的に大きくするものである。また、カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、Ｒフィルタ、Ｇフィルタ、またはＢフィルタの何れかが、その画素位置に応じて配設されている。
図３に示す２ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に２つのフォトダイオードＰＤが配設されている。２つのフォトダイオードＰＤは、水平方向の位相差を検出するためのものである場合には左右に２分割されており、垂直方向の位相差を検出するためのものである場合には上下に２分割されている。これにより１つの画素が、２つの焦点検出用画素ａ，ｂを有する。
一方、図３に示す４ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に４つのフォトダイオードＰＤが配設されている。４つのフォトダイオードＰＤは、水平方向および垂直方向の位相差を検出することができるように、上下左右に４分割されている。すなわち、４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される。これにより１つの画素が、４つの焦点検出用画素ａ，ｂ，ｃ，ｄを有する。
後述する図５Ａ以下の説明では、左右に分割された２つのフォトダイオードを有する例である。しかし、ここでは撮像素子１０７の構成として、全画素が４ＰＤ画素構造である場合を例に挙げて説明を行うこととする。ただし、撮像素子１０７の一部の画素が、４ＰＤ画素構造、または２ＰＤ画素構造となることを妨げるものではない。
さらに、フォトダイオードＰＤの出力を後述する図４の回路構成によって垂直２画素加算する場合、つまり、図３における（ａ＋ｂ）と（ｃ＋ｄ）とを算出する場合には、水平方向の位相差を検出（縦線検知）するための位相差検出用画素信号となる。そして、フォトダイオードＰＤの出力を同様に水平２画素加算する場合、つまり、図３における（ａ＋ｃ）と（ｂ＋ｄ）とを算出する場合には、垂直方向の位相差を検出（横線検知）するための位相差検出用画素信号となる。
図３に示す４ＰＤ画素構造の場合には、縦線検知用の位相差検出用画素信号と、横線検知用の位相差検出用画素信号と、の内の、一方が第１の瞳分割方向における一対の位相差検出用画素信号、他方が第２の瞳分割方向における一対の位相差検出用画素信号となる。加えて、フォトダイオードＰＤの出力を同様に４画素加算する場合、つまり、図３において、（ａ＋ｂ＋ｃ＋ｄ）を算出する場合には、画像用画素信号となる。
次に、図４に示す回路図を用いて、４ＰＤ画素構造の画素の構成例について説明する。
４ＰＤ画素構造の画素においては、図３に示したように、１つのマイクロレンズＬに対応する位置に４つのフォトダイオードＰＤ１〜ＰＤ４が配置されている。具体的には、マイクロレンズＬの光学像が結像される範囲内の左上、左下、右上、右下位置に４つのフォトダイオードＰＤ１〜ＰＤ４がそれぞれ配置されている。
４つのフォトダイオードＰＤ１〜ＰＤ４には、スイッチとして機能するトランジスタＴｒ１〜Ｔｒ４がそれぞれ接続されている。垂直走査部２１から制御信号ＴＸ１〜ＴＸ４が、トランジスタＴｒ１〜Ｔｒ４にそれぞれ印加すると、トランジスタＴｒ１〜Ｔｒ４のオン／オフがそれぞれ制御される。
各トランジスタＴｒ１〜Ｔｒ４は、フローティングディフュージョンＦＤに接続されている。このため、トランジスタＴｒがオンされると、このトランジスタＴｒに対応するフォトダイオードＰＤの信号電荷が、フローティングディフュージョンＦＤに転送される。
また、各トランジスタＴｒ１〜Ｔｒ４とフローティングディフュージョンＦＤとの間には、スイッチとして機能するトランジスタＴｒ５の一端が接続されており、トランジスタＴｒ５の他端は電源電圧ＶＤＤに接続されている。トランジスタＴｒ５にリセット信号ＲＥＳを印加することにより、電源電圧ＶＤＤ側とフローティングディフュージョンＦＤ側とのオン／オフが制御される。このような構成により、トランジスタＴｒ５がオンになると、フローティングディフュージョンＦＤのリセットが行われる。また、トランジスタＴｒ１〜Ｔｒ４をオンにした状態で、さらにトランジスタＴｒ５をオンにすることによって、フォトダイオードＰＤ１〜ＰＤ４のリセットが行われる。
フローティングディフュージョンＦＤは、スイッチとして機能するトランジスタＴｒ６と、電源電圧ＶＤＤに接続され増幅部として機能するトランジスタＴｒ７と、を介して出力端子ＯＵＴに接続されている。トランジスタＴｒ６に選択信号ＳＥＬを印加すると、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出される。
次に、図５Ａおよび図５Ｂを用いて、画素信号の読み出しおよび加算処理について説明する。図５Ａおよび図５Ｂに示す例は、１つのマイクロレンズに対して、左右の位置に、それぞれフォトダイオード配置している（左右２分割タイプ）。また、スルー画表示および動画撮影時には、水平１／３間引き、垂直３／３加算で画素加算を行う。水平１／３間引きは、水平方向は３画素の内、１画素のみを画素データとして使用し、他の２画素は使用しない。また、垂直３／３加算は、垂直方向は３画素の全ての画素データを加算して使用する。また、Ｒ画素はフォトダイオードの前面側（レンズ１０１側）の色フィルタが赤色であり、Ｂ画素の色フィルタは青色であり、Ｇｒ画素およびＧｂ画素の色フィルタは緑色である。なお、図中、縦（垂直）方向を列方向とし、また横（水平）方向を行方向として説明する。
図５Ａにおいて、位置（ｘ１、ｙ１）はＲ画素の画素位置であり、Ｒ１Ｌは左右２分割タイプの内の左側のＲ画素を示し、Ｒ１Ｒは同タイプの内の右側のＲ画素を示す。位置（ｘ２、ｙ１）は、Ｇｒ画素の画素位置であり、Ｇｒ１Ｌは左右２分割タイプの内の左側のＧｒ画素を示し、Ｇｒ１Ｒは同タイプの内の右側のＧｒ画素を示す。ｙ１行では、前述したように、位置（ｘ１、ｙ１）はＲ画素、位置（ｘ２、ｙ１）はＧｒ画素、位置（ｘ３、ｙ１）はＲ画素、位置（ｘ４、ｙ１）はＧｒ画素、・・・位置（ｘ７、ｙ１）はＲ画素、位置（ｘ８、ｙ１）はＧｒ画素である。すなわち、ｙ１行では、Ｒ画素とＧｒ画素が交互に配置されている。
位置（ｘ１、ｙ３）はＲ画素の画素位置であり、Ｒ２Ｌは左右２分割タイプの内の左側のＲ画素を示し、Ｒ２Ｒは同タイプの内の右側のＲ画素を示す。位置（ｘ２、ｙ３）は、Ｇｒ画素の画素位置であり、Ｇｒ２Ｌは左右２分割タイプの内の左側のＧｒ画素を示し、Ｇｒ２Ｒは同タイプの内の右側のＧｒ画素を示す。ｙ３行では、前述したように、位置（ｘ１、ｙ３）はＲ画素、位置（ｘ２、ｙ３）はＧｒ画素、位置（ｘ３、ｙ３）はＲ画素、位置（ｘ４、ｙ３）はＧｒ画素であり、・・・位置（ｘ７、ｙ３）はＲ画素、位置（ｘ８、ｙ３）はＧｒ画素である。すなわち、ｙ３行では、Ｒ画素とＧｒ画素が交互に配置されている。
位置（ｘ１、ｙ４）はＧｂ画素の画素位置であり、位置（ｘ１、ｙ４）は、Ｇｂ画素の画素位置であり、Ｇｂ１Ｌは左右２分割タイプの内の左側のＧｂ画素を示し、Ｇｂ１Ｒは同タイプの内の右側のＧｂ画素を示す。位置（ｘ２、ｙ４）は、Ｂ画素の画素位置であり、Ｂ１Ｌは左右２分割タイプの内の左側のＢ画素を示し、Ｂ１Ｒは同タイプの内の右側のＢ画素を示す。ｙ４行では、前述したように、位置（ｘ１、ｙ４）はＧｂ画素、位置（ｘ２、ｙ４）はＢ画素、位置（ｘ３、ｙ４）はＧｂ画素、位置（ｘ４、ｙ４）はＢ画素であり、・・・位置（ｘ７、ｙ４）はＧｂ画素、位置（ｘ８、ｙ４）はＢ画素である。すなわち、ｙ４行では、Ｇｂ画素とＢ画素が交互に配置されている。
このように、本実施形態においては、撮像素子１０７の撮像面には、行方向の内のｙ１、ｙ３、ｙ５、ｙ７・・・方向には、Ｒ画素とＧｂ画素が交互に配置され、行方向の内のｙ２、ｙ４、ｙ６、ｙ８・・・方向には、Ｇｂ画素とＢ画素が交互に配置されている。言い換えると、列方向の内、ｘ１、ｘ３、ｘ５、ｘ７・・・方向には、Ｒ画素とＧｂ画素が交互に配置され、列方向の内、ｘ２、ｘ４、ｘ６、ｘ８・・・方向にはＧｒ画素とＢ画素が交互に配置されている。
垂直３画素を加算する際に、各画素の内、左側の画素（「Ｌ側画素」と称す）のみを加算し、また右側の画素（「Ｒ側画素」と称す）のみを加算する。具体的には図５Ａのように、Ｒ画素の１列目（ｘ１列）において、左側画素のみを加算する場合には、位置（ｘ１Ｌ、ｙ１）、（ｘ１Ｌ、ｙ３）、（ｘ１Ｌ、ｙ５）にあるＲ１Ｌ、Ｒ２Ｌ、Ｒ３Ｌの３つの画素値を加算する。また、Ｒ画素の１列目（ｘ１列）において、右側画素のみを加算する場合には、位置（ｘ１Ｒ、ｙ１）、（ｘ１Ｒ、ｙ３）、（ｘ１Ｒ、ｙ５）にあるＲ１Ｒ、Ｒ２Ｒ、Ｒ３Ｒの３つの画素値を加算する。なお、本実施形態においては、垂直３画素加算としているが、加算する画素数は設計値に応じて、適宜変更してもよい。
なお、３列目（ｘ３列）〜６列目（ｘ６列）は、読み出しの際に、間引かれるので加算処理は不要となる。また、図示していないが、引き続き、１３列目はＬ側画素のみ加算、１４列目はＲ側画素のみ加算と交互に加算するＲ／Ｌの画素を切り替える。このように、Ｒ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素について、列毎にＲ側画素のみ加算と、Ｌ側画素のみ加算を、交互に切り替える。
さらに、奇数フレームと偶数フレームにおいて、Ｒ側画素のみ加算する列とＬ側画素のみ加算する列を、交互に切り替える（すなわち、Ｒ／Ｌ逆にする）。撮像素子１０７から、指定された読み出し方法に対応する画素から読み出された画素信号によって１フレーム分の画像信号が生成される。所定時間間隔で、１フレーム分の画像信号が読み出され、交互に奇数フレームと偶数フレームとなる。前述した図５Ａは、奇数フレームにおける画素読み出しを示し、図５Ｂは偶数フレームにおける画素読み出しを示す。
偶数フレームでは、図５Ｂに示すように、読み出す列が図５Ａの奇数フレームとは異なる。すなわち、奇数フレームでは、ｘ１Ｌ方向、ｘ２Ｒ方向、ｘ７Ｒ方向、ｘ８Ｌ方向の画素が読み出されていた。これに対して、偶数フレームでは、ｘ１Ｒ方向、ｘ２Ｌ方向、ｘ７Ｌ方向、ｘ８Ｒ方向の画素が読み出される。
上述したように、奇数フレームでは、第１の列（ｘ１列、ｘ７列、・・・）のＬ側画素の加算値を読み出し、第２の列（ｘ２列、ｘ８列、・・・）のＲ側画素の加算値を読み出す。そして、次の偶数フレームでは、第１の列（ｘ１列、ｘ８列、・・・）ではＲ側画素の加算値を読み出し、第２の列（ｘ２列、ｘ７列、・・・）ではＬ側画素の加算値を読み出す。このように、読み出す画素を、奇数フレームか偶数フレームに応じて、交互に切り替えている。
図６は、上述のように、交互に切り替えた読み出しの画素加算値を示す。図６において左側には、奇数フレームにおける画素加算結果を示し、右側には偶数フレームの画素加算結果を示す。図６において、Ｒ’１Ｌは、Ｒ１Ｌ画素値、Ｒ２Ｌ画素値、およびＲ３Ｌ画素値の加算値を示す。同様に、Ｇｒ’１Ｒは、Ｇｒ１Ｒ画素値、Ｇｒ２Ｒ画素値、およびＧｒ３Ｒ画素値の加算値を示す。Ｇｂ’１Ｌは、Ｇｂ１Ｌ画素値、Ｇｂ２Ｌ画素値、およびＧｂ３Ｌ画素値の加算値を示す。Ｂ’１Ｒは、Ｂ１Ｒ画素値、Ｂ２Ｒ画素値、およびＢ３Ｒ画素値の加算値を示す。他の加算値も同様にして算出されるので、詳しい説明を省略する。
同一フレーム内の同一色であるＧｂとＧｒの画素の加算値についてみれば、奇数列と偶数列で、ＧｂまたはＧｒの右側画素値の加算値と、ＧｒまたはＧｂの左側画素値の加算値が交互になっている。例えば、図６に示す例でみれば、奇数フレームでは、Ｇ（Ｇｒ、Ｇｂ）画素の加算値は、ｘ１Ｌ列とｘ２Ｒ列を比較すればわかるように、左側画素値の加算値Ｇｂ’１Ｌと右側画素値Ｇｒ’１Ｒの加算値となっている。この左側画素値の加算値Ｇｂ’１Ｌと右側画素値の加算値Ｇｒ’１Ｒは、瞳分割に対応するマイクロレンズは異なるものの、互いに近距離に位置するので、位相差検出の対の信号として使用することが可能である。ｘ１Ｌ列の複数の加算値Ｇｂ’１Ｌ、Ｇｂ´２Ｌ、・・・と、ｘ２Ｒ列の複数の加算値Ｇｒ’１Ｒ、Ｇｒ’２Ｒ、・・・を使用して位相差検出を行う。偶数フレームについても同様に、ｘ１Ｒ列のＧｂの右側画素値の加算値Ｇｂ’１Ｒ、Ｇｂ’２Ｒ、・・・と、ｘ２Ｌ列のＧｒの左側画素値の加算値Ｇｒ’１Ｌ、Ｇｒ’２Ｌ、・・・とを使用して位相差検出を行う。このように、奇数フレームまたは偶数フレームのいずれか１フレームの画像データに基づいて位相差検出を行うことができる。
また、奇数フレームと偶数フレームの同一の位置の加算画素値は、それぞれ左側と右側、または右側と左側の関係となっている。奇数フレームと偶数フレームの同一の加算画素値を加算して画像データを合成し、瞳分割を含まない画素値より構成されるフレームを生成することができる。短期間に連続して取得した奇数フレームと偶数フレームを合成することにより、画質の低下を抑制した記録、表示用の画像データを生成することが可能である。
以上は、Ｇ画素について説明したが、Ｒ画素、Ｂ画素についても同様の方法で位相差検出を行うことができる。たとえば、図６の奇数フレームにおいて、Ｒ’１Ｌ、Ｒ’２Ｌ、・・・とＲ’３Ｒ、Ｒ’４Ｒ、・・・を使用して位相差検出を行うことができる。この場合は、対をなすＲ’１ＬとＲ’３Ｒの位置関係としての距離が、Ｇ画素の場合よりも大きくなるので、位相差検出精度はより低くなる。しかしながら、合焦付近ではないボケが大きい焦点状態では、位相差ずれ方向が重要であるので、Ｒ画素、Ｂ画素を使用する位相差検出が有効である。
上述したように、Ｇ画素の垂直方向の加算画素（左側Ｌ／右側Ｒ）が奇数列と偶数列で対をなすようになっていれば良いので、図５Ａ、図５Ｂ、および図６に示した加算方法以外の方法でも良い。図７は、加算方法の第１の変形例に対応する画素加算値の配置を示す。図７では、同じ列の中で加算する画素を色毎にＬとＲに切り替えており、たとえば奇数フレームのｘ１Ｌ、ｘ１Ｒ列においてＲ画素はＬ、Ｇｂ画素はＲを加算している。
図７に示す例において、Ｇｂ画素についてｙ６行では、奇数フレームの、ｘ１Ｌ、ｘ１Ｒ列とｘ７Ｒ、ｘ７Ｌ列で、それぞれ右側画素（Ｇｂ１Ｒ、Ｇｂ２Ｒ、Ｇｂ３Ｒ）の加算値（Ｇｂ’１Ｒ）と、左側画素（Ｇｂ７Ｌ、Ｇｂ８Ｌ、Ｇｂ９Ｌ）の加算値（Ｇｂ’３Ｌ）である。Ｇｂ画素についてｙ６行では、偶数フレームのｘ１Ｒ、ｘ１Ｌ列とｘ７Ｌ、ｘ７Ｒ列で、それぞれ左側画素（Ｇｂ１Ｌ、Ｇｂ２Ｌ、Ｇｂ３Ｌ）の加算値（Ｇｂ’１Ｌ）と右側画素（Ｇｂ７Ｒ、Ｇｂ８Ｒ、Ｇｂ９Ｒ）の加算値（Ｇｂ’３Ｒ）である。
同様に、Ｇｒ画素についてｙ３行では、奇数フレームのｘ２Ｌ、ｘ２Ｒ列と、ｘ８Ｌ、ｘ８Ｒ列でそれぞれ左側画素加算値Ｇｒ’１Ｌと右側画素加算値Ｇｒ’３Ｒとなる。同様に、Ｇｒ画素についてｙ３行の偶数フレームのｘ２Ｒ、ｘ２Ｌ列と、ｘ８Ｌ、ｘ８Ｒ列では、それぞれ右側画素加算値Ｇｒ’１Ｒと左側画素加算値Ｇｒ’３Ｌとなる。
ここで、奇数フレームでは右側画素加算値Ｇｂ’１Ｒと左側画素加算値Ｇｒ’１Ｌが対になっている。また偶数フレームでは左側画素加算値Ｇｂ’１Ｌと右側画素加算値Ｇｒ’１Ｒが対となっている。したがって、Ｇ画素の画素加算値をみれば、左側加算値と右側加算値が対となるように配置されている。Ｇ画素以外の同色の画素加算値をみれば、左側加算値と右側加算値が行方向にて交互に配置される。したがって、同色の上記左側加算値と右側加算値を位相差検出の対として扱うことができる。さらに、奇数フレームと偶数フレームとでは、同一の位置において、左側加算値と右側加算値が交互に切り替えられている。
また、図８は、加算方法の第２の変形例を示す。第２の変形例は、第１の変形例と同様に、同じ列の中で加算する画素を色毎にＬとＲに切り替えるものであり、第１の変形例とは画素の位置とＬ／Ｒの対応関係が異なる。例えば、奇数フレームのｘ１Ｌ、ｘ１Ｒ列においてＲ画素は右側画素Ｒ、Ｇｂ画素は左側画素Ｌを加算する。
図８に示す例では、Ｒ画素についてｙ３行で、奇数フレームでは、ｘ１Ｌ、ｘ１Ｒ列とｘ７Ｌ、ｘ７Ｒ列で、それぞれ右側画素の加算値Ｒ’１Ｒと左側画素の加算値Ｒ’３Ｌとなる。Ｒ画素についてｙ３行の偶数フレームでは、ｘ１Ｌ、ｘ１Ｒ列とｘ７Ｌ、ｘ７Ｒ列で、それぞれ左側画素の加算値Ｒ’１Ｌと右側画素の加算値Ｒ’３Ｒである。同様に、Ｇｒ画素、Ｇｂ画素、Ｂ画素についても、左側画素加算値と右側画素加算値が対になっている。したがって、同色の画素加算値をみれば、左側加算値と右側加算値が行方向にて交互に配置されている。さらに、奇数フレームと偶数フレームの同一の位置において、左側加算値と右側加算値が交互に切り替えられている。
このように、本実施形態や変形例においては、１フレーム内の各色において、右側画素加算値と左側画素加算値が、対をなすように配置される。このため、１フレーム内において、右側画素加算値と左側画素加算値を用いて、位相差検出を行うことができ、位相差ＡＦによる焦点調節が可能となる。
但し、このままでは、各色画素の左側画素加算値、または右側画素加算値しか出力されないので、画像信号をスルー画および動画の画像として表示することができない。そこで、図９に示すように、奇数フレームと偶数フレームの対応位置画素の加算値同士を更に加算することによって、右側画素値と左側画素値を加算する。１つのマイクロレンズを通った光束は、右側画素用のフォトダイオードと、左側画素用のフォトダイオードに分割されて入射することから、両画素値を加算することにより、１つのマイクロレンズを通った光束の画素値となる。この加算処理によって合成した画像信号を、スルー画や動画の画像として使用することができる。
図９に示す例において、撮影フレーム１と撮影フレーム２の対応位置の画素加算値同士を加算処理する。例えば、図６に示した例では、奇数フレームで読み出されたＲ’１Ｌと、偶数フレームで読み出されたＲ’１Ｒを加算処理すると、左側画素加算値と右側画素加算値が加算され、撮影画像として適正な画素値となる。以後、撮影フレーム２と撮影フレーム３を加算し、撮影フレーム３と撮影フレーム４を加算し、この加算処理を繰り返す。
このように連続して撮影した隣接する撮影フレームにおいて、対応画素位置の画素加算値同士を加算処理する方法により、低消費電力、高フレームレートが可能となり、位相差ＡＦとスルー画表示・動画記録も可能なシステムを提供することができる。
次に、図１０を用いて、本実施形態の画素加算の変形例を説明する。図５Ａおよび図５Ｂに示した画素加算は、水平１／３間引き、垂直３／３加算で行っていた。これに対して、本変形例は、水平方向を２／３ｍｉｘ方式である。すなわち、水平方向に画素３列の内、２列において列ごとに画素値の加算値を算出する。なお、ここでの画素列は、ｘ１列およびｘ２列を合わせて１列としている。他の列も同様である。
図５Ａに示した例では、奇数フレームにおいてＲ画素の内、ＲｌＬ、Ｒ２Ｌ、およびＲ３Ｌの画素値を加算していた。しかし、本変形例においては、図１０において点線内で丸印を付した６つの画素、すなわち、ＲｌＬ、Ｒ２Ｌ、およびＲ３Ｌに加えて、Ｒ４Ｌ、Ｒ５Ｌ、Ｒ６Ｌの合計６の左側画素値の加算値を算出する。他の画素値についても同様に加算値を算出する。また、偶数フレームにおいては、図１０において点線内で丸印を付した６つの画素、すなわち、ＲｌＲ、Ｒ２Ｒ、およびＲ３Ｒに加えて、Ｒ４Ｒ、Ｒ５Ｒ、Ｒ６Ｒの合計６の右側画素値の加算値を算出する。他の画素値についても同様に加算値を算出する。
本変形は、図５Ａ、図５Ｂに示した水平１／３間引き、垂直３／３加算と比較し、処理する画素数が増加するため、焦点検出の精度は低下するが、より処理時間と電力を減少させることができる。
次に、図１１を用いて、フォトダイオード（ＰＤ）の分割の変形例について説明する。上述の第１実施形態においては、１つのマイクロレンズに対して、左右に２分割する例について説明した。しかし、１つのマイクロレンズに対して４つの画素を配置した構造（４ＰＤ構造（図３参照））に対しても、図１１に示すように、２つの画素の画素値を加算することで、上述したように２ＰＤの構造と同様に考えることができる。 上下２画素を加算する場合と左右２画素を加算することにより、上述の実施形態に対応できる。
例えば、図１１において、Ｒ１ＵＬは左上に配置されたＲ画素であり、Ｒ１ＤＬは左下に配置されたＲ画素である。この両画素の画素値を加算することにより、左側Ｒ画素として扱うことができる。また、Ｒ１ＵＲは右上に配置されたＲ画素であり、Ｒ１ＤＲは右下に配置されたＲ画素である。この両画素の画素値を加算することにより、右側Ｒ画素として扱うことができる。
また、図１１において、Ｂ１ＵＬは左上に配置されたＢ画素であり、Ｂ１ＵＲは右上に配置されたＢ画素であり、両画素の画素値を加算することにより、上側Ｂ画素として扱うことができる。また、Ｂ１ＤＬは左下に配置されたＢ画素であり、Ｂ１ＤＲは右下に配置されたＢ画素である。両画素の画素値を加算することにより、下側Ｂ画素として扱うことができる。なお、フォトダイオード（ＰＤ）を上下に分割した場合の画素読み出しについては、図１２Ａおよび図１２Ｂを用いて後述する。
次に、図１２Ａおよび図１２Ｂを用いて本発明の第２実施形態について説明する。本発明の第１実施形態においては、フォトダイオードを左右に２分割した例について説明した。しかし、これに限らず、フォトダイオードを上下に２分割して、上側または下側の画素の画素値を読み出すようにしてもよい。本実施形態における回路構成等は、第１実施形態に示した図１と同じであるので、詳しい説明は省略する。本実施形態における画素読み出しと画素加算について、図１２Ａおよび図１２Ｂを用いて説明する。
図１２Ａは、奇数フレームにおける画素読み出し及び画素加算を示す図である。図１２Ａにおいて、ｙ１Ｔ行の位置（ｘ１、ｙ１Ｔ）にあるＲ１Ｔ画素は、上側Ｒ画素であり、位置（ｘ３、ｙ１Ｔ）にあるＲ２Ｔは、上側Ｒ画素であり、位置（ｘ５、ｙ１Ｔ）にあるＲ３Ｔは、上側Ｒ画素である。これらの３つの上側Ｒ画素の画素値は加算される。
同様に、ｙ７Ｂ行の位置（ｘ１、ｙ７Ｂ）にあるＲ７Ｂは、下側Ｒ画素であり、位置（ｘ３、ｙ７Ｂ）にあるＲ８Ｂは、下側Ｒ画素であり、位置（ｘ５、ｙ７Ｂ）にあるＲ９Ｂは、下側Ｒ画素である。これらの３つの下側Ｒ画素の画素値は加算される。他の上側Ｒ画素および下側Ｒ画素の加算値を求めることにより、Ｒ画素について、位相差を算出することができる。同様に、Ｂ画素、Ｇｒ画素、Ｇｂ画素についても、上側画素値および下側画素値を算出し、位相差を算出することができる。また、Ｇｒ１Ｔ、Ｇｒ２Ｔ、Ｇｒ３Ｔの上側Ｇ画素の加算値と、Ｇｂ１Ｂ、Ｇｂ２Ｂ、Ｇｂ３Ｂの下側Ｇ画素の加算値の対で位相差を検出する。これにより、Ｒ画素、Ｂ画素の対よりも空間的により近い加算画素値を用いてより高い精度で位相差を検出することができる。
図１２Ｂは、偶数フレームにおける画素読み出しおよび画素加算を示す図である。ｙ１Ｂ行の位置（ｘ１、ｙ１Ｂ）にあるＲ１Ｂは、下側Ｒ画素であり、位置（ｘ３、ｙ１Ｂ）にあるＲ２Ｂは、下側Ｒ画素であり、位置（ｘ５、ｙ１Ｂ）にあるＲ３Ｂは、下側Ｒ画素である。これらの３つの下側Ｒ画素の画素値は加算される。
同様に、ｙ７Ｔ行の位置（ｘ１、ｙ７Ｔ）にあるＲ７Ｔは、上側Ｒ画素であり、位置（ｘ３、ｙ７Ｔ）にあるＲ８Ｔは、上側Ｒ画素であり、位置（ｘ５、ｙ７Ｔ）にあるＲ９Ｔは、上側Ｒ画素である。これらの３つの上側Ｒ画素の画素値は加算される。偶数フレームにおいても、他の上側Ｒ画素および下側Ｒ画素の加算値を求めることにより、Ｒ画素について、位相差を算出することができる。同様に、Ｂ画素、Ｇｒ画素、Ｇｂ画素についても、上側画素値および下側画素値を算出し、位相差を算出することができる。また、Ｇｒ１Ｂ、Ｇｒ２Ｂ、Ｇｒ３Ｂの下側Ｇ画素の加算値と、Ｇｂ１Ｔ、Ｇｂ２Ｔ、Ｇｂ３Ｔの上側Ｇ画素の加算値の対で位相差を検出する。これにより、Ｒ画素、Ｂ画素の対よりも空間的により近い加算画素値を用いて、より高い精度で位相差を検出することができる。
次に、本発明の第３実施形態について説明する。第１実施形態および第２実施形態では、スルー画および動画像を作成する際のフレーム加算処理において、被写体がフレームレートに対して早い速度で動いている場合に、フレームの加算処理により被写体のブレが大きくなってしまう。このブレの影響を防ぐために、次の処理を行う。
図９に示したように、フレーム毎に加算処理を行う際、位相差検知結果より、ピントの合っている画素であるかを判断し、ピントの合っている画素はフレーム加算せずに、そのフレームの画素値を２倍にする。ピントの合っている画素は右側画素と左側画素の画素値が同じになるため、２フレームの画素値をそれぞれの画素位置毎に加算しなくても、１フレームの画素値を２倍にすることで正常な画像を得ることが出来る。この画像処理を行うことにより、フレーム加算を行った際に発生する被写体ブレの増加を防ぐことができる。
具体的には、加算にあたって、ピントの合っていない画素については、奇数フレームの第１列（例えば、ｘ１Ｌ列）の左側画素信号（Ｒ１Ｌ）と、偶数フレームの第１列（例えば、ｘ１Ｒ列）の右側画素信号（Ｒ１Ｒ）を加算する。また、奇数フレームの第２列（例えば、ｘ２Ｒ列）の右側画素信号（Ｇｒ１Ｒ）と、偶数フレームの第２列（例えば、ｘ２Ｌ列）に左側画素信号（Ｇｒ１Ｌ）を加算する。
これに対して、ピントの合っている画素は、奇数フレームの第１列（例えば、ｘ１Ｌ列）の左側画素信号（Ｒ１Ｌ）を２倍にした値を使用し、また、奇数フレームの第２列（例えば、ｘ２Ｒ列）の右側画素信号（Ｇｒ１Ｒ）を２倍にした値を使用する。この処理は、奇数フレームに拘る必要はなく、偶数フレームでも良い。また、加算する２つの画像の先のフレームや後のフレームに対して、画素信号を２倍にするようにしても良い。
同一フレームの画像の中で、ピントの合っていない画素はフレーム加算が必要なため、被写体ブレは大きくなる。しかし、そもそもピントの合っていない部分であるため、被写体ブレの大きさは影響しにくい。そこで、加算する際に位相差検知結果よりピントが合っている画素であるかを判断し、ピントの合っている画素はフレーム加算せずに画素値を２倍にする。
以上説明したように、本発明の各実子形態や変形例においては、複数の撮像フレームのうちの第１のフレーム（例えば、奇数フレーム）では、マイクロレンズの第１の列（例えば、図５Ａのｘ１）に対応する第１の画素部の画素信号（例えば、Ｇｂ１Ｌ、Ｇｂ２Ｌ、Ｇｂ３Ｌ）を列方向に加算して第１の画素加算信号（例えば、図６のＧｂ’１Ｌ）を生成し、第１の列と異なる第２の列（例えば、図５のｘ２）に対応する第２の画素部の画素加算信号（例えば、Ｇｒ１Ｒ、Ｇｒ２Ｒ、Ｇｒ３Ｒ）を列方向に加算して第２の画素信号を生成してそれぞれ出力し、第１のフレームに続く第２のフレーム（例えば、偶数フレーム）では、第１の列に対応する第２の画素部の出力（例えば、Ｇｂ１Ｒ、Ｇｂ２Ｒ、Ｇｂ２３）を列方向（例えば、ｘ１）に加算して第３の画素加算信号（例えば、図６のＧｂ’１Ｒ）を生成し、第２の列に対応する第１の画素部の出力（例えば、Ｇｒ１Ｌ、Ｇｒ２Ｌ、Ｇｒ３Ｌ）を列方向に加算して第４の画素加算信号（例えば、Ｇｒ’１Ｌ）を生成してそれぞれ出力している。このため、簡単な構成で位相差ＡＦ用を出力でき、またこの位相差ＡＦ用の画素信号から画像生成用のデータを生成することができる。
また、本発明の各実施形態や変形例においては、撮像素子の内の隣り合う列の画素において、列方向の同色の加算画素信号を用いて、位相差ＡＦを行う。具体的には、位相差検出のために各マイクロレンズに対応して対をなすように、２つの画素（フォトダイオード（ＰＤ））を配置する。また、各マイクロレンズに対応して、Ｒ、Ｇ、Ｂのいずれかのカラーフィルタを配置し、それぞれの画素からＲ画素信号、Ｇ画素信号、Ｂ画素信号が出力される。ＲＧＢの各画素列の内、同色であって、隣り合う列の列方向の加算画素信号を対として用いて、位相差ＡＦを行う（図５Ａ、図６等参照）。この構成を採用することにより、１つの撮影フレームにおいて、ＲＧＢ画素からは、左側画素および右側画素のいずれ一方の信号しか出力されないが、隣り合う列の列方向で異なる側の対をなす加算画素信号が出力されるので、１つの撮影フレームにて同色の対をなす加算画素信号を用いれば、位相差検出を行うことが可能となる。
また、本発明の各実施形態や変形例においては、２分割したＰＤの出力を加算する場合、列毎に加算する分割方向（対の一方）を変え、さらにフレーム交互に異なる側（対の一方）のＰＤ出力を合成している。具体的には、列毎に、２分割の内の例えば左側画素の画素信号を出力するか、右側画素の画素信号を出力するかを、異ならせている。さらに、撮影フレームが、奇数フレームであるか、偶数フレームであるかに応じて、列毎に加算する分割方向（対の一方）を変えている。例えば、同一の画素を含む加算画素信号について、奇数フレームにおいて左側画素の加算画素信号を出力した場合には、偶数フレームにおいては、右側画素の加算画素信号を出力するようにしている（図５Ａ、図５Ｂ参照）。
また、本発明の各実施形態や変形例においては、連続する２つの撮影フレームの画像を合成することで、スルー画・動画像を作成し、表示・記録している。具体的には、フレーム毎に、列毎に加算する分割方向（対の一方）を交互に変えている。そして、奇数フレームと偶数フレームで対応する画素位置の画素信号を加算し、スルー画・動画用の画像を生成する（図９参照）。このため、２フレーム分の撮影フレームの画素信号があれば、左側画素と右側画素を加算し、ＲＧＢ画素について瞳分割の影響を受けない適正な画像データを得ることができる。
また、本発明の各実施形態や変形例においては、２つの撮影フレームの画像を合成してスルー画・動画像を作成する際に、ピントの合っている画素については、画素信号の加算を行わない。具体的には、位相差ＡＦによってピントが合っているか否かを判定することができ、この結果に基づいて、２つの画素信号の加算を行うか否かを決めている。画素信号の加算を行わない場合には、一方の画素信号を２倍にすればよい。このため、２つの撮影フレームの間で、被写体が移動している等の場合であっても、被写体のブレが目立たなくすることができる。
なお、本発明の各実施形態や変形例においては、画素信号の加算方向が撮像素子の縦（垂直）方向を列方向としていた。しかし、列方向としては、縦方向に限らず横（水平）方向としてももちろん構わない。また、本発明の各実施形態や変形例においては、画素信号を、列方向に３画素分、加算しているが、加算数は３画素分に限らず、他の数値でもよく、１画素であってもよい（この場合には、実質的には加算演算を省略できる）。また、本発明の各実施形態や変形例においては、撮像素子１０７の全撮像面に、位相差検出用に分割ＰＤを配置している。しかし、これに限らず、測距エリアの領域等、必要なエリアに位相差検出ようの分割ＰＤを配置するようにしてもよい。
また、本発明の各実施形態や変形例においては、ＡＥ回路１０８、ＡＦ回路１０９、画像処理回路１１０、不揮発性メモリ１１３、内蔵メモリ１１４、圧縮伸張回路１１５等の全部または一部を、ＣＰＵ１１７およびその周辺回路と一体化してもよい。また、ＡＥ回路１０８、ＡＦ回路１０９、画像処理回路１１０、圧縮伸張回路１１５等は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。また、ＣＰＵに限らず、コントローラとしての機能を果たす素子であればよい。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、位相差ＡＦを採用する機器であれば、本発明を適用することができる。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
２１・・・垂直走査部、２２・・・画素部、２３・・・画素信号処理部、２３ａ・・・アナログ処理部、２３ｂ・・・ＡＤＣ処理部、２５・・・メモリ部、２６・・・水平走査部、２７・・・出力部、２８・・・入力部、２９・・・素子制御部、３０・・・読出方法選択部、１００・・・撮像装置、１０１・・・レンズ、１０２・・・モータ、１０３・・・フォーカス制御部、１０４・・・絞り機構、１０５・・・モータ、１０６・・・絞り制御部、１０７・・・撮像素子、１０８・・・ＡＥ回路、１０９・・・ＡＦ回路、１１０・・・画像処理回路、１１１・・・ＬＣＤドライバ、１１２・・・ＬＣＤ、１１３・・・不揮発性メモリ、１１４・・・内蔵メモリ、１１５・・・圧縮・伸張回路、１１６・・・着脱メモリ、１１７・・・ＣＰＵ、１１８・・・入力部、１１９・・・電源

Claims (6)

  1. 行列状に２次元に配置される複数のマイクロレンズと、それぞれのマイクロレンズに対応して配置され、対をなす第１の画素部と第２の画素部と、を有する画素部と、
    複数の上記第１の画素部の画素信号を加算した画素信号、または複数の上記第２の画素部の画素信号を加算した画素信号により撮像フレームを構成し、該撮像フレームに対応して画素信号を繰り返し出力する画素信号生成部と、
    を有し、
    上記画素信号生成部は、
    上記複数の撮像フレームのうちの第１のフレームでは、上記マイクロレンズの第１の列に対応する上記第１の画素部の画素信号を列方向に加算して第１の画素加算信号を生成し、上記第１の列と異なる第２の列に対応する上記第２の画素部の画素信号を列方向に加算して第２の画素加算信号を生成してそれぞれ出力し、
    上記第１のフレームに続く第２のフレームでは、上記第１の列に対応する上記第２の画素部の出力を列方向に加算して第３の画素加算信号を生成し、上記第２の列に対応する上記第１の画素部の出力を列方向に加算して第４の画素加算信号を生成してそれぞれ出力する、
    ことを特徴とする撮像素子。
  2. 上記画素信号生成部は、上記第１の列と第２の列は隣接しており、この隣接した第１および第２の列の第１及び第２の画素部の画素信号を列方向に加算して画素加算信号を生成することを特徴とする請求項１に記載の撮像素子。
  3. 請求項１または請求項２に記載の撮像素子を有する撮像装置において、
    上記撮像素子の出力する画素加算信号を入力して位相差検出を行う位相差検出部を有し、
    上記位相差検出部は、上記第１の画素加算信号と第２の画素加算信号に基づき位相差検出を行う、または、上記第３の画素加算信号と第４の画素加算信号に基づいて位相差検出を行うことを特徴とする撮像装置。
  4. 上記撮像素子の出力する画素信号を入力した表示または記録用画像データを生成する制御部を有し、
    上記制御部は、上記第１の画素信号と上記第４の画素信号を加算し、上記第２の画素信号と上記第３の画素信号を加算して表示または記録用の画像データを生成する、
    ことを特徴とする請求項３に記載の撮像装置。
  5. 上記位相差検出部は、上記撮像フレームの画素信号に基づく位相差検出により、上記撮像フレーム内で合焦部分と非合焦部分を判定し、
    上記制御部は、上記合焦と判定された部分では、上記第１の画素信号と上記第４の画素信号の加算、および上記第２の画素信号と上記第３の画素信号の加算の加算をせず、上記第１の画素信号と第２の画素信号、または上記第３の画素信号と第４の画素信号を補正して表示または記録用の画像データを生成する、
    ことを特徴とする請求項４に記載の撮像装置。
  6. 行列状に２次元に配置される複数のマイクロレンズとそれぞれのマイクロレンズに対応して配置された対をなす第１の画素部と第２の画素部と、を有する画素部を備えた撮像装置における撮像方法において、
    複数の上記第１の画素部の画素信号を加算した画素信号、または複数の上記第２の画素信号を加算した画素信号により撮像フレームを構成し、該撮像フレームに対応して画素信号を繰り返し出力し、
    上記複数の撮像フレームのうちの第１のフレームでは、上記マイクロレンズの第１の列に対応する上記第１の画素部の画素信号を列方向に加算して第１の画素加算信号を生成し、上記第１の列と異なる第２の列に対応する上記第２の画素部の画素加算信号を列方向に加算して第２の画素信号を生成してそれぞれ出力し、
    上記第１のフレームに続く第２のフレームでは、上記第１の列に対応する上記第２の画素部の出力を列方向に加算して第３の画素加算信号を生成し、上記第２の列に対応する上記第１の画素部の出力を列方向に加算して第４の画素加算信号を生成してそれぞれ出力する、
    ことを特徴とする撮像方法。
JP2018235610A 2018-12-17 2018-12-17 撮像素子、撮像装置、および撮像方法 Pending JP2020098968A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018235610A JP2020098968A (ja) 2018-12-17 2018-12-17 撮像素子、撮像装置、および撮像方法
US16/691,432 US11171169B2 (en) 2018-12-17 2019-11-21 Image sensor, imaging device and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018235610A JP2020098968A (ja) 2018-12-17 2018-12-17 撮像素子、撮像装置、および撮像方法

Publications (1)

Publication Number Publication Date
JP2020098968A true JP2020098968A (ja) 2020-06-25

Family

ID=71072949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018235610A Pending JP2020098968A (ja) 2018-12-17 2018-12-17 撮像素子、撮像装置、および撮像方法

Country Status (2)

Country Link
US (1) US11171169B2 (ja)
JP (1) JP2020098968A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021774A1 (ja) * 2021-08-17 2023-02-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置を備える電子機器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210087809A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049283A (ja) 2013-08-30 2015-03-16 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2019106634A (ja) * 2017-12-13 2019-06-27 オリンパス株式会社 撮像素子及び撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021774A1 (ja) * 2021-08-17 2023-02-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置を備える電子機器

Also Published As

Publication number Publication date
US20200194484A1 (en) 2020-06-18
US11171169B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
JP6253272B2 (ja) 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体
JP6944846B2 (ja) 撮像装置、撮像装置の制御方法
JP6476065B2 (ja) 撮像装置及び撮像装置の制御方法
JP2019054461A (ja) 撮像装置および撮像方法
JP4622790B2 (ja) 撮像素子および撮像装置
JP2011059337A (ja) 撮像装置
JP5746521B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6351231B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6678504B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6947590B2 (ja) 撮像装置、撮像装置の制御方法
US8902294B2 (en) Image capturing device and image capturing method
JP5100410B2 (ja) 撮像装置及びその制御方法
JP2020053771A (ja) 画像処理装置、撮像装置
JP2012049994A (ja) 撮像装置および単板カラー固体撮像素子
JP2020098968A (ja) 撮像素子、撮像装置、および撮像方法
JP2020012879A (ja) 撮像素子、焦点検出装置、撮像方法、および焦点検出方法
JP2017194558A (ja) 撮像装置および撮像方法
JP6444254B2 (ja) 焦点検出装置、撮像装置、焦点検出方法、プログラム、及び記憶媒体
JP7277284B2 (ja) 焦点調節装置および焦点調節方法
JP2007088842A (ja) 撮像装置、および撮像素子の駆動方法
JP5142807B2 (ja) 撮像装置及びその制御方法
JP6184132B2 (ja) 撮像装置および画像処理方法
JP2013254024A (ja) 撮像装置および撮像装置の制御方法
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
US20220385875A1 (en) Device, capturing device, control method, and storage medium