JP2015207815A - 撮像素子および撮像素子を備えた撮像装置 - Google Patents

撮像素子および撮像素子を備えた撮像装置 Download PDF

Info

Publication number
JP2015207815A
JP2015207815A JP2014085504A JP2014085504A JP2015207815A JP 2015207815 A JP2015207815 A JP 2015207815A JP 2014085504 A JP2014085504 A JP 2014085504A JP 2014085504 A JP2014085504 A JP 2014085504A JP 2015207815 A JP2015207815 A JP 2015207815A
Authority
JP
Japan
Prior art keywords
pixels
arrangement
color
predetermined number
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014085504A
Other languages
English (en)
Inventor
木村 正史
Masashi Kimura
正史 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014085504A priority Critical patent/JP2015207815A/ja
Publication of JP2015207815A publication Critical patent/JP2015207815A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】カラーフィルタおよび瞳分割パターンが互いに素ではない場合においてもカラー出力画像を得られる撮像素子を提供する。
【解決手段】撮像素子は、被写体像の画素信号を生成する画素の2次元配列を有する撮像手段と、画素の2次元配列に対して第1の所定数の画素の配列の周期で前記撮像手段の撮像面に2次元に配置され、撮影光学系の射出瞳を分割する複数の瞳分割手段と、第2の所定数の画素の配列の周期を有する所定の色配列パターンに従って、2次元配列の各画素に配置された所定の複数の色のカラーフィルタ手段とを備え、第1の所定数の画素の配列に対する所定の複数の色のカラーフィルタの配列パターンと瞳分割手段による第1の所定数の画素の配列における射出瞳の分割パターンとの対応が隣接する瞳分割手段について異なり、第1の所定数と前記第2の所定数は互いに素ではないことを特徴とする。
【選択図】図1

Description

本発明は、カメラなどに利用される撮像素子および撮像素子を備えた撮像装置に関し、特に光線空間情報を取得可能な撮像素子および前記撮像素子からの信号に対し画像処理を施して出力画像を生成する撮像装置に関する。
近年、撮像素子で視点の異なる複数の画像を得ることで焦点検出を行う装置が提案されている。さらには視点の異なる画像の取得とカラー撮像を両立させるための提案もなされている。
特許文献1では、被写体空間の光の2次元強度分布と光線の角度情報、つまり視点の異なる画像を同時に取得する撮像装置が開示されている。ここで、光の2次元強度分布と光線の角度情報を合わせて光線空間情報(=ライトフィールド情報)と呼び、光線空間情報を取得することで被写体空間の3次元的な情報を得ることができる。特許文献1の撮像装置では、複数の画素にまたがるようにマイクロレンズを設けるとともに、カラーフィルタを画素ごとに設け、色補間処理は同一マイクロレンズ下にある画素で行っている。
また、前述の光線空間情報を取得できるカメラにおける色補間処理の別の構成として、特許文献2では、各マイクロレンズに対応する画素領域ごとに同じ位置の画素で色補間処理を行っている。
特開2007−4471号公報 特開2009−124213号公報
しかし、特許文献1で開示されている装置に備えられた撮像素子は、一つのマイクロレンズ下に複数(5x5=25個)の画素が、いわゆるBayer配列に従って配列されている。同一マイクロレンズ下の画素で色補間処理を施すが、取得される特定視点の画像は単色になってしまう可能性がある(単色になる理由は後述する)。
特許文献2で開示されている装置は、各マイクロレンズに対応する画素領域ごとに同じ位置の画素で色補間処理を施す。特許文献2では、カラーフィルタの単位配列と各マイクロレンズに対応する画素領域の一辺の画素数が互いに素になるような関係を想定している。互いに素の場合には、特定視点の画像はカラーで得られるが、後述するように一般的なカラーフィルタ配列を用いた場合には絞り込んだ状態での測距が出来ない。一方で、互いに素ではないような場合には、特許文献1と同じように特定視点の画像が単色となり色補間処理を施すことが出来ない。
そこで本発明の目的は、カラーフィルタおよび瞳分割パターンが互いに素ではない場合においてもカラー出力画像を得られ、かつ色補間処理による演算負荷を軽減可能な撮像素子を提供することである。さらには、色補間処理による演算負荷を軽減可能な処理方法を提供する。
上記目的を達成するために、本発明によれば、撮像素子は、撮影光学系で形成された被写体像を光電変換して画素信号を生成する画素の2次元配列を有する撮像手段と、画素の2次元配列に対して第1の所定数の画素の配列の周期で前記撮像手段の撮像面に2次元に配置され、撮影光学系の射出瞳を分割する複数の瞳分割手段と、第2の所定数の画素の配列の周期を有する所定の色配列パターンに従って、2次元配列の各画素に配置された所定の複数の色のカラーフィルタ手段とを備え、第1の所定数の画素の配列に対する所定の複数の色のカラーフィルタの配列パターンと瞳分割手段による第1の所定数の画素の配列における射出瞳の分割パターンとの対応が隣接する瞳分割手段について異なり、第1の所定数と前記第2の所定数は互いに素ではないことを特徴とする。
発明によれば、カラーフィルタおよび瞳分割パターンが互いに素ではない場合においてもて、特定の視点の画像についてカラー出力画像を得られる撮像素子を提供することができる。
本発明の実施例に係わる撮像素子のカラーフィルタおよび瞳分割画素の配列を説明するための図 本発明の実施例に係わる適用される撮像装置の中央断面図およびブロック図 瞳分割部を構成するマイクロレンズの配置構成およびその作用を説明するための図 本発明の対象ではないカラーフィルタおよび瞳分割画素の配列を説明するための図 本発明の実施例に係わる撮像素子のカラーフィルタおよび瞳分割の配列の別の例および本発明が対象外とする配列を説明するための図 カラーフィルタおよび瞳分割画素の配列が互いに素であるか否かによる違いを説明するための図
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
以下、図1から図6を参照して、本発明の実施例に係わる撮像素子および当該撮像素子を備えた撮像装置について説明する。
図1は、本発明の撮像素子のカラーフィルタおよび瞳分割画素の配列を説明するための図であるが、その説明は後述する。ここでは、最初に、本実施例に係わる撮像装置が適用される撮像装置の構成を、図2を用いて説明する。
図2(a)は撮像装置であるデジタルカメラおよびレンズの中央断面図、図2(b)は電気的構成を示すブロック図である。図2(a)および図2(b)で対応する部分は、同一の符号が付して示す。
図2(a)において、1は撮像装置、2は撮像装置1に装着するレンズユニット、3は複数のレンズからなる撮影光学系、4は撮影光学系の光軸、6は撮像素子、9は背面表示装置である表示部、11は撮像装置1とレンズユニット2の電気接点をそれぞれ示す。また、12はレンズユニット2に設けられたレンズシステム制御部、14はクイックリターン機構、16は撮像装置1に設けられたファインダ表示部をそれぞれ示す。
図2(b)において、撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。撮像装置1およびレンズユニット2からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系3、撮像素子6を含み、画像処理系は、画像処理部7を含む。また、記録再生系は、メモリ部8、表示部9を含み、制御系は、カメラシステム制御部5、操作検出部10、およびレンズシステム制御部12、レンズ駆動部13を含む。レンズ駆動部13は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。
撮像系は、物体(被写体)からの光を、撮影光学系3を介して撮像素子6の撮像面に結像する光学処理系である。撮像素子6の撮像面上にはマイクロレンズが格子状に配置してあり(2次元配列)、いわゆるマイクロレンズアレイ(以下 MLA)を形成している。MLAは、本実施例においては、光線制御部(瞳分割手段)を構成する。MLAの機能や配置の詳細については図3を用いて後述する。
撮像素子6の出力からは、ピント評価量/適当な露光量が得られるので、この信号に基づいて適切に撮影光学系3を調整することで、適切な光量の物体光を撮像素子6に露光するとともに、撮像素子6の近傍で被写体像が結像する。
画像処理部7は、内部にA/D変換器、ホワイトバランス調整部、ガンマ補正部、補間演算部等を有しており、画像の記録信号を生成することができる。また、画像処理部7は、色補間処理部を備え、ベイヤ配列の信号に色補間(デモザイキング)処理を施してカラー画像を生成する。なお、画像処理部7はカメラシステム制御部5に含めることができ、その場合、カメラシステム制御部5は制御プログラムを実行することで画像処理部7の機能を実現する。本実施例では、これらの要素はカメラシステム制御部5内に配置する場合を想定して記載する。
メモリ部8は実際の記憶部に加えて記録に必要な処理部を備えている。メモリ部8は、記録部へ出力を行うとともに、表示部9に出力する像を生成、保存する。また、メモリ部8は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
カメラシステム制御部5は、不図示の制御システムに記憶したプログラムを実行することで、単写モード、連写モード、動画撮影などの撮影モードでの撮像の際のタイミング信号などを生成して出力する。外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部10が検出して、撮像素子6の駆動、画像処理部7の動作、メモリ部8の圧縮処理などを制御する。さらに表示部9によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。また、表示部9はタッチパネルを備え、操作検出部10に接続されている。
制御系による光学系の調整動作について説明する。カメラシステム制御部5には画像処理部7が接続されており、撮像素子6からの信号に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御部5は、電気接点11を介してレンズシステム制御部12に指令を出し、レンズシステム制御部12はレンズ駆動部13を適切に制御する。さらにレンズシステム制御部12には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動部13を介してブレ補正レンズを適切に制御する。
図3は、本実施例に係わる撮像素子と撮影光学系の要部を説明する図である。本発明は複数の視点からの被写体像を取得する装置に関し、本実施例では、複数の視点からの被写体像を取得するための構成を瞳分割手段である撮影光学系3の結像面近傍にMLA20を配置し、かつ層内レンズ371,372を配置している。これにより、一つの撮像素子において複数の視点からの被写体像の取得を可能にしている。瞳分割手段によって複数の視点からの被写体像を同時に取得可能であるので、本実施例にて示す撮像装置はいわゆる光線空間情報を取得可能な撮像装置であるといえる。
図3(a)は撮像素子6とMLA320の配置関係を模式的に示す図で、撮像装置の横からと、正面からMLA310を見た状態を示している。図3(b)は撮像素子の画素とMLA320の対応を模式的に示す図である。図3(c)はMLA320によってMLA320下に設けられた画素が撮影光学系の特定の瞳領域と対応づけられることを模式的に示す図である。なお、本実施例では、1つの光電変換部を1つの画素と呼ぶことにする。
図3(a)に示すように撮像素子6の撮像面にはMLA310が設けられており、MLA310の前側主点が撮影光学系3の結像面近傍になるように配置され、撮像装置正面から見るとMLA310のレンズが撮像素子6上の画素を覆うように配置されている。なお、図3(a)ではMLA310を構成する各マイクロレンズ320を見やすくするために、大きく記載したが、実際には各マイクロレンズ320は画素の数倍程度の大きさしかない。なお、実際の大きさについては図3(b)を用いて説明する。
図3(b)は、図3(a)の装置正面からの図の一部を拡大した図である。図3(b)に示す格子状の枠は、撮像素子6の各画素を示している。一方、MLA310を構成する各マイクロレンズは太い円320−1,320−2,320−3,320−4で示した。図3(b)から明らかなように、マイクロレンズの1つに対して複数(第1の所定数)の画素(後述の単位分割配列)が割り当てられており、図3(b)の例では、2行×2列=4個の画素が1つのマイクロレンズに対して設けられている。すなわち各マイクロレンズの大きさは画素の大きさの2倍×2倍の大きさである。ここでマイクロレンズ320−1の下にある4つの画素を321−1,321−2,321−3,321−4として以下の説明を行う。マイクロレンズ320−1以外のマイクロレンズ320においても同様の光学的な関係が成り立っている。
図3(c)は撮像素子6を、マイクロレンズ320の光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図3(c)の341、342は撮像素子6の画素(光電変換部)を示している。一方、図3(c)の上方に示した図は撮影光学系3の射出瞳面を示している。実際には、図3(c)の下方に示したセンサの図と方向を合わせると、射出瞳面は図3(c)の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図3(c)においては説明を簡単にするために、1次元の投影/信号処理について説明する。実際の装置においては、これを容易に2次元に拡張することができる。
図3(c)では奥行が表現されていないので、画素が341,342と示されるように2つ見えている。これは図3(b)のx方向に隣接する画素321−3、321−4または321−1,321−2のいずれかの組に対応していると考えれば良い。図3(c)に示すように、MLA310のマイクロレンズ320によって層内レンズ371,372の入射瞳面と撮影光学系3の射出瞳面は共役になるように設計されている。さらに層内レンズ371,372に届いた光はカラーフィルタ331,332を通過して、光電変換部341,342に入射する。結果として層内レンズ371,372によって混色を防止しながら、光電変換部341,342には撮影光学系3の射出瞳面の特定の領域の光束のみが入射することになる。
図3(c)の例では画素321−1と領域351−1が、画素321−2と領域351−2が、画素321−3と領域351−3が、画素321−4と領域351−5がそれぞれ対応している。すなわち画素321−1には撮影光学系3の射出瞳面上の領域351−1を通過した光束のみが入射する。他の画素も同様である。さらに隣接するマイクロレンズ320も撮影光学系3の射出瞳面上の同じ領域と対応している。結果として、瞳面上での通過領域と撮像素子6上の位置関係から角度の情報を取得することが可能となる。図3で説明した光学系から複数の視点の異なる像を生成するには、前述の特徴を生かして各マイクロレンズの同じ瞳面に対応する画素を配列する。これにより画像処理装置の入力画像である複数の視点の異なる像を生成する。
図3(c)に示す光線363,364,365,366について説明する。光線363,364はそれぞれ撮影光学系3の射出瞳面の領域351−1、351−3および領域351−2、351−4からマイクロレンズ320の中心に向かう光線を示している。この光線と光軸(Y軸,y軸)が層内レンズ371,372に対応していることから層内レンズ371,372の入射瞳面と撮影光学系3の射出瞳面が対応していることを示している。光線365,366はそれぞれ撮影光学系3の射出瞳と光軸の交点からマイクロレンズ320の端部に向かう光線を示している。この光線が層内レンズ371,372上で結像していることから入射瞳面と撮影光学系3の射出瞳面が共役であることを示すとともに、マイクロレンズ320に入射した光束が積分されることを示している。これは空間的な分解能がマイクロレンズ320によって制限されることを示唆している。
図1、図4から図6を用いて本発明の要部であるカラーフィルタの配置パターンとマイクロレンズに対応する画素配列との関係について説明する。
まず、図1を用いて本実施例でのカラーフィルタおよび瞳分割パターンを説明する。図1は、本発明の撮像素子上のカラーフィルタおよび瞳分割構造の配列を説明する図である。同図において、図1(a)は、本実施例に係わる撮像素子6のカラーフィルタおよび瞳分割部のパターン、図1(b)は特定の視点からの画像の画素の配列、図1(c)は視点情報を破棄して処理する際の画素を説明するための図である。また、図1(d)は色補間後の画像データの画素を、図1(e)および(f)は本実施例に係わる配列パターンの他の例をそれぞれ説明するための図である。なお、図1(a)−(f)は、最小色配列=2x2、最小分割配列=2x2である場合の配列パターンの例を示しているが、最小色配列および最小分割配列の定義については後述する。
図1(a)を用いて、本実施例に係わるカラーフィルタおよび瞳分割のパターンの一例を説明する。
図1(a)に実線で示す円101〜104はマイクロレンズ320を、細い実線の正方形は画素を示している。図3を用いて説明したように、マイクロレンズ320と層内レンズ371又は372が瞳分割手段を形成しており、本実施例の撮像素子6のすべての画素は射出瞳の一部の領域の光束を取得するように形成されている。
図1(a)において、クロスハッチングがなされている画素は赤(R)のカラーフィルタ、左下がりのハッチングがなされている画素は緑(G)のカラーフィルタ、右下がりのハッチングがなされている画素は青(B)のカラーフィルタである。図1(a)から明らかなように、同一マイクレンズ下においてはカラーフィルタは画素ごとに形成され、いわゆるベイヤ配列をなしている。ベイヤ配列は、R,G,G,Bの4色(第2の所定数)を最小の単位として繰り返し配列したカラーフィルタの配列パターンである。本実施例では、カラーフィルタの色配列の最小単位を最小色配列として定義する。本実施例に係わるベイヤ配列の場合、最小色配列は2x2である。ただし、本発明においては、最小色配列を単に繰り返し配列するのではなく、後述するように、各マイクロレンズにおいてベイヤ配列の開始位相を変化させている。開始位相については後述する。
図1(a)の瞳分割手段は、マイクロレンズについて見た場合、2×2の4つの色配列パターンを持っている。すなわち、マイクロレンズ101に着目すると、B1の画素が左上、Gb2が右上、Gr3が左下、R4が右下となっている。これらの画素には、図3で説明したように、撮影光学系3の射出瞳面の対応する特定の領域からの光束のみが入射する。本実施例に係わるカラーフィルタの色配列では、縦方向および横方向に2つの位相を設けて、マイクロレンズの配列に対応して2×2のパターンを繰り返す。この配列パターンの大きさは、本実施例の光学系では、図3に示す構成から明らかなように、瞳分割手段であるマイクロレンズ下に存在する層内レンズ及び光電変換部の数(第1の所定数)によって決まる。図1(a)の例では最小分割配列は2x2であり、後述するように、カラーフィルタの色配列パターンと瞳分割パターンとの組み合わせパターンを有する。
図1(a)において画素内に書いたR1などの文字はカラーフィルタの色と瞳分割のパターンを示している。カラーフィルタの色パターンは、前にある英文字が対応し、Rは赤、GrはR行にある緑、GbはB行にある緑、Bは青を示している。一方、瞳分割パターンは後ろにある数字が対応し、1は左上、2は右上、3は左下、4は右下に対応している。この表記から分かるように、図1(a)のマイクロレンズ101,102,103,104は、異なるカラーフィルタの配列パターンを有している。
さらに具体的に説明すると、図1(a)において横方向に隣接しているマイクロレンズ101とマイクロレンズ102については、カラーフィルタパターンをマイクロレンズ101と102間で左右対称とする。すなわちマイクロレンズ101については最小分割配列の左上に位置している青(B1)フィルタに対して、マイクロレンズ102では左右対称となる右上(B2)に位置させる。その結果、青(B)フィルタは、マイクロレンズ101では瞳分割パターン1(左上)に対応し、マイクロレンズ102では、瞳分割パターン2(右上)に対応する。同様に、マイクロレンズ102の他の色も左右対称になるようにカラーフィルタパターンを変えることで、マイクロレンズ102の最小分割配列の色パターンは、図1(a)に示すように左上から時計周りにGb1,B2,Gr4、R3とする。
縦方向に隣接しているマイクロレンズ101とマイクロレンズ103については、カラーフィルタパターンを隣接するマイクロレンズ間で上下対称にする。すなわち、マイクロレンズ101の最小分割配列では左上に位置する青フィルタ(B1)に対して、マイクロレンズ103では上下対称な左下の位置(B3)にする。その結果、青(B)フィルタはマイクロレンズ101では瞳分割パターン1(左上)に対応し、マイクロレンズ103では瞳分割パターン3(左下)に対応する。同様に、マイクロレンズ102の他の色も上下対称になるようにカラーフィルタパターンを変えることで、マイクロレンズ103の最小分割配列の色パターンは、図1(a)に示すように左上から時計周りにGr1,R2,Gb4、B3とする。
以下同様にして、マイクロレンズ104の最小分割配列のカラーフィルタの色パターンは、マイクロレンズ102と上下対称になるようにする。この時マイクロレンズ104の色パターンは、自動的にマイクロレンズ103の色パターンと左右対称になる。結果として、マイクロレンズ104の最小分割配列は左上から時計周りにR1、Gr2、B4、Gb3で構成される。このマイクロレンズ101〜104の4×4の配列パターン(後述する最小単位配列)を無限に繰り返すことで撮像素子全体の瞳分割パターンを構成する。
上述したように、本実施例では、隣接するマイクロレンズ101とマイクロレンズ102やマイクロレンズ101とマイクロレンズ103などで、カラーフィルタの開始パターンを異ならせている。例えば、マイクロレンズ101では、最小分割配列の左上に対応する色は青(B)であり、マイクロレンズ102では左上に対応する色はGbになっている。他の隣接するマイクロレンズについてもカラーフィルタの配列開始パターンが異なっている。
上記の操作を繰り返すことで、マイクロレンズ101,102,103,104で構成される4×4の16画素(第3の所定数)を単位として同じ配列が繰り返されることになる。この4×4の配列を最小単位配列として定義する。最小単位配列は、最小色配列、最小分割配列および分割配列の位相変化の規則(図1(a)の例では隣接する最小色配列の左右方向は左右対称、上下方向は上下対象としたような規則のこと)によって支配される。
なお、分割または色配列のパターンを変化させない場合は本発明の対象ではない配列(特定のアプリケーションを考えた場合には必ずしも好ましくない配列であり、最小色配列と最小分割配列が互いに素ではない状態の例)である。
ここで、最小単位配列の大きさについて述べる。最小色配列をnc×mc、最小分割配列をnd×mdとして、ncとndの最大公約数をnp、mcとmdの最大公約数をmp、とするとき、npまたはmpが1でない場合に、最小単位配列が(nc×nd/np)×(mc×md/mp)となる。具体的には、色配列が2×2で分割配列が2×2の場合、縦、横ともに最大公約数は2なので、(2×2/2)×(2×2/2)=2×2となり、最小単位配列は2×2のパターンとなる。この場合については図4を用いて後述するが、色配列パターンをマイクロレンズ単位で変化させないと、特定の視点の画像はモノカラー画像になってしまい、特定視点の画像を出力するようなアプリケーションには適さない撮像装置となってしまう。一方、図1(a)の例によれば、図1(b)を使って後述するように、特定の視点の画像もいわゆるベイヤ配列となり、カラー画像を出力できる。
図1(a)および図1(b)において、最小単位配列となる大きさを、太い実線の枠111で示した。図1(a),(b)の例では、前述のルールに従うことで繰り返しパターンが4×4のパターンとなっている。図1(a),(b)においては最小色配列nc×mc=2×2、最小分割配列nd×md=2×2であるが、最小単位配列は4×4であり、(nc×nd/np)×(mc×md/mp)よりも大きくなっている。
図1(b)は、特定の視点の画像を形成する画素を取得する場合を模式的に示した図である。本実施例に示す光学系においては視点の変更は、撮影光学系3の射出瞳面上の領域を変更することに対応する。従って、図1においては、各最小分割配列の同じ数字を付した画素のみを抜き出せばよい。図1(b)は、図1(a)から添え字1で示した左上の画素の信号のみを取得する場合を示している。図1(b)から明らかなように、図1(a)に示すようなカラーフィルタ配列とすることで、当該視点の画像はいわゆるベイヤ配列の画素の信号として得られている。そのため、特定の視点の画像の生成は、よく知られた処理により色補間が可能となる。本発明の要部は従来の技術によって色補間処理を行うことが可能な撮像素子を提供することなので色補間処理の方法については詳述しない。その結果、本発明によれば、特定の視点の画像を出力するようなアプリケーションがある場合に、カラー画像を容易に提供できる。
図1(c)は、視点情報を破棄した状態で画像信号を得る場合を模式的に示す図である。また、図1(d)は、本実施例に示す撮像素子から最終的に出力されるカラー画像の画素を模式的に示す図である。図1(d)から分かるように、出力される画像のカラー信号はマイクロレンズに対してR,G,B信号を付した状態になっている。これは図3で説明したように“マイクロレンズに入射した光束が積分される”ため、いわゆる開口積分により空間的な低域通過フィルタを形成している。このため出力画像信号はマイクロレンズ単位になされる。
図1(d)の信号を生成するためにはいくつかの方法が考えられる。ここでは従来のカメラと同様の記録方法を備えている場合を考える。同様の記録方法とは、JPEGに代表される画像フォーマットで画像を記録媒体に記録する方法である。通常のカメラはカメラに適した不可逆圧縮の画像フォーマット(JPEG等)で記録する方法、画素信号をそのまま記録する方法(RAW記録と呼ばれる)、画像フォーマットと画素信号を双方とも記録する方法(JPEG+RAW)などの記録方法がある。他の機器(PC,Pad等)との親和性などから、カメラに適した画像フォーマット(JPEG等)で記録する方法はほぼすべての民生用カメラが備えている。
本実施例で示す撮像装置は、光線空間情報を取得可能であり、特許文献1に示すように撮影後のピント調整(リフォーカス)などが可能である。一方で、光線空間情報はそのままでは画像として使うことが容易ではないので、リフォーカスなどの光線空間情報を必要としない場面においては、従来のカメラと同様にカメラに適した画像フォーマット(JPEG等)で記録することが望ましい。リフォーカスなどを行わずに光線空間情報を処理するためには視点情報を破棄して処理すればよい。具体的には、図1(c)のマイクロレンズ101,102,103,104それぞれの最小分割配列がR,G,Bのすべての画素を含むので、これらを利用して図1(d)におけるマイクロレンズ101,102,103、104のR,G,Bの値を生成すればよい。この時は、単にマイクロレンズ下のR,G,Bから代表値を選択するまたは加算平均すればよく、マイクロレンズ間での補間演算などが必要ないので演算負荷を低減することが出来る。特に連写モードでの撮影時のように、画像記録などのための多くの画像処理を短時間で実行しなければならない場合では演算負荷を低減するメリットは大きい。
図1(e)および(f)を用いて本実施例に係わる最小分割配列の他の好適な例を説明する。
図1(e)は図1(a)で説明したよりもさらに最小単位配列を大きくした配列の例を、図1(f)は図1(e)において特定の瞳分割パターンの画素を抽出した場合を模式的に示す図である。
図1(e)の例は、カラーフィルタはマイクロレンズ下ではベイヤ配列で画素単位に配列され、隣接するマイクロレンズ間でカラーフィルタの配列開始パターンが異なっているとともに、最小単位配列内に最小色配列と同じ比率で画素が配列されているパターンである。
これを具体的に説明する。カラーフィルタの色および瞳分割パターンについては、図1(a)と同じ表記法を用いて示す。明らかに最小分割配列ごとにベイヤ配列となっていることが分かる。マイクロレンズ下に色配列を構成する成分がすべて(R,G,Bのすべて)が含まれていることから、カメラに適した画像フォーマットの画像を生成する際には、色補間処理の負荷を軽減することが出来る。
また、図1(e)において、図1(a)のマイクロレンズ101,102,103,104の最小分割配列を包含するブロック111を考える。さらにブロック111と同じ大きさ(4×4画素)で、これに隣接するブロック112,113およびブロック112、並びに113に隣接するブロック114を考える。ブロック111内のカラーフィルタの配置は、図1(a)と同じである。すなわち、左右方向に隣接するマイクロレンズ間ではカラーフィルタの配列が左右対称であり、上下方向に隣接するマイクロレンズ間ではカラーフィルタの配列が上下対称であるとともに、同一マイクロレンズ下ではベイヤ配列をなしている。
図1(a)の例では、この規則(4×4)を無限に繰り返すことで撮像素子全体の画素のカラーフィルタ配列を構成していたが、図1(e)の例ではブロック単位でさらに次のような規則を設ける。
横方向に隣接しているブロック111と112については、ブロック内の最小分割配列(マイクロレンズ)の配置を上下対称にする。これを示すために、ブロック112にもブロック111と同じカラーフィルタ配列をもつマイクロレンズに同じ番号を付した。ブロック111内では、左上にB1が配置されるマイクロレンズ101の最小分割配列がブロック内で左上に配置されている場合は、ブロック112では上下対称の左下の位置に配置する。
縦方向に隣接しているブロック111と113については、ブロック内の最小分割配列(マイクロレンズ)の配置を左右対称にする。これを示すために、ブロック113にもブロック111と同じカラーフィルタ配列をもつマイクロレンズに同じ番号を付した。ブロック111内では左上にB1が配置されるマイクロレンズ101の最小分割配列が左上に配置されている場合は、ブロック112では左右対称の右上の位置に配置する。
以下同様にして、横方向に隣接するブロック間ではブロック内の最小分割配列(マイクロレンズ)の配置を上下対称に、縦方向に隣接するブロック間ではブロック内の最小分割配列(マイクロレンズ)の配置を左右対称にする。その結果、最小単位配列はブロック111,112,113,114を包含する8×8の大きさになる。
図1(f)は、図1(e)の画素配列において、特定の分割パターン1の画素のみを抜き出した場合を模式的に示す。抽出された画素の配列はベイヤ配列と同じ並びではないが、同色の画素の数の比ではベイヤ配列を同じ比率(R:G:B=1:2:1)になっている。すなわち適当な色補間処理を施すことで、特定の視点からの像をカラーで出力することが可能である。
図1(e)の例は、小単位配列が(nc×nd)×(mc×md)よりも大きくなる例である。この例においても、最小色配列をnc×mc、最小分割配列をnd×md、ncとndの最大公約数をnp、mcとmdの最大公約数をmpとし、npまたはmpが1でないとしている。
図1(e)においては、最小色配列nc×mc=2×2、最小分割配列nd×md=2×2、最大公約数はnp=2、mp=2であるが、最小単位配列は8×8であり、(nc×nd)×( mc×md)よりも大きくなっている。
ここで、図4を用いて本発明には含まれないカラーフィルタの色配列を説明し、本発明の構成をより明確にする。図4(a),(d)はそれぞれ発明には含まれない配列パターンであり、図4(b),(e)は、それぞれ図4(a),(d)から特定の視点の画像の画素を抜き出した場合を模式的に示す図である。また、図4(c),(f)は、それぞれ図4(a),(d)から視差情報を破棄した場合の最小画素配列に含まれる画素の色を模式的に示す図である。図4のこれらの例は、いずれも最小色配列=2×2、最小分割配列=2×2である場合である。
図4(a)は最小分割配列=2×2を規則正しく並べるとともに、色配列は最小分割配列(マイクロレンズ)ごとに付した例である。つまり、最小分割配列=2×2内はすべて同じ色となっている。本発明との違いは、カラーフィルタが画素単位のベイヤ配列になっていない点である。
この配列において、図4(b)に示すように添え字1に対応する視点の像を生成した場合は、抽出された画素はいわゆるベイヤ配列となっているのでカラーが画像を出力可能である。しかし、視点情報を破棄して従来のカメラと同様にカメラに適した画像フォーマットでの記録を行う場合では、図4(c)に示すように、各最小分割配列内には同じ色の画素信号しかないので、マイクロレンズ間で色補間処理を施す必要が生じる。
図4(d)は最小分割配列=2×2を規則正しく並べるとともに、同じ色配列を最小分割配列ごとに付した例である。本発明との違いは、隣接するマイクロレンズ間でカラーフィルタの開始位相が異なっていない点である。
この配列において、図4(e)に示すように添え字1に対応する視点の像を生成した場合、抽出される画素は赤(R)の信号のみとなる。最小色配列と最小分割配列が互いに素ではないために、より小さい周期で繰り返しが生じてしまう。互いに素ではない場合には公約数を持つのでその最大公約数で割った分だけ周期が短くなる。前述のように、最小色配列をnc×mc、最小分割配列をnd×md、として、ncとndの最大公約数をnp、mcとmdの最大公約数をmpとするとき、最小単位配列が(nc×nd/np)×(mc×md/mp)となる。この例では2×2の周期で繰り返しが生じている。その結果として図4(e)のように分割パターン1はR(赤)の信号のみになる。これは、最小色配列と最小分割配列の長さが同じなので、同じ分割パターンには同じカラーフィルタのみが対応してしまうためである。この配列においては、特定の視点の像を生成するようなアプリケーションを考えた場合、カラー画像を得ることが出来ない。
また、視点情報を破棄して従来のカメラと同様にカメラに適した画像フォーマットでの記録を行う場合は、図4(f)に示すように、マイクロレンズ下の画素には色配列を構成するすべての色(R,G,B)の信号が含まれているので、マイクロレンズ間で色補間処理を施す必要はない。つまり図4(a)、(d)に示した配列を用いた場合には、複数視点からのカラー出力画像を取得可能で、且つ色補間処理による演算負荷を軽減するという2つの目的を同時に達成することが出来ない。
次に、図5を用いて最小色配列=2×2、最小分割配列=2×2でない場合を説明する。図5(a)は最小色配列=2×2、最小分割配列=4×4に対して本発明を適用した例であり、図5(b)は図5(a)のから特定の瞳分割パターン(最も左上)の画素のみを示した図である。図5(c)は最小色配列=2×2、最小分割配列=4×4に対して本発明を適用しない例であり、図5(d)は図5(c)のから特定の瞳分割パターン(最も左上)の画素のみを示した図である。図5(e)は最小色配列=2×2、最小分割配列=3×3の例を示し、これは本発明の適用範囲にならない。図5(f)は図5(e)における特定の分割パターン(最も左上)の画素のみを示す図である。
図5(a),(c)では最小分割配列は4×4、色配列はベイヤ配列であり最小色配列は2×2である。この例に示す4と2は公約数2をもつので互いに素ではない。分割パターンは合計16パターンあるが、マイクロレンズとの相対位置で決定されるので数字は省略した。色に関しては図1と同じ表記法(ハッチングパターン)を用い、画素内に英文字を図1と同じように表記した。
本発明を適用した配列である図5(a)のパターンは図1(a)と同じく、同一マイクロレンズ下は最小色配列を繰り返し、左右に隣接するマイクロレンズ間ではカラーフィルタパターンを左右対称とし、上下に隣接するマイクロレンズ間では上下対称としている。以下同様に繰り返すことでカラーフィルタの配列が決定されている。図5(b)は図5(a)において特定の分割パターンの画素を抽出した図である。
図5(c)で、最小分割配列=4×4を規則正しく並べるとともに、カラーフィルタも同様に同じパターンの最小色配列=2×2を規則正しく並べている。これは図4(d)と同じ考え方に基づく配列と考えれば良い。図5(d)は、図5(c)において特定の瞳分割パターンの画素のみを示した図である。
図5(b)から明らかなように、本発明を適用した図5(a)の配列では特定の瞳分割パターン(最も左上)の画素の配列もベイヤ配列をなしておりカラー画像が得られる。一方、図5(c)の配列から特定の瞳分割パターン(最も左上の分割パターン)の画素のみを抜き出した場合、図5(d)から明らかなように、R(赤)の画素信号のみになる。従って、特定の視点の像を生成するようなアプリケーションを考えた場合、カラー画像を得ることが出来ない。
さらに図5(e)および図5(f)を用いて、最小色配列=2×2、最小分割配列=3×3の場合を説明する。この場合は3と2が公約数を持たないので、互いに素である。この様な組み合わせでは、最小分割配列でのカラーフィルタの色パターンを画素単位で規則正しく並べるとともに、最小分割配列(マイクロレンズ)を規則正しく並べても弊害がない。この場合、図4(d)や図5(c)と同じ考え方に基づいて画素を配列すれば、最小単位配列は6=3×2となるとともに特定の視点の像はカラー画像になる。図5(f)はこれを示した図であり、最も左上の瞳分割パターンの画素を並べるとベイヤ配列となっている。この配列は特許文献2で想定している配列であり、本発明の適用範囲ではない。図5(e)のように最小分割配列を奇数とすることは一つの有効な実施例であるが、図6を用いて後述するような弊害もあり、実用上難点がある。
図6を用いて、最小色配列と最小分割配列とが互いに素である場合の弊害について説明する。
図6(a)および(b)は図3(c)に対応する図であり、画素の断面図と射出瞳面との対応を説明するための図である。図6(a)は最小分割配列が2×2の場合(図3(c)と同じ)、図6(b)は最小分割配列が3×3の場合をそれぞれ示している。図6(a)では、各部を図3(c)と同じ番号を付して示す。ただし図が煩雑になるので365,366は省略し、後ほどの説明のために射出瞳350を絞った場合を説明する円691を記入した。
図6(b)においては、図3(c)と同じまたは分割数が増えただけで類似の機能を有する部分には600番だけ大きい番号を付して示す。また、図6(b)において、瞳領域は3×x3の9個に分割されているが、説明を簡単にするためにX軸上の3つの領域651−1,651−2,651−3のみを考える。これらの領域の端点からの光線を663,664,665,666とする。図3(c)との対比から明らかなように、マイクロレンズ120および層内レンズ671,672,673によって光電変換部641,642,643はそれぞれ651−3、651−2、651−1と共役になっている。つまり最小分割配列3×3での光線空間情報を取得可能に構成されている。
ここで、射出瞳350を絞った場合を考える。絞った瞳を図6(a)には691、図6(b)には692で記載した。偶数で瞳分割された図6(a)の例では射出瞳を691の大きさまで絞った場合でも複数の画素に光線が入射する。一方、奇数で瞳分割された図6(b)の例では絞りを692の大きさまで絞った場合には中央の画素にしか光線が入射しない。これは位相差情報が得られなくなることに対応している。つまり、屋外で動画撮影などの絞りを絞った状況では、撮像素子からの信号で焦点検出を行うことが出来ないことを示している。これを回避するには瞳は偶数に分割するのが良い。一方で最小色配列と最小分割配列が互いに素の条件を守ろうとすると最小色配列を奇数にする必要があるが、ベイヤ配列(最小色配列=2×2)がディファクトスタンダードとして用いられているので、奇数×奇数の配列を製品に展開するのは容易ではない。つまり、最小色配列が2×2、最小分割配列が偶数×偶数という問題設定が一般的であり本発明を利用する価値は高いといえる。
上述した本発明の実施例によれば、カラーフィルタおよび瞳分割パターンが互いに素ではない場合においても、特定の視点の画像についてカラー出力画像を得られる撮像素子を提供することができる。
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (13)

  1. 撮影光学系で形成された被写体像を光電変換して画素信号を生成する画素の2次元配列を有する撮像手段と、
    前記画素の2次元配列に対して第1の所定数の画素の配列の周期で前記撮像手段の撮像面に2次元に配置され、前記撮影光学系の射出瞳を分割する複数の瞳分割手段と、
    第2の所定数の画素の配列の周期を有する所定の色配列パターンに従って、前記2次元配列の各画素に配置された所定の複数の色のカラーフィルタ手段と、を備え、
    前記第1の所定数の画素の配列に対する前記所定の複数の色のカラーフィルタの配列パターンと前記瞳分割手段による前記第1の所定数の画素の配列における前記射出瞳の分割パターンとの対応が隣接する前記瞳分割手段について異なり、前記第1の所定数と前記第2の所定数は、互いに素ではないことを特徴とする撮像素子。
  2. 前記第2の所定数の画素の配列をnc×mc、前記第1の所定数の画素の配列をnd×mdとし、ncとndの最大公約数をnp、mcとmdの最大公約数をmpとするとき、npまたはmpが1でない場合に、(nc×nd/np)×(mc×md/mp)よりも大きい第3の所定数の画素の配列を単位として、前記隣接する瞳分割手段における前記第1の所定数の画素の配列に対する前記所定の複数の色のカラーフィルタの配列パターンと前記瞳分割手段による前記射出瞳の分割パターンとの対応が繰り返されることを特徴とする請求項1に記載の撮像素子。
  3. 前記第3の所定数の画素の配列において、前記第1の所定数の画素の配列における射出瞳の特定の領域に対応する画素に配置されたカラーフィルタが形成する色配列パターンは、前記所定の色パターンであることを特徴とする請求項1又は2に記載の撮像素子。
  4. 前記第2の所定数の画素の配列をnc×mc、前記第1の所定数の画素の配列をnd×mdとし、ncとndの最大公約数をnp、mcとmdの最大公約数をmpとするとき、npまたはmpが1でない場合に、(nc×nd)×(mc×md)よりも大きい第3の所定数の画素の配列を単位として、前記隣接する瞳分割手段における前記第1の所定数の画素の配列に対する前記所定の複数の色のカラーフィルタの配列パターンと前記瞳分割手段による前記射出瞳の分割パターンとの対応が繰り返されることを特徴とする請求項1に記載の撮像素子。
  5. 前記第3の所定数の画素の配列において、前記第1の所定数の画素の配列における射出瞳の特定の領域に対応する画素に配置されたカラーフィルタが形成する色配列パターンは、前記所定の色パターンが有する各色の画素の数の比率と同じ比率を有することを特徴とする請求項4に記載の撮像素子。
  6. 前記所定の色配列パターンは、ベイヤ配列であることを特徴とする請求項1から5の何れか一項に記載の撮像素子。
  7. 前記第3の所定数の画素の配列は、偶数×偶数であることを特徴とする請求項6に記載の撮像素子。
  8. 前記瞳分割手段は、前記第1の所定数の画素の配列を単位として配置された複数のマイクロレンズの配列と各画素に配置された前記カラーフィルタに配置された層内レンズを含むことを特徴とする請求項1から7のいずれか一項に記載の撮像素子。
  9. 請求項1から請求項8のいずれか1項に記載された撮像素子と、
    前記第1の所定数の画素の配列の画素信号に基づいて、前記第1の所定数の画素の配列を画素の単位とする画像のカラー信号を生成する色補間処理手段と、
    を備えることを特徴とする撮像装置。
  10. 前記色補間処理手段は、前記カラー信号を、前記第1の所定数の画素の配列のうちのいずれかの画素の信号を用いて生成することを特徴とする請求項9に記載の撮像装置。
  11. 前記色補間処理手段は、前記カラー信号を、前記第1の所定数の画素の配列内での補間処理により生成することを特徴とする請求項9に記載の撮像装置。
  12. 前記カラー信号を記録媒体に記録する記録手段をさらに備え、前記記録手段は、不可逆圧縮の画像フォーマットに従って前記カラー信号の記録信号を生成することを特徴とする請求項9から11のいずれか一項に記載の撮像装置。
  13. 前記被写体像を撮影するための連写モードをさらに備え、前記記録手段は、前記連写モードにおいて、前記カラー信号の記録信号を生成することを特徴とする請求項12に記載の撮像装置。
JP2014085504A 2014-04-17 2014-04-17 撮像素子および撮像素子を備えた撮像装置 Pending JP2015207815A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014085504A JP2015207815A (ja) 2014-04-17 2014-04-17 撮像素子および撮像素子を備えた撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014085504A JP2015207815A (ja) 2014-04-17 2014-04-17 撮像素子および撮像素子を備えた撮像装置

Publications (1)

Publication Number Publication Date
JP2015207815A true JP2015207815A (ja) 2015-11-19

Family

ID=54604347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014085504A Pending JP2015207815A (ja) 2014-04-17 2014-04-17 撮像素子および撮像素子を備えた撮像装置

Country Status (1)

Country Link
JP (1) JP2015207815A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013130A1 (ja) * 2018-07-10 2020-01-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子装置
KR20220136878A (ko) * 2021-04-01 2022-10-11 비스에라 테크놀러지스 컴퍼니 리미티드 솔리드-스테이트 이미지 센서

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021919A (ja) * 2007-07-13 2009-01-29 Sony Corp 撮像装置
JP2010154493A (ja) * 2008-11-21 2010-07-08 Sony Corp 撮像装置
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2013004635A (ja) * 2011-06-14 2013-01-07 Canon Inc 撮像素子、撮像装置、及び、形成方法
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
WO2013147199A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像素子、撮影方法、および撮像装置
JP2013254114A (ja) * 2012-06-07 2013-12-19 Canon Inc 撮像装置、制御方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021919A (ja) * 2007-07-13 2009-01-29 Sony Corp 撮像装置
JP2010154493A (ja) * 2008-11-21 2010-07-08 Sony Corp 撮像装置
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2013004635A (ja) * 2011-06-14 2013-01-07 Canon Inc 撮像素子、撮像装置、及び、形成方法
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
WO2013147199A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像素子、撮影方法、および撮像装置
JP2013254114A (ja) * 2012-06-07 2013-12-19 Canon Inc 撮像装置、制御方法、及びプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013130A1 (ja) * 2018-07-10 2020-01-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子装置
CN112400231A (zh) * 2018-07-10 2021-02-23 索尼半导体解决方案公司 固态摄像装置和电子设备
JPWO2020013130A1 (ja) * 2018-07-10 2021-08-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子装置
US11523078B2 (en) 2018-07-10 2022-12-06 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
JP7381462B2 (ja) 2018-07-10 2023-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子装置
TWI833775B (zh) * 2018-07-10 2024-03-01 日商索尼半導體解決方案公司 固態攝像裝置及電子裝置
US11937002B2 (en) 2018-07-10 2024-03-19 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
KR20220136878A (ko) * 2021-04-01 2022-10-11 비스에라 테크놀러지스 컴퍼니 리미티드 솔리드-스테이트 이미지 센서
JP2022158989A (ja) * 2021-04-01 2022-10-17 采▲ぎょく▼科技股▲ふん▼有限公司 固体撮像素子
KR102659142B1 (ko) * 2021-04-01 2024-04-22 비스에라 테크놀러지스 컴퍼니 리미티드 솔리드-스테이트 이미지 센서
JP7487245B2 (ja) 2021-04-01 2024-05-20 采▲ぎょく▼科技股▲ふん▼有限公司 固体撮像素子

Similar Documents

Publication Publication Date Title
JP5818697B2 (ja) 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
JP5515396B2 (ja) 撮像装置
JP5917125B2 (ja) 画像処理装置、画像処理方法、撮像装置および表示装置
JP6066593B2 (ja) 撮像システムおよび撮像システムの駆動方法
JP2010154493A (ja) 撮像装置
US10674074B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on a plurality of parallax images
JP5597777B2 (ja) カラー撮像素子及び撮像装置
JP2012186789A (ja) 撮像装置
JP2016111678A (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
JP5634614B2 (ja) 撮像素子及び撮像装置
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
US10992859B2 (en) Image capture apparatus and control method thereof capable of reducing an image data amount
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
JP2015207815A (ja) 撮像素子および撮像素子を備えた撮像装置
JPWO2017170392A1 (ja) 光学装置
JP6802633B2 (ja) 撮像素子、撮像装置、画像生成方法、及びプログラム
JP6741549B2 (ja) 撮像装置及びその制御方法
JP5907668B2 (ja) 撮像装置及び撮像素子
JP2018046563A (ja) 撮像素子
JP6263221B2 (ja) 画像処理装置、画像処理方法、撮像装置および表示装置
JP6491539B2 (ja) 撮像装置及びその制御方法、システムならびにプログラム
JP2016031498A (ja) 撮像素子および撮像装置
JP6234097B2 (ja) 撮像装置およびその制御方法
JP2021071573A (ja) 撮像装置及びその制御方法
JP2014215526A (ja) 撮像素子およびカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170405

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181030