JP2022107563A - 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム - Google Patents

撮像装置、撮像装置の画素信号処理方法、及び、撮像システム Download PDF

Info

Publication number
JP2022107563A
JP2022107563A JP2021002484A JP2021002484A JP2022107563A JP 2022107563 A JP2022107563 A JP 2022107563A JP 2021002484 A JP2021002484 A JP 2021002484A JP 2021002484 A JP2021002484 A JP 2021002484A JP 2022107563 A JP2022107563 A JP 2022107563A
Authority
JP
Japan
Prior art keywords
pixel
pair
difference detection
phase difference
blooming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021002484A
Other languages
English (en)
Inventor
卓也 藤川
Takuya Fujikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2021002484A priority Critical patent/JP2022107563A/ja
Priority to PCT/JP2021/042409 priority patent/WO2022149355A1/ja
Publication of JP2022107563A publication Critical patent/JP2022107563A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

Figure 2022107563000001
【課題】ブルーミング現象の発生に起因して、異なる露光時間の画素データの切り替え箇所での輝度段差の発生を回避する。
【解決手段】本開示の撮像装置は、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能である。画素信号処理部は、一対の光電変換部から出力される一対の画素信号に対して補正処理を行う回路、補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する回路、補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行う判定回路、及び、その判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する。
【選択図】 図７

Description

本開示は、撮像装置、撮像装置の画素信号処理方法、及び、撮像システムに関する。
デジタルカメラ等の撮像システムにおいて、カメラの焦点を自動的に合わせるＡＦ（オートフォーカス）方式の一つとして像面位相差ＡＦが知られている。像面位相差ＡＦを実現するために、画素が行列状に２次元配置されて成る画素アレイ部内に、部分的にあるいは全面的に、デフォーカス量及びデフォーカス方向を検出可能な構成の画素（以下、便宜上、「位相差検出用画素」と記述する）が配置されることになる。
画素アレイ部内に位相差検出用画素を設けた撮像装置として、１つの画素内に一対の光電変換部を有し、当該一対の光電変換部が生成する各像の相対位置を検出する構成の位相差検出用画素を有する撮像装置が提案されている（例えば、特許文献１参照）。
ＷＯ ２０１９／１０２８８７ Ａ１
特許文献１に記載の位相差検出用画素のように、１つの画素内を左右（Ｌ／Ｒ）に分割したＬ／Ｒ一対の光電変換部を有する場合、Ｌ／Ｒ一対の光電変換部間で感度差が発生することがある。Ｌ／Ｒ一対の光電変換部間で感度差が発生すると、一方の光電変換部に蓄積された電荷が飽和レベルに達した場合、一対の光電変換部の信号を加算した後の１画素の画素データのリニアリティを維持できない問題が発生する。本明細書では、この問題をブルーミング現象と定義する。
ところで、広ダイナミックレンジ化を図るために、露光時間が異なる複数の画素信号を取得可能な構成の撮像装置がある。このような撮像装置では、複数露光のＬ／Ｒの輝度データを合成することで、広ダイナミックレンジ化を図ることになる。しかし、Ｌ／Ｒ一対の光電変換部を有する位相差検出用画素を備える撮像装置にあっては、Ｌ／Ｒ一対の光電変換部の各信号を分離した状態で信号処理を行うため、上記のブルーミング現象の発生によって画素データのリニアリティが維持できないと、異なる露光時間の画素データの切り替え箇所で輝度段差が発生する場合がある。
そこで、本開示は、ブルーミング現象の発生に起因して、異なる露光時間の画素データの切り替え箇所での輝度段差の発生を回避することができる撮像装置、撮像装置の画素信号処理方法、及び、当該撮像装置を有する撮像システムを提供することを目的とする。
上記の目的を達成するための本開示の撮像装置は、
画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、
位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
画素信号処理部は、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
画素特性補正回路での補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する。
上記の目的を達成するための本開示の撮像装置の画素信号処理方法は、
画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
位相差検出用画素から出力される画素信号を処理するに当たって、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正ステップ、
画素特性補正ステップでの補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成ステップ、
画素特性補正ステップでの補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定ステップ、及び、
ブルーミング判定ステップの判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成ステップを有する。
上記の目的を達成するための本開示の撮像システムは、
画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備える撮像装置、
撮像装置の入射光路中に配された撮像レンズ、並びに、
位相差検出用画素の一対の光電変換部から出力される一対の画素信号から生成されるオートフォーカス信号に基づいて、撮像レンズのフォーカス制御を行うフォーカス制御部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
画素信号処理部は、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
画素特性補正回路での補正処理前の一対の画素信号を基に、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する。
図１は、本開示に係る技術が適用される撮像装置の一例であるＣＭＯＳイメージセンサのシステム構成を模式的に示すブロック図である。 図２は、画素の回路構成の一例を示す回路図である。 図３は、カラーフィルタのベイヤ配列、３露光合成、及び、位相差検出用画素について説明する図である。 図４は、位相差検出用画素の断面構造の一例を示す断面図である。 図５は、ブルーミング対策についての説明図である。 図６は、ブルーミング対策による画素加算時のリニアリティ維持についての説明図である。 図７は、本開示の実施形態に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図８は、実施例１に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図９は、ブルーミング判定回路及び合成回路による３露光合成処理の一例を模式的に示す図である。 図１０は、長時間蓄積用マップ、中時間蓄積用マップ、及び、短時間蓄積用マップの一例を示す図である。 図１１は、実施例２に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図１２は、実施例３に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図１３は、実施例４に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図１４は、本開示の撮像システムの構成の概略を模式的に示すブロック図である。
以下、本開示に係る技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像装置、撮像装置の画素信号処理方法、及び、撮像システム、全般に関する説明
２．本開示に係る技術が適用される撮像装置
２－１．ＣＭＯＳイメージセンサの構成例
２－２．画素の回路例
２－３．画素の構成例
２－３－１．ベイヤ配列
２－３－２．露光時間が異なる複数の画素信号の合成
２－３－３．位相差検出用画素
２－３－４．本開示の画素
２－３－５．位相差検出用画素の断面構造例
２－４．画素の構成例
３．本開示の実施形態に係る画素信号処理部
３－１．画素信号処理部の構成例
３－２．合成輝度データＬ／Ｒの活用例
３－３．実施例１（輝度データ生成ブロックに、ブルーミング影響回避及び３露光輝度データ合成の機能を組み込んだ例）
３－４．実施例２（位相差検出用画素が白色画素から成る例）
３－５．実施例３（位相差検出用画素が白色画素から成り、且つ、センサ外部で合成処理を行う例）
３－６．実施例４（実施例３の変形例：位相差検出用画素がＲＧＢベイヤ配列の画素から成り、且つ、センサ外部で合成処理を行う例）
４．本開示の撮像システム
５．変形例
６．本開示がとることができる構成
＜本開示の撮像装置、画素信号処理方法、及び、撮像システム、全般に関する説明＞
本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、画素特性補正回路（ステップ）について、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う構成とすることができる。ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する現象である。
上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、ブルーミング判定回路（ステップ）について、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する構成とすることができる。また、合成回路（ステップ）については、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、ブルーミング判定回路（ステップ）について、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する構成とすることができる。また、合成回路（ステップ）について、露光比に応じて輝度レベルを合わせることによって合成処理を行う構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、合成回路（ステップ）について、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する構成とすることができる。また、位相差検出用画素について、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、位相差検出用画素について、画素アレイ部の全画素として全面的に設けられている構成とすることができる。また、位相差検出用画素について、カラーフィルタがベイヤ配列の画素から成る、あるいは、白色の画素から成る構成とすることができる。
＜本開示に係る技術が適用される撮像装置＞
本開示に係る技術が適用される撮像装置として、Ｘ－Ｙアドレス方式の撮像装置の一種であるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを例に挙げて説明する。ＣＭＯＳイメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。
［ＣＭＯＳイメージセンサの構成例］
図１は、本開示に係る技術が適用される撮像装置の一例であるＣＭＯＳイメージセンサのシステム構成を模式的に示すブロック図である。
本適用例に係るＣＭＯＳイメージセンサ１は、画素アレイ部１１及び当該画素アレイ部１１の周辺に配置される周辺回路部を有する構成となっている。画素アレイ部１１は、光電変換部（光電変換素子）を含む画素２０が行方向及び列方向に、即ち、行列状に２次元配置された構成となっている。ここで、行方向とは、画素行の画素２０の配列方向を言い、列方向とは、画素列の画素２０の配列方向を言う。画素２０は、光電変換部にて光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。
画素アレイ部１１の周辺回路部は、例えば、行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７等によって構成されている。行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７等の周辺回路部は、例えば、画素アレイ部１１と同じ半導体基板１８上に形成された構成となっている。
尚、ここでは、半導体チップ構造として、画素アレイ部１１と同じ半導体基板（半導体チップ）上に周辺回路部が形成された、所謂、平置型の半導体チップ構造を例示したが、平置型の半導体チップ構造に限られるものではない。すなわち、１層目の半導体基板及び２層目の半導体基板の少なくとも２つの半導体基板が積層され、１層目の半導体基板に画素アレイ部１１が形成され、２層目の半導体基板に周辺回路部が形成された、所謂、積層型の半導体チップ構造とすることができる。
上述した例えば２層の積層型の半導体チップ構造において、１層目の半導体基板上の画素アレイ部１１と２層目の半導体基板に周辺回路部とは、Ｃｕ電極同士を直接接合するＣｕ－Ｃｕ直接接合、シリコン貫通電極（Through Silicon Via：ＴＳＶ）、マイクロバンプ等から成る接合部（図示を省略）を介して電気的に接続される。
画素アレイ部１１において、行列状の画素配列に対し、画素行毎に画素制御線３１（３１1～３１m）が行方向に沿って配線されている。また、画素列毎に信号線３２（３２1～３２n）が列方向に沿って配線されている。画素制御線３１は、画素２０から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素制御線３１について１本の配線として図示しているが、１本に限られるものではない。画素制御線３１の一端は、行選択部１２の各行に対応した出力端に接続されている。
以下に、画素アレイ部１１の周辺回路部の各構成要素、即ち、行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７等によって構成されている。行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７について説明する。
行選択部１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１の各画素２０の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部１２は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。
読出し走査系は、画素２０から画素信号を読み出すために、画素アレイ部１１の画素２０を行単位で順に選択走査する。画素２０から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
この掃出し走査系による掃出し走査により、読出し行の画素２０の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
読み出し走査系による読み出し動作によって読み出される信号は、その直前の読み出し動作又は電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読み出し動作による読み出しタイミング又は電子シャッタ動作による掃き出しタイミングから、今回の読み出し動作による読み出しタイミングまでの期間が、画素２０における光電荷の露光期間となる。
負荷ＭＯＳ部１３は、画素列毎に垂直信号線３２（３２1～３２n）の各々に接続されたＭＯＳトランジスタから成る電流源Ｉ（図２参照）の集合から成り、行選択部１２によって選択走査された画素行の各画素２０に対し、垂直信号線３２（３２1～３２n）の各々を通してバイアス電流を供給する。
カラム信号処理部１４は、画素アレイ部１１の画素列に対応して設けられた回路部の集合から成り、画素行単位で画素２０から出力される画素信号に対して、画素列毎にノイズ除去などの信号処理を行う。具体的には、カラム信号処理部１４は、例えば、画素固有の固定パターンノイズを除去するためのＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理や、アナログ－デジタル変換処理などの信号処理を行う。カラム信号処理部１４で信号処理された画素データは、出力信号線Ｌを通して出力回路部１５に供給される。
出力回路部１５は、カラム信号処理部１４からの出力信号線Ｌを通しての画素データの読出しや所定の信号処理を行う。具体的には、出力回路部１５は、所定の信号処理として、例えば、縦線欠陥、点欠陥の補正、又は、信号のクランプ、更には、パラレル－シリアル変換、圧縮、符号化、加算、平均、及び、間欠動作などのデジタル信号処理を行い、画像データとして出力する。
画素信号処理部１６は、本開示の技術が適用される回路部分であり、その構成及び動作などの詳細については後述する。
タイミング制御部１７は、外部から与えられる同期信号に基づいて、各種のタイミング信号、クロック信号、及び、制御信号等を生成する。そして、タイミング制御部１７は、これら生成した信号を基に、行選択部１２、カラム信号処理部１４、及び、画素信号処理部１６等の駆動制御を行う。
［画素の回路例］
図２は、画素２０の回路構成の一例を示す回路図である。画素２０は、光電変換素子として、例えば、フォトダイオード２１を有している。画素２０は、フォトダイオード２１の他に、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５を有する構成となっている。
転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５の４つのトランジスタとしては、例えばＮチャネルのＭＯＳ型電界効果トランジスタを用いている。但し、ここで例示した４つのトランジスタ２２～２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
この画素２０に対して、先述した画素制御線３１（３１1～３１m）として、複数の画素制御線が同一画素行の各画素２０に対して共通に配線されている。これら複数の画素制御線は、行選択部１２の各画素行に対応した出力端に画素行単位で接続されている。行選択部１２は、複数の画素制御線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
フォトダイオード２１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。
転送トランジスタ２２のゲート電極には、高レベル（例えば、ＶDDレベル）がアクティブとなる転送信号ＴＲＧが行選択部１２から与えられる。転送トランジスタ２２は、転送信号ＴＲＧに応答して導通状態となることで、フォトダイオード２１で光電変換され、当該フォトダイオード２１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。
リセットトランジスタ２３は、高電位側電源電圧ＶDDのノードとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部１２から与えられる。リセットトランジスタ２３は、リセット信号ＲＳＴに応答して導通状態となり、フローティングディフュージョンＦＤの電荷を電圧ＶDDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。
増幅トランジスタ２４は、ゲート電極がフローティングディフュージョンＦＤに、ドレイン電極が高電位側電源電圧ＶDDのノードにそれぞれ接続されている。増幅トランジスタ２４は、フォトダイオード２１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。すなわち、増幅トランジスタ２４は、ソース電極が選択トランジスタ２５を介して信号線３２に接続される。
選択トランジスタ２５は、ドレイン電極が増幅トランジスタ２４のソース電極に接続され、ソース電極が信号線３２に接続されている。選択トランジスタ２５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部１２から与えられる。選択トランジスタ２５は、選択信号ＳＥＬに応答して導通状態となることで、画素２０を選択状態として増幅トランジスタ２４から出力される信号を信号線３２に伝達する。
尚、上記の回路例では、画素２０として、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５から成る、即ち、４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２５を省略し、増幅トランジスタ２４に選択トランジスタ２５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。
上記の回路構成例の画素２０からは、リセットトランジスタ２３によるフローティングディフュージョンＦＤのリセット時のリセットレベルであるリセット信号（所謂、Ｐ相信号）と、フォトダイオード２１での光電変換に基づく信号レベルであるデータ信号（所謂、Ｄ相信号）とが順に出力される。すなわち、画素２０から出力される画素信号は、リセット時のリセット信号、及び、フォトダイオード２１での光電変換時のデータ信号を含んでいる。
［画素の構成例］
（ベイヤ配列）
上記の構成のＣＭＯＳイメージセンサ１において、画素アレイ部１１の各画素２０には、例えば、２×２（列方向２画素×行方向２画素）の４画素を単位としてカラーフィルタ４７（図４参照）が配置される。但し、後述するように、カラーフィルタ４７が配置されない場合もある。ここでは、カラーフィルタ４７の配置例として、図３に示すＲ（赤色）Ｇ（緑色）Ｂ（青色）のベイヤ配列を例示する。尚、カラーフィルタの配置例としては、ベイヤ配列やＲＧＢの原色系フィルタに限定されるものではなく、Ｃ（シアン）Ｍ（マゼンタ）Ｙ（イエロー）等の補色系フィルタ等、種々の構成が適用されてもよい。
（露光時間が異なる複数の画素信号の合成）
また、上記の構成のＣＭＯＳイメージセンサ１では、広ダイナミックレンジ化を図るために、即ち、ダイナミックレンジの広い画像を生成するために、露光時間が異なる複数の画素信号を取得する構成となっている。ここでは、一例として、露光時間が相対的に長い長時間蓄積の画素信号、露光時間が相対的に中程度の中時間蓄積の画素信号、及び、露光時間が相対的に短い短時間蓄積の３種類の露光時間（以下、「３露光」と略記する）に基づく画素信号を合成することによって広ダイナミックレンジ化を図る場合を例示する。図３に示す３露光合成の例では、長時間蓄積の画素をＬ、中時間蓄積の画素をＭ、短時間蓄積の画素Ｓとして図示し、上記のカラーフィルタのベイヤ配列を単位として長時間蓄積の画素Ｌ、中時間蓄積の画素Ｍ、及び、短時間蓄積の画素Ｓが配置されている。
（位相差検出用画素）
上記の構成のＣＭＯＳイメージセンサ１では、更に、画素２０が行列状に２次元配置されて成る画素アレイ部１１において、画素２０の２次元配置内に、部分的にあるいは全面的に位相差検出用画素が配置された構成となっている。ここでは、画素アレイ部１１内の全ての画素２０が位相差検出用画素である構成、即ち、画素アレイ部１１内に全面的に位相差検出用画素２０が配置されている構成を例示する。
位相差検出用画素２０は、図３に示すように、一対の光電変換部、即ち、画素２０の２次元配置の行方向において、左右（Ｌ／Ｒ）に分割された左右一対のフォトダイオード２１Ｌ，２１Ｒを有している。一対のフォトダイオード２１Ｌ，２１Ｒは、１つの画素２０内において形成位置が異なる。これにより、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒのそれぞれの信号から生成される像にずれが生じる。従って、一対のフォトダイオード２１Ｌ，２１Ｒのそれぞれの信号に基づくＬ／Ｒ各像の相対位置を検出すことにより、後述するオートフォーカスで用いるデフォーカス量及びデフォーカス方向を検出することができる。
本明細書においては、便宜上、一対のフォトダイオード２１Ｌ，２１Ｒを有し、オートフォーカスで用いるデフォーカス量及びデフォーカス方向を検出するために用いることができる画素を位相差検出用画素と呼んでいる。尚、位相差検出用画素については、デフォーカス量及びデフォーカス方向を検出するために用いるだけでなく、一対のフォトダイオード２１Ｌ，２１Ｒの各信号を加算することによって、通常の画素と同様に、１画素の画素信号を取得する画素としても用いることができるし、Ｌ／Ｒ一対の合成輝度データの差分情報から深度情報（Ｄｅｐｔｈ）の算出に用いることができる。
（本開示の画素）
上述したように、本開示の技術が適用される撮像装置、即ち、ＣＭＯＳイメージセンサ１は、カラーフィルタの配置が例えばＲＧＢのベイヤ配列であり、露光時間が異なる長時間蓄積、中時間蓄積、及び、短時間蓄積の画素信号を取得するとともに、デフォーカス量及びデフォーカス方向の検出が可能な位相差検出用画素２０を、例えば画素アレイ部１１内に全面的に有する構成となっている。
（位相差検出用画素の断面構造例）
ここで、位相差検出用画素２０の断面構造の一例について図４の断面図を用いて説明する。半導体基板１８において、例えば、Ｐ型（第１導電型）の半導体領域３１に、Ｎ型（第２導電型）の半導体領域４２を形成することにより、フォトダイオード２１Ｌ，２１Ｒが形成されている。位相差検出用画素２０には、１画素内に左右一対のフォトダイオード２１Ｌ，２１Ｒが形成されている。左右一対のフォトダイオード２１Ｌ，２１Ｒは、画素領域を均等に２分割して対称配置となるように形成されている。
図４において下側となる半導体基板１８の表面側には、位相差検出用画素２０の左右一対のフォトダイオード２１Ｌ，２１Ｒで生成され、蓄積された電荷の読出し等を行う画素トランジスタ（図示せず）、複数の配線４３、及び、層間絶縁膜４４からなる多層配線層４５が形成されている。
一方、図４において上側となる半導体基板１８の裏面側の画素境界部分には、画素間遮光膜４６が形成されている。画素間遮光膜４６は、光を遮光する材料であればよいが、遮光性が強く、且つ、微細加工、例えばエッチングで精度よく加工できる材料が望ましい。画素間遮光膜４６については、例えば、タングステン（Ｗ）、アルミニウム（Ａｌ）、銅（Ｃｕ）、チタン（Ｔｉ）、モリブデン（Ｍｏ）、ニッケル（Ｎｉ）などの金属膜で形成することができる。
また、半導体基板１８の裏面側界面には、例えば、シリコン酸化膜などによる反射防止膜（絶縁層）などを更に形成してもよい。
画素間遮光膜４６を含む半導体基板１８の裏面上には、カラーフィルタ４７が形成されている。カラーフィルタ４７は、例えば顔料や染料などの色素を含んだ感光性樹脂を回転塗布することによって形成される。カラーフィルタ４７の色配列については、図３で説明したＲＧＢベイヤ配列を例示することができる。
カラーフィルタ４７の上には、オンチップレンズ４８が画素単位、即ち、一対のフォトダイオード２１Ｌ，２１Ｒに対して共通に形成されている。オンチップレンズ４８は、例えば、スチレン系樹脂、アクリル系樹脂、スチレン－アクリル共重合系樹脂、又は、シロキサン系樹脂等の樹脂系材料で形成される。
上記の画素構造から明らかなように、本開示の技術が適用される撮像装置は、多層配線層４５が形成された半導体基板１８の表面側と反対側の裏面側に、カラーフィルタ４７やオンチップレンズ４８を形成して、裏面側から照射される光を取り込む裏面照射型のＣＭＯＳイメージセンサ１である。但し、裏面照射型に限られるものではなく、表面側から照射される光を取り込む表面照射型とすることもできる。
［ブルーミング現象について］
以上のように、露光時間が異なる複数の画素信号の取得が可能であるとともに、左右（Ｌ／Ｒ）一対のフォトダイオード２１Ｌ，２１Ｒを有する位相差検出用画素２０を備えＣＭＯＳイメージセンサ１において、一対のフォトダイオード２１Ｌ，２１Ｒの信号は、深度情報（Ｄｅｐｔｈ）の算出に用いることができる。図１に示す画素信号処理部１６では、画素毎に、一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒに対して所定の信号処理が行われる。
ここで、画素信号処理部１６における参考処理例として、一対のフォトダイオード２１Ｌ，２１Ｒから出力される、長時間蓄積、中時間蓄積、及び、短時間蓄積の画素信号Ｌ／Ｒに対して所定の補正処理を行った後の露光データから、どれか１つの露光データＬ／Ｒを選択し、この選択した露光データＬ／Ｒを基に輝度データＬ／Ｒを生成する処理を考える。
この参考処理例の場合、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの露光データＬ／Ｒを取得したとしても、どれか１つの露光データＬ／Ｒのみしか出力として選択されないため、３露光撮影を行っても、輝度データＬ／Ｒのダイナミックレンジが狭く、暗部や明部での深度情報の検出精度が悪くなる。
また、左右一対のフォトダイオード２１Ｌ，２１Ｒを有する位相差検出用画素２０を備えるＣＭＯＳイメージセンサ１では、一対のフォトダイオード２１Ｌ，２１Ｒ間で感度差が発生することがある。その結果、一方のフォトダイオード２１Ｌ／２１Ｒに蓄積された電荷が飽和レベルに達した場合、一対のフォトダイオード２１Ｌ，２１Ｒの信号を加算した後の１画素の画素データのリニアリティを維持できないブルーミング現象が発生する。そして、ブルーミング現象の発生によって画素データのリニアリティが維持できないと、異なる露光時間の画素データの切り替え箇所で輝度段差が発生し、段差部で間違った深度情報の検出が起こる。
ブルーミング現象の問題を回避するために、位相差検出用画素２０は、次のような画素構造となっている。このブルーミング対策についての説明図を図５に示す。図５の上側の図は、Ｒの２×２画素のうちの中時間蓄積（Ｍ）の位相差検出用画素２０を拡大した平面図であり、図５の下側の図は、一対のフォトダイオード２１Ｌ，２１Ｒのポテンシャルを模式的に示すポテンシャル概念図である。
位相差検出用画素２０は、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒ間のポテンシャル障壁２０１が、画素境界のポテンシャル障壁２０２よりも低く形成された画素構造となっている。Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒ間のポテンシャル障壁２０１の高さについては、一対のフォトダイオード２１Ｌ，２１Ｒを分離する両者間の不純物層（図４では、図示を省略）の不純物濃度を調整することにより、画素境界のポテンシャル障壁２０２よりも低く形成することができる。
このように、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒ間のポテンシャル障壁２０１を、画素境界のポテンシャル障壁２０２よりも低く形成することにより、一対のフォトダイオード２１Ｌ，２１Ｒの感度差に起因して、一対のフォトダイオード２１Ｌ，２１Ｒの一方（図５の例では、フォトダイオード２１Ｌ）が先に飽和したとき、その飽和した信号を他方（図５の例では、フォトダイオード２１Ｒ）に逃がすことができる。この画素構造により、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒを加算（画素加算）した後の１画素の画素データのリニアリティを確保することができる。
上記のブルーミング対策による画素加算時のリニアリティ維持についての説明図を図６に示す。センサ外に出力する画像データ（例えば、ベイヤ配列）については、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの各信号を加算して使用するため、上記のブルーミング対策によってブルーミング現象発生の問題は影響しない。
しかし、位相差検出用画素２０用いるＣＭＯＳイメージセンサ１では、オートフォーカスのためのデフォーカス情報（デフォーカス量及びデフォーカス方向）、あるいは、深度情報を検出するために、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの各信号を分離した状態で信号処理を行う。そのため、ブルーミング現象が発生すると、画素データのリニアリティを維持できないため、合成時の信号レベルが合わなくなる。
＜本開示の実施形態に係る画素信号処理部＞
本開示の実施形態に係る画素信号処理部、即ち、図１に示す画素信号処理部１６の構成の一例のブロック図を図７に模式的に示す。
［画素信号処理部の構成例］
本開示の実施形態（以下、「本実施形態」と略記する）に係る画素信号処理部１６は、露光時間が異なる複数の画素信号の取得が可能であるとともに、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒを有する位相差検出用画素２０を備えるＣＭＯＳイメージセンサ１において、画素毎に、一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒに対して所定の信号処理を行うための信号処理部である。具体的には、本実施形態に係る画素信号処理部１６は、画素特性補正回路１６１、輝度信号生成回路１６２、ブルーミング判定回路１６３、及び、合成回路１６４を有する構成となっている。
画素特性補正回路１６１は、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒ、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに対して所定の補正処理を行う。具体的には、画素特性補正回路１６１は、像高位置によってＬ／Ｒのバランスが変化するために、所定の補正処理の一例として、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに対して、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの感度差を補正する処理を行う。
輝度信号生成回路１６２は、画素特性補正回路１６１での補正処理後の長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに基づいて、異なる露光時間（長時間蓄積、中時間蓄積、及び、短時間蓄積）に対応する複数の輝度信号（輝度データ）Ｌ／Ｒを生成する。
ブルーミング判定回路１６３は、画素特性補正回路１６１での補正処理前の画素信号、即ち、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに基づいて、位相差検出用画素２０にブルーミング現象が発生したか否かの判定を行う。ブルーミング現象の発生の影響により、リニアリティが維持できなくなる画素値は、位相差検出用画素２０の特性に依存する。そこで、ブルーミング判定回路１６３には、ブルーミング閾値が設定されている。そして、ブルーミング判定回路１６３は、画素特性補正回路１６１での補正処理前の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素２０と判定する。
合成回路１６４は、ブルーミング判定回路１６３の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号、即ち、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成し、合成輝度データＬ／Ｒとして出力する。具体的には、合成回路１６４は、ブルーミング判定回路１６３でブルーミング現象が発生したと判定された位相差検出用画素２０を除外し、ブルーミング現象が発生していないと判定された位相差検出用画素２０について、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成し、合成輝度データＬ／Ｒとして出力する。
ここで、画素特性補正回路１６１での補正処理前のデータに基づいて、ブルーミング現象が発生している画素の判定を行うのは、次の理由による。すなわち、画素特性補正回路１６１での感度差などの補正処理により、Ｌ／Ｒの信号レベルが変化してしまい、本来の画素が持つ信号レベルがわからなくなるためである。また、センサ出力後の輝度データでは、様々な信号処理が施されているため、同様の理由で元の信号レベルを復元することができない。従って、画素特性補正回路１６１での補正処理前のデータに基づいて、ブルーミング判定処理とそれを使った合成処理を行うことで、リニアリティ維持の判断を正確に行うことができる。
［合成輝度データＬ／Ｒの活用例］
Ｌ／Ｒ一対の合成輝度データについては、それぞれのデータに基づいて、Ｌ／Ｒ各像の相対位置を検出し、オートフォーカスで用いるデフォーカス情報（デフォーカス量及びデフォーカス方向）を検出する用途や、Ｌ／Ｒ一対の合成輝度データの差分情報から深度データを算出する用途に用いることができる。そして、例えば、深度データと合成輝度データとを組み合わせることにより、撮像画像の背景をぼかす、所謂、「背景ぼかし」の技術に活用することができる。
ここで、Ｌ／Ｒ一対の合成輝度データの差分情報から深度データを算出する際に重要なポイントとなるのがコントラストである。ダイナミックレンジが広いシーンでは、中時間蓄積のみの輝度データではコントラストが十分に得られず、誤った深度データを算出しやすい。そのため、ダイナミックレンジが広い合成輝度データＬ／Ｒを使うことで、より正確な深度データを算出することが可能になる。尚、Ｌ／Ｒ一対の合成輝度データを加算することで、１つの画素の画素データを取得することができる。
尚、本開示の撮像装置の画素信号処理方法について、図７に示す本実施形態に係る画素信号処理部１６において、画素特性補正回路１６１、輝度信号生成回路１６２、ブルーミング判定回路１６３、及び、合成回路１６４を、画素特性補正ステップ、輝度信号生成ステップ、ブルーミング判定ステップ、及び、合成ステップと置き換えたものとなる。
上述したように、本実施形態に係る画素信号処理部（画素信号処理方法）では、画素特性補正回路１６１による感度補正処理前の画素データを使用し、ブルーミング現象が発生している位相差検出用画素２０の判定を行い、ブルーミング現象が発生していない位相差検出用画素２０の画素データを使用し、３露光輝度データの合成処理を行っている。これによって、１つの輝度データを使用する場合に比べて、ダイナミックレンジが広い合成輝度データＬ／Ｒを得ることができるため、暗部や明部での深度情報の検出精度を向上できる。また、異なる露光時間の画素データの切り替え箇所で輝度段差が発生することもないため、間違った深度情報の検出が起こることもない。
以下に、ブルーミング現象の発生に起因して、異なる露光時間の画素データの切り替え箇所での輝度段差の発生を回避するための本実施形態に係る画素信号処理部１６の具体的な実施例について説明する。
［実施例１］
実施例１は、輝度データ生成ブロックに、ブルーミング影響回避及び３露光輝度データ合成の機能を組み込んだ例である。実施例１に係る画素信号処理部の構成の一例のブロック図を図８に模式的に示す。
輝度データ生成ブロック５０は、輝度信号生成回路１６２、ブルーミング判定回路１６３、及び、合成回路１６４の他に、階調圧縮回路１６５を有し、位相差検出用画素２０のＬ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒ、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに基づいて合成輝度信号Ｌ／Ｒを生成する。すなわち、輝度データ生成ブロック５０は、ブルーミング判定回路１６３の判定結果に基づくブルーミング影響回避、並びに、輝度信号生成回路１６２及び合成回路１６４による３露光輝度データ合成の機能を有している。
（ブルーミング判定処理）
ブルーミング判定回路１６３は、画素特性補正回路１６１での感度差補正処理前の画素データ、即ち、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒに基づいて、ブルーミング現象が発生している画素を検出する。輝度信号生成回路１６２での輝度データの生成には、ベイヤ配列のＲ／Ｇ／Ｇ／Ｂの画素データを使用するため、どれか１つの画素でもブルーミング現象が発生している場合には、その輝度データは使用できない。また、ブルーミング現象が発生した同色画素のＬ／Ｒにも影響するため、生成された輝度データのＬ／Ｒの両方が使用できない。
（ブレンドマップ生成処理）
ブルーミング判定回路１６３では、ブルーミング現象が発生した画素の情報を基に、長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データのそれぞれについて、ブルーミング判定結果としてブレンドマップを作成する。長時間蓄積の画素データのブレンドマップは、長時間蓄積の輝度データと掛け合わせて使用し、使用可能な画素、即ち、ブルーミング現象が発生していない画素のみを抽出するために使用する。
（３露光合成処理）
こごで、ブルーミング判定回路１６３で生成されたブレンドマップを用いた、合成回路１６４での長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒについての合成処理（即ち、３露光合成処理）について説明する。図９は、ブルーミング判定回路１６３及び合成回路１６４による３露光合成処理の一例を模式的に示す図である。
輝度信号生成回路１６２による長時間蓄積、中時間蓄積、及び、短時間蓄積の輝度データＬ／Ｒ、並びに、ブルーミング判定回路１６３によるブレンドマップがそれぞれ３種類生成される。例えば、１０ｂｉｔの長時間、中時間、短時間の各露光時間の輝度データとブレンドマップとを掛け合わせ、３露光合成した輝度データをＬ／Ｒのそれぞれで生成する。３露光合成処理後の合成輝度データＬ／Ｒは１６ｂｉｔに拡張されるが、後段の階調圧縮回路１６５でのガンマ処理及びリミット処理によって１０ｂｉｔに圧縮される。
３露光合成した輝度データでも、低照度領域ではコントラストが弱い傾向にあるため、階調圧縮回路１６５では、ガンマ処理が行われるようになっている。このガンマ処理については、必須のものではなく、また、ＣＭＯＳイメージセンサ内での処理だけでなく、ＣＭＯＳイメージセンサ外での処理とすることも可能である。
輝度信号生成回路１６２は、Ｌ／Ｒ分離部１６２１、チャネル分解部１６２２、及び、輝度信号生成部１６２３の各機能部から成る。Ｌ／Ｒ分離部１６２１は、感度差補正後の画素データについてＬ／Ｒ分離を行う。チャネル分解部１６２２は、２×２の４画素を単位とするＬ／Ｒの画素データについて、各露光時間毎に同じグループに分けるチャネル分解を行う。輝度信号生成部１６２３は、チャネル分解部１６２２でチャネル分解されたＬ×４の画素データ及びＲ×４の画素データに基づいて、Ｌ×４の輝度データ及びＲ×４の輝度データを生成し、合成回路１６４に供給する。
ブルーミング判定回路１６３は、Ｌ／Ｒ分離部１６３１、チャネル分解部１６３２、ブルーミング判定部１６３３、及び、ブレンドマップ生成部１６３４の各機能部から成る。Ｌ／Ｒ分離部１６３１は、感度差補正前の画素データについてＬ／Ｒ分離を行う。チャネル分解部１６３２は、２×２の４画素を単位とするＬ／Ｒの画素データについて、各露光時間毎に同じグループに分けるチャネル分解を行う。
ブルーミング判定部１６３３は、チャネル分解部１６２２でチャネル分解されたＬ×４の画素データ及びＲ×４の画素データを基に、位相差検出用画素２０にブルーミング現象が発生したか否かの判定を行う。ブルーミング現象の発生の影響により、リニアリティが維持できなくなる画素値は画素特性に依存するため、閾値パラメータを用いてブルーミング現象の発生の画素の判定を行う。具体的には、ブルーミング判定部１６３３は、画素値がブルーミング閾値以上の画素を、ブルーミング現象が発生した画素と判定する。
ブレンドマップ生成部１６３４は、ブルーミング判定部１６３３によってブルーミング現象が発生したと判定された画素の情報を基に、長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データのそれぞれについてブレンドマップを作成する。具体的には、ブレンドマップ生成部１６３４は、画素値がブルーミング閾値以上の画素、即ち、ブルーミング現象が発生した画素については、その画素値は使用しないように露光時間毎にマップを生成する。図１０に、長時間蓄積用マップ、中時間蓄積用マップ、及び、短時間蓄積用マップの一例を示す。
ここで、ブルーミング現象が発生した画素の判定を、ブルーミング閾値を基準として０／１で行うと、露光の異なるデータが突然切り替わるため、輝度段差が発生する懸念がある。そこで、ブレンドマップ生成部１６３４では、簡易ブレンド処理を行い、画素値がブルーミング閾値を超える前段階から、露光時間が異なる画素データをブレンドするようにマップのビット数を拡張し、ブレンドマップを生成する構成となっている。
合成回路１６４は、ブルーミング判定回路１６３のブレンドマップ生成部１６３４で生成されたブレンドマップを使用し、長時間蓄積、中時間蓄積、及び、短時間蓄積の輝度データをブレンドすることで、長時間蓄積、中時間蓄積、及び、短時間蓄積の３露光の輝度データについて合成処理を行う。具体的には、長時間蓄積の輝度データを基準として、全体の輝度レベルを合わせるため、中時間蓄積の輝度データを露光比倍した輝度データ、及び、短時間蓄積の輝度データを露光比の２乗倍した輝度データをあらかじめ用意する。
そして、合成回路１６４は、前述のブレンドマップと、あらかじめ用意した輝度データをそれぞれ掛け合わせて加算することで、３露光合成輝度データを生成する。通常の広ダイナミックレンジ処理では、このような単純な掛け合わせでは、切り替えの境界で輝度段差が発生する。そのため、実施例１に係る画素信号処理部１６では、ローカルエリア毎に輝度を調整し、ブレンドする処理を行っている。
上述したように、実施例１に係る画素信号処理部１６による合成処理では、単純に露光比倍した輝度データを切り替えることによって、換言すれば、露光比に応じて輝度レベルを合わせることによって合成処理を行い、処理の軽量化を行っている。しかし、露光比による信号レベルの調整には誤差が生じるため、ブルーミング現象の発生を回避し、リニアリティを維持しても、露光時間が異なる輝度データには多少の輝度差が発生する。その対策として、実施例１に係る画素信号処理部１６では、露光時間が異なる複数の輝度データの境界については、ブレンドマップによるブレンド処理によって切り替えることにより、急激な信号レベルの変化を抑え、輝度段差を緩和している。
［実施例２］
実施例２は、位相差検出用画素がカラーフィルタのない白色画素から成る例である。実施例２に係る画素信号処理部の構成の一例のブロック図を図１１に模式的に示す。
ＲＧＢベイヤ配列の位相差検出用画素２０に対して３露光合成処理を行う構成の実施例１に対して、実施例２では、位相差検出用画素２０がカラーフィルタのない白色画素から成り、白色画素のみでの複数露光合成処理、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３露光合成処理を行う構成となっている。すなわち、ＲＧＢベイヤ配列に限らず、一対のフォトダイオード２１Ｌ，２１Ｒを有する画素構造で、露光時間が異なる複数の画素信号の出力が可能な構造であれば、実施例１の場合と同様の合成処理を行うことが可能である。
画素特性補正回路１６１は、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素データＬ／Ｒ、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒに対して所定の補正処理を行う。具体的には、画素特性補正回路１６１は、像高位置によってＬ／Ｒのバランスが変化するために、所定の補正処理の一例として、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒに対して、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの感度差を補正する処理を行う。
Ｌ／Ｒ分離回路１６６は、画素特性補正回路１６１での補正処理後の長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒを、Ｌの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データと、Ｒの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データとに分離し、合成回路１６４に供給する。白色画素から成る位相差検出用画素２０の場合、画素データは輝度データである。
合成回路１６４は、ブルーミング判定回路１６３の判定結果に基づいて、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成し、３露光合成輝度データＬ／Ｒとして出力する。具体的には、合成回路１６４は、ブルーミング判定回路１６３でブルーミング現象が発生していないと判定された位相差検出用画素２０について、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成する。合成回路１６４から出力される３露光合成輝度データＬ／Ｒは、センサ外部に設けられた例えばアプリケーションプロセッサ６０に供給される。
上述したように、実施例２に係る画素信号処理部１６では、位相差検出用画素２０が白色画素から成り、白色画素のみでの３露光合成処理が行われる。白色画素を使う場合は、輝度（Ｙ）データの生成処理を行う必要がないために、そのままの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データを使用して合成することで、Ｌ／Ｒの３露光合成輝度データを出力することができる。
［実施例３］
実施例３は、位相差検出用画素がカラーフィルタのない白色画素から成り、且つ、センサ外部で合成処理を行う例である。実施例３に係る画素信号処理部の構成の一例のブロック図を図１２に模式的に示す。
実施例３に係る画素信号処理部１６は、センサ外部に設けられたアプリケーションプロセッサ６０を用いて、３露光合成輝度データＬ／Ｒを生成する構成となっている。センサ外部のアプリケーションプロセッサ６０には、センサ内部のＬ／Ｒ分離回路１６６から、Ｌの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データと、Ｒの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データが供給される。
アプリケーションプロセッサ６０は、ソフトウェア処理によって、実施例１のブルーミング判定回路１６３と同じようにしてブルーミング判定処理を行うとともに、実施例１の合成回路１６４と同じようにして３露光合成処理を行うことで、３露光合成輝度データＬ／Ｒを出力する。
実施例３に係る画素信号処理部１６の場合、センサ外でブルーミング判定処理、及び、３露光合成処理を行うために、アプリケーションプロセッサ６０の負荷が重くなる。従って、アプリケーションプロセッサ６０の負荷を軽減する観点からすると、実施例１や実施例２の場合のように、センサ内でブルーミング判定処理、及び、３露光合成処理を行う方が好ましいと言うことができる。
［実施例４］
実施例４は、実施例３の変形例であり、位相差検出用画素がＲＧＢベイヤ配列の画素から成り、且つ、センサ外部で合成処理を行う例である。実施例４に係る画素信号処理部の構成の一例のブロック図を図１３に模式的に示す。
実施例４に係る画素信号処理部１６の場合、位相差検出用画素がＲＧＢベイヤ配列の画素から成ることから、輝度（Ｙ）データの生成処理を行う必要がある。アプリケーションプロセッサ６０は、ソフトウェア処理によって、実施例１の輝度信号生成回路１６２と同じようにして輝度データの生成処理を行い、実施例１のブルーミング判定回路１６３と同じようにしてブルーミング判定処理を行い、実施例１の合成回路１６４と同じようにして３露光合成処理を行うことで、３露光合成輝度データＬ／Ｒを出力する。
実施例４に係る画素信号処理部１６の場合、センサ外で輝度データの生成処理、ブルーミング判定処理、及び、３露光合成処理を行うために、アプリケーションプロセッサ６０の負荷が実施例３の場合よりも更に重くなる。従って、アプリケーションプロセッサ６０の負荷を軽減する観点からすると、実施例１や実施例２の場合のように、センサ内でブルーミング判定処理、及び、３露光合成処理を行う方が好ましいと言うことができる。
＜本開示の撮像システム＞
図１４は、本開示の撮像システムの構成の概略を模式的に示すブロック図である。図１４に示すように、本開示の撮像システム１００は、光学系１１０、撮像素子１２０、信号処理部１３０、及び、オートフォーカス部１４０を備える構成となっている。
光学系１１０は、撮像レンズ１１１や絞り（図示せず）などによって構成されている。尚、ここでは、撮像レンズ１１１について、１つのレンズとして図示しているが、これに限られるものではない。すなわち、撮像レンズ１１１は、１つのレンズによって構成される場合もあるし、複数のレンズによって構成される場合もある。
撮像素子１２０は、撮像レンズ１１１によって撮像面上に結像される入射光束の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子１２０として、先述した実施形態に係るＣＭＯＳイメージセンサ、即ち、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能なＣＭＯＳイメージセンサを用いることができる。このＣＭＯＳイメージセンサからは、オートフォーカス部１４０に対して、例えば３露光合成輝度データＬ／Ｒが出力される。
信号処理部１３０は、ＤＳＰ(Digital Signal Processor)回路１３１、フレームメモリ１３２、表示部１３３、記録部１３４、及び、操作系１３５などを有する構成となっている。そして、ＤＳＰ回路１３１、フレームメモリ１３２、表示部１３３、記録部１３４、及び、操作系１３５が、バスライン１３６を介して相互に通信可能に接続されている。
ＤＳＰ回路１３１は、撮像素子１２０から供給される撮像信号に対し、必要に応じて、フレームメモリ１３２を利用しつつ周知の種々の信号処理を施す。表示部１３３は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置などのパネル型表示装置から成り、撮像素子１２０で撮像された動画又は静止画を表示する。記録部１３４は、撮像素子１２０で撮像された動画又は静止画を、ハードディスクやＤＶＤ等の記録媒体に記録する。
操作系１３５は、撮影者による操作の下に、本撮像システム１００が持つ様々な機能について操作指令を発する。尚、図示を省略するが、信号処理部１３０には電源系も設けられており、当該電源系は、ＤＳＰ回路１３１、フレームメモリ１３２、表示部１３３、記録部１３４、及び、操作系１３５の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
オートフォーカス部１４０は、フォーカス制御部１４１及びレンズ駆動部１４２等を有する構成となっている。レンズ駆動部１４２には、撮像素子１２０で生成された例えば３露光合成輝度データＬ／Ｒが供給される。フォーカス制御部１４１は、マイクロコンピュータなどによって構成され、撮像素子１２０から供給される３露光合成輝度データＬ／Ｒに基づいて、撮像レンズ１１１の焦点のずれ量及びずれ方向、即ち、デフォーカス量及びデフォーカス方向を表わす位相差検出信号を生成する。そして、フォーカス制御部１４１は、生成した位相差検出信号を基に、レンズ駆動部１４２を介して撮像レンズ１１１をその光軸方向に移動させることによって焦点（ピント）が合った状態にするフォーカス制御を行う。
上述したように、本開示の撮像システム１００は、撮像素子１２０として、先述した実施形態に係るＣＭＯＳイメージセンサを用いており、当該ＣＭＯＳイメージセンサは、ブルーミング現象の発生に起因して、異なる露光時間の画素データの切り替え箇所での輝度段差の発生を回避することができる。従って、ＣＭＯＳイメージセンサからは、異なる露光時間の画素データの切り替え箇所での輝度段差の発生のない複数露光合成輝度データＬ／Ｒが出力されるために、複数露光合成輝度データＬ／Ｒに基づくオートフォーカス制御をより正確に行うことができる。
本開示の撮像システム１００は、スマートフォンなどの撮像機能を有する携帯端末装置を含む種々の電子機器の撮像部として用いることができる。
＜変形例＞
以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置の構成、構造は例示であり、適宜、変更することができる。例えば、上記の実施形態では、長時間蓄積、中時間蓄積、及び、短時間蓄積の３露光の構成を例に挙げて説明したが、３露光の構成に限られるものではなく、２露光の構成、あるいは、４露光以上の構成とすることもできる。
ＲＧＢベイヤ配列から成る位相差検出用画素を用いる場合、合成出力する輝度データについては、精度は落ちるものの、Ｇ画素のデータのみでも実現することが可能である。その場合、ＲＧＢの各画素のデータを用いて合成輝度データを出力する場合よりも、回路規模を小さくできるため、チップサイズを優先する場合には、有利な構成と言うことができる。
＜本開示がとることができる構成＞
尚、本開示は、以下のような構成をとることもできる。
≪Ａ．撮像装置≫
［Ａ－０１］画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、
位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
画素信号処理部は、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
画素特性補正回路での補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
撮像装置。
［Ａ－０２］画素特性補正回路は、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
上記［Ａ－０１］に記載の撮像装置。
［Ａ－０３］ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
上記［Ａ－０２］に記載の撮像装置。
［Ａ－０４］ブルーミング判定回路は、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
上記［Ａ－０３］に記載の撮像装置。
［Ａ－０５］合成回路は、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
上記［Ａ－０４］に記載の撮像装置。
［Ａ－０６］ブルーミング判定回路は、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
上記［Ａ－０５］に記載の撮像装置。
［Ａ－０７］合成回路は、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
上記［Ａ－０５］に記載の撮像装置。
［Ａ－０８］合成回路は、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
上記［Ａ－０７］に記載の撮像装置。
［Ａ－０９］位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
上記［Ａ－０４］に記載の撮像装置。
［Ａ－１０］位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
上記［Ａ－０１］乃至上記［Ａ－０９］のいずれかに記載の撮像装置。
［Ａ－１１］位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
上記［Ａ－０１］乃至上記［Ａ－０９］のいずれかに記載の撮像装置。
［Ａ－１２］位相差検出用画素は、白色の画素から成る、
上記［Ａ－０１］乃至上記［Ａ－１０］のいずれかに記載の撮像装置。
≪Ｂ．撮像装置の画素信号処理方法≫
［Ｂ－０１］画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
位相差検出用画素から出力される画素信号を処理するに当たって、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正ステップ、
画素特性補正ステップでの補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成ステップ、
画素特性補正ステップでの補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定ステップ、及び、
ブルーミング判定ステップの判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成ステップを有する、
撮像装置の画素信号処理方法。
［Ｂ－０２］画素特性補正ステップでは、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
上記［Ｂ－０１］に記載の撮像装置の画素信号処理方法。
［Ｂ－０３］ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
上記［Ｂ－０２］に記載の撮像装置の画素信号処理方法。
［Ｂ－０４］ブルーミング判定ステップでは、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
上記［Ｂ－０３］に記載の撮像装置の画素信号処理方法。
［Ｂ－０５］合成ステップでは、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
上記［Ｂ－０４］に記載の撮像装置の画素信号処理方法。
［Ｂ－０６］ブルーミング判定ステップでは、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
上記［Ｂ－０５］に記載の撮像装置の画素信号処理方法。
［Ｂ－０７］合成ステップでは、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
上記［Ｂ－０５］に記載の撮像装置の画素信号処理方法。
［Ｂ－０８］合成ステップでは、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
上記［Ｂ－０７］に記載の撮像装置の画素信号処理方法。
［Ｂ－０９］位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
上記［Ｂ－０４］に記載の撮像装置の画素信号処理方法。
［Ｂ－１０］位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
上記［Ｂ－０１］乃至上記［Ｂ－０９］のいずれかに記載の撮像装置の画素信号処理方法。
［Ｂ－１１］位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
上記［Ｂ－０１］乃至上記［Ｂ－０９］のいずれかに記載の撮像装置の画素信号処理方法。
［Ｂ－１２］位相差検出用画素は、白色の画素から成る、
上記［Ｂ－０１］乃至上記［Ｂ－１０］のいずれかに記載の撮像装置の画素信号処理方法。
≪Ｃ．撮像システム≫
［Ｃ－０１］画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備える撮像装置、
撮像装置の入射光路中に配された撮像レンズ、並びに、
位相差検出用画素の一対の光電変換部から出力される一対の画素信号から生成されるオートフォーカス信号に基づいて、撮像レンズのフォーカス制御を行うフォーカス制御部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
画素信号処理部は、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
画素特性補正回路での補正処理前の一対の画素信号を基に、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
撮像システム。
［Ｃ－０２］画素特性補正回路は、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
上記［Ｃ－０１］に記載の撮像システム。
［Ｃ－０３］ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
上記［Ｃ－０２］に記載の撮像システム。
［Ｃ－０４］ブルーミング判定回路は、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
上記［Ｃ－０３］に記載の撮像システム。
［Ｃ－０５］合成回路は、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
上記［Ｃ－０４］に記載の撮像システム。
［Ｃ－０６］ブルーミング判定回路は、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
上記［Ｃ－０５］に記載の撮像システム。
［Ｃ－０７］合成回路は、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
上記［Ｃ－０５］に記載の撮像システム。
［Ｃ－０８］合成回路は、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
上記［Ｃ－０７］に記載の撮像システム。
［Ｃ－０９］位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
上記［Ｃ－０４］に記載の撮像システム。
［Ｃ－１０］位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
上記［Ｃ－０１］乃至上記［Ｃ－０９］のいずれかに記載の撮像システム。
［Ｃ－１１］位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
上記［Ｃ－０１］乃至上記［Ｃ－０９］のいずれかに記載の撮像システム。
［Ｃ－１２］位相差検出用画素は、白色の画素から成る、
上記［Ｃ－０１］乃至上記［Ｃ－１０］のいずれかに記載の撮像システム。
１・・・ＣＭＯＳイメージセンサ、１１・・・画素アレイ部、１２・・・行選択部、１３・・・負荷ＭＯＳ部、１４・・・カラム信号処理部、１５・・・出力回路部、１６・・・画素信号処理部、１７・・・タイミング制御部、１８・・・半導体基板、２０・・・画素／位相差検出用画素、２１（２１Ｌ．２１Ｒ）・・・フォトダイオード、２２・・・転送トランジスタ、２３・・・リセットトランジスタ、２４・・・増幅トランジスタ、２５・・・選択トランジスタ、３１（３１1～３１m）・・・画素制御線、３２（３２1～３２n）・・・垂直信号線、４７・・・カラーフィルタ、４８・・・オンチップレンズ、５０・・・輝度データ生成ブロック、６０・・・アプリケーションプロセッサ、１００・・・撮像システム、１１０・・・光学系、１２０・・・撮像素子、１３０・・・信号処理部、１４０・・・オートフォーカス部、１６１・・・画素特性補正回路、１６２・・・輝度信号生成回路、１６３・・・ブルーミング判定回路、１６４・・・合成回路

Claims (14)

  1. 画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、
    位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、
    位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
    画素信号処理部は、
    一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
    画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
    画素特性補正回路での補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
    ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
    撮像装置。
  2. 画素特性補正回路は、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
    請求項１に記載の撮像装置。
  3. ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
    請求項２に記載の撮像装置。
  4. ブルーミング判定回路は、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
    請求項３に記載の撮像装置。
  5. 合成回路は、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
    請求項４に記載の撮像装置。
  6. ブルーミング判定回路は、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
    請求項５に記載の撮像装置。
  7. 合成回路は、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
    請求項５に記載の撮像装置。
  8. 合成回路は、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
    請求項７に記載の撮像装置。
  9. 位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
    請求項４に記載の撮像装置。
  10. 位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
    請求項１に記載の撮像装置。
  11. 位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
    請求項１に記載の撮像装置。
  12. 位相差検出用画素は、白色の画素から成る、
    請求項１に記載の撮像装置。
  13. 画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、
    位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
    位相差検出用画素から出力される画素信号を処理するに当たって、
    一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正ステップ、
    画素特性補正ステップでの補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成ステップ、
    画素特性補正ステップでの補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定ステップ、及び、
    ブルーミング判定ステップの判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成ステップを有する、
    撮像装置の画素信号処理方法。
  14. 画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備える撮像装置、
    撮像装置の入射光路中に配された撮像レンズ、並びに、
    位相差検出用画素の一対の光電変換部から出力される一対の画素信号から生成されるオートフォーカス信号に基づいて、撮像レンズのフォーカス制御を行うフォーカス制御部を備え、
    位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
    画素信号処理部は、
    一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
    画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
    画素特性補正回路での補正処理前の一対の画素信号を基に、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
    ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
    撮像システム。
JP2021002484A 2021-01-11 2021-01-11 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム Pending JP2022107563A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021002484A JP2022107563A (ja) 2021-01-11 2021-01-11 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
PCT/JP2021/042409 WO2022149355A1 (ja) 2021-01-11 2021-11-18 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021002484A JP2022107563A (ja) 2021-01-11 2021-01-11 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム

Publications (1)

Publication Number Publication Date
JP2022107563A true JP2022107563A (ja) 2022-07-22

Family

ID=82357245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021002484A Pending JP2022107563A (ja) 2021-01-11 2021-01-11 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム

Country Status (2)

Country Link
JP (1) JP2022107563A (ja)
WO (1) WO2022149355A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5657184B2 (ja) * 2012-09-12 2015-01-21 富士フイルム株式会社 撮像装置及び信号処理方法
JP6353233B2 (ja) * 2014-01-30 2018-07-04 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法
CN115767293B (zh) * 2017-11-22 2023-07-14 索尼半导体解决方案公司 光检测装置和摄像装置

Also Published As

Publication number Publication date
WO2022149355A1 (ja) 2022-07-14

Similar Documents

Publication Publication Date Title
TWI653892B (zh) 固態成像器件及其驅動方法，以及電子裝置
US10594961B2 (en) Generation of pixel signal with a high dynamic range and generation of phase difference information
US9591244B2 (en) Solid-state imaging device having plural hybrid pixels with dual storing function
US8908065B2 (en) Solid state imaging processing systems and method for providing signal correction of pixel saturation errors
WO2015170628A1 (ja) 固体撮像装置および電子機器
JP5499789B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
US9871985B2 (en) Solid-state image pickup device and electronic apparatus including a solid-state image pickup device having high and low sensitivity pixels
JP4626706B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TW201108734A (en) Solid-state imaging device, signal processing method thereof and image capturing apparatus
JP2013145779A (ja) 固体撮像装置及び電子機器
CN111586323A (zh) 图像传感器、控制方法、摄像头组件和移动终端
JP2011029835A (ja) 固体撮像装置とその駆動方法、及び電子機器
JP6355362B2 (ja) 光電変換装置および撮像システム
WO2018012068A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2012227889A (ja) 固体撮像装置
JP2018085709A (ja) 読出し制御回路、固体撮像素子、および撮像素子の駆動方法
WO2022149355A1 (ja) 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
TWI795796B (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
WO2018087975A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
JP2005198001A (ja) 固体撮像装置
US20240314456A1 (en) Imaging device, sensor, and imaging control device
JP6547265B2 (ja) 撮像素子および撮像装置
CN118574030A (zh) 光电转换装置、光电转换装置的控制方法和存储介质
Brading et al. Image Sensors for Camera Monitor Systems
Chu et al. Improving low-light CMOS performance with four-transistor four-shared pixel architecture and charge-domain binning

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210709