JP2009268073A

JP2009268073A - 撮像装置及び撮像装置の信号処理方法

Info

Publication number: JP2009268073A
Application number: JP2009059368A
Authority: JP
Inventors: Satoru Wada; 和田　　哲
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-04-01
Filing date: 2009-03-12
Publication date: 2009-11-12
Anticipated expiration: 2029-03-12
Also published as: JP4448888B2; US8031235B2; US20090244350A1

Abstract

【課題】時間上の相関性が低下することを防止しつつ、高感度の光電変換部で生成した信号電荷と低感度の光電変換部で生成した信号電荷を合成することでダイナミックレンジの拡大を図ることができる撮像装置及び撮像装置の信号処理方法を提供する。
【解決手段】規則的に配列された、複数の第１の光電変換部と第２の光電変換部から構成される光電変換部を半導体基板上に有する固体撮像素子を備えた撮像装置であって、第１の光電変換部において、所定の露光時間に蓄積された第１画素信号を読み出し、第２の光電変換部から低感度画素信号を読み出した後、所定の露光時間と重複する時間内に蓄積された第２画素信号を読み出すとともに、第１画素信号と第２画素信号を加算して高感度画素信号とするように固体撮像素子を駆動制御する駆動部と、低感度画素信号と高感度画素信号とを合成することで画像を生成する信号処理部とを備える。
【選択図】図４

Description

本発明は、半導体基板にマトリクス状に複数の光電変換素子が配列された、複数の光電変換素子が高感度と低感度とのものを含む固体撮像素子を備えた撮像装置及び撮像装置の信号処理方法に関する。

デジタルカメラ等の撮像装置としては、広いダイナミックレンジの画像を得るため、高感度撮影と低感度撮影を短時間で連続して行い、取得した２つの画像を合成する処理が採用されているものが知られている。

また、相対的に高感度の光電変換部と、相対的に低感度の光電変換部とを有する固体撮像素子を備えた撮像装置では、高感度の光電変換部からの信号電荷と低感度の光電変換部からの信号電荷を合成することで広いダイナミックレンジを有する画像を作成している。このような光電変換素子としては、例えば下記特許文献に示すものがある。

特開２００４−５５７８６号公報特開２００４−３３６４６９号公報特開平７−２５０２８６号公報

しかし、高感度で撮影した画像と、低感度で撮影した画像を合成する場合には、両者が同時に撮影されたものではなく時間上の相関性が低いため、合成された画像が不自然な画像になってしまう点で改善の余地があった。
また、ダイナミックレンジを拡大させる目的で、高感度の光電変換部と低感度の光電変換部とから信号電荷を読み出す場合には、露光量が少ないとノイズが増大しまう問題があった。さらに、高速シャッター対応などでさらなる高感度化のために画素加算が必要であった。
上記特許文献３では、複数種類の信号電荷を画素加算することによりダイナミックレンジの拡大を行っているが、低感度の画素の信号電荷も加算を行うため低感度画素も高感度化されてしまうため、露光時間の制御が困難であった。

本発明は、上記事情に鑑みてなされたもので、その目的は、時間上の相関性が低下することを防止しつつ、高感度の光電変換部で生成した信号電荷と低感度の光電変換部で生成した信号電荷を合成することでダイナミックレンジの拡大を図ることができる撮像装置及び撮像装置の信号処理方法を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）規則的に配列された、複数の第１の光電変換部と第２の光電変換部から構成される光電変換部を半導体基板上に有する固体撮像素子を備えた撮像装置であって、
前記第１の光電変換部において、所定の露光時間に蓄積された第１画素信号を読み出し、前記第２の光電変換部から低感度画素信号を読み出した後、前記所定の露光時間と重複する時間内に蓄積された第２画素信号を読み出すとともに、前記第１画素信号と前記第２画素信号を加算して高感度画素信号とするように前記固体撮像素子を駆動制御する駆動部と、前記低感度画素信号と前記高感度画素信号とを合成することで画像を生成する信号処理部とを備えることを特徴とする撮像装置。
（２）前記複数の第１の光電変換部と、前記複数の第２の光電変換部はそれぞれ複数の色に対応した光電変換部を備え、同じ色に対応し前記加算を行う前記第１の光電変換部と前記第２の光電変換部とが、前記半導体基板上の前記光電変換部配列において互いに隣り合う位置に配置されていることを特徴とする（１）に記載の撮像装置。
（３）前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている（１）又は（２）に記載の撮像装置。
（４）前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記水平転送部において行う（３）に記載の撮像装置。
（５）前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている（１）から（３）のいずれか１項に記載の撮像装置。
（６）前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記垂直転送部もしくは前記水平転送部で行う請求項５に記載の撮像装置。
（７）規則的に配列された、複数の第１の光電変換部と第２の光電変換部から構成される光電変換部を半導体基板上に有する固体撮像素子を備えた撮像装置の信号処理方法であって、
前記第１の光電変換部において、所定の露光時間に蓄積された第１画素信号を読み出し、前記第２の光電変換部から低感度画素信号を読み出した後、前記所定の露光時間と重複する時間内に蓄積された第２画素信号を読み出し、前記第１画素信号と前記第２画素信号を加算して高感度画素信号とし、前記低感度画素信号と前記高感度画素信号とを合成することで画像を生成する信号処理部とを備えることを特徴とする信号処理方法。
（８）前記複数の第１の光電変換部と、前記複数の第２の光電変換部はそれぞれ複数の色に対応した光電変換部を備え、同じ色に対応し前記加算を行う前記第１の光電変換部と前記第２の光電変換部とが、前記半導体基板上の前記光電変換部配列において互いに隣り合う位置に配置されていることを特徴とする請求項７に記載の信号処理方法。
（９）前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている（７）又は（８）に記載の信号処理方法。
（１０）前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記水平転送部において行う（９）に記載の信号処理方法。
（１１）前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている（７）から（９）のいずれか１項に記載の信号処理方法。
（１２）前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記垂直転送部もしくは前記水平転送部で行う（１１）に記載の信号処理方法。

本発明によれば、第１の光電変換部（例えば、高感度の光電変換部）から得られた第１画素信号と、第２の光電変換部（例えば、低感度の光電変換部）から得られた低感度画素信号とを合成して画像を生成することができるため、広いダイナミックレンジを実現することができるうえ、第２の光電変換部からの第２画素信号を高感度画素信号と加算させることで、より高感度の信号を得ることができ、ダイナミックレンジを更に拡大することができる。第２の光電変換部を用いて高感度情報の一部を検出し、加算を行うことで、電荷量が増加するため、第１の光電変換部のみから高感度情報を検出する処理に比べて、ノイズの低減を図ることができる。
また、高感度画素信号と加算される第２画素信号は、第２の光電変換部の露光期間に検出されるため、全画素の露光期間を実質的に短縮することができるうえ、高感度の信号と低感度の信号とが、互いに露光期間の時間上の相関性が高くなり、例えば、動きのある被写体を撮像した場合に、より自然な画像を作成することができる。このとき、低感度画素信号は、高感度画素信号に加算されないため、低感度画素信号の露光時に高速電子シャッター等の露光制御を極端に短くすることなく、検出することができる。

第２の光電変換部における低感度画素信号及び第２画素信号を検出する露光期間が、第１の光電変換部における第１画素信号を検出する露光期間と重複する構成とすれば、第１の光電変換部と第２の光電変換部とのそれぞれの露光期間を同時刻に実行するように設定することができるようになるため、両者の信号電荷の相関性をより高めることができる。

ここで、「高感度」及び「低感度」とは、同一の露光時間、つまり、同一の露光の光量に対してそれぞれの光電変換部で検出される信号電荷が異なるように光電変換部の構成がそれぞれ異なる場合、及び、光電変換部がいずれも同じ構成で、且つ、異なる露光時間、つまり、異なる露光の光量とすることで感度を相対的に差をつける場合を含む。
つまり、高感度の光電変換部、及び、低感度の光電変換部は、それぞれの光電変換部の構成上に違いで感度に差があってもよく、それぞれの光電変換部の構成が同一であって、露光時間をそれぞれ制御することで、感度に差を設けてもよい。

同じ色に対応する光電変換部のうち、第１の光電変換部と第２の光電変換部とが、半導体基板の配列において互いに隣り合う位置に配置されている構成とすれば、両者の画素信号の相関性をより一層高めることができる。

本発明によれば、時間上の相関性が低下することを防止しつつ、高感度の光電変換部で生成した信号電荷と低感度の光電変換部で生成した信号電荷を合成することでダイナミックレンジの拡大を図ることができる撮像装置及び撮像装置の信号処理方法を提供できる。

本発明にかかる実施形態の撮像装置の概略構成を示す図である。本実施形態の固体撮像素子の構成を説明する平面模式図である。光電変換素子の画素信号を垂直転送部に読み出しているときの状態を説明する図である。本実施形態の撮像装置の動作の一例を説明する図である。本実施形態の撮像装置の動作の他の例を説明する図である。光電変換部の別の配列構造において、読み出し動作の一例を説明する図である。光電変換部の別の配列構造において、読み出し動作の他の例を説明する図である。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる実施形態の撮像装置の概略構成を示す図である。なお、本実施形態では、撮像装置の一例としてデジタルカメラの構成を用いて説明する。図１の撮像装置１００は、撮像部１０と、アナログ信号処理部１０２と、Ａ／Ｄ変換部１０３と、駆動部１０４と、ストロボ１０５と、デジタル信号処理部１０６と、圧縮／伸張処理部１０７と、表示部１０８と、システム制御部１０９と、内部メモリ１１０と、メディアインタフェース１１１と、記録メディア１１２と、操作部１１３とを備える。デジタル信号処理部１０６、圧縮／伸張処理部１０７、表示部１０８、システム制御部１０９、内部メモリ１１０、及びメディアインタフェース１１１は、システムバス１１４に接続されている。

撮像部１０は、撮影レンズ等の光学系及び後述する固体撮像素子によって被写体の撮影を行うものであり、アナログの撮像信号を出力する。撮像部１０には、固体撮像素子への光の入射の遮断制御を行うメカニカルシャッタも含まれている。アナログ信号処理部１０２は、撮像部１０で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部１０３は、アナログ信号処理部１０２で処理後のアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０３の出力は、いわゆるＲＡＷ画像データとしてデジタル信号処理部１０６に送られる。ＲＡＷ画像データは、撮像部１０からの撮像信号の形式のままデジタル化したデジタル画像データである。

撮影に際しては、駆動部１０４を介して光学系、メカニカルシャッタ、及び固体撮像素子の制御が行われる。固体撮像素子は、操作部１１３の一部であるレリーズボタン（図示せず）の操作による２段レリーズスイッチ（図示せず）のオンを契機として、所定のタイミングで、駆動部１０４に含まれるタイミングジェネレータ（図１ではＴＧと記載）からの駆動信号によって駆動される。駆動部１０４は、システム制御部１０９によって所定の駆動信号を出力する。

デジタル信号処理部１０６は、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１１３によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部１０６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、画像合成処理、同時化処理、及びＹ／Ｃ変換処理等が含まれる。デジタル信号処理部１０６は、例えばＤＳＰで構成される。

圧縮／伸張処理部１０７は、デジタル信号処理部１０６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１１２から得られた圧縮画像データに対して伸張処理を施す。

表示部１０８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た画像データに基づく画像を表示する。記録メディア１１２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

内部メモリ１１０は、例えばＤＲＡＭであり、デジタル信号処理部１０６やシステム制御部１０９のワークメモリとして利用される他、記録メディアに１１２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部１０８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１１は、メモリカード等の記録メディア１１２との間のデータの入出力を行うものである。

システム制御部１０９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。

操作部１１３は、デジタルカメラ使用時の各種操作を行うものであり、レリーズボタン等を含んでいる。

図１に示すデジタルカメラは、撮影感度の設定が変更可能となっている。例えばフィルム感度でいえば、ＩＳＯ感度１００に相当する感度で撮影を行う低感度撮影モードと、ＩＳＯ感度２００、４００、８００に相当する感度で撮影を行う高感度撮影モードとを切換設定可能となっている。図１に示すデジタルカメラでは、例えば、露光時間等の撮像条件を変えることでＩＳＯ感度を変えており、ＩＳＯ感度が低いほど露光時間を長く設定し、ＩＳＯ感度が高いほど露光時間を短く設定している。

図２は、本実施形態の固体撮像素子の構成を説明する平面模式図である。固体撮像素子は、半導体基板の受光領域上に複数のフォトダイオード等の光電変換部１１が二次状に配列されている。本実施形態では、各光電変換素子が画像を構成する一画素に相当し、以下、単に画素ともいう。

図２のおいて上下方向を列方向、左右方向を行方向としたとき、光電変換部１１が半導体基板表面に行方向及び列方向に配設され、奇数行の光電変換部と偶数行の光電変換部とが１／２ピッチづつずらして配列（所謂、ハニカム画素配列）されている。なお、本実施形態では、光電変換部１１は、高感度の光電変換部（第１の光電変換部）１１ａと低感度の光電変換部（第２の光電変換部）１１ｂとから構成されている。以下の説明では、高感度の光電変換部１１ａと相対的に低感度の光電変換部１１ｂとを総称して単に光電変換部１１ともいう。

固体撮像素子２０は、各光電変換部１１から読み出された信号電荷を列方向に転送する複数の垂直転送部１２と、複数の垂直転送部１２のそれぞれからの信号電荷を、行方向に転送する水平転送部１３と、水平転送部１３を経て信号電荷に対応する電圧信号を出力する出力アンプ部１４とが設けられている。

垂直転送部１２は、列方向に配設された複数の光電変換部１１に対応して半導体基板に形成された複数の垂直転送チャネル（図示しない）と、複数の垂直転送チャネルのそれぞれと交差するように形成された（図２において左右方向に延設された）複数の垂直転送電極Ｖ１〜Ｖ８と、各光電変換部１１の信号電荷を垂直転送チャネルに読み出す電荷読み出し領域とを含む。各垂直転送部１２の垂直転送電極Ｖ１〜Ｖ８は、光電変換部１１の各列同士の間に延在し、蛇行形状を有している。垂直転送部１２は、垂直転送電極Ｖ１〜Ｖ８に駆動部１０４から出力される垂直転送パルスによって転送駆動される。

水平転送部１３は、半導体基板に形成された図示しない水平転送チャネルと、この水平転送チャネル上に設けられた水平転送電極とを有し、水平転送電極に駆動部１０４から出力される水平転送パルスφＨ１，φＨ２によって２相駆動される。

出力アンプ部１４は、水平転送部１３の転送方向端部まで転送されてきた信号電荷の電荷量に応じた電圧値信号を画像信号として出力する。

なお、垂直転送部１２や水平転送部１３のように、「垂直」「水平」という語句を用いて説明したが、これは、半導体基板表面に平行な「１方向」「この１方向に対して略直角の方向」の意味である。

固体撮像素子において、カラー画像信号を検出するため、受光領域上に図示しないカラーフィルタが設けられている。

各光電変換部１１上に図示した「Ｒ」「Ｇ」「Ｂ」「ｒ」「ｇ」「ｂ」は、各光電変換部上に積層されたカラーフィルタの色を表しており、「Ｒ」「ｒ」は赤色を示し、「Ｇ」「ｇ」は緑色を示し、「Ｂ」「ｂ」は青色を示している。また、「Ｒ」「Ｇ」「Ｂ」で示す位置の光電変換部１１は相対的に高感度の光電変換部を示し、「ｒ」「ｇ」「ｂ」で示す位置の光電変換部１１は相対的に低感度の光電変換部を示している。高感度の光電変換部１１によって検出される光に対応する信号を第１画素信号、又は、各色に対応してＲ信号、Ｇ信号、Ｂ信号と記述する場合もある。低感度の光電変換部１１によって検出される光に対応する信号を低感度画素信号、又は、各色に対応してｒ信号、ｇ信号、ｂ信号と記述する場合もある。

本実施形態では、光電変換部１１が半導体基板表面に行方向及び列方向に配設され、高感度の光電変換部１１ｂと低感度の光電変換部１１ａとが、同一の配列ピッチで、かつ、互いに、配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている。具体的には、高感度の光電変換部１１ｂと低感度の光電変換部１１とはそれぞれ赤色，緑色，青色のベイヤー配列を有し、また、奇数行に「ｒ」「ｇ」「ｂ」で示される低感度の光電変換部１１ａが配列され、偶数行に「Ｒ」「Ｇ」「Ｂ」で示される高感度の光電変換部１１ｂが配列されている。ここで、上下に並んだ行の同色に対応する光電変換部（例えば「ｒ」と「Ｒ」）同士が行方向及び列方向に１／２ピッチづつずれて配置されている。同じ色に対応する光電変換部１１のうち、高感度の光電変換部１１ｂと低感度の光電変換部１１ａとが、半導体基板の配列において互いに隣り合う位置に配置されている。

低感度の光電変換部１１ａ及び高感度の光電変換部１１ｂを構成する素子の構成を変化させるには、受光領域の面積を光電変換部１１ごとに変化させてもよいし、光電変換部１１の上方に設けられたマイクロレンズによって集光面積を変化さえてもよい。光電変換部の感度を変化さえる方法は、特に限定されない。

図３は、光電変換素子の画素信号を垂直転送部に読み出しているときの状態を説明する図である。
本実施形態の固体撮像素子は、低感度の光電変換部１１ａのうち、奇数行の光電変換部１１ａと偶数行の光電変換部１１ａとの低感度画素信号がそれぞれ反対側の垂直転送部１２に読み出される。また、高感度の光電変換部１１ｂのうち、奇数行の光電変換部１１ｂと偶数行の光電変換部１１ｂとの第１画素信号がそれぞれ反対側の垂直転送部１２に読み出される。言い換えると、低感度の光電変換部１１ａの行と、高感度の光電変換部１１ｂの行とが上下に対応して並べられており、この対応する２行の光電変換部１１ａ，１１ｂが同じ垂直転送部１２に読み出され、上下の２行の光電変換部１１ａ，１１ｂは、反対側の垂直電荷転送部１２に読み出される。

図３において、垂直転送部１２において、低感度の光電変換部１１ａから読み出されたｒ信号が垂直転送される領域を斜線で示している。ここで、光電変換部１１ａで検出されたｒ信号が図中右側に読み出される場合、その列方向に隣り合う光電変換部１１ａで検出したｇ信号は、図中左側に読み出される。すると、垂直転送部１２に読み出されたｒ信号は、ｇ信号又はｂ信号の転送領域に干渉することがないため、垂直転送電極Ｖ１〜Ｖ８を用いた場合に８相の転送駆動が可能となる。なお、第１画素信号（Ｒ信号，Ｇ信号，Ｂ信号）も同様に他の光電変換部から読み出された第１画素信号の転送領域に干渉することがないため、８相の転送駆動が可能となる。

図４は、本実施形態の撮像装置の動作の一例を説明する図である。
本実施形態の固体撮像素子は、高感度画素を構成する高感度の光電変換部１１ｂが第１の光電変換部として機能し、低感度画素を構成する低感度の光電変換部１１ａが第２の光電変換部として機能する。先ず、低感度の光電変換部１１ａの露光を開始する。低感度の撮影の露光時間の終了とともに、電子シャッターを駆動し、低感度の光電変換部１１ａによって検出された低感度画素信号を垂直転送部１２に読み出す。読み出された低感度画素信号は、垂直転送部１２に一旦保持されている。

次に、高感度の光電変換部１１ｂの露光を開始する。また、同時に、低感度ｎ光電変換部１１ａでも露光を開始する。高感度の露光時間の終了とともに、高感度の光電変換部１１ｂで検出された第１画素信号を読み出し、かつ、低感度の光電変換部１１ａで検出された第２画素信号を読み出す。垂直転送部１２に一旦保持されていた低感度画素信号を転送後、第１画素信号及び第２画素信号を読み出す。低感度の光電変換部１１ａで検出した低感度画素信号を、第１画素信号の露光時間後に転送することで、スミアの影響を低減することができる。

本実施形態では、転送時間において、高感度の光電変換部１１ｂで検出された第１画素信号と、低感度の光電変換部１１ａで検出された第２画素信号とが、垂直転送部１２において画素加算され、高画素画素信号となる。その後、高画素画素信号がアナログ信号処理部１０２に出力される。アナログ信号処理部１０２では、先に出力された低感度画素信号と、高画素画素信号とを合成して、カラーの画像を作成する。

高感度の光電変換部１１ｂから得られた第１画素信号と、低感度の光電変換部１１ａから得られた低感度画素信号とを合成して画像を生成することができるため、広いダイナミックレンジを実現することができるうえ、低感度の光電変換部１１ａからの第２画素信号を第１画素信号と加算させることで、より高感度の信号を得ることができ、ダイナミックレンジを更に拡大することができる。低感度の光電変換部１１ａを用いて高感度情報の一部を検出し、加算を行うこととすることで、電荷量が増加するため、高感度の光電変換部１１ｂのみから高感度情報を検出する処理に比べて、ノイズの低減を図ることができる。
また、第１画素信号と加算される第２画素信号は、低感度の光電変換部１１ａの露光期間に検出されるため、全画素の露光期間を実質的に短縮することができるうえ、高感度の信号と低感度の信号とが、互いに露光期間の時間上の相関性が高くなり、例えば、動きのある被写体を撮像した場合に、より自然な画像を作成することができる。このとき、低感度画素信号は、第１画素信号に加算されないため、低感度画素信号の露光時に高速電子シャッター等の露光制御を極端に短くすることなく、検出することができる。

図５は、本実施形態の撮像装置の動作の他の例を説明する図である。高感度画素を構成する高感度の光電変換部１１ｂが第１の光電変換部として機能し、低感度画素を構成する低感度の光電変換部１１ａが第２の光電変換部として機能する。
本例では、露光時間の開始とともに、高感度の光電変換部１１ｂで第１画素信号の検出を開始し、低感度の光電変換部１１ａで低感度画素信号の検出を開始する。低感度の光電変換部１１ａは、同じ露光時間中の所定時間経過後に、低感度画素信号を垂直転送部１２へ読み出すように駆動制御され、その後、直ちに第２画素信号の検出を開始する。読み出された低感度画素信号は、露光時間中、垂直転送部１２に保持されている。露光時間の終了後、転送時間の開始とともに、高感度の光電変換部１１ｂで検出された第１画素信号と、低感度の光電変換部１１ａで検出された第２画素信号とが、１フィールド単位で垂直転送部１２に読み出される。垂直転送部１２に保持されている低感度画素信号を転送後、第１画素信号及び第２画素信号を読み出す。第１画素信号及び第２画素信号は、フィールドごとに水平転送部１３で画素加算されて高感度画素信号となり、該高感度画素信号が出力アンプ部１４から出力される。

図５に示す読み出し動作によれば、低感度の光電変換部における低感度画素信号及び第２画素信号を検出する露光期間が、高感度の光電変換部における第１画素信号を検出する露光期間と重複するものである。ここで、重複とは、低感度画素信号及び第２画素信号を検出する露光期間と、高感度の光電変換部における第１画素信号を検出する露光期間とが完全に一致している場合や、その一部が重複している場合を含む。こうすれば、高感度の光電変換部と低感度の光電変換部とのそれぞれの露光期間を同時刻に実行するように設定することができるようになるため、両者の信号電荷の相関性をより高めることができる。

次に、本発明にかかる撮像装置の他の構成例を図面に基いて説明する。なお、以下に説明する実施形態において、すでに説明した部材などと同等な構成・作用を有する部材等については、図中に同一符号又は相当符号を付すことにより、説明を簡略化或いは省略する。

図６及び図７に示す固体撮像素子では、光電変換部２１ａ，２１ｂが半導体基板表面に行方向及び列方向に配設され、高感度の光電変換部２１ｂと低感度の光電変換部２１ａとが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている。高感度の光電変換部２１ｂ及び低感度の光電変換部２１ａは、それぞれ、ベイヤー配列を略４５度傾けた状態で格子状に配置されている。

図６の固体撮像素子では、高感度の光電変換部２１ｂ及び低感度の光電変換部２１ａにおいて検出された画素信号が、ともに同じ垂直転送部２２に読み出される。転送時には、高感度の画素信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn番目,n+4番目,n+8番目・・・（n=1,2,3…などの任意の整数とする。）に読み出され、低感度の画素信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn+1番目,n+5番目,n+9番目・・・に読み出される。図６に示す光電変換部の配列によれば、垂直転送電極に駆動パルスを印加することによって第１画素信号，低感度画素信号及び低感度の光電変換部で検出された第２画素信号を４相駆動で垂直転送できる。

また、図６の光電変換部２１の配列によれば、同じ色に対応する光電変換部２１のうち、高感度の光電変換部２１ｂと低感度の光電変換部２１ａとが、列方向に隣り合う位置に配置されている。この構成では、第１画素信号と第２画素信号は、垂直転送部で画素加算されて出力アンプ部から出力される。第１画素信号と第２画素信号は、水平転送部で画素加算されてもよい。

図７の固体撮像素子では、高感度の光電変換部２１ｂ及び低感度の光電変換部２１ａにおいて検出された画素信号が、それぞれ反対側の垂直転送部２２に読み出される。図７では、高感度の光電変換部２１ｂで検出された画素信号が図中右側の垂直転送部２２に読み出され、低感度の光電変換部２１ａで検出された画素信号が図中左側の垂直転送部２２に読み出される。転送時には、高感度の画素信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn番目,n+4番目,n+8番目・・・に読み出され、低感度の画素信号は、反対側に延在する複数の垂直転送電極のうち、列方向にn+1番目,n+5番目,n+9番目・・・に読み出される。図７に示す光電変換部の配列によれば、垂直転送電極に駆動パルスを印加することによって第１画素信号，低感度画素信号及び低感度の光電変換部で検出された第２画素信号を４相駆動で垂直転送できる。

また、図７の光電変換部２１の配列によれば、同じ色に対応する光電変換部２１のうち、高感度の光電変換部２１ｂと低感度の光電変換部２１ａとが、垂直転送部２２を挟んで行方向に隣り合う位置に配置されている。この構成では、この構成では、第１画素信号と第２画素信号は、水平転送部で画素加算されて出力アンプ部から出力される。

図６及び図７に示す光電変換部の配列構成においても、図２に示す光電変換部の配列構成を有する固体撮像素子の読み出し動作と同様に画素信号を読み出すことができる。すなわち、高感度の光電変換部２１ｂから得られた第１画素信号と、低感度の光電変換部２１ａから得られた低感度画素信号とを合成して画像を生成することができる。また、高感度の光電変換部２１ｂから得られた第１画素信号と、低感度の光電変換部２１ａから得られた第２画素信号とを加算して高感度画素信号とすることで、より高感度の信号を得ることができ、ダイナミックレンジを更に拡大することができる。

なお、本発明は、前述した実施形態に限定されるものではなく、適宜な変形、改良などが可能である。
例えば、低感度画素信号及び第２画素信号を、信号処理において高感度の光電変換部で生成された第１画素信号と全て加算することで、新たな高感度画素信号を作成してもよい。こうすれば、新たな高感度画素信号と低感度画素信号との露光期間を同一に設定することができ、更に相関性を上げることができる。

１０撮像部
１１ａ，２１ａ低感度の光電変換部（第２の光電変換部）
１１ｂ，２１ｂ高感度の光電変換部（第１の光電変換部）
１２垂直転送部
１３水平転送部
２０固体撮像素子
１００撮像装置

Claims

規則的に配列された、複数の第１の光電変換部と第２の光電変換部から構成される光電変換部を半導体基板上に有する固体撮像素子を備えた撮像装置であって、
前記第１の光電変換部において、所定の露光時間に蓄積された第１画素信号を読み出し、前記第２の光電変換部から低感度画素信号を読み出した後、前記所定の露光時間と重複する時間内に蓄積された第２画素信号を読み出すとともに、前記第１画素信号と前記第２画素信号を加算して高感度画素信号とするように前記固体撮像素子を駆動制御する駆動部と、前記低感度画素信号と前記高感度画素信号とを合成することで画像を生成する信号処理部とを備えることを特徴とする撮像装置。
前記複数の第１の光電変換部と、前記複数の第２の光電変換部はそれぞれ複数の色に対応した光電変換部を備え、同じ色に対応し前記加算を行う前記第１の光電変換部と前記第２の光電変換部とが、前記半導体基板上の前記光電変換部配列において互いに隣り合う位置に配置されていることを特徴とする請求項１に記載の撮像装置。
前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている請求項１又は２に記載の撮像装置。
前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記水平転送部において行う請求項３に記載の撮像装置。
前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている請求項１から３のいずれか１項に記載の撮像装置。
前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記垂直転送部もしくは前記水平転送部で行う請求項５に記載の撮像装置。
規則的に配列された、複数の第１の光電変換部と第２の光電変換部から構成される光電変換部を半導体基板上に有する固体撮像素子を備えた撮像装置の信号処理方法であって、
前記第１の光電変換部において、所定の露光時間に蓄積された第１画素信号を読み出し、前記第２の光電変換部から低感度画素信号を読み出した後、前記所定の露光時間と重複する時間内に蓄積された第２画素信号を読み出し、前記第１画素信号と前記第２画素信号を加算して高感度画素信号とし、前記低感度画素信号と前記高感度画素信号とを合成することで画像を生成する信号処理部とを備えることを特徴とする信号処理方法。
前記複数の第１の光電変換部と、前記複数の第２の光電変換部はそれぞれ複数の色に対応した光電変換部を備え、同じ色に対応し前記加算を行う前記第１の光電変換部と前記第２の光電変換部とが、前記半導体基板上の前記光電変換部配列において互いに隣り合う位置に配置されていることを特徴とする請求項７に記載の信号処理方法。
前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている請求項７又は８に記載の信号処理方法。
前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記水平転送部において行う請求項９に記載の信号処理方法。
前記光電変換部が前記半導体基板表面に行方向及び列方向に配設され、前記第１の光電変換部と前記第２の光電変換部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている請求項７から９のいずれか１項に記載の信号処理方法。
前記光電変換部から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記垂直転送部が、前記列方向に配設された複数の前記光電変換部に対応して前記半導体基板に形成された複数の垂直転送チャネルと、前記複数の垂直転送チャネルのそれぞれと交差するように形成された複数の垂直転送電極と、前記光電変換部の信号電荷を前記垂直転送チャネルに読み出す電荷読み出し領域とを含み、前記加算を前記垂直転送部もしくは前記水平転送部で行う請求項１１に記載の信号処理方法。