JP2010268354A - イメージセンサ及びそのイメージセンサを備える撮像装置 - Google Patents

Abstract

【課題】高フレームレート読み出しモードであっても、１フレームあたりの撮像電荷を減少させず、且つ、１回読み出しによる撮像画像であっても水平及び垂直解像度を保持するイメージセンサを提供する。
【解決手段】イメージセンサは、水平方向及び垂直方向に正方配列され、光学像を画素毎に光電変換する光電変換素子１０と、光電変換されて生成される電荷を画素毎に蓄積する蓄積手段１１と、電荷を電荷転送または電流変換した電荷量を読み出す読み出し手段１２と、水平方向または垂直方向に隣接する２画素から読み出された電荷量を２画素混合する混合手段１３と、電荷量を画素毎に独立して読み出すか、または、電荷量を２画素混合して読み出すか、の読み出し制御をする制御手段１４と、を備える。２画素混合後の画素配列は、隣接方向毎に１画素ずれている。
【選択図】図１

Description

本発明は、画素混合するイメージセンサ、及び、そのイメージセンサを備える撮像装置に関するものである。

動画撮像（または高速連写、またはＥＶＦ表示）用の高フレームレート読み出しモードと、静止画撮像用の低フレームレート読み出しモードと、の２つのモードを切り換えて読み出せるイメージセンサがある。

この２つの読み出しモードを備えたイメージセンサには、高フレームレート読み出しモードの際に、例えば、水平ライン１／２間引きによって読み出す画素を１／２に減少させて高フレームレート化を実現するものがある。

しかしながら、このようなライン間引き（画素間引き）仕様のイメージセンサであった場合には、１フレームあたりの撮像電荷量が減少する。

そこで、イメージセンサに撮像電荷の電荷混合手段を設けることで、高フレームレート読み出しモードであっても、１フレームあたりの撮像電荷量を減少させないイメージセンサがある。

例えば、下記特許文献１に記載の画素信号読み出し方法とこれによる固体撮像装置は、全画素読み出し型の固体撮像装置として用いることができると共に、垂直シフトレジスタからの垂直２画素分の画素信号を、水平シフトレジスタで混合して水平転送して画像信号出力を取り出すことで、簡便にインターレース方式によるモニター装置によって撮像光学像を再生観察することができる。

一方で、下記特許文献２に記載の撮像装置は、静止画撮影モードと動画撮影モードとを備え、動画撮影モードは、撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力することとしたので、水平転送部の駆動周波数を低減することができる。また、前記４画素混合後の信号が、ライン毎にオフセットサンプリングの関係になるように、水平方向の画素混合の組み合わせをライン毎に変化させるとの記載がある。

特開平８−１１１５１７号公報 特許第３８７７５６５号公報

しかしながら、前述した特許文献１に記載の画素信号読み出し方法とこれによる固体撮像装置は、１フレームについて２フィールド（２回読み出し）によるインターレース読み出し方式であって、１回読み出しによる撮像画像については垂直２画素分の電荷混合によって垂直解像度が劣化するという課題がある。その為、インターレース動画像として用いる場合は問題ないが、フィールド画像を静止画像に利用する場合には垂直解像度が劣化している。

また、特許文献２に記載の撮像装置は、動画撮影モード時に、４画素混合後の信号がライン毎にオフセットサンプリングの関係にすることで水平解像度の劣化を防いでいるものの、１回読み出しによる撮像画像については垂直解像度が劣化するという課題がある。その為、１回読み出しによる画像を静止画像に利用する場合には垂直解像度が劣化している。

本発明は、前述した課題に鑑みて、高フレームレート読み出しモード（例えば、動画撮像モード）であっても、１フレームあたりの撮像電荷を減少させず、且つ、１回読み出し（１フィールド）による撮像画像であっても水平及び垂直解像度を保持するイメージセンサ、及び、そのイメージセンサを備える撮像装置を提供することを目的とする。

本発明のある態様に係るイメージセンサは、水平方向及び垂直方向に正方配列され、光学像を画素毎に光電変換する光電変換素子と、前記光電変換されて生成される電荷を前記画素毎に蓄積する蓄積手段と、前記電荷を電荷転送または電流変換した電荷量を読み出す読み出し手段と、前記水平方向または前記垂直方向に隣接する２画素から読み出された前記電荷量を２画素混合する混合手段と、前記電荷量を前記画素毎に独立して読み出すか、または、前記電荷量を前記２画素混合して読み出すか、の読み出し制御をする制御手段と、を備える。前記２画素混合後の画素配列は、前記隣接方向毎に１画素ずれている。

本発明によれば、高フレームレート読み出しモードであっても、１フレームあたりの撮像電荷を減少させず、且つ、１回読み出しによる撮像画像であっても水平及び垂直解像度を保持する効果がある。

本発明の実施形態によるイメージセンサの２画素混合の様子を示す図である。 イメージセンサの読み出し制御とアスペクト比との関係について示す図である。 第１の実施形態によるＲＧＢイメージセンサの２画素混合の様子を示す図である。 第１の実施形態による撮像装置の構成を示すブロック図である。 第１の実施形態に於いて、画素毎独立読み出しの輝度データが生成される様子を示す図である。 第１の実施形態に於いて、２画素混合読み出しの際、補間画像データが正方配列上に生成される様子を示す図である。 第１の実施形態に於いて、輝度サンプリングの上に水平及び垂直方向の分解能線を引いた図である。 第２の実施形態による６色イメージセンサの２画素混合の様子を示す図である。 第２の実施形態による撮像装置の構成を示すブロック図である。 第２の実施形態に於いて、画素毎独立読み出しの輝度データが生成される様子を示す図である。 第２の実施形態に於いて、２画素混合読み出しの際、補間画像データが正方配列上に生成される様子を示す図である。 第２の実施形態において、輝度サンプリングの上に水平及び垂直の分解能線を引いた図である。 第３の実施形態による撮像装置の構成を示すブロック図である。 第３の実施形態に於いて、画素毎独立読み出しの輝度データが生成される様子を示す図である。 第３の実施形態に於いて、２画素混合読み出しの際、波長毎画像データが正方配列上に生成される様子を示す図である。 第３の実施形態に於いて、波長毎画像データに基づいて、輝度データが生成される様子を示す図である。 第３の実施形態において、輝度サンプリングの上に水平及び垂直の分解能線を引いた図である。 第３の実施形態に於いて、輝度サンプリングの上に斜方の分解能線を引いた図である。 読み出しフレームの奇数番と偶数番とで２画素混合の位相が交互に入れ換わるイメージセンサを示す図である。 輝度サンプリングＹ１（奇数番）、Ｙ２（偶数番）の上に斜方の分解能線を引いた図である。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の実施形態によるイメージセンサの２画素混合の様子を示す図である。

このイメージセンサは、光電変換素子１０と、蓄積部（蓄積手段）１１と、読み出し手段１２と、混合手段１３と、制御手段１４と、より構成され、例えば、ＣＣＤやＭＯＳ型イメージセンサなどの画素毎独立読み出しが可能なものである。

図１に於いて、四角形状に示される光電変換素子１０及び蓄積部１１は、水平及び垂直方向に正方配列され、光学像を画素毎に光電変換し、この光電変換されて生成される電荷を画素毎に蓄積する。

読み出し手段１２は、この蓄積された電荷を電荷転送（ＣＣＤ）または電流変換（ＭＯＳ型イメージセンサ）し、電荷量として読み出す為の手段であり、例えば、ＣＣＤである場合には、ポテンシャル井戸、垂直転送路、水平転送路、フローティングディフュージョン、によって構成される。また、ＭＯＳ型イメージセンサである場合には、読み出しゲート、読み出し回路、カラムバッファ、電流アンプ、によって構成される。

混合手段１３は、水平または垂直方向に隣接して読み出された電荷量を２画素混合するための手段であり、この２画素混合については、図１の破線枠に示されるように、隣接方向毎に１画素ずらした斜方配列上に２画素混合する。即ち、図１の正方格子上の画素配列において、隣接方向（水平または垂直方向）に隣接した２画素は、電荷量が混合（合算）される画素対を構成する。画素対は、順次、その隣接方向に１画素ずらされて、水平及び垂直方向に対して斜方向に配列されている。

この混合手段１３は、ＣＣＤである場合には、垂直転送路または水平転送路にて、電荷転送中に電荷混合させる。また、ＭＯＳ型イメージセンサである場合には、読み出しゲートの前に電荷混合回路を設けるか、または、読み出しゲート後に電流加算回路を設ける。

制御手段１４は、光電変換素子１０及び蓄積部１１によって生成された電荷量を画素（図１に示される四角形状）毎に独立して読み出すか、または、この電荷量を２画素混合（図１に示される破線枠）して読み出すか、の読み出し制御をする。

図２は、イメージセンサの読み出し制御とアスペクト比との関係について示す図である。

図２に示されるように、この制御手段１４は、画素毎独立読み出しの場合は、斜線及び白枠領域で示される有効画素数ｍを読み出すように制御し、２画素混合読み出しの場合は、白枠領域で示される有効画素数ｎ（但し、ｍ＞ｎ）を２画素混合したｎ／２画素で読み出すように制御する。

また、図２は、有効画素数ｍから成る読み出し領域はアスペクト比４：３であり、有効画素数ｎから成る読み出し領域はアスペクト比１６：９であることが示されている。

以降、図１に示されたイメージセンサを基本概念とし、ＲＧＢカラーフィルタ型イメージセンサ、及び、そのイメージセンサを備える単板式撮像装置については第１の実施形態（図３〜図７）に示す。また、６色カラーフィルタ型イメージセンサ、及び、そのイメージセンサを備える単板式撮像装置については第２の実施形態（図８〜図１２）に示す。更に、光学プリズムを備えた３板式撮像装置については第３の実施形態（図１３〜図２０）に示す。

（第１の実施形態）
図３は、第１の実施形態によるＲＧＢイメージセンサの２画素混合の様子を示す図である。

図３に於いて、Ｒ、Ｇ、Ｂの各文字は、光学像をＲｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）各色毎に透過させるカラーフィルタの色について示している。このカラーフィルタは、光学像と光電変換素子１０との間に設置される。

図３に示されるように、このカラーフィルタの色配列は、垂直方向に隣接した２画素毎に同色となる配列である。また、Ｇ色の色配列は、垂直方向に隣接した１列置きに配列されている。

図３に於いて、四角形状で示されるＲＧＢ各色毎の電荷量が、破線枠で示されるように、垂直方向に２画素混合されて読み出される。

図４は、第１の実施形態による撮像装置の構成を示すブロック図である。

図４に於いて、この撮像装置は、ＲＧＢカラーフィルタ１５と、イメージセンサ１６と、補正部１７と、補間部１８と、処理部１９と、より構成される。

ＲＧＢカラーフィルタ１５は、光学像と光電変換素子１０との間に設置され、光学像をＲＧＢ各色毎に透過させる。イメージセンサ１６は、図３にて示されたものである。

補正部１７は、ＲＧＢ各色毎の電荷量にホワイトバランス補正して補正画像データを生成する。そして、補間部１８は、この補正画像データを正方配列上に画素補間して補間画像データを生成する。この画素補間は、例えば、バイリニア方式、バイキュービック方式、ｎタップ演算方式などがある。また、この補間部１８は、画素補間と同時に輝度マトリクス、クロママトリクスの演算を兼ねて、同時演算されても良い。処理部１９は、この補間画像データに画像処理を施して画像を生成する。

図５は、第１の実施形態に於いて、画素毎独立読み出しの輝度データが生成される様子を示す図である。

図５に於いて、ＹＲ、ＹＧ、ＹＢの各文字は、ＲＧＢ各色毎に異なる輝度演算が為されることが示されており、ＹＲ、ＹＧ、ＹＢの各輝度演算の数式は、
ＹＲ＝ｋｒＲ＋ｋｇＧ'＋ｋｂＢ'＋ｋｈＲ （数式１）
ＹＧ＝ｋｒＲ'＋ｋｇＧ＋ｋｂＢ'＋ｋｈＧ （数式２）
ＹＢ＝ｋｒＲ'＋ｋｇＧ'＋ｋｂＢ＋ｋｈＢ （数式３）
である。

ここで、（ｋｒ，ｋｇ，ｋｂ）は輝度データのマトリクス係数であり、（Ｒ，Ｇ，Ｂ）は光電変換素子１０及び蓄積部１１である実画素によって生成された電荷量であり、（Ｒ’，Ｇ’，Ｂ’）は前述した画素補間によって生成された補間データである。尚、この補間データと読み出された電荷量とを合わせたデータを補間画像データとする。そして、ｋｈは輝度のナイキスト係数である。輝度のナイキスト係数とは、イメージセンサの最小単位である画素を輝度のサンプリングドメインとして処理する重み付け係数のことである。この輝度のナイキスト係数を調整することで、輝度のマトリクス係数との比率が調整され、サンプリング定理に於けるナイキスト周波数付近の画質が調整される。つまり、輝度周波数特性（変調度特性）を重視するならば、輝度ナイキスト係数は大きめに調整され、輝度の再現性を重視するならば、輝度ナイキスト係数は小さめに調整される。

このように、ＲＧＢ各色毎に異なる輝度演算式（ＹＲ，ＹＧ，ＹＢ）を実施する際に、輝度マトリクス係数（ｋｒ，ｋｇ，ｋｂ）とは別に、輝度ナイキスト係数ｋｈを有する理由については、画像の輝度周波数特性（変調度特性）を改善させる目的がある。

また、この輝度ナイキスト係数ｋｈを用いて輝度演算をするには、電荷量（Ｒ，Ｇ，Ｂ）各色毎にホワイトバランス補正することが前提となり、例えば、一様な白色被写体を撮像した場合、ホワイトバランス補正後のＲＧＢ各色毎の信号レベルＬｖは、ホワイトバランス補正式をｗ（ｘ）とすれば、
Ｌｖ＝ｗ（ｘ） （数式４）
であり、
Ｌｖ≒ｗ（Ｒ）≒ｗ（Ｇ）≒ｗ（Ｂ） （数式５）
である。このホワイトバランス補正は、電荷量（Ｒ，Ｇ，Ｂ）を直接的に輝度サンプリングとして用いる為にある。

図６は、第１の実施形態に於いて、２画素混合読み出しの際、補間画像データが正方配列上に生成される様子を示す図である。

図６ａに於いて、ＲＧＢ各色毎の電荷量は、図３破線枠で示されるように２画素混合して読み出され、この２画素混合による電荷量は斜方配列上にある。

ここで、図４補正部１７によってホワイトバランスが補正され（数式５）、図４補間部１８によって補間データ（Ｒ’，Ｇ’，Ｂ’）が生成された後、数式１〜数式３に基づいて輝度演算が為されて、図６ｂに示すように、斜方配列上に輝度データ（ＹＲ，ＹＧ，ＹＢ）が生成される。また、この補間部１８は、この斜方配列上の輝度データを図６ｃに示すように正方配列上に画素補間して補間データＹ’が生成され、補間画像データ（ＹＲ，ＹＧ，ＹＢ，Ｙ‘）が成る。

図７は、第１の実施形態に於いて、輝度サンプリングの上に水平及び垂直方向の分解能線を引いた図である。

図７ａは、図５で示された画素毎独立読み出しの輝度サンプリングの上に、破線で示される水平及び垂直の分解能線を引いた図である。この分解能線は、水平及び垂直解像度を示しており、図７ａに於いては、水平解像度４ＴＶ本、垂直解像度４ＴＶ本である。

図７ｂは、図６ｂで示された２画素混合読み出しの輝度サンプリングの上に、破線で示される水平及び垂直の分解能線を引いた図である。このように、図７ｂは、図７ａと比較して輝度サンプリングの数が半分になっている。しかしながら、図７ｂに於いて、水平解像度４ＴＶ本、垂直解像度４ＴＶ本であって、水平及び垂直解像度について劣化していないことが示されている。

前述したように、本発明の第１の実施形態によるＲＧＢカラーフィルタ型イメージセンサ、及び、そのイメージセンサを備える単板式撮像装置は、高フレームレート読み出しモードであっても、１フレームあたりの撮像電荷を減少させず、且つ、１回読み出しによる撮像画像であっても水平及び垂直解像度を保持する。

（第２の実施形態）
図８は、第２の実施形態による６色イメージセンサの２画素混合の様子を示す図である。

図８に於いて、Ｒ、Ｇ、Ｂ、Ｖｅ、ＹＧ、ＣＢの各文字は、光学像をＲｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）、Ｖｅｒｍｉｌｉｏｎ（朱）、ＹｅｌｌｏｗＧｒｅｅｎ（黄緑）、ＣｙａａｎＢｌｕｅ（シアンブルー）各色毎に透過させるカラーフィルタの色について示している。

図８に示されるように、このカラーフィルタの色配列は、垂直方向に隣接した２画素毎に同色系となる配列である。同色系とは、Ｒ系であるＲ及びＶｅ、Ｇ系であるＧ及びＹＧ、Ｂ系であるＢ及びＣＢのことである。また、Ｇ系の色配列は、垂直方向に隣接した１列置きに配列されている。

図８に於いて、四角形状で示される６色電荷量が、破線枠で示されるように、垂直方向に２画素混合されて読み出される。

図９は、第２の実施形態による撮像装置の構成を示すブロック図である。

図９に於いて、この撮像装置は、６色カラーフィルタ２０と、イメージセンサ２１と、補正部２２と、補間部２３と、処理部２４と、より構成される。

６色カラーフィルタ２０は、光学像と光電変換素子１０との間に設置され、光学像を６色毎に透過させる。イメージセンサ２１は、図８にて示されたものである。

先ず、撮像装置が静止画像を出力する際は、画素毎独立読み出しにて読み出されるので、補正部２２は、Ｒ、Ｇ、Ｂ、Ｖｅ、ＹＧ、ＣＢ各色毎の電荷量にホワイトバランス補正して補正画像データを生成する。

次に、撮像装置が動画像または高速連写画像を出力する際は、同色系の２画素混合読み出しにて読み出されるので、補正部２２は、Ｒ系、Ｇ系、Ｂ系、各色系毎の電荷量にホワイトバランス補正して補正画像データを生成する。

補間部２３は、こうして生成された補正画像データを正方配列上に画素補間して補間画像データを生成する。この画素補間は、バイリニア方式、バイキュービック方式、ｎタップ演算方式などがある。また、補間部２３は、画素補間と同時に輝度マトリクス、クロママトリクスの演算を兼ねていても良い。

処理部２４は、この補間画像データに画像処理を施して、前記画素毎独立読み出しの場合は静止画像を生成し、前記２画素混合読み出しの場合は動画像または高速連写画像を生成する。

図１０は、第２の実施形態に於いて、画素毎独立読み出しの輝度データが生成される様子を示す図である。

図１０に於いて、ＹＲ、ＹＧ、ＹＢ、ＹＶ、ＹＥ、ＹＣの各文字は、Ｒ、Ｇ、Ｂ、Ｖｅ（Ｖ）、ＹＧ（Ｅ）、ＣＢ（Ｃ）各色毎に異なる輝度演算が為されることが示されており、各輝度演算の数式は、
ＹＲ＝ｋｒＲ＋ｋｇＧ'＋ｋｂＢ'＋ｋｖＶ’＋ｋｅＥ'＋ｋｃＣ'＋ｋｈＲ
（数式６）
ＹＧ＝ｋｒＲ’＋ｋｇＧ＋ｋｂＢ'＋ｋｖＶ’＋ｋｅＥ'＋ｋｃＣ'＋ｋｈＧ
（数式７）
ＹＢ＝ｋｒＲ’＋ｋｇＧ'＋ｋｂＢ＋ｋｖＶ’＋ｋｅＥ'＋ｋｃＣ'＋ｋｈＢ
（数式８）
ＹＶ＝ｋｒＲ’＋ｋｇＧ'＋ｋｂＢ'＋ｋｖＶ＋ｋｅＥ'＋ｋｃＣ'＋ｋｈＶ
（数式９）
ＹＥ＝ｋｒＲ’＋ｋｇＧ'＋ｋｂＢ'＋ｋｖＶ’＋ｋｅＥ＋ｋｃＣ'＋ｋｈＥ
（数式１０）
ＹＣ＝ｋｒＲ’＋ｋｇＧ'＋ｋｂＢ'＋ｋｖＶ’＋ｋｅＥ'＋ｋｃＣ＋ｋｈＣ
（数式１１）
である。

ここで、（ｋｒ，ｋｇ，ｋｂ，ｋｖ，ｋｅ，ｋｃ）は輝度データのマトリクス係数であり、（Ｒ，Ｇ，Ｂ，Ｖ，Ｅ，Ｃ）は光電変換素子１０及び蓄積部１１である実画素によって生成された電荷量であり、（Ｒ’，Ｇ’，Ｂ’，Ｖ’，Ｅ’，Ｃ’）は、前述した画素補間によって生成された補間データである。そして、ｋｈは輝度のナイキスト係数である。

このように、ＲＧＢＶＥＣ各色毎に異なる輝度演算式（ＹＲ，ＹＧ，ＹＢ，ＹＶ，ＹＥ，ＹＣ）を実施する際に、輝度マトリクス係数（ｋｒ，ｋｇ，ｋｂ，ｋｖ，ｋｅ，ｋｃ）とは別に、輝度ナイキスト係数ｋｈを有する理由については、画像の輝度周波数特性（変調度特性）を改善させる目的がある。

尚、Ｖｅ色画素、ＹＧ色画素、ＣＢ画素色については、Ｇ色画素と比較して相対感度が高い。即ち、第１の実施形態よりも第２の実施形態によるイメージセンサ２１の方が感度、Ｓ／Ｎ、輝度周波数特性（変調度）について有利である。また、ＲＧＢから成る３色から、ＲＧＢＶＥＣから成る６色にした方がイメージセンサの色域が広くなる効果がある。

また、この輝度ナイキスト係数ｋｈを用いて輝度演算をするには、電荷量（Ｒ，Ｇ，Ｂ，Ｖ，Ｅ，Ｃ）各色毎にホワイトバランス補正することが前提となり、例えば、一様な白色被写体を撮像した場合、ホワイトバランス補正後のＲＧＢＶＥＣ各色毎の信号レベルＬｖは、
Ｌｖ≒ｗ（Ｒ）≒ｗ（Ｇ）≒ｗ（Ｂ）≒ｗ（Ｖ）≒ｗ（Ｅ）≒ｗ（Ｃ） （数式１２）
となる。

このホワイトバランス補正は、電荷量（Ｒ，Ｇ，Ｂ，Ｖ，Ｅ，Ｃ）を直接的に輝度サンプリングとして用いるためにある。尚、このホワイトバランス補正は、図９ａに示された補正部２２によって補正される。

図１１は、第２の実施形態に於いて、２画素混合読み出しの際、補間画像データが正方配列上に生成される様子を示す図である。

図１１ａに於いて、Ｒ系、Ｇ系、Ｂ系、各色系毎の電荷量は、図８破線枠で示されるように２画素混合して読み出され、この２画素混合による電荷量は斜方配列上にある。

ここで、図９ｂ補正部２２によって同色系ホワイトバランスが補正され（数式５）、図９ｂ補間部２３によって同色系補間データ（Ｒ’，Ｇ’，Ｂ’）が生成される。

これについて補足すれば、２画素混合読み出しの場合は、６色から３色系になるように２画素混合されるので、そのホワイトバランス補正は数式１２ではなく、第１の実施形態で示された数式５が用いられる。

また、図９ｂ補間部２３は、第１の実施形態で示された輝度演算の数式１〜数式３に基づいて輝度演算が為され、図１１ｂに示すように、斜方配列上に輝度データ（ＹＲ，ＹＧ，ＹＢ）を生成する。また、この補間部２３は、この斜方配列上の輝度データを図１１ｃに示すように正方配列上に画素補間する。

図１２は、第２の実施形態において、輝度サンプリングの上に水平及び垂直の分解能線を引いた図である。

図１２ａは、図１０で示された画素毎独立読み出しの輝度サンプリングの上に、破線で示される水平及び垂直の分解能線を引いた図である。この分解能線は、水平及び垂直解像度を示している。図１２ａに於いては、水平解像度４ＴＶ本、垂直解像度４ＴＶ本である。

図１２ｂは、図１１ｂで示された２画素混合読み出しの輝度サンプリングの上に、破線で示される水平及び垂直の分解能線を引いた図である。図１２ｂに於いては、水平解像度４ＴＶ本、垂直解像度４ＴＶ本であって、水平及び垂直解像度については、図１２ａと比較して劣らないことが示されている。

前述したように、本発明の第２の実施形態による６色カラーフィルタ型イメージセンサ、及び、そのイメージセンサを備える単板式撮像装置は、高フレームレート読み出しモードであっても、１フレームあたりの撮像電荷を減少させず、且つ、１回読み出しによる撮像画像であっても水平及び垂直解像度を保持する。

（第３の実施形態）
図１３は、第３の実施形態による撮像装置の構成を示すブロック図である。

図１３に於いて、この撮像装置は、分光プリズム（分光部）３０と、Ｒｃｈイメージセンサ３１と、Ｇｃｈイメージセンサ３２と、Ｂｃｈイメージセンサ３３と、静止画処理部３４と、Ｒｃｈ補間部３５と、Ｇｃｈ補間部３６と、Ｂｃｈ補間部３７と、動画処理部３８と、より構成される。

分光プリズム３０は、光学像を波長毎の光学像に分光する。赤色の波長用のＲｃｈイメージセンサ３１と、緑色の波長用のＧｃｈイメージセンサ３２と、青色の波長用のＢｃｈイメージセンサ３３とは、図１で示されたイメージセンサを３個用いて、それぞれ波長毎に備える。

静止画処理部３４は、画素毎独立読み出しの際、Ｒｃｈ、Ｇｃｈ、Ｂｃｈ波長毎の電荷量に静止画処理を施して静止画像を生成する。この静止画画像処理については、図１４を用いて後述する。尚、第３の実施形態によれば、静止画処理部の同一画素位置に於いて、イメージセンサ上の実画素であるＲＧＢの３原色が既に揃っているので、この静止画処理を施す為に、補正部及び補間部は必ずしも必要はない。

Ｒｃｈ補間部３５と、Ｇｃｈ補間部３６と、Ｂｃｈ補間部３７とは、２画素混合読み出しの際、Ｒｃｈ、Ｇｃｈ、Ｂｃｈ波長毎の電荷量を正方配列上に画素補間して、波長毎画像データを生成する。この画素補間は、バイリニア方式、バイキュービック方式、ｎタップ演算方式などがある。

動画処理部３８は、Ｒｃｈ、Ｇｃｈ、Ｂｃｈ波長毎画像データに輝度マトリクス、クロママトリクスの演算を施した後、動画処理を施して動画像または高速連写画像を生成する。この動画処理については、図１５ａ〜図１５ｆ及び図１６を用いて後述する。尚、第３の実施形態によれば、動画処理を施す為に、補正部は必ずしも必要はない。

図１４は、第３の実施形態に於いて、画素毎独立読み出しの輝度データが生成される様子を示す図である。

図１４に於いて、Ｙの文字は、画素毎独立読み出しによって読み出された全画素に於いて同じ輝度演算が為されることが示されており、
Ｙ＝ｋｒＲ＋ｋｇＧ＋ｋｂＢ （数式１３）
である。

ここで、（ｋｒ，ｋｇ，ｋｂ）は輝度のマトリクス係数であり、（Ｒ，Ｇ，Ｂ）は光電変換素子１０及び蓄積部１１である実画素によって生成された電荷量である。

図１５は、第３の実施形態に於いて、２画素混合読み出しの際、波長毎画像データが正方配列上に生成される様子を示す図である。

図１５ａ、図１５ｂ、図１５ｃに於いて、Ｒｃｈ、Ｇｃｈ、Ｂｃｈ各波長毎の電荷量は、図１破線枠で示されたように２画素混合して読み出され、この２画素混合による電荷量は斜方配列上にある。

ここで、図１３に示されたＲｃｈ、Ｇｃｈ、Ｂｃｈ各補間部は、図１５ａ、図１５ｂ、図１５ｃにて示された斜方配列上に読み出された２画素混合による電荷量に対して、図１５ｄ、図１５ｅ、図１５ｆに示すように、正方配列上に画素補間を施し、波長毎画像データが生成される。

図１６は、第３の実施形態に於いて、波長毎画像データに基づいて、輝度データが生成される様子を示す図である。

図１６に於いて、Ｙの文字は、数式１３にて示された輝度演算が為されることが示されている。また、Ｙ’の文字の輝度演算については、
Ｙ’＝ｋｒＲ’＋ｋｇＧ'＋ｋｂＢ' （数式１４）
である。

ここで、（ｋｒ，ｋｇ，ｋｂ）は輝度のマトリクス係数であり、（Ｒ’，Ｇ’，Ｂ’）は前述した画素補間によって生成された波長毎補間データである。そして、輝度データは、数式１３と数式１４とによる輝度演算によって得られたＹとＹ’とから成る。

図１７は、第３の実施形態において、輝度サンプリングの上に水平及び垂直の分解能線を引いた図である。

図１７ａは、図１４で示された画素毎独立読み出しの輝度サンプリングの上に、破線で示される水平及び垂直の分解能線を引いた図である。この分解能線は、水平及び垂直解像度を示している。図１７ａに於いては、水平解像度４ＴＶ本、垂直解像度４ＴＶ本である。

図１７ｂは、図１６で示された２画素混合読み出しの輝度サンプリングＹの上に、破線で示される水平及び垂直の分解能線を引いた図である。ここで、図１６で示されたＹ’は、画素補間によって生成された補間画素なので輝度サンプリングではない。

故に、図１７ｂに於いては、この補間画素Ｙ’を除いて、輝度サンプリングＹのみで示されており、水平解像度４ＴＶ本、垂直解像度４ＴＶ本である。このように、図１７ｂは、水平及び垂直解像度については、図１７ａと比較して劣らないことが示されている。

図１８は、第３の実施形態に於いて、輝度サンプリングの上に斜方の分解能線を引いた図である。

図１８ａは、画素毎独立読み出しによって輝度Ｙが生成され、その輝度サンプリングの上に、破線で示される斜方分解能線を引いた図である。

一方で、図１８ｂは、２画素混合読み出しによって輝度Ｙが生成され、その輝度サンプリングの上に、破線で示される斜方分解能線を引いた図である。尚、補間画素Ｙ’については輝度サンプリングではないので、図１８ｂに於いては省略している。

ここで、斜方分解能線について、図１８ａと図１８ｂとを比較してみれば、図１８ａで示される斜方分解能線の本数の方が多いことがわかる。これは、画素毎独立読み出しの方が２画素混合読み出しよりも斜方解像度が高いということである。

しかしながら、第３の実施形態による撮像装置に於いて、この２画素混合読み出し時の斜方解像度については改善できる。第３の実施形態では、分光プリズム３０を用いて波長分光しているので、必ずしもイメージセンサにカラーフィルタを備える必要がない。これは、２画素混合する際の斜方配列について、カラーフィルタの色配列による束縛がないということである。そこで、２画素混合時の斜方配列を工夫することで、斜方解像度の劣化を改善することができる。

図１９は、読み出しフレームの奇数番と偶数番とで２画素混合の位相が交互に入れ換わるイメージセンサを示す図である。

図１９ａは奇数番フレーム時、図１９ｂは偶数番フレーム時の斜方配列を示す図である。

図１９ａ及び図１９ｂに示されるように、２画素混合読み出し時に於いて、読み出しフレームの奇数番と偶数番とで位相が異なるようにすれば良い。即ち、２画素混合する画素の組み合わせが２種類あって、奇数番と偶数番とで交互に入れ換わるようにする。また、図１９ａ及び図１９ｂのように、この２つの位相には、対称性を有することが望ましい。

図２０は、輝度サンプリングＹ１（奇数番）、Ｙ２（偶数番）の上に斜方の分解能線を引いた図である。尚、補間画素Ｙ１’及びＹ２’については輝度サンプリングではないので、図２０に於いては省略している。

ここで、斜方分解能線について、図１８ａと図２０とを比較してみれば、斜方分解能線の本数についてはどちらも同じであることがわかる。このように、２画素混合読み出し時に、斜方配列の位相を交互に異ならせることによって、輝度サンプリングＹ１及びＹ２を生成することで、２フレーム単位で見て許容される範囲での動的被写体（例えば、静止被写体）であれば、画素毎独立読み出しと２画素混合読み出しとの斜方解像度は同じであることがわかる。

前述したように、本発明の第３の実施形態による光学プリズムを備えた３板式撮像装置は、高フレームレート読み出しモードであっても、１フレームあたりの撮像電荷を減少させず、且つ、１回読み出しによる撮像画像であっても水平及び垂直解像度を保持する。また、２回読み出しであれば、斜方解像度も保持する。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１０ 光電変換素子
１１ 蓄積部（蓄積手段）
１２ 読み出し部（読み出し手段）
１３ 混合部（混合手段）
１４ 制御部（制御手段）
１５ ＲＧＢカラーフィルタ
１６ イメージセンサ
１７ 補正部
１８ 補間部
１９ 処理部
２０ ６色カラーフィルタ
２１ イメージセンサ
２２ 補正部
２３ 補間部
２４ 処理部
３０ 分光プリズム（分光部）
３１ Ｒｃｈイメージセンサ
３２ Ｇｃｈイメージセンサ
３３ Ｂｃｈイメージセンサ
３４ 静止画処理部
３５ Ｒｃｈ補間部
３６ Ｇｃｈ補間部
３７ Ｂｃｈ補間部
３８ 動画処理部

Claims (10)

1. 水平方向及び垂直方向に正方配列され、光学像を画素毎に光電変換する光電変換素子と、
   前記光電変換されて生成される電荷を前記画素毎に蓄積する蓄積手段と、
   前記電荷を電荷転送または電流変換した電荷量を読み出す読み出し手段と、
   前記水平方向または前記垂直方向に隣接する２画素から読み出された前記電荷量を２画素混合する混合手段と、
   前記電荷量を前記画素毎に独立して読み出すか、または、前記電荷量を前記２画素混合して読み出すか、の読み出し制御をする制御手段と、
   を備え、
   前記２画素混合後の画素配列は、前記隣接方向毎に１画素ずれていることを特徴とするイメージセンサ。
2. 前記光学像と前記光電変換素子との間に設置され、前記光学像を各色毎に透過させるカラーフィルタ
   を更に備え、
   前記カラーフィルタの色配列は、前記水平方向または前記垂直方向に隣接した前記２画素毎に同色系となる配列である
   ことを特徴とする請求項１に記載のイメージセンサ。
3. 前記カラーフィルタは、前記光学像をＲ色、Ｇ色、Ｂ色から成る前記各色毎に透過させ、
   前記Ｇ色の前記色配列は、前記水平方向に隣接した１行置きに配列されるか、または、前記垂直方向に隣接した１列置きに配列される
   ことを特徴とする請求項２に記載のイメージセンサ。
4. 請求項２または請求項３に記載のイメージセンサを備える撮像装置であって、
   前記電荷量を前記各色毎にホワイトバランス補正して補正画像データを生成する補正部と、
   前記補正画像データを前記正方配列上に画素補間して補間画像データを生成する補間部と、
   前記補間画像データに画像処理を施して画像を生成する処理部と、
   を更に備える
   ことを特徴とする撮像装置。
5. 前記カラーフィルタは、前記光学像を前記Ｒ色系であるＲ１色、Ｒ２色、前記Ｇ色系であるＧ１色、Ｇ２色、前記Ｂ色系であるＢ１色、Ｂ２色から成る前記各色毎に透過させる
   ことを特徴とする請求項２に記載のイメージセンサ。
6. 請求項５に記載のイメージセンサを備える撮像装置であって、
   前記画素毎独立読み出しの場合は、前記電荷量を前記各色毎にホワイトバランス補正して補正画像データを生成し、前記２画素混合読み出しの場合は、前記電荷量を前記同色系毎にホワイトバランス補正して補正画像データを生成する補正部と、
   前記補正画像データを前記正方配列上に画素補間して補間画像データを生成する補間部と、
   前記補間画像データに画像処理を施して、前記画素毎独立読み出しの場合は静止画像を生成し、前記２画素混合読み出しの場合は動画像または高速連写画像を生成する処理部と、
   を更に備える
   ことを特徴とする撮像装置。
7. 請求項１に記載のイメージセンサを波長毎に備える撮像装置であって、
   前記光学像を前記波長毎の光学像に分光する分光部と、
   前記画素毎独立読み出しの際、前記波長毎に生成される前記電荷量に画像処理を施して静止画像を生成する静止画処理部と、
   前記２画素混合読み出しの際、前記波長毎に生成される前記電荷量を前記正方配列上に画素補間して、該波長毎画像データを生成する補間部と、
   前記波長毎画像データに画像処理を施して動画像または高速連写画像を生成する動画処理部と、
   を更に備える
   ことを特徴とする撮像装置。
8. 前記動画像を生成する際に、前記制御手段は、前記２画素混合する画素が、読み出しフレームの奇数番と偶数番とで異なるように前記混合手段を制御する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、
   前記画素毎独立読み出しの場合は、有効画素数ｍを読み出すように制御し、
   前記２画素混合読み出しの場合は、有効画素数ｎを前記２画素混合したｎ／２画素を読み出すように制御して、
   前記有効画素数は、ｍ＞ｎである。
   ことを特徴とする請求項１に記載のイメージセンサ。
10. 前記有効画素数ｍから成る読み出し領域は、アスペクト比４：３であり、
    前記有効画素数ｎから成る読み出し領域は、アスペクト比１６：９である
    ことを特徴とする請求項９に記載のイメージセンサ。

Images