JP2009044620A - 固体撮像素子の画素混合読出方法及び撮像装置 - Google Patents

Abstract

【課題】固体撮像素子から画素混合して検出信号を読み出すときの歪みを無くす。
【解決手段】二次元アレイ状に配列形成された複数の画素を備えるカラー画像撮像用の固体撮像素子であって、隣接する同一色の複数画素の重心位置の色配列が前記二次元アレイ状に配列された画素色配列と異なる固体撮像素子の画素混合読出方法において、前記重心位置の色配列が前記画素色配列と同じとなる部分の色（Ｇ，Ｂ）については前記隣接する同一色の複数画素の検出信号を加算して読み出し、前記重心位置の色配列が前記画素色配列と異なる部分の色（Ｒ）については前記隣接する同一色の複数画素のうち前記画素色配列と同じになる位置の画素の検出信号を個別に読み出す。
【選択図】図５

Description

本発明は、固体撮像素子から画素混合して撮像データを読み出す画素混合読出方法及び撮像装置に関する。

ＣＣＤ（Charge Coupled Device）型イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等の固体撮像素子を用いて被写体の静止画像を撮像する場合には、固体撮像素子に搭載されている数百万画素という多数の画素の検出信号を個々に読み出して高精細な静止画像を生成する。

しかし、例えば被写体の動画像を撮像する場合には、固体撮像素子から１秒間に３０フレームという画像データを高速に読み出す必要があるため、固体撮像素子が搭載する多数の画素の個々を個別に読み出す時間が無く、縮小した画像データを読み出すのが普通である。このとき、隣接する同一色の画素の検出信号を加算して読み出す画素混合が行われる。

画素混合は、例えば、下記特許文献１に記載されている様にして行われる。この特許文献１記載の固体撮像素子における画素色配列は、図１０に示す様に、緑色（Ｇ）のカラーフィルタを搭載した画素（以下、Ｇ画素という。）が一行に並ぶ行と、赤色（Ｒ）のカラーフィルタを搭載した画素（以下、Ｒ画素という。）と青色（Ｂ）のカラーフィルタを搭載した画素（以下、Ｂ画素という。）とが交互に並ぶ行とが交互に設けられ、Ｒ画素，Ｂ画素の配列に対してＧ画素の画素位置が１／２ピッチずれるように設けられている。

この画素色配列における固体撮像素子において、水平方向の画素混合を行う場合には、図１１（ａ）に示す様に、線で結んだ水平方向に隣接する同一色の画素の検出電荷を加算し、加算した信号の位置を、図１１（ｂ）に示す様に、加算対象とした２つの画素の重心位置とする。

特開２００３―２６４８４４号公報

図１０に示すＲ，Ｇ，Ｂの画素色配列と、図１１（ｂ）に示す重心位置の色配列とは異なってしまう。図１０では、Ｒ画素とＧ画素の位置は水平方向にずれた位置になっているが、図１１（ｂ）では、画素混合したＲ画素信号と、画素混合したＧ画素信号の水平位置は同じになっている。

このため、図１０の個々の画素の検出信号から生成した静止画像に対して、図１１（ｂ）の画素混合で生成した動画像は、Ｇ画素信号とＲ画素信号の水平位置が同じなため、歪んだ画像になってしまう。

この歪みを解消するには、静止画像生成用の画像処理装置の他に、動画像生成用の画像処理装置を別途用意し、動画像を生成するときには、図１１（ｂ）に示す点線八角形位置に混合Ｒ画素信号があるとして画像処理し、歪みを修正する必要が生じる。しかし、動画用の画像処理装置を静止画像処理用画像処理装置の他に用意するのは、コストが嵩んでしまうという問題がある。

本発明の目的は、画素混合した場合でも低コストで混合画素信号の処理ができる固体撮像素子の画素混合読出方法及び撮像装置を提供することにある。

本発明の固体撮像素子の画素混合読出方法は、二次元アレイ状に配列形成された複数の画素を備えるカラー画像撮像用の固体撮像素子であって、隣接する同一色の複数画素の重心位置の色配列が前記二次元アレイ状に配列された画素色配列と異なる固体撮像素子の画素混合読出において、前記重心位置の色配列が前記画素色配列と同じとなる部分（箇所）の色については前記隣接する同一色の複数画素の検出信号を加算して読み出し、前記重心位置の色配列が前記画素色配列と異なる部分（箇所）の色については前記隣接する同一色の複数画素のうち前記画素色配列と同じになる位置の画素の検出信号を個別に読み出すことを特徴とする。

本発明の固体撮像素子の画素混合読出方法は、前記隣接する同一色の複数画素のうち、検出信号が前記個別に読み出された画素と対になる他方の画素の検出信号を廃棄することを特徴とする。

本発明の固体撮像素子の画素混合読出方法は、前記固体撮像素子が、水平電荷転送路と垂直電荷転送路とを備えるＣＣＤ型であり、前記垂直電荷転送路の転送方向端部と前記水平電荷転送路との間に前記垂直電荷転送路から受け取った電荷を一時蓄積するラインメモリを備えることを特徴とする。

本発明の固体撮像素子の画素混合読出方法は、前記廃棄を前記水平電荷転送路の掃出駆動で行うことを特徴とする。

本発明の固体撮像素子の画素混合読出方法は、前記掃出駆動期間に前記垂直電荷転送路の転送を開始することを特徴とする。

本発明の固体撮像素子の画素混合読出方法は、前記二次元アレイ状に配列形成された複数の画素の奇数行の画素行が偶数行の画素行に対して１／２画素ピッチずらして配列されていることを特徴とする。

本発明の撮像装置は、二次元アレイ状に配列形成された複数の画素を備えるカラー画像撮像用の固体撮像素子であって隣接する同一色の複数画素の重心位置の色配列が前記二次元アレイ状に配列された画素色配列と異なる固体撮像素子と、前記重心位置の色配列が前記画素色配列と同じとなる部分の色については前記隣接する同一色の複数画素の検出信号を加算して読み出し前記重心位置の色配列が前記画素色配列と異なる部分の色については前記隣接する同一色の複数画素のうち前記画素色配列と同じになる位置の画素の検出信号を個別に読み出す撮像素子駆動手段と、前記固体撮像素子から出力される信号を処理して被写体画像データを生成する画像処理手段とを備えることを特徴とする。

本発明の撮像装置の前記画像処理手段は、前記個別に読み出された検出信号を、前記加算した画素数と同数倍して前記被写体画像データを生成することを特徴とする。

本発明の撮像装置は、前記隣接する同一色の複数画素のうち検出信号が前記個別に読み出された画素と対になる他方の画素の検出信号を廃棄することを特徴とする。

本発明の撮像装置は、前記固体撮像素子が、水平電荷転送路と垂直電荷転送路とを備えるＣＣＤ型であり、前記垂直電荷転送路の転送方向端部と前記水平電荷転送路との間に前記垂直電荷転送路から受け取った電荷を一時蓄積するラインメモリを備えることを特徴とする。

本発明の撮像装置は、前記廃棄を前記水平電荷転送路の掃出駆動で行うことを特徴とする。

本発明の撮像装置は、前記掃出駆動期間に前記垂直電荷転送路の転送を開始することを特徴とする。

本発明の撮像装置は、前記二次元アレイ状に配列形成された複数の画素の奇数行の画素行が偶数行の画素行に対して１／２画素ピッチずらして配列されていることを特徴とする。

本発明によれば、空間的な歪みが生じることなく、低コストで、画素混合した撮像画像を生成することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルカメラの機能ブロック図である。このデジタルカメラは、撮像部２１と、撮像部２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理（ＣＤＳ）等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，撮像部２１の駆動制御を行う駆動部（タイミングジェネレータＴＧを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

撮像部２１は、被写界からの光を集光する光学レンズ系２１ａと、該光学レンズ系２１ａを通った光を絞る絞りやメカニカルシャッタ２１ｂと、光学レンズ系２１ａによって集光され絞りによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力する単板式のカラー画像撮像用固体撮像素子１００とを備える。

本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

本実施形態では、ユーザ操作部３３からの撮影指示が静止画像撮影指示であるか動画像撮影指示であるかによって、ＣＰＵ２９が画素混合せずに撮像画像データを固体撮像素子１００から出力させるか、画素混合して固体撮像素子１００から出力させるかを判断する。そして、駆動部２４は、ＣＰＵ２９からの指示により、固体撮像素子１００の駆動制御を行う。

図２は、固体撮像素子１００の表面模式図である。本実施形態のデジタルカメラでは、固体撮像素子１００として、所謂、ハニカム画素配列のＣＣＤ型固体撮像素子を用いている。

半導体基板の表面部には複数の光電変換素子（フォトダイオードＰＤ：以下、画素という。）１０１が二次元アレイ状に配列形成されている。そして、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして形成され、奇数行（または偶数行）の各画素に緑色（Ｇ）のカラーフィルタが積層されている。

偶数行（または奇数行）の画素行には、赤色（Ｒ）フィルタと青色（Ｂ）フィルタとが交互に積層されたＲＢＲＢ…の並びの行と、逆のＢＲＢＲ…の並びの行とが交互に設けられている。

各画素列に沿って、垂直電荷転送路（ＶＣＣＤ）１０２が各画素１０１を避けるように蛇行して形成され、各垂直電荷転送路１０２の転送方向端部に沿って、水平電荷転送路（ＨＣＣＤ）１０３が設けられ、水平電荷転送路１０３の出力部に、転送されてきた電荷の電荷量に応じた電圧値信号を撮像データとして出力するアンプ１０４が設けられている。

本実施形態のＣＣＤ型固体撮像素子１００では、水平方向の画素混合を容易に行えるように、各垂直電荷転送路１０２の転送方向端部と水平電荷転送路１０３との間に、ラインメモリ（ＬＭ）１０５が設けられている。

ラインメモリ１０５は、各垂直電荷転送路１０２毎に、対応する垂直電荷転送路１０２から受け取った信号電荷を一時蓄積するバッファ領域１０５ａを備える。そして、図１に示す駆動部２４からのラインメモリ駆動パルスと水平転送パルスとの組み合わせに従って、各バッファ領域１０５ａの蓄積電荷を水平電荷転送路１０３に転送するタイミングが制御される。

尚、「水平」，「垂直」という用語を用いて説明しているが、これは、半導体基板表面に沿う「１方向」，「この１方向に略垂直な方向」という意味に過ぎない。

図３は、水平電荷転送路（ＨＣＣＤ）１０３の電極配線を示す図である。画素混合を行うために、本実施形態の水平電荷転送路１０３は、８相（Ｈ１〜Ｈ８）の水平転送パルスによって駆動され、この水平転送パルスに、ラインメモリ（ＬＭ）駆動パルスが組み合わされることで、画素混合が行われる。

尚、水平転送パルスＨｉ（ｉ＝１〜８）が印加される水平転送電極を電極Ｈｉと呼ぶことにする。

図３に示すラインメモリ（ＬＭ）１０５上に記載したＲＧＢは、夫々Ｒ画素，Ｇ画素，Ｂ画素から読み出され転送されてきた信号電荷を示している。図２に示す下から２行づつの各画素行が夫々一ラインの信号電荷としてラインメモリ（ＬＭ）１０５内に一時蓄積される。

即ち、Ｒ画素，Ｂ画素の信号電荷が垂直電荷転送路１０２に読み出され、２段の転送電極分だけ垂直方向に転送されたとき、Ｇ画素から信号電荷が垂直電荷転送路１０２に読み出されると、ＲＧＢＧＲＧＢＧ…のラインと、ＢＧＲＧＢＧＲＧ…のラインとが交互に垂直電荷転送路１０２からラインメモリ１０５に転送されてくることになる。

図４は、ラインメモリ（ＬＭ）１０５を利用し、水平電荷転送路１０３上で水平方向の画素混合を行う様子を示す説明図である。

ラインメモリＬＭには、左端から、ＲＧＢＧＲＧＢＧ…と信号電荷が蓄積されている。このとき、時刻ｔ１において
ラインメモリＬＭ→Ｈ、
水平転送電極Ｈ１→Ｈ、
水平転送電極Ｈ２→Ｌ、
水平転送電極Ｈ３→Ｌ、
水平転送電極Ｈ４→Ｈ、
水平転送電極Ｈ５→Ｌ、
水平転送電極Ｈ６→Ｌ、
水平転送電極Ｈ７→Ｈ、
水平転送電極Ｈ８→Ｈ、
の信号レベルが印加されると、電極Ｈ２，３，５，６下に電位井戸が形成され、ラインメモリＬＭからこれらの電極Ｈ２，３，５，６下に信号電荷が移される。

ラインメモリＬＭの信号レベルがＬになった状態で、時刻ｔ２，ｔ３，ｔ４と水平転送パルスＨ１〜Ｈ８が印加されると、赤色（Ｒ）電荷以外のＧ電荷とＢ電荷の水平転送路上の位置が少しずつ進む。

そして、時刻ｔ５で、
ラインメモリＬＭ→Ｈ、
水平転送電極Ｈ１→Ｈ、
水平転送電極Ｈ２→Ｈ、
水平転送電極Ｈ３→Ｈ、
水平転送電極Ｈ４→Ｌ、
水平転送電極Ｈ５→Ｌ、
水平転送電極Ｈ６→Ｈ、
水平転送電極Ｈ７→Ｌ、
水平転送電極Ｈ８→Ｌ、
になると、水平電極Ｈ２下に移動してきた内部にＧ電荷が入っている電位井戸内に、ラインメモリＬＭからＧ電荷が入り、この電位井戸内で、２つのＧ画素の電荷が加算されることになる。同様に、水平電極Ｈ３下の電位井戸内に、青色（Ｂ）の加算電荷が入り、水平電極Ｈ６下の電位井戸内に緑色（Ｇ）の加算電荷が入る。

しかし、赤色（Ｒ）電荷が入るべき水平電極Ｈ１，Ｈ５のうち、電極Ｈ５は、ラインメモリＬＭがＨレベルになったとき常にＬレベルの電位が印加されて電極Ｈ５下に電位井戸が形成されることが無いため、電極Ｈ５下に入るべきラインメモリＬＭ上のＲ電荷は、ラインメモリＬＭ上に残ることになる。

以後、ｔ６，ｔ７，…と経過するに従って、水平電荷転送路上の信号電荷は、出力端のアンプ１４側に転送され、各電位井戸内に入っている電荷量に応じた電圧値信号が撮像データとしてアンプ１４から出力される。

撮像データが出力された後には、ラインメモリＬＭ上に、赤色（Ｒ）信号電荷が残留していることになる。そこで、図７に示す様に、データ出力のための転送後に、この残留電荷を水平電荷転送路に移し（ＬＭ転送）、水平電荷転送路を転送させることで、不要のＲ電荷の掃き出しを行う。そして、図３に示すラインメモリＬＭに接する次ラインの信号電荷を垂直電荷転送路（ＶＣＣＤ）１０２からラインメモリ（ＬＭ）１０５に移し、以下、同様にして画素混合を行う。

図４で説明した画素混合は、結果として図５の状態で行われる。即ち、水平方向に隣接するＧ画素の電荷が加算されて出力され、水平方向に隣接するＢ画素の電荷も加算されて出力される。

しかし、Ｒ画素については、これを加算すると、図１１で説明した様に重心位置がＧ画素の加算信号位置と重なってしまう。そこで、本実施形態では、Ｒ画素については画素加算せずに、ＲＧＢの信号配置位置が固体撮像素子のＲＧＢ画素の配列と相似形の配列となる位置のＲ画素だけを読み出し、他方のＲ画素の信号を廃棄することとしている。しかし、このままでは、Ｇ信号，Ｂ信号に対して、Ｒ信号の信号量が減ってしまうため、Ｒ信号の信号量を２倍にして、再生画像の絵作りを行う。

図２に示す固体撮像素子１００から読み出した画像データは、図１のデジタル信号処理部２６が受け取って再生画像を生成することになる。このとき、固体撮像素子１００から読み出された撮像データのＲＧＢの配置は、図６の左側に示す配置位置となる。

即ち、その配置位置は、図２に示すハニカム画素配置，色配列と同じ相似同形となる。従って、静止画像を生成するときと同じアルゴリズムで画像処理することができる。

図１のデジタル信号処理部２６は、市松位置の信号配列から当該信号位置のＲＧＢの３色の信号成分を補間演算で求め、且つ、市松位置の残りの市松位置の信号の無い箇所のＲＧＢ信号を求める正方変換を行って、図６の右側に示す画像データを生成する。この様に生成された画像データは、図１１で説明した空間的歪みを持たない出力信号に基づくため、品質の良い画像データとなる。

図８は、図７で説明した掃き出し駆動の別実施形態を示すタイムチャートである。本実施形態では、不要となるＲ電荷の掃き出し駆動を、通常の水平電荷転送路の転送駆動よりも高速で行い、掃き出し時間の短縮を図っている。これにより、全画面読み出しのフレームレートを上げることができる。

図９は、掃き出し駆動時の別実施形態を示すタイムチャートである。本実施形態では、掃き出し駆動時（高速駆動でも通常駆動でも良い。）に、並列に、垂直電荷転送路の転送駆動を行う。これにより、全画面の読み出しのフレームレートを更に向上させることが可能となる。

以上述べた実施形態に係る画素混合読出方法によれば、空間歪みを生じることなく画素混合を行うことができ、画素混合した信号専用の画像処理アルゴリズムが不要となるため、低コストで画像処理装置を構成することができ、デジタルカメラ等に適用すると有用である。

尚、上述した実施形態では、ハニカム画素配列のラインメモリを備えるＣＣＤ型固体撮像素子を例に説明したが、同一色の隣接画素の信号を加算読出する固体撮像素子であれば固体撮像素子の形式によらずに本発明を適用できる。

即ち、混合する同一色の画素の重心位置の色配列と、元の固体撮像素子の各画素の色配列とが異なり空間的な歪みが生じてしまうとき、歪みを生じさせる色の画素については画素混合せずに、色配列が元の固体撮像素子の色配列と同じになる画素の信号を読み出し、この信号と、他の画素混合した信号とから画像を生成すればよい。

本発明の画素混合読出方法は、歪み無い画像データの生成を低コストで行うことができるため、デジタルカメラ等に適用すると有用である。

本発明の一実施形態に係るデジタルカメラの機能ブロック構成図である。 図１に示す固体撮像素子の表面模式図である。 図２に示す水平電荷転送路の転送電極配線図である。 図２に示す固体撮像素子における画素混合の様子を示す図である。 本発明の実施形態に係る画素混合説明図である。 図１に示すデジタル信号処理部が行うデータ処理の様子を示す説明図である。 図２に示す固体撮像素子における画素混合読出のタイムチャートである。 図７に代わる実施形態の画素混合読出のタイムチャートである。 図８に代わる実施形態の画素混合読出のタイムチャートである。 固体撮像素子の画素の色配列の一例を示す図である。 従来の画素混合の説明図である。

符号の説明

２１ 撮像部
２４ 駆動部（タイミングジェネレータを含む）
２６ デジタル信号処理部
２９ システム制御部（ＣＰＵ）
１００ 固体撮像素子
１０１ 画素
１０２ 垂直電荷転送路（ＶＣＣＤ）
１０３ 水平電荷転送路（ＨＣＣＤ）
１０４ 出力アンプ
１０５ ラインメモリ

Claims (13)

1. 二次元アレイ状に配列形成された複数の画素を備えるカラー画像撮像用の固体撮像素子であって、隣接する同一色の複数画素の重心位置の色配列が前記二次元アレイ状に配列された画素色配列と異なる固体撮像素子の画素混合読出方法において、前記重心位置の色配列が前記画素色配列と同じとなる部分の色については前記隣接する同一色の複数画素の検出信号を加算して読み出し、前記重心位置の色配列が前記画素色配列と異なる部分の色については前記隣接する同一色の複数画素のうち前記画素色配列と同じになる位置の画素の検出信号を個別に読み出すことを特徴とする固体撮像素子の画素混合読出方法。
2. 前記隣接する同一色の複数画素のうち、検出信号が前記個別に読み出された画素と対になる他方の画素の検出信号を廃棄することを特徴とする請求項１に記載の固体撮像素子の画素混合読出方法。
3. 前記固体撮像素子が、水平電荷転送路と垂直電荷転送路とを備えるＣＣＤ型であり、前記垂直電荷転送路の転送方向端部と前記水平電荷転送路との間に前記垂直電荷転送路から受け取った電荷を一時蓄積するラインメモリを備えることを特徴とする請求項２に記載の固体撮像素子の画素混合読出方法。
4. 前記廃棄を前記水平電荷転送路の掃出駆動で行うことを特徴とする請求項３に記載の固体撮像素子の画素混合読出方法。
5. 前記掃出駆動期間に前記垂直電荷転送路の転送を開始することを特徴とする請求項４に記載の固体撮像素子の画素混合読出方法。
6. 前記二次元アレイ状に配列形成された複数の画素の奇数行の画素行が偶数行の画素行に対して１／２画素ピッチずらして配列されていることを特徴とする請求項１乃至請求項５のいずれかに記載の固体撮像素子の画素混合読出方法。
7. 二次元アレイ状に配列形成された複数の画素を備えるカラー画像撮像用の固体撮像素子であって隣接する同一色の複数画素の重心位置の色配列が前記二次元アレイ状に配列された画素色配列と異なる固体撮像素子と、前記重心位置の色配列が前記画素色配列と同じとなる部分の色については前記隣接する同一色の複数画素の検出信号を加算して読み出し前記重心位置の色配列が前記画素色配列と異なる部分の色については前記隣接する同一色の複数画素のうち前記画素色配列と同じになる位置の画素の検出信号を個別に読み出す撮像素子駆動手段と、前記固体撮像素子から出力される信号を処理して被写体画像データを生成する画像処理手段とを備えることを特徴とする撮像装置。
8. 前記画像処理手段は、前記個別に読み出された検出信号を、前記加算した画素数と同数倍して前記被写体画像データを生成することを特徴とする請求項７に記載の撮像装置。
9. 前記隣接する同一色の複数画素のうち検出信号が前記個別に読み出された画素と対になる他方の画素の検出信号を廃棄することを特徴とする請求項７または請求項８に記載の撮像装置。
10. 前記固体撮像素子が、水平電荷転送路と垂直電荷転送路とを備えるＣＣＤ型であり、前記垂直電荷転送路の転送方向端部と前記水平電荷転送路との間に前記垂直電荷転送路から受け取った電荷を一時蓄積するラインメモリを備えることを特徴とする請求項９に記載の撮像装置。
11. 前記廃棄を前記水平電荷転送路の掃出駆動で行うことを特徴とする請求項１０に記載の撮像装置。
12. 前記掃出駆動期間に前記垂直電荷転送路の転送を開始することを特徴とする請求項１１に記載の撮像装置。
13. 前記二次元アレイ状に配列形成された複数の画素の奇数行の画素行が偶数行の画素行に対して１／２画素ピッチずらして配列されていることを特徴とする請求項７乃至請求項１２のいずれかに記載の撮像装置。

Images