JP2005109968A - カラー固体撮像装置 - Google Patents

カラー固体撮像装置 Download PDF

Info

Publication number
JP2005109968A
JP2005109968A JP2003341670A JP2003341670A JP2005109968A JP 2005109968 A JP2005109968 A JP 2005109968A JP 2003341670 A JP2003341670 A JP 2003341670A JP 2003341670 A JP2003341670 A JP 2003341670A JP 2005109968 A JP2005109968 A JP 2005109968A
Authority
JP
Japan
Prior art keywords
output
pixel data
pixel
color
output unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003341670A
Other languages
English (en)
Inventor
Toshinobu Hatano
敏信 秦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003341670A priority Critical patent/JP2005109968A/ja
Priority to TW093129235A priority patent/TW200513122A/zh
Priority to CNB2004100806315A priority patent/CN1306828C/zh
Priority to US10/951,891 priority patent/US20050068434A1/en
Priority to KR1020040077786A priority patent/KR20050031988A/ko
Publication of JP2005109968A publication Critical patent/JP2005109968A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Abstract

【課題】 高画素での高精細な静止画撮影と動きの滑らかな高精細な動画記録の2つのモードが切り替え可能に構成されたカラー固体撮像装置において、3板式の従来装置に比べて、動画記録をさらに高品質にすることを目的とする。
【解決手段】 光電変換素子アレイE2と画素データ読み出し制御部E3とを備え、画素データ読み出し制御部E3は、4チャンネルの出力部O1,O2,O3,O4からの同時出力形式で、全画素読み出しモードと垂直水平画素混合読み出しモードを有する。全画素読み出しモードでは、光電変換素子アレイにおける2行2列の画素群を画素データの第1の出力単位として、4チャンネルの出力部を用いて同時にGRBGの画素データを独立並列で出力する。垂直水平画素混合読み出しモードは、2n行2n列の画素群を画素データの第2の出力単位として、4チャンネルの出力部を用いて同時にGRBGの混合画素データを独立並列で出力する。
【選択図】 図1

Description

本発明は、光学系を通して入射される光学像を光電変換して電気信号に変換するようマトリックス状に形成され、2行2列の画素群を単位として4色のカラー画素データを生成する光電変換素子アレイと、前記光電変換素子アレイの画素群から画素データを読み出すに当たり、静止画撮影時にアレイ上の全画素分の画素データを読み出す全画素読み出しモードと動画記録時に水平垂直方向で複数画素分の画素データを混合することにより画素数を減らして画素データを読み出す垂直水平画素混合読み出しモードとを有する画素データ読み出し制御部とを備えたカラー固体撮像装置に関する。
固体撮像装置の光電変換素子アレイについては、近年の半導体技術の発展により、画素数の飛躍的な増加が実現されている。画素数が十分に多いことを高画素と称する。
静止画撮影対応の一眼レフの高級デジタルカメラにあっては、超高精細な静止画を重視して、1000万画素を超える高画素のものが開発されつつある。一方、動画記録対応のデジタルムービーにあっては、3板CCDを搭載して各CCDからRGB信号を独立して取得することにより、感度、解像度、色調、色解像度、ダイナミックレンジの向上を重視している。近年では、静止画撮影と動画記録の2つの機能を搭載し、両モードを切り替え可能に構成したものもある。
静止画撮影においては、光電変換素子アレイの全画素の画素データを利用する形態で撮影を行う。これが全画素読み出しモードであり、光電変換素子アレイから読み出した画素データを1画素分ずつ順次に全画素分出力する。これにより、高精細な静止画撮影が可能となっている。
一方、静止画撮影と動画記録との両モードを切り替え可能に構成した固体撮像装置もある。現状ではDSPなどのデジタル信号処理回路の動作速度に一定の限界があり、また消費電力の面からも、動画記録においては、静止画撮影と同様の全画素読み出しモードでの撮影はむずかしい。動画記録時には画素間引きを行い、単位時間当たりのフレーム枚数を増やして画素データ処理を行うのが一般的である。これが垂直水平画素混合読み出しモードである。
光電変換素子アレイから読み出した画素データにつき、アレイの垂直方向と水平方向とで複数画素分を混合した上で、その混合画素データを1単位の画素データとして出力する。これにより、単位時間当たりのフレーム枚数が増え、高画素の光電変換素子アレイを搭載した固体撮像装置においても、滑らかで高速な動画像撮影が可能となっている。
上記のような画素間引き・画素混合読み出しと全画素読み出しとの切り替えは、特にMOS(MetalOxide Semiconductor)イメージセンサが得意とするものである。MOSイメージセンサは、CCD(Charge Coupled Device)イメージセンサのようなポテンシャル井戸の移動による電荷の転送を必要とせず、信号ライン(ワイヤ)を利用して任意ラインの画素データ読み出しが自在であるからである。また、MOSイメージセンサの利点として、低電圧動作、少ないリーク電流、CCDと同じサイズでのより大きい開口率、高い感度、データ読み出しがCCDより簡単等をあげることができる。特に、任意画素抽出読み出し、画素混合の利点が大きい。
特開2001−36920号公報 特開2002−135793号公報 特開2003−116061号公報
本発明は、高画素での高精細な静止画撮影と動きの滑らかな高精細な動画記録の2つのモードが切り替え可能に構成されたカラー固体撮像装置において、3板式の従来装置に比べて、動画記録をさらに高品質にすることを目的とする。
本発明は、上記の目的を達成するために次のような手段を講じる。
本発明によるカラー固体撮像装置は、大きくは次の2つの構成要素から構成されている。1つは光電変換素子アレイであり、もう1つは画素データ読み出し制御部である。
前記光電変換素子アレイは、光学系を通して入射される光学像を光電変換して電気信号に変換するようマトリックス状に形成され、2行2列の画素群を単位として4つのカラー画素データを生成するように構成されている。ここでの4つカラー画素データについては、それらすべてが異なる色のものであってもよいし、2色が同色であってもよい。2色が同色の場合の一例として、GRBGのベイヤー配列がある(Gはグリーン、Rはレッド、Bはブルー)。
前記画素データ読み出し制御部は、4チャンネルの出力部を有するとともに、4チャンネル同時出力形式の全画素読み出しモードと垂直水平画素混合読み出しモードとを有し、両モードが切り替え可能に構成されている。
前記の4チャンネル同時出力形式の全画素読み出しモードは、前記光電変換素子アレイにおける2行2列の画素群を画素データの第1の出力単位として、4チャンネルの出力部を用いて同時に、第1色画素の画素データを第1の出力部から出力し、第2色画素の画素データを第2の出力部から出力し、第3色画素の画素データを第3の出力部から出力し、第4色画素の画素データを第4の出力部から出力するという出力形態をとり、このような出力形態により前記第1の出力単位で走査して、結果的に光電変換素子アレイの全画素の画素データを出力するモードである。
また、前記の4チャンネル同時出力形式の垂直水平画素混合読み出しモードは、nを2以上の任意の自然数として、2n行2n列の画素群を画素データの第2の出力単位として、前記第2の出力単位におけるn×n個の同色の画素群の画素データを色別に混合し、4チャンネルの出力部を用いて同時に、第1色画素の混合画素データを第1の出力部から出力し、第2色画素の混合画素データを第2の出力部から出力し、第3色画素の混合画素データを第3の出力部から出力し、第4色画素の混合画素データを第4の出力部から出力するという出力形態をとり、このような出力形態により前記第2の出力単位で光電変換素子アレイの全体にわたって走査して、画素を間引く状態で混合画素データを出力するモードである。
上記構成における第1色、第2色、第3色、第4色については、上記のように、それらすべてが異なる色であってもよいし、2色が同色であってもよい(例えば、GRBGのベイヤー配列)。
上記において、例えばn=3のとき、第2の出力単位は6行6列の画素群となる。この6行6列の画素群には36個の画素が含まれている。第1の出力単位である2行2列の画素群を例えばGRBGのベイヤー配列とすると、6行6列の画素群には、1番目のG(グリーン)が9個、R(レッド)が9個、B(ブルー)が9個、2番目のG(グリーン)が9個含まれている。n=3であるので、n×nは9である。
9個の1番目のG(グリーン)の画素の画素データを混合し、9画素混合の第1のGデータとした上で第1チャンネルの出力部から出力する。同時に、9個のR(レッド)の画素の画素データを混合し、9画素混合のRデータとした上で第2チャンネルの出力部から出力する。同時に、9個のB(ブルー)の画素の画素データを混合し、9画素混合のBデータとした上で第3チャンネルの出力部から出力する。そして、同時に、9個の2番目のG(グリーン)の画素の画素データを混合し、9画素混合の第2のGデータとした上で第4チャンネルの出力部から出力する。
すなわち、9画素混合の第1のGデータ、9画素混合のRデータ、9画素混合のBデータおよび9画素混合の第2のGデータを、4チャンネルの出力部から互いに独立して同時に出力する。元の36個の画素データが4個分に集約されている。チャンネル単位で見ると、各チャンネルとも、元の36画素に対してそれぞれ1個の画素データとなっている。このような9画素混合の画素間引き状態での画素データの出力の形態を、6行6列の画素群の第2の出力単位で光電変換素子アレイ全体にわたって走査する。つまり、水平方向で1/6に間引かれているとともに、垂直方向でも1/6に間引かれている。
ここで、1000万画素を超える高画素の一例として水平方向3840画素×垂直方向2880画素の約1106万画素を考える。この約1106万画素を6行6列の画素群で仕切ると、動画モードの標準である水平方向640画素×垂直方向480画素のVGA(Video Graphics Array)となる。
n=3のときに限らず、一般的には次のようにいうことができる。第2の出力単位は2n行2n列の画素群となる。この2n行2n列の画素群には4n個の画素が含まれている。第1の出力単位である2行2列の画素群を例えばGRBGのベイヤー配列とすると、2n行2n列の画素群には、1番目のG(グリーン)がn個、R(レッド)がn個、B(ブルー)がn個、2番目のG(グリーン)がn個含まれている。
個の1番目のG(グリーン)の画素の画素データを混合し、n画素混合の第1のGデータとした上で第1チャンネルの出力部から出力する。同時に、n個のR(レッド)の画素の画素データを混合し、n画素混合のRデータとした上で第2チャンネルの出力部から出力する。同時に、n個のB(ブルー)の画素の画素データを混合し、n画素混合のBデータとした上で第3チャンネルの出力部から出力する。そして、同時に、n個の2番目のG(グリーン)の画素の画素データを混合し、n画素混合の第2のGデータとした上で第4チャンネルの出力部から出力する。
すなわち、n画素混合の第1のGデータ、n画素混合のRデータ、n画素混合のBデータおよびn画素混合の第2のGデータを、4チャンネルの出力部から互いに独立して同時に出力する。元の4n個の画素データが4個分に集約されている。チャンネル単位で見ると、各チャンネルとも、元の4n画素に対してそれぞれ1個の画素データとなっている。このようなn画素混合の画素間引き状態での画素データの出力の形態を、2n行2n列の画素群の第2の出力単位で光電変換素子アレイ全体にわたって走査する。つまり、水平方向で1/(2n)に間引かれているとともに、垂直方向でも1/(2n)に間引かれている。このような4チャンネル同時の混合画素データの独立並列出力をGRBGの仮想4板読み出し方式ということにする。
一般的にnの場合の光電変換素子アレイのサイズは、水平方向640画素×垂直方向480画素のVGAをGRBGの仮想4板読み出し方式で動画モードを実現するには、逆算して、水平方向640×2n画素×垂直方向480×2n画素の光電変換素子アレイとすればよい。ちなみに、n=4のときは、水平方向5120画素×垂直方向3840画素の約1970万画素、n=5のときは、水平方向6400画素×垂直方向4800画素の約3070万画素となる。なお、n=2の場合に適用してもよい。
VGAで従来一般的なのは、RGBの3板方式である。これに対して上記構成の本発明では、出力部が4チャンネルあり、GRBGの仮想4板読み出し方式となっている。これの意味するところは、従来技術に比べて、動画像品質の向上が実現されているということである。
なお、動画モードを必ずしもVGAに限定する必要はなく、N,Nを自然数として、動画モードを水平方向N画素×N画素とすると、光電変換素子アレイは、水平方向N×2n画素×垂直方向N×2n画素とすればよい。
なお、光電変換素子アレイを構成する2行2列の画素群の色の組み合わせとしては、シアン、マゼンタ、イエローおよびグリーンの補色タイプでもよい。
動画像品質向上には、加えて次の利点がある。従来の一般的なデジタルムービーに搭載のイメージセンサの光学セルはサイズが小さいのが通常である。これに比べると、高画素での高級なデジタルスチルカメラに搭載のイメージセンサの光学セルはサイズが大きい。このサイズの大きい光学セルをベースに作製されたイメージセンサにおいて、上記のような画素間引きを行うので、動画像品質はさらに優れたものとなっている。
上記の画素データ読み出し制御部について、その構成を具体的レベルで記述すると、次のものが好ましい。すなわち、前記光電変換素子アレイから画素データを読み出す2ライン分の垂直転送スイッチ回路と、前記読み出した画素データを一時的に保持する2ライン分の信号電圧保持回路と、前記各信号電圧保持回路から画素データまたは混合画素データを2つずつのチャンネルに分けて出力する2ライン分の水平転送スイッチ回路と、前記各水平シフト選択回路からの計4つの画素データまたは混合画素データを互いに独立並列に出力する4チャンネルの出力アンプと、前記各水平転送スイッチ回路を制御して前記全画素読み出しモードでの出力と前記垂直水平画素混合読み出しモードでの出力とを切り替える水平シフト選択回路とを備えた構成である。
この構成により、任意画素の画素データの随意読み出しを容易に実現し、上記の作用効果を十分に発揮させることができる。
上記で詳しく説明したように、本発明によれば次の効果が発揮される。サイズの大きな光学セルを基調として作製されている高画素のイメージセンサを搭載するカラー固体撮像装置は、その開発当初のコンセプトが超高精細の静止画撮影にある。そのような超高精細静止画撮影を前提とするカラー固体撮像装置において、さらに動画記録の機能をもたせるに当たり、画素間引きした混合画素データを4チャンネルの独立出力とすることにより、その光学セルサイズが大きいことも相まって、従来技術に比べて動画像品質の大幅な改善をもたらすことができるようになった。しかも、その効果を実現するに当たり、光電変換素子アレイからの画素データを読み出す画素データ読み出し制御部において、画素データの出力の形態にわずかな工夫を加えるだけで対応しているので、上記大幅な動画像品質の改善の効果の割に構造複雑化は抑制され、製品コスト面でも有利な展開が期待できるのである。
以下、本発明にかかわるカラー固体撮像装置の実施の形態を図面に基づいて詳細に説明する。
図1は本発明の実施の形態におけるカラー固体撮像装置の基本的構成を示すブロック図である。図1において、E1は被写体の光学像を入射する光学系であり、複数枚からなる組み合わせレンズを備えている。E2は光学系E1を通して入射された光学像を光電変換して電気信号に変換するマトリックス状でカラーフィルタを伴う光電変換素子アレイである。E3は光電変換素子アレイE2から画素データを読み出すとともに、読み出した画素データをモードを切り替えて出力する画素データ読み出し制御部である。この画素データ読み出し制御部E3は、2つのモードである、
(1)読み出した画素データを1画素分ずつ順次に全画素分出力する静止画撮影の全画素読み出しモード、
(2)読み出した画素データにつき、アレイの垂直方向と水平方向とで複数画素分を混合した上で、その混合画素データを出力する動画記録の垂直水平画素混合読み出しモード
を備えている。
この画素データ読み出し制御部E3は、画素データの出力部として4チャンネルの出力部O1,O2,O3,O4を有している。4チャンネルの出力部O1,O2,O3,O4は、全画素読み出しモードでの画素1つずつの画素データを互いに独立して並列に出力し、また、垂直水平画素混合読み出しモードでの混合画素データの1つずつを互いに独立して並列に出力するように構成されている。
図1において、E4は画素データ読み出し制御部E3から出力される画素データを入力して所要のデータ処理を行う画像処理部である。
以上のように構成された本実施の形態のカラー固体撮像装置の動作を説明する。
垂直水平画素混合読み出しモードを設定する。光学系E1を介して光電変換素子アレイE2上に結像された被写体の光学像は、光電変換素子アレイE2において光電変換され、電気信号に変換される。ここまでの具体的動作は次のとおりである。画素データ読み出し制御部E3は光電変換素子アレイE2から画素データを読み出す。画像処理部E4は、入力した画素データに対して、相関二重サンプリングであるCDS(Correlated Double Sampling)の処理を行ってリセットノイズおよび低周波ノイズを除去し、さらに自動利得制御であるAGC(AutomaticGain Contorol)を行い、さらにアナログ信号をディジタルデータに変換する。
次に、図2、図3を用いて、全画素読み出しモードと垂直水平画素混合読み出しモードについて、具体的レベルで説明する。
図2、図3は各読み出しモードの一例を分かりやすく示したモデル図である。図2において、上側は光電変換素子アレイE2の一部を示し、下側は画素データ読み出し制御部E3によって出力された画素データである。図3において、左側は光電変換素子アレイE2の一部を示し、右上側は画素データ読み出し制御部E3によって画素混合された画素データであり、右下側は出力された混合画素データである。光電変換素子アレイE2は、1番目のG(グリーン)、R(レッド)、B(ブルー)、2番目のG(グリーン)のベイヤー配列となっている。
まず、全画素読み出しモードの動作について、図2のモデル図を用いて説明する。光電変換素子アレイE2における全画素につき、そのすべての画素データが出力されている。このモードは静止画撮影時のものである。
ベイヤー配列の基本構成要素のGRBGの4画素からなる2行2列の画素群のa1,a2,a3…を画素データの第1の出力単位とする。4チャンネルの出力部O1,O2,O3,O4を用いて同時に、第1の出力単位における各色の画素データを出力するという出力形態を、第1の出力単位で水平垂直方向に走査することにより、光電変換素子アレイE2における全画素の画素データを出力する。走査は、隣接する水平走査ライン2つを1組とする走査ユニットの単位で、矢印Y1,Y2,Y3の順に行う。具体的には次のとおりである。
Y1で示す2行の走査ラインからなる第1走査ユニット目の第1の出力単位のa1において、第1色画素である1番目のG(グリーン)の画素の画素データを第1の出力部O1から出力し、同時に、第2色画素であるR(レッド)の画素の画素データを第2の出力部O2から出力し、同時に、第3色画素であるB(ブルー)の画素の画素データを第3の出力部O3から出力し、同時に第4色画素である2番目のG(グリーン)の画素の画素データを第4の出力部O4から出力する。
次に、出力単位を水平方向に1つ進めて、第1の出力単位のa2において、上記同様に、1番目のG(グリーン)の画素データの第1の出力部O1からの出力と、R(レッド)の画素データの第2の出力部O2からの出力と、B(ブルー)の画素データの第3の出力部O3からの出力と、2番目のG(グリーン)の画素データの第4の出力部O4からの出力とを同時に行う。
次に、出力単位を水平方向に1つ進めて、第1の出力単位のa3において、上記同様に、第1ないし第4の出力部O1,O2,O3,O4からの互いに独立した1番目のG(グリーン)の画素データ、R(レッド)の画素データ、B(ブルー)の画素データ、2番目のG(グリーン)の画素データの出力を同時に行う。
以下同様にして、順次に第1の出力単位を水平方向に進めながら、第1の出力単位で4チャンネルの出力部O1,O2,O3,O4からのGRBGの画素データの独立並列出力を行い、1走査ユニット分すべてのGRBG画素データの独立並列出力が終了すると、次に隣接するY2の走査ユニットに移り、以下同様に水平垂直方向に走査を行う。これにより、光電変換素子アレイE2の全画素にわたって第1の出力単位でGRBGの画素データの独立並列出力が行われる。
この全画素読み出しモードでは、光電変換素子アレイE2における全画素の画素データを用いており、高画素において高精細な静止画撮影が行われる。
次に、垂直水平画素混合読み出しモードの動作について、図3のモデル図を用いて説明する。光電変換素子アレイE2における画素を間引く状態で混合画素データが出力されている。このモードは動画記録時のものである。
GRBGの4画素からなる2行2列の画素群を9つ(3行3列)有する6行6列のb1,b2,b3…を画素データの第2の出力単位とする。
図3の右上に示した画素混合された画素データでは、6行6列分の合計36個の画素群からなる第2の出力単位において、G(グリーン)の混合画素データが2つ、RおよびB(ブルー)の混合画素データとなっている。画素混合された画素データで○印を付けた1つのG(グリーン)の画素データは、光電変換素子アレイで○印を付けた9つのG(グリーン)の画素の画素データを混合したものである。画素混合された画素データで○印の1つ右隣のR(レッド)の画素データは、光電変換素子アレイでの9つの○印のそれぞれ右隣の9つのR(レッド)の画素データを混合したものである。画素混合された画素データで○印の1つ上隣のB(ブルー)の画素データは、光電変換素子アレイでの9つの○印のそれぞれ上隣の9つのB(ブルー)の画素データを混合したものである。画素混合された画素データで○印の斜め右上のG(グリーン)の画素データは、光電変換素子アレイでの9つの○印のそれぞれ斜め右上の9つのG(グリーン)の画素データを混合したものである。このようなパターンが、6行6列分の合計36個のアレイを1単位として繰り返されている。
光電変換素子アレイE2では36個のうちに、Gが18個あり、R,Bがそれぞれ9個ずつある。これが画素データでは、それぞれ2個、1個、1個となる。したがって、水平方向で1/3に、垂直方向で1/3に、全体で1/9に間引かれている。これらの混合画素データが1チャンネルずつ合計4チャンネルで画素データが出力されることになるので、1チャンネル当たりでは、1/36になっている。
さらには、間引きされて出力される混合画素データは、元のベイヤー配列と相似的であり、ベイヤー配列を保っている。すなわち、画素混合された画素データの1行目(k1)はG,R,G,R…であり、2行目(k2)はB,G,B,G…であり、3行目(k3)はG,R,G,R…であり、4行目(k4)はB,G,B,G…となっている。
図3の右上に示す画素混合された画素データを、図3の右下に示す出力された混合画素データとして示すように、4チャンネルの出力部O1,O2,O3,O4を用いて同時に、第2の出力単位における各色の混合画素データを出力するという出力形態を、第2の出力単位で水平垂直方向に走査することにより、画素間引き状態で混合画素データを出力する。走査は、隣接する水平走査ライン6つを1組とする走査ユニットの単位で、矢印Y1,Y2の順に行う。具体的には次のとおりである。
Y1で示す6行の走査ラインからなる第1走査ユニット目の第2の出力単位のb1において、第1色画素である1番目のG(グリーン)の混合画素データを第1の出力部O1から出力し、同時に、第2色画素であるR(レッド)の混合画素データを第2の出力部O2から出力し、同時に、第3色画素であるB(ブルー)の混合画素データを第3の出力部O3から出力し、同時に第4色画素である2番目のG(グリーン)の混合画素データを第4の出力部O4から出力する。
次に、出力単位を水平方向に1つ進めて、第2の出力単位のb2において、上記同様に、1番目のG(グリーン)の混合画素データの第1の出力部O1からの出力と、R(レッド)の混合画素データの第2の出力部O2からの出力と、B(ブルー)の混合画素データの第3の出力部O3からの出力と、2番目のG(グリーン)の混合画素データの第4の出力部O4からの出力とを同時に行う。
次に、出力単位を水平方向に1つ進めて、第2の出力単位のb3において、上記同様に、第1ないし第4の出力部O1,O2,O3,O4からの互いに独立した1番目のG(グリーン)の混合画素データ、R(レッド)の混合画素データ、B(ブルー)の混合画素データ、2番目のG(グリーン)の混合画素データの出力を同時に行う。
以下同様にして、順次に第2の出力単位を水平方向に進めながら、第2の出力単位で4チャンネルの出力部O1,O2,O3,O4からのGRBGの混合画素データの独立並列出力を行い、1走査ユニット分すべてのGRBG混合画素データの独立並列出力が終了すると、次に隣接するY2の走査ユニットに移り、以下同様に水平垂直方向に走査を行う。これにより、光電変換素子アレイE2の全画素にわたって第2の出力単位で画素間引きを行った上でGRBGの混合画素データの独立並列出力が行われる。
なお、図2の出力された画素データ、図3の出力された混合画素データにおいて、水平方向での距離は光電変換素子アレイ上での空間的位置関係の対応付けを示したものであり、時間軸座標ではない。時間的には、画素データの出力速度は、図2と図3とで原則同じとする。
以上のように、6行6列の画素群からなる第2の出力単位において、各色、各チャンネルの出力部ごとに1色ずつの混合画素データを出力するので、各チャンネルとも、水平垂直の2次元方向で1/36に縮小されている。4チャンネル同時のGRBG混合画素データの独立並列出力の仮想4板読み出し方式であり、高画素での動きの滑らかな高精細な動画記録が可能である。
動画記録において、画素間引きした混合画素データを4チャンネルの独立出力とすることと、高画素ゆえに光学セルサイズが大きいことも相まって、従来技術に比べて動画像品質を大幅に改善することができる。
図4は上記で説明した図1の構成をより具体的レベルで展開したものである。
図4において、100はレンズユニット、200はMOSイメージセンサ、300はCDS・AGC・A/D処理部、400はデジタル信号処理部、500はタイミングジェネレータ、600は操作部、700は画面表示部である。レンズユニット100は光学系E1に対応する。MOSイメージセンサ200は、光電変換素子アレイ210と画素データ読み出し制御部220を具備している。光電変換素子アレイ210は光電変換素子アレイE2に対応し、画素データ読み出し制御部220は画素データ読み出し制御部E3に対応する。画素データ読み出し制御部220は、垂直シフト選択回路230、上下のノイズ除去・画素選択回路240a,240b、上下の水平シフト選択回路250a,250bおよび4チャンネル分の出力アンプ261,262,263,264を具備している。CDS・AGC・A/D処理部300およびデジタル信号処理部400が画像処理部E4に対応する。デジタル信号処理部400は、CPU410とAFブロック420を具備している。
図5はノイズ除去・画素選択回路240のさらに詳細な構成を示すブロック図である。図5において、242a,242bは垂直転送スイッチ回路、244a,244bは信号電圧保持回路、246a,246bは水平転送スイッチ回路、248aは第1の出力アンプ261への信号出力ライン、249aは第2の出力アンプ262への信号出力ライン、248bは第3の出力アンプ263への信号出力ライン、249bは第4の出力アンプ264への信号出力ラインである。
垂直シフト選択回路230によって走査ユニットすなわち2本の水平の走査ラインが選択されるが、1本目の走査ライン上の画素の画素データを読み出すために、下側の垂直転送スイッチ回路242a、信号電圧保持回路244a、水平転送スイッチ回路246a、水平シフト選択回路250a、信号出力ライン248a,249aおよび出力アンプ261,262が構成され、2本目の走査ライン上の画素の画素データを読み出すために、上側の垂直転送スイッチ回路242b、信号電圧保持回路244b、水平転送スイッチ回路246b、水平シフト選択回路250b、信号出力ライン248b,249bおよび出力アンプ263,264が構成されている。
図6は光電変換素子アレイ210の一部分を拡大した図である。1つの画素20は、フォトダイオード10とセルアンプ12とカラーフィルタ14から構成されている。フォトダイオード10のアノードが接地され、カソードがセルアンプ12の入力に接続され、セルアンプ12の出力が縦方向の画素データ読み出しライン16に接続されている。セルアンプ12の制御端子は垂直シフト選択回路230からの走査ライン18に接続されている。
フォトダイオード10の前面にカラーフィルタ14が配置されている。カラーフィルタ14は、4つ1組の画素でベイヤー配列(G,R,B,G)を構成するように構成されている。水平方向に1番目のG(グリーン)とR(レッド)が並ぶとともにB(ブルー)と2番目のG(グリーン)が並び、垂直方向に1番目のG(グリーン)とB(ブルー)が並ぶとともにR(レッド)と2番目のG(グリーン)が並ぶ2行2列の4画素を1単位として、その4画素1単位が縦横マトリックス状に多数配列されている。
(全画素読み出しモード)
全画素読み出しモードの動作を図7および図8を用いて説明する。図7は1本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示すものであり、図8は2本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示すものである。ここでは、ノイズ除去回路243a,243bも図示されている(図5では図示省略)。図7における光電変換素子アレイ210の1ライン目の画素群と2ライン目の画素群については、図8でも同じものが図示されている。
1画素単位の読み出しの初期において、出力アンプ261,262,263,264の前段のリセットスイッチRSが一旦、閉じられて信号出力用コンデンサCoutがリセット用電源EE2のVDDレベルにリセットされる。このリセットの後、リセットスイッチRSは開かれる。また、ノイズ除去回路243a,243bのクランプスイッチCLが一旦、閉じられてすべてのクランプコンデンサCCがリセットされる。このリセットの後、クランプスイッチCLは開かれる。
垂直シフト選択回路230で光電変換素子アレイ210の第1ライン目を選択する。下側の垂直転送スイッチ回路242aにおけるすべての垂直転送スイッチV11,V21,V31,V41…を同時に閉じる。ここで、ノイズ除去回路243a,243bのクランプスイッチCLが一旦、閉じられてすべてのクランプコンデンサCCがリセットされる。このリセットの後、クランプスイッチCLは開かれ、その後、第1ライン上の画素P11,P21,P31,P41…における電圧信号をそれぞれ下側の信号電圧保持回路244aにおけるコンデンサQ11,Q21,Q31,Q41…に充電する。なお、ここでいうコンデンサQ11は、図9に示す3つのコンデンサd11,d12,d13の全体またはいずれか1つに対応するものであり、簡略表記したものである。コンデンサQ21,Q31,Q41…等についても同様である。
次に、垂直シフト選択回路230で光電変換素子アレイ210の第2ライン目を選択する。上側の垂直転送スイッチ回路242bにおけるすべての垂直転送スイッチV12,V22,V32,V42…を同時に閉じ、第2ライン上の画素P12,P22,P32,P42…における電圧信号をそれぞれ上側の信号電圧保持回路244bにおけるコンデンサQ12,Q22,Q32,Q42…に充電する。なお、ここでいうコンデンサQ12は、図9に示す3つのコンデンサu11,u12,u13の全体またはいずれか1つに対応するものであり、簡略表記したものである。コンデンサQ22,Q32,Q42…等についても同様である。
これで、第1ライン目と第2ライン目とが選択され、この2本の走査ライン上の全画素の画素データが上下の信号電圧保持回路244a,244bの各コンデンサに蓄積されたことになる。すなわち、2行2列の画素群の画素データの4チャンネル同時の独立並列出力の準備ができたことになる。
次いで、2ライン1組の第1走査ユニット目での2行2列の画素群からなる第1の出力単位で4チャンネルによりGRBGの4つの画素データの独立並列出力の走査に移る。
まず、上下の水平シフト選択回路250a,250bからのタイミング制御信号により、上下の水平転送スイッチ回路246a,246bにおいて、第1チャンネルの水平転送スイッチh11、第2チャンネルの水平転送スイッチh21、第3チャンネルの水平転送スイッチh12および第4チャンネルの水平転送スイッチh22を同時に閉じて、4チャンネルの出力アンプ261,262,263,264からGRBG4つの画素データを出力する。なお、ここでいう水平転送スイッチh11は、図9に示す3つの水平転送スイッチf11,f12,f13の全体またはいずれか1つに対応するものであり、簡略表記したものである。水平転送スイッチh21についても同様である。また、水平転送スイッチh12は、図10に示す3つの水平転送スイッチt11,t12,t13の全体またはいずれか1つに対応するものであり、簡略表記したものである。水平転送スイッチh22についても同様である。
すなわち、第1チャンネルの水平転送スイッチh11が閉じられると、コンデンサQ11に保持された第1ライン目第1列目のG(グリーン)の画素P11の画素データが第1チャンネルの出力用コンデンサQoutおよび出力アンプ261を介して出力される。同時に、第2チャンネルの水平転送スイッチh21が閉じられると、コンデンサQ21に保持された第1ライン目第2列目のR(レッド)の画素P21の画素データが第2チャンネルの出力用コンデンサQoutおよび出力アンプ262を介して出力される。同時に、第3チャンネルの水平転送スイッチh12が閉じられると、コンデンサQ12に保持された第2ライン目第1列目のB(ブルー)の画素P12の画素データが第3チャンネルの出力用コンデンサQoutおよび出力アンプ263を介して出力される。同時に、第4チャンネルの水平転送スイッチh22が閉じられると、コンデンサQ22に保持された第2ライン目第2列目のG(グリーン)の画素P22の画素データが第4チャンネルの出力用コンデンサQoutおよび出力アンプ264を介して出力される。これにより、図2の第1走査ユニット目における第1の出力単位のa1のGRBGの4つの画素の画素データが4チャンネル同時に独立並列で出力されたことになる。
以下、リセットスイッチRSのスイッチングにより信号出力用コンデンサCoutのリセットを行ってから次の水平画素を読み出す。このリセットは1画素分の画素データ出力ごとに行う。
次に、上下の水平シフト選択回路250a,250bからのタイミング制御信号により、上下の水平転送スイッチ回路246a,246bで同時に閉じるべき水平転送スイッチを2列分進める。すなわち、第1チャンネルの水平転送スイッチh31、第2チャンネルの水平転送スイッチh41、第3チャンネルの水平転送スイッチh32および第4チャンネルの水平転送スイッチh42を同時に閉じる。これにより、コンデンサQ31に保持された第1ライン目第3列目のG(グリーン)の画素P31の画素データが第1チャンネルの出力アンプ261から出力され、同時に、コンデンサQ41に保持された第1ライン目第4列目のR(レッド)の画素P41の画素データが第2チャンネルの出力アンプ262から出力され、同時に、コンデンサQ32に保持された第2ライン目第3列目のB(ブルー)の画素P32の画素データが第3チャンネルの出力アンプ263かあ出力され、同時に、コンデンサQ42に保持された第2ライン目第4列目のG(グリーン)の画素P42の画素データが第4チャンネルの出力アンプ264から出力される。これにより、図2の第1走査ユニット目における第1の出力単位のa2のGRBGの4つの画素の画素データが4チャンネル同時に独立並列で出力されたことになる。
以下、水平シフト選択回路250a,250bのタイミング制御信号により、水平転送スイッチ回路246a,246bで同時に閉じるべき水平転送スイッチを順次に2列分ずつ進め、同様の動作を行わせることにより、GRBGの4つの画素の画素データの4チャンネル同時の独立並列出力を、第1の出力単位のa3,a4,a5,a6…について順次に実行し、第1走査ユニット目の全画素の画素データ読み出しを終える。
第1走査ユニット目の全画素につき4チャンネル同時のGRBG画素データの独立並列出力が終了すると、次に第2走査ユニット目の画素データ読み出しに移行するが、その前にノイズキャンセルを行う。すなわち、すべてのクランプスイッチCLを閉じてクランプ用直流電源EE1を印加することにより、すべてのクランプコンデンサCCを所期電位にリセットする。
画素は、フォトダイオードとセルアンプ(フローティング・ディフュージョンアンプ)の組み合わせで構成されている。フォトダイオードに蓄積された電荷はセルアンプを介して電圧の形態で出力される。セルアンプのトランジスタのしきい値電圧VTにばらつきがあり、それがオフセット成分となって画像品質を劣化させる(例えば、縦すじ)。これをノイズといい、このノイズをキャンセルするのがノイズ除去回路243a,243bの役割である。クランプコンデンサとしては、MOSゲート容量を利用することができる。クランプコンデンサをリセットした後は、クランプスイッチCLを開放し、次の走査ユニットの画素データ読み出しに移行する。
次の走査ユニットの画素データ読み出しに際しては、水平ブランキング期間内で、垂直シフト選択回路230において、垂直シフト後、読み出しを2回行うことを通じて、選択すべき走査ユニットを1つ進める。以降は、上記同様の動作を繰り返し、1走査ユニット分の全画素につき、4チャンネル同時のGRBG画素データの独立並列出力を実行する。
そして、選択走査ユニットを1つ進めながら各1走査ユニット分の全画素につき、4チャンネル同時のGRBG画素データの独立並列出力を順次に実行することを最終の走査ユニットまで繰り返すことにより、1フレーム分の全画素データを4チャンネル同時出力形式で出力する。
(9画素混合読み出しモード)
9画素混合読み出しモードの動作を図9および図10を用いて説明する。図9は1本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示すものであり、図10は2本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示すものである。図9における光電変換素子アレイ210の1ライン目ないし6ライン目の画素群については、図10でも同じものが図示されている。
垂直シフト選択回路230で光電変換素子アレイ210の第1ライン目を選択する。下側の垂直転送スイッチ回路242aにおけるすべての垂直転送スイッチV11,V21,V31,V41,V51,V61…を同時に閉じ、さらに下側の信号電圧保持回路244aにおけるすべての1番目の伝達スイッチe11,e21,e31,e41,e51,e61…を同時に閉じ、第1ライン上のG(グリーン)およびR(レッド)の画素P11,P21,P31,P41,P51,P61…における電圧信号をそれぞれ下側の信号電圧保持回路244aにおける1番目のコンデンサd11,d21,d31,d41,d51,d61…に充電する。そして、下側のノイズ除去回路243aのクランプスイッチCLのオン→オフ動作を通じてすべてのクランプコンデンサCCをリセットする。
同時に、垂直シフト選択回路230で光電変換素子アレイ210の第2ライン目を選択する。上側の垂直転送スイッチ回路242bにおけるすべての垂直転送スイッチV12,V22,V32,V42,V52,V62…を同時に閉じ、さらに上側の信号電圧保持回路244bにおけるすべての1番目の伝達スイッチr11,r21,r31,r41,r51,r61…を同時に閉じ、第2ライン上のB(ブルー)およびG(グリーン)の画素P12,P22,P32,P42,P52,P62…における電圧信号をそれぞれ上側の信号電圧保持回路244bにおける1番目のコンデンサu11,u21,u31,u41,u51,u61…に充電する。そして、上側のノイズ除去回路243bのクランプスイッチCLのオン→オフ動作を通じてすべてのクランプコンデンサCCをリセットする。
次に、水平ブランキング期間内で、垂直シフト選択回路230において、垂直シフト後、読み出しを2回行うことを通じて、第3ライン目を選択する。下側の垂直転送スイッチ回路242aにおけるすべての垂直転送スイッチV11,V21,V31,V41,V51,V61…を同時に閉じ、さらに下側の信号電圧保持回路244aにおけるすべての2番目の伝達スイッチe12,e22,e32,e42,e52,e62…を同時に閉じ、第3ライン上のG(グリーン)およびR(レッド)の画素P13,P23,P33,P43,P53,P63…における電圧信号をそれぞれ下側の信号電圧保持回路244aにおける2番目のコンデンサd12,d22,d32,d42,d52,d62…に充電する。そして、下側のノイズ除去回路243aのクランプスイッチCLのオン→オフ動作を通じてすべてのクランプコンデンサCCをリセットする。
同時に、垂直シフト選択回路230で光電変換素子アレイ210の第4ライン目を選択する。上側の垂直転送スイッチ回路242bにおけるすべての垂直転送スイッチV12,V22,V32,V42,V52,V62…を同時に閉じ、さらに上側の信号電圧保持回路244bにおけるすべての2番目の伝達スイッチr12,r22,r32,r42,r52,r62…を同時に閉じ、第4ライン上のB(ブルー)およびG(グリーン)の画素P14,P24,P34,P44,P54,P64…における電圧信号をそれぞれ上側の信号電圧保持回路244bにおける2番目のコンデンサu12,u22,u32,u42,u52,u62…に充電する。そして、上側のノイズ除去回路243bのクランプスイッチCLのオン→オフ動作を通じてすべてのクランプコンデンサCCをリセットする。
次に、水平ブランキング期間内で、垂直シフト選択回路230において、垂直シフト後、読み出しを2回行うことを通じて、第5ライン目を選択する。下側の垂直転送スイッチ回路242aにおけるすべての垂直転送スイッチV11,V21,V31,V41,V51,V61…を同時に閉じ、さらに下側の信号電圧保持回路244aにおけるすべての3番目の伝達スイッチe13,e23,e33,e43,e53,e63…を同時に閉じ、第5ライン上のG(グリーン)およびR(レッド)の画素P15,P25,P35,P45,P55,P65…における電圧信号をそれぞれ下側の信号電圧保持回路244aにおける3番目のコンデンサd13,d23,d33,d43,d53,d63…に充電する。そして、下側のノイズ除去回路243aのクランプスイッチCLのオン→オフ動作を通じてすべてのクランプコンデンサCCをリセットする。
同時に、垂直シフト選択回路230で光電変換素子アレイ210の第6ライン目を選択する。上側の垂直転送スイッチ回路242bにおけるすべての垂直転送スイッチV12,V22,V32,V42,V52,V62…を同時に閉じ、さらに上側の信号電圧保持回路244bにおけるすべての3番目の伝達スイッチr13,r23,r33,r43,r53,r63…を同時に閉じ、第6ライン上のB(ブルー)およびG(グリーン)の画素P16,P26,P36,P46,P56,P66…における電圧信号をそれぞれ上側の信号電圧保持回路244bにおける3番目のコンデンサu13,u23,u33,u43,u53,u63…に充電する。そして、上側のノイズ除去回路243bのクランプスイッチCLのオン→オフ動作を通じてすべてのクランプコンデンサCCをリセットする。
以上により、第1ライン目、第3ライン目、第5ライン目で第1列目から第6列目までの画素群に着目すると、第1列目のG(グリーン)の3画素データがそれぞれコンデンサd11,d12,d13に保持され、第2列目のR(レッド)の3画素データがそれぞれコンデンサd21,d22,d23に保持され、第3列目のG(グリーン)の3画素データがそれぞれコンデンサd31,d32,d33に保持され、第4列目のR(レッド)の3画素データがそれぞれコンデンサd41,d42,d43に保持され、第5列目のG(グリーン)の3画素データがそれぞれコンデンサd51,d52,d53に保持され、第6列目のR(レッド)の3画素データがそれぞれコンデンサd61,d62,d63に保持されたことになる。他の列でも同様の関係になっている。
第1ライン目、第3ライン目、第5ライン目で第1列目、第3列目、第5列目の9個の画素はすべてG(グリーン)の画素であり、それらの画素データはコンデンサd11,d12,d13,d31,d32,d33,d51,d52,d53に保持されている。そこで、これらのコンデンサに対応する9つの水平転送スイッチf11,f12,f13,f31,f32,f33,f51,f52,f53を同時にスイッチングして第1チャンネルの信号出力用コンデンサCoutに充電することにより、G(グリーン)の9画素分の画素データを混合し、その9画素混合の上で第1の出力アンプ261よりG(グリーン)の9画素混合画素データを出力する。これは、図3において、第1走査ユニット目における第2の出力単位のb1のG(グリーン)の9画素混合画素データD1に対応する。
一方、第1ライン目、第3ライン目、第5ライン目で第2列目、第4列目、第6列目の9個の画素はすべてR(レッド)の画素であり、それらの画素データはコンデンサd21,d22,d23,d41,d42,d43,d61,d62,d63に保持されている。そこで、上記のG(グリーン)の9画素混合画素データの読み出しと同時に、これらのコンデンサに対応する9つの水平転送スイッチf21,f22,f23,f41,f42,f43,f61,f62,f63を同時にスイッチングして第2チャンネルの信号出力用コンデンサCoutに充電することにより、R(レッド)の9画素分の画素データを混合し、その9画素混合の上で第2の出力アンプ262よりR(レッド)の9画素混合画素データを出力する。これは、図3において、第1走査ユニット目における第2の出力単位のb1のR(レッド)の9画素混合画素データD2に対応する。
また、第2ライン目、第4ライン目、第6ライン目で第1列目、第3列目、第5列目の9個の画素はすべてB(ブルー)の画素であり、それらの画素データはコンデンサu11,u12,u13,u31,u32,u33,u51,u52,u53に保持されている。そこで、上記のG(グリーン)およびR(レッド)の各9画素混合画素データの読み出しと同時に、これらのコンデンサに対応する9つの水平転送スイッチt11,t12,t13,t31,t32,t33,t51,t52,t53を同時にスイッチングして第3チャンネルの信号出力用コンデンサCoutに充電することにより、B(ブルー)の9画素分の画素データを混合し、その9画素混合の上で第3の出力アンプ263より第2の出力単位のb1のB(ブルー)の9画素混合画素データを出力する。これは、図3において、第1走査ユニット目における第2の出力単位のb1のB(ブルー)の9画素混合画素データD3に対応する。
一方、第2ライン目、第4ライン目、第6ライン目で第2列目、第4列目、第6列目の9個の画素はすべてG(グリーン)の画素であり、それらの画素データはコンデンサu21,u22,u23,u41,u42,u43,u61,u62,u63に保持されている。そこで、上記のG(グリーン)、R(レッド)およびB(ブルー)の各9画素混合画素データの読み出しと同時に、これらのコンデンサに対応する9つの水平転送スイッチt21,t22,t23,t41,t42,t43,t61,t62,t63を同時にスイッチングして第4チャンネルの信号出力用コンデンサCoutに充電することにより、G(グリーン)の9画素分の画素データを混合し、その9画素混合の上で第4の出力アンプ264よりG(グリーン)の9画素混合画素データを出力する。これは、図3において、第1走査ユニット目における第2の出力単位のb1の第2のG(グリーン)の9画素混合画素データD4に対応する。
以上により、図3の第1走査ユニット目における第2の出力単位のb1のそれぞれ9画素混合されたGRBGの4つの混合画素データが4チャンネル同時に独立並列で出力されたことになる。
次に、出力対象の第2の出力単位をb1からb2に進め、上記同様の動作を繰り返すことにより、図3の第1走査ユニット目における第2の出力単位のb2のそれぞれ9画素混合されたGRBGの4つの混合画素データを4チャンネル同時に独立並列で出力する。
4チャンネル同時のGRBGの混合画素データの独立並列出力が1走査ユニット分完了すると、垂直シフト選択回路230において、選択走査ユニットを1ユニット進め、上記同様に動作を繰り返すことにより、図3で6行6列の画素群からなる第2の出力単位のb11,b12において、4チャンネル同時のGRBGの混合画素データの独立並列出力を進める。
以上のように、6行6列の画素群からなる第2の出力単位において、各色、各チャンネルの出力部ごとに1色ずつの混合画素データを出力する4チャンネル同時のGRBG混合画素データの独立並列出力の仮想4板読み出し方式を実現している。また、高画素ゆえに光学セルサイズが大きい。これらの相乗により、高画素での動きの滑らかな高精細な動画記録が可能であり、従来技術に比べて動画像品質を大幅に改善している。
そして、その効果を実現するに当たり、光電変換素子アレイからの画素データを読み出す画素データ読み出し制御部において、画素データの出力の形態にわずかな工夫を加えるだけで対応しているので、上記大幅な動画像品質の改善の効果の割に構造複雑化は抑制され、製品コスト面でも有利な展開が期待できる。
上記の実施の形態においては、n=3としたが、n=4、n=5、n=6等で実施することも可能である。n=3のときは、(2n)=6=36=4×9であるので、6行6列の画素群を第2の出力単位とし、GRBGの各色を9画素分ずつ画素混合している。
n=4のときは、(2n)=8=64=4×16であるので、8行8列の画素群を第2の出力単位とし、GRBGの各色を16画素分ずつ画素混合すればよい。この場合、水平方向5120画素×垂直方向3840画素の約1970万画素であり、8行8列を1単位とすれば、仮想4板読み出し方式ではVGAになる。
また、n=5のときは、(2n)=10=100=4×25であるので、10行10列の画素群を第2の出力単位とし、GRBGの各色を25画素分ずつ画素混合すればよい。この場合、水平方向6400画素×垂直方向4800画素の約3070万画素であり、10行10列を1単位とすれば、仮想4板読み出し方式ではVGAになる。
また、n=6のときは、(2n)=12=144=4×36であるので、12行12列の画素群を第2の出力単位とし、GRBGの各色を36画素分ずつ画素混合すればよい。上記同様に仮想4板読み出し方式となる。
本発明のカラー固体撮像装置は、高画素で静止画撮影と動画記録の両機能を備えたデジタルカメラ等として有用である。
本発明の実施の形態におけるカラー固体撮像装置の基本的構成を示すブロック図 本発明の実施の形態におけるカラー固体撮像装置の全画素読み出しモードの動作説明モデル図 本発明の実施の形態におけるカラー固体撮像装置の垂直水平画素混合読み出しモードの動作説明モデル図 本発明の実施の形態におけるカラー固体撮像装置の構成をより具体的レベルで展開したブロック図 本発明の実施の形態におけるカラー固体撮像装置のノイズ除去・画素選択回路の詳細な構成を示す回路図 本発明の実施の形態におけるカラー固体撮像装置の光電変換素子アレイの一部分を拡大して示す回路図 本発明の実施の形態におけるカラー固体撮像装置について全画素読み出しモードで1本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示す回路図 本発明の実施の形態におけるカラー固体撮像装置について全画素読み出しモードで2本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示す回路図 本発明の実施の形態におけるカラー固体撮像装置について9画素混合読み出しモードで1本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示す回路図 本発明の実施の形態におけるカラー固体撮像装置について9画素混合読み出しモードで2本目の走査ライン上の画素の画素データを読み出すための回路構成部分を拡大して示す回路図
符号の説明
E1 光学系
E2 光電変換素子アレイ
E3 画素データ読み出し制御部
E4 画像処理部
O1 第1の出力部
O2 第2の出力部
O3 第3の出力部
O4 第4の出力部
CC クランプコンデンサ
CL クランプスイッチ
Cout 信号出力用コンデンサ
P11,P21,P31等 画素
Q11,Q21,Q31等 変形して示すコンデンサ
RS リセットスイッチ
V11,V21,V31等 垂直転送スイッチ
a1,a2等 第1の出力単位
b1,b2等 第2の出力単位
d11,d21,d31等 コンデンサ
e11,e21,e31等 伝達スイッチ
f11,f21,f31等 水平転送スイッチ
h11,h21,h31等 変形して示す水平転送スイッチ
r11,r21,r31等 伝達スイッチ
t11,t21,t31等 水平転送スイッチ
u11,u21,u31等 コンデンサ
10 フォトダイオード
12 セルアンプ
14 カラーフィルタ
16 画素データ読み出しライン
18 走査ライン
20 画素
100 レンズユニット
200 MOSイメージセンサ
210 光電変換素子アレイ
220 画素データ読み出し制御部
230 垂直シフト選択回路
240a,240b ノイズ除去・画素選択回路
242a,242b 垂直転送スイッチ回路
243a,243b ノイズキャンセル回路
244a,244b 信号電圧保持回路
246a,246b 水平転送スイッチ回路
248a,248b,249a,249b 信号出力ライン
250a,250b 水平シフト選択回路
261 第1の出力アンプ
262 第2の出力アンプ
263 第3の出力アンプ
264 第4の出力アンプ
300 CDS・AGC・A/D処理部
400 デジタル信号処理部
500 タイミングジェネレータ
600 操作部
700 画面表示部

Claims (7)

  1. 光学系を通して入射される光学像を光電変換して電気信号に変換するようマトリックス状に形成され、2行2列の画素群を単位として4つのカラー画素データを生成する光電変換素子アレイと、
    4チャンネルの出力部を有するとともに、4チャンネル同時出力形式の全画素読み出しモードと垂直水平画素混合読み出しモードとを有し、両モードが切り替え可能に構成された画素データ読み出し制御部とを備え、
    前記画素データ読み出し制御部の前記4チャンネル同時出力形式の全画素読み出しモードは、前記光電変換素子アレイにおける2行2列の画素群を画素データの第1の出力単位として、4チャンネルの出力部を用いて同時に、第1色画素の画素データを第1の出力部から出力し、第2色画素の画素データを第2の出力部から出力し、第3色画素の画素データを第3の出力部から出力し、第4色画素の画素データを第4の出力部から出力する出力形態を、前記第1の出力単位で走査して全画素の画素データを出力するように構成され、
    前記4チャンネル同時出力形式の垂直水平画素混合読み出しモードは、nを2以上の任意の自然数として2n行2n列の画素群を画素データの第2の出力単位として、前記第2の出力単位におけるn×n個の同色の画素群の画素データを色別に混合し、4チャンネルの出力部を用いて同時に、第1色画素の混合画素データを第1の出力部から出力し、第2色画素の混合画素データを第2の出力部から出力し、第3色画素の混合画素データを第3の出力部から出力し、第4色画素の混合画素データを第4の出力部から出力する出力形態を、前記第2の出力単位で走査して画素数を減らして画素データを出力するように構成されていることを特徴とするカラー固体撮像装置。
  2. 前記光電変換素子アレイにおける前記4つのカラー画素データは、4つのうち2つが同色にされている請求項1に記載のカラー固体撮像装置。
  3. 前記光電変換素子アレイにおける前記4つのカラー画素データは、ベイヤー配列されたGRBG(Gはグリーン、Rはレッド、Bはブルー)の画素データである請求項1に記載のカラー固体撮像装置。
  4. 前記光電変換素子アレイにおける前記4つのカラー画素データは、シアン、マゼンタ、イエローおよびグリーンの補色の画素データである請求項1に記載のカラー固体撮像装置。
  5. 前記光電変換素子アレイは、フォトダイオードとセルアンプとカラーフィルタとの組み合わせからなり、前記フォトダイオードとセルアンプはMOSトランジスタで構成されている請求項1から請求項4までのいずれかに記載のカラー固体撮像装置。
  6. 前記画素データ読み出し制御部は、前記垂直水平画素混合読み出しモードにおいて、前記光電変換素子アレイにおける6行6列の画素群を出力単位とし、この出力単位で走査を行い、前記垂直水平画素混合読み出しモードにあっては9画素混合で動作するように構成されている請求項1から請求項5までのいずれかに記載のカラー固体撮像装置。
  7. 前記画素データ読み出し制御部は、前記光電変換素子アレイから画素データを読み出す2ライン分の垂直転送スイッチ回路と、前記読み出した画素データを一時的に保持する2ライン分の信号電圧保持回路と、前記各信号電圧保持回路から画素データまたは混合画素データを2つずつのチャンネルに分けて出力する2ライン分の水平転送スイッチ回路と、前記各水平シフト選択回路からの計4つの画素データまたは混合画素データを互いに独立並列に出力する4チャンネルの出力アンプと、前記各水平転送スイッチ回路を制御して前記全画素読み出しモードでの出力と前記垂直水平画素混合読み出しモードでの出力とを切り替える水平シフト選択回路とを備えて構成されている請求項1から請求項6までのいずれかに記載のカラー固体撮像装置。
JP2003341670A 2003-09-30 2003-09-30 カラー固体撮像装置 Pending JP2005109968A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003341670A JP2005109968A (ja) 2003-09-30 2003-09-30 カラー固体撮像装置
TW093129235A TW200513122A (en) 2003-09-30 2004-09-27 Color solid state image pickup device
CNB2004100806315A CN1306828C (zh) 2003-09-30 2004-09-29 彩色固态图像拾取装置
US10/951,891 US20050068434A1 (en) 2003-09-30 2004-09-29 Color solid state image pickup device
KR1020040077786A KR20050031988A (ko) 2003-09-30 2004-09-30 컬러 고체 촬상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003341670A JP2005109968A (ja) 2003-09-30 2003-09-30 カラー固体撮像装置

Publications (1)

Publication Number Publication Date
JP2005109968A true JP2005109968A (ja) 2005-04-21

Family

ID=34373469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003341670A Pending JP2005109968A (ja) 2003-09-30 2003-09-30 カラー固体撮像装置

Country Status (5)

Country Link
US (1) US20050068434A1 (ja)
JP (1) JP2005109968A (ja)
KR (1) KR20050031988A (ja)
CN (1) CN1306828C (ja)
TW (1) TW200513122A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229603A (ja) * 2004-02-11 2005-08-25 Samsung Electronics Co Ltd サブサンプリングモードでディスプレイ品質を改善した固体撮像素子及びその駆動方法
JP2006135425A (ja) * 2004-11-02 2006-05-25 Sony Corp 固体撮像素子の信号処理装置及び方法並びに撮像装置
JP2007036774A (ja) * 2005-07-28 2007-02-08 Sony Corp 画像処理装置および撮像装置
WO2009098877A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 画像処理装置、及び画像処理方法
US7719584B2 (en) 2006-03-31 2010-05-18 Canon Kabushiki Kaisha Image sensor
US7728891B2 (en) 2006-03-31 2010-06-01 Canon Kabushiki Kaisha Image sensor
US7932944B2 (en) 2005-07-05 2011-04-26 Tokyo Institute Of Technology Pixel mixture method
US7944486B2 (en) 2005-07-05 2011-05-17 Tokyo Institute Of Technology Signal readout method of solid-state imaging device and image signal processing method
US8036480B2 (en) 2006-04-04 2011-10-11 Olympus Corporation Image processing system
WO2017057282A1 (ja) * 2015-10-02 2017-04-06 オリンパス株式会社 撮像素子および内視鏡

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295620A (ja) * 2005-04-12 2006-10-26 Pentax Corp 固体撮像素子
WO2007142032A1 (ja) * 2006-06-08 2007-12-13 Shimadzu Corporation 撮像装置
JP5697371B2 (ja) 2010-07-07 2015-04-08 キヤノン株式会社 固体撮像装置および撮像システム
JP5643555B2 (ja) 2010-07-07 2014-12-17 キヤノン株式会社 固体撮像装置及び撮像システム
JP5751766B2 (ja) 2010-07-07 2015-07-22 キヤノン株式会社 固体撮像装置および撮像システム
JP5656484B2 (ja) 2010-07-07 2015-01-21 キヤノン株式会社 固体撮像装置および撮像システム
JP5885401B2 (ja) 2010-07-07 2016-03-15 キヤノン株式会社 固体撮像装置および撮像システム
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
US9013615B2 (en) * 2011-09-21 2015-04-21 Semiconductor Components Industries, Llc Image sensor with flexible interconnect capabilities
KR102009189B1 (ko) 2013-03-12 2019-08-09 삼성전자주식회사 이미지 센서 및 2행 동시 독출 방법
US9467606B2 (en) * 2014-06-10 2016-10-11 Omnivision Technologies, Inc. Wafer level stepped sensor holder

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335006A (ja) * 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 固体撮像装置
KR0146260B1 (ko) * 1993-06-16 1998-09-15 모리시타 요이찌 고체촬상장치
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US6400403B1 (en) * 1996-07-03 2002-06-04 Sony Corporation Solid-state imaging device having improved resolution without generating a pseudo signal
US6466265B1 (en) * 1998-06-22 2002-10-15 Eastman Kodak Company Parallel output architectures for CMOS active pixel sensors
EP1152471A3 (en) * 2000-04-28 2004-04-07 Eastman Kodak Company Image sensor pixel for configurable output
JP3727012B2 (ja) * 2000-11-28 2005-12-14 シャープ株式会社 カラー固体撮像装置
JP3877565B2 (ja) * 2001-10-04 2007-02-07 松下電器産業株式会社 撮像装置
US7292274B2 (en) * 2001-11-06 2007-11-06 Eastman Kodak Company Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate
JP2004112738A (ja) * 2002-07-25 2004-04-08 Fujitsu Ltd 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路
US7742088B2 (en) * 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229603A (ja) * 2004-02-11 2005-08-25 Samsung Electronics Co Ltd サブサンプリングモードでディスプレイ品質を改善した固体撮像素子及びその駆動方法
JP2006135425A (ja) * 2004-11-02 2006-05-25 Sony Corp 固体撮像素子の信号処理装置及び方法並びに撮像装置
JP4661168B2 (ja) * 2004-11-02 2011-03-30 ソニー株式会社 固体撮像素子の信号処理装置及び方法並びに撮像装置
US7944486B2 (en) 2005-07-05 2011-05-17 Tokyo Institute Of Technology Signal readout method of solid-state imaging device and image signal processing method
US7932944B2 (en) 2005-07-05 2011-04-26 Tokyo Institute Of Technology Pixel mixture method
JP4645344B2 (ja) * 2005-07-28 2011-03-09 ソニー株式会社 画像処理装置および撮像装置
JP2007036774A (ja) * 2005-07-28 2007-02-08 Sony Corp 画像処理装置および撮像装置
US7728891B2 (en) 2006-03-31 2010-06-01 Canon Kabushiki Kaisha Image sensor
US7719584B2 (en) 2006-03-31 2010-05-18 Canon Kabushiki Kaisha Image sensor
US8036480B2 (en) 2006-04-04 2011-10-11 Olympus Corporation Image processing system
WO2009098877A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 画像処理装置、及び画像処理方法
US8264565B2 (en) 2008-02-06 2012-09-11 Panasonic Corporation Image processing device and image processing method
WO2017057282A1 (ja) * 2015-10-02 2017-04-06 オリンパス株式会社 撮像素子および内視鏡
JP6138401B1 (ja) * 2015-10-02 2017-05-31 オリンパス株式会社 撮像素子および内視鏡

Also Published As

Publication number Publication date
KR20050031988A (ko) 2005-04-06
CN1604655A (zh) 2005-04-06
CN1306828C (zh) 2007-03-21
US20050068434A1 (en) 2005-03-31
TW200513122A (en) 2005-04-01

Similar Documents

Publication Publication Date Title
JP2005109968A (ja) カラー固体撮像装置
KR101410184B1 (ko) 이미지 센서의 샘플링 및 판독
US20150021460A1 (en) Solid state imaging device and imaging apparatus
JP2003052049A (ja) 撮像装置
JP2007274591A (ja) 固体撮像装置
JP2001036920A (ja) 撮像装置及びそれを用いた撮像システム
US8111298B2 (en) Imaging circuit and image pickup device
US20150189250A1 (en) Solid state imaging device and imaging apparatus having a plurality of addition read modes
JP2001292453A (ja) カラー撮像装置及びそれを用いた撮像システム
JP2000341699A (ja) カラー撮像装置及びそれを用いた撮像システム
JP2005130382A (ja) 固体撮像装置
US8964087B2 (en) Imaging device, method for controlling imaging device, and storage medium storing a control program
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
JP2016131326A (ja) 固体撮像装置
JP2006148577A (ja) 固体撮像装置および撮像方法
JP2000295530A (ja) 固体撮像装置
JP2000358250A (ja) カラー撮像装置及びそれを用いた撮像システム
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2003199118A (ja) 固体撮像素子及びこれを備えた撮像装置
JP2013197612A (ja) 撮像装置、画像処理装置およびプログラム
JP2006246337A (ja) 固体撮像素子およびその信号読出し方法
JP2008042737A (ja) 固体撮像素子およびカメラ
JPH05268523A (ja) ビデオカメラ
JP6065395B2 (ja) 撮像装置
JP2007181107A (ja) Ccd固体撮像素子の駆動方法とそれを用いた撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080325