JP2006020037A - 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 - Google Patents

物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 Download PDF

Info

Publication number
JP2006020037A
JP2006020037A JP2004195503A JP2004195503A JP2006020037A JP 2006020037 A JP2006020037 A JP 2006020037A JP 2004195503 A JP2004195503 A JP 2004195503A JP 2004195503 A JP2004195503 A JP 2004195503A JP 2006020037 A JP2006020037 A JP 2006020037A
Authority
JP
Japan
Prior art keywords
unit
block
pixel
processing unit
columns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004195503A
Other languages
English (en)
Other versions
JP4826071B2 (ja
JP2006020037A5 (ja
Inventor
Takamasa Wada
孝政 和田
Hidekazu Funatsu
英一 船津
Keiji Mabuchi
圭司 馬渕
Takahisa Ueno
貴久 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004195503A priority Critical patent/JP4826071B2/ja
Publication of JP2006020037A publication Critical patent/JP2006020037A/ja
Publication of JP2006020037A5 publication Critical patent/JP2006020037A5/ja
Application granted granted Critical
Publication of JP4826071B2 publication Critical patent/JP4826071B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】間引き加算処理が可能な撮像装置において、ナイキスト周波数の減少による折返しノイズの問題を簡易な構成で解決できるようにする。
【解決手段】間引き加算処理部25として、処理単位ブロック内の同一色の画素からの各画素信号を纏めて保持可能な複数の記憶素子を有するメモリ回路部27を用意する。記憶素子としては、CDS処理部26におけるサンプルホールドキャパシタを利用する。接続制御部28を利用して、同一色の画素を持つ複数列を接続して、それら複数列の画素情報を共通の記憶素子に導くことで加算処理を実現する。さらに、加算処理された複数列の記憶素子を接続制御部28を利用して接続することで、行ごとに加算した複数列の加算結果を平均化する。または、加算処理された複数列の記憶素子を接続制御部28を利用して同時に水平信号線18と接続することで、全ての加算結果を水平信号線18に導く。
【選択図】図1

Description

本発明は、物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、単位構成要素から単位信号を読み出す駆動制御技術に関する。
光や放射線などの外部から入力される電磁波あるいは圧力(接触など)などの物理量変化に対して感応性をする単位構成要素(たとえば画素)をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。
たとえば、映像機器の分野では、物理量の一例である光(電磁波の一例)の変化を検知するCCD(Charge Coupled Device )型あるいはMOS(Metal Oxide Semiconductor )やCMOS(Complementary Metal-oxide Semiconductor )型の撮像素子(撮像デバイス)を用いた固体撮像装置が使われている。
また、コンピュータ機器の分野では、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置などが使われている。これらは、単位構成要素(固体撮像装置にあっては画素)によって電気信号に変換された物理量分布を電気信号として読み出す。
また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子(APS;Active Pixel Sensor /ゲインセルともいわれる)構成の画素を備えた増幅型固体撮像装置がある。たとえば、CMOS型固体撮像装置の多くはそのような構成をなしている。
このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。
たとえば、単位画素がマトリクス状に配されたX−Yアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、MOS構造などの能動素子(MOSトランジスタ)を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷(光電子)を前記能動素子で増幅し、画像情報として読み出す。
この種のX−Yアドレス型固体撮像素子では、たとえば、画素トランジスタが2次元行列状に多数配列されて画素部が構成され、ライン(行)ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、MOS(CMOSを含む)型においては、アドレス制御の一例として、1行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式が多く用いられている。
また、読出手法としては、1行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式に適合するように、垂直列ごとにAD変換部やその他の信号処理を行なう信号処理部を配置したいわゆる列並列方式を採っているものもある。特に、CDS処理機能部やデジタル変換部を垂直列ごとに設け、順次出力側に読み出す方式のものをカラム型と称している。
一方、CCDやCMOSイメージセンサに代表される固体撮像素子の小型化、低価格化により、これらを利用した各種映像機器、たとえば静止画を撮影するデジタルスチルカメラやカメラ付き携帯電話あるいは動画を撮影するビデオカメラなどが急激に普及しつつある。なかでもCMOSイメージセンサは、CCDに比べて低消費電力、低コストで製造可能であることから、将来CCDを置き換えるものとして注目を集めている。
また、近年、半導体技術の進歩により、固体撮像素子の高画素化が急速に進んでおり、たとえば数100万画素の固体撮像素子が開発され、高解像度が要求されるデジタルスチルカメラや映画用のビデオカメラなどに利用されている。その中でもCMOSセンサは各画素に光電変換素子と読出回路が設けられた固体撮像装置であり、各画素をランダムにアクセスすることや、高速に読み出すことができることから、将来を有望視されているセンサである。
ここでたとえば、CMOSイメージセンサでは、画素ごとに光電変換によって電子が蓄積された後、各画素列(垂直列)を指定するアドレス制御信号がSCU(Sensor Control Unit ;駆動制御部)から出され、それを受けて画素信号が順次読み出される。
具体的には、画素部の近傍には垂直走査回路内にアドレス設定回路が配置され、アドレス設定回路からアドレス制御信号が供給され、画素を順次選択するようになっており、垂直走査回路は、この選択結果を受けた水平アドレス位置や画素トランジスタをオンオフ制御する各種制御信号(纏め駆動制御信号)を、駆動バッファを介して各画素に供給することで、各画素を駆動制御する。結果的に、画素自身が現在選択されているアドレスであるかどうかをデコード可能になる。
このように、X−Yアドレス型固体撮像素子では、アドレス指定によって任意の位置の画素から信号を取り出すことができると言った、各画素への任意アクセス性を挙げることができ、画素で得られた信号電荷をシフトレジスタで画素を選択して順番に読み出すCCD(Charge Coupled Device )型イメージセンサと異なり、画素の信号を読み出す順番を比較的自由に設定可能であるという特徴を有する。
一方、全画素を読み出す場合においてアドレス設定回路をカウンタ回路(以下アドレスカウンタともいう)で構成する場合、垂直,水平の各アドレスカウンタは“1”ずつ加算して全画素を走査するが、使用目的によっては必ずしも全画素を出力しない場合もある。
たとえば、デジタルスチルカメラに代表される静止画の撮像技術では、画質向上の観点から、シャッタを切って取り込んだ静止画には高精細化が要求されるために、撮像デバイスとして多画素のCMOS型固体撮像素子を用い、全画素の画素情報を独立に読み出すことによって静止画を得る“全画素読出モード”がよく知られている。
しかしながら、全画素を読み出していては画素数が多すぎてモニタ動画のための十分なフレームレートを実現できなくなっている。すなわち、被写体を確認している段階においては、被写体画像を小型の液晶モニタなどに映し出しているため、液晶モニタの画素数に応じた、荒い画像(低解像度の画像)でよい。
そこで、“全画素読出モード”の他に、画素情報を間引くいわゆる間引処理や、たとえば行や列を数個ずつ(隣接した画素に限らない)選択して加算する“加算処理モード”などを実装することがある。これらのモードでは、間引いて、あるいは加算して出力画素数を減らして、フレームレートを上げるようにしている。
すなわち、間引処理モードは、たとえば、被写体を確認している段階(モニタリングモード)で、液晶モニタの画素数に応じた荒い画像(低解像度の画像)で出力したり、動画については画素情報を間引きすることによって情報量を減少させて伝送したりする際に利用される。また、加算処理モードは、出力画素数を減らしてフレームレートを上げる目的以外にも、複数行(たとえば2行)から信号を出力して、それらを加算することで、ダイナミックレンジを拡大する目的でも使用される。
また、ビデオカメラにおいても、画素数が増大するにつれて、撮像素子の情報を読み出すのに要する時間が増大する問題が生じるので、動画を撮影する場合などには、撮像素子の信号の読み出し周波数を高くしたり、撮像素子の情報を間引くなどにより実質的に画素数を少なくしたりして読み出す技術が提案されている。
ここで、間引処理や加算処理の実現に当たっては、たとえば、イメージセンサから画素情報を全画素分読み出した後、外部の信号処理系で画素情報を間引く方法や加算する方法が採られていた。
ところが、このような間引き処理方法や加算処理方法では、各処理によって情報量を減らしているにも拘らず、イメージセンサの駆動周波数は不変であるので、消費電力を低減することにはならず、逆に信号処理系に負荷をかける結果となる。
このように、画素情報を全画素分読み出した後、外部の信号処理系で画素情報の間引き処理や加算処理などの画素数低減に関わる付加的な処理を行な方法を採っていた理由としては、以下のようなことが挙げられる。
1)カラーフィルタの空間配置と出力順序を保って画素情報を間引くことができない。
2)画素を選択する選択手段として用いる通常のシフトレジスタでは画素が順に選択されてしまう。
3)CCDイメージセンサでは画素からの情報の読み出しが順番にしか行なえない。
このような問題を解決するために、たとえば特許文献1には、行列状に配列された各画素に対して所定のカラーコーディングを持つカラーフィルタが形成されてなるX−Yアドレス型固体撮像素子を用い、このX−Yアドレス型固体撮像素子に対して間引読出しが指定されたときに、システムのクロック周波数を変換し、その変換したクロック周波数に基づいてカラーコーディングに対応した順番で画素を選択して画素信号を読み出すことで、画素から画素情報を読み出す段階で間引き処理を行なう仕組みが開示されている。
CCD型イメージセンサでも、間引き読出モードや加算読出モードを取り得るが、画素で得られた信号電荷をシフトレジスタで画素を選択して順番にしか読出しを行なえないという構造上の制約から、その実体は、イメージセンサから画素情報を全画素分読み出した後、外部の信号処理回路で画素情報の間引き処理や加算処理を行なうようにしていた。これに対して、X−Yアドレス型イメージセンサでは、画素情報の間引き処理や加算処理を実質上、撮像デバイス側で行なうことが可能で、外部の信号処理回路を割愛できる利点がある。
また、たとえば特許文献2には、G(緑)ストライプ方式のカラーコーディングを持つ色分離フィルタ配列において、4行ずつを行ブロック、4列ずつを列ブロックとし、2分の1間引き読出しを行なう場合に、画素マトリクスの1行目を読み出すときは奇数列ブロックではブロック内の1列目と2列目、偶数列ブロックではブロック内の1列目と4列目を読み出し、第1行ブロックの3行目、すなわち画素マトリクスの3行目を読み出すときは奇数列ブロックではブロック内の1列目と4列目、偶数列ブロックではブロック内の1列目と2列目を読み出す仕組みが開示されている。
特開2001−298748号公報 特開2000−004406号公報
特許文献1に記載の仕組みでは、信号処理系に負荷をかけることなく画素情報量を間引き圧縮することができ、しかもシステムのクロック周波数の変換に伴って消費電力を低減できるとともに、動作モードを変えてもフレームレートを一定にできる。しかしながら、システムクロックを1/9(間引き率が1/9)として、画素情報を間引き処理しながら、飛び飛びに画素情報を読み出すと、読み出す画素間の距離が増大する。
ここで、画素間の距離をpとすると、画素の配列ピッチpで定まるナイキスト周波数fn は式(1)で表すことができる。したがって、画素間の距離pが増大するにつれて、ナイキスト周波数fnは減少し、ナイキスト周波数fn以上の空間周波数を持つパターンが相対的に増加するため、折返しノイズが増加し、画像に多大な影響を及ぼす。
Figure 2006020037
また、特許文献2に記載の仕組みでは、先述した手順で間引き処理を行なうと、読み出される画素の間隔がたとえば複数種類存在し、画素ピッチごとに異なった空間周波数を有することになるため、折返しノイズが増加し、偽色が発生する。このように間引き処理を行なう過程において、折返しノイズが増加し、偽色の増加がみられることは、大きな問題となっている。
すなわち、間引き読出し時に、画素の色配列と同じになるように、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、単純に画素を読み飛ばすようにすると、読み出す画素間の距離が増加するため、配列ピッチで定まるナイキスト周波数が減少し、ナイキスト周波数以上の空間周波数を持つパターンが相対的に増加するため折返しノイズが増加する。また、読み出す画素が、2つ以上の画素間の距離を持つ間引き読出し手法においても、ピッチごとに異なった空間周波数を有するため折返しノイズが増加する。
本発明は、上記事情に鑑みてなされたものであり、擬似的に画素面積を増加させることによって折返しノイズを低減することのできる仕組みを提供することを目的とする。
本出願人は、特願2003−043897号にて、擬似的に画素面積を増加させることによって折返しノイズを低減可能とした仕組みを提案した。この仕組みでは、固体撮像素子(イメージセンサ)から画素情報を間引いて読み出す過程において、水平行方向および垂直列方向にて互いに隣接する複数の画素からなる画素ブロックを単位画素ブロック(処理単位ブロック)とし、単位画素ブロック内の同色の色分離フィルタの画素情報を擬似的に1画素分の画素情報として読み出す。
具体的な一例として、折返しノイズを抑制した状態で加算間引きする。たとえば、CMOSセンサのスキャニングにおいて、間引き読出し時に、画素を読み出す間隔(周波数)が異なったり、その間隔が大きかったりすると、折返しノイズが発生し易くなる。そこで、たとえば5×5の画素を1ブロックとし、その中心に位置する色分離フィルタと同色の色分離フィルタの情報を5×5内の画素ブロックから読み出し、加算し、平均化することで、読出信号を減少させ、擬似的に画素面積を増加させることで、折返しノイズを低減する。
しかしながら、特願2003−043897号に記載の仕組みを単純に適用すると、間引きブロックの大きさに合わせて、ラインメモリが増大する可能性がある。また、ラインメモリの量を抑えると、読み出す画素に抜けが生じ、画質を劣化させる可能性がある。
そこで、本願においては、特願2003−043897号に記載の間引き加算処理の仕組みを利用しつつ、回路構成をさらに簡易にできる仕組みを提案する。
すなわち、本発明に係る物理情報取得方法は、物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についての所定の検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得方法であって、単位構成要素から単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、処理単位ブロック内の一方の方向における所定の条件に合致する複数の単位構成要素からの各単位信号を共通の処理回路に導くことで、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出すようにした。
また、本発明に係る物理情報取得装置は、上記本発明に係る物理情報取得方法を実施するのに好適な装置であって、単位構成要素から単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、処理単位ブロック内の一方の方向における所定の条件に合致する複数の単位構成要素からの各単位信号を共通の処理回路に導くことで、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す駆動制御部を備えるものとした。
また、本発明に係る半導体装置は、上記本発明に係る物理情報取得装置に用いて好適な装置である。
また従属項に記載された発明は、本発明に係る物理情報取得方法、物理情報取得装置、あるいは半導体装置のさらなる有利な具体例を規定する。
たとえば、処理回路は、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの各単位信号を纏めて保持可能な複数の記憶素子と、複数の記憶素子の何れに所定の条件に合致する複数の単位構成要素からの各単位信号を纏めるかを制御する接続制御部とを備えるものとするのがよい。ここで、記憶素子は、単位構成要素からの単位信号に含まれるノイズ成分を抑制するCDS処理などにも使用されるものとするのがよい。
また、単位構成要素が行列状に配されているものの場合、接続制御部を、単位画素ブロック内の所定の条件に合致する複数の単位構成要素を持つ複数列を接続して、それら複数列の単位信号を共通の記憶素子に導くように切替制御するスイッチを有するものとするのがよい。こうすることで、単位画素ブロック内の所定条件に合致する同一行の複数列の情報をそれぞれ個別の記憶素子に纏めて格納することで、加算処理を実現できる。
また、このようにして、行ごとに、同一行の複数列の情報をそれぞれ個別の記憶素子に纏めて格納し加算した後に、この加算結果を読み出すため、第1の手法として、接続制御部を、単位画素ブロック内の所定の条件に合致する複数の単位構成要素を持つ複数列の記憶素子を接続して、複数列の記憶素子に保持されている各行の複数列分の情報を加算し、この加算した結果を平均化するように切替制御するスイッチを有するものとするのがよい。あるは、第2の手法として、接続制御部を、単位画素ブロック内の所定の条件に合致する複数の単位構成要素を持つ複数列の記憶素子に格納されている処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御するスイッチを有するものとするのがよい。
本発明によれば、所定方向にて所定の条件で互いに隣接する複数の単位構成要素からなるブロックを処理単位ブロックとし、処理単位ブロック内の一方の方向における所定の条件に合致する複数の単位構成要素からの各単位信号を共通の処理回路に導くことで、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出すようにした。
これによって、処理単位ブロック内の所定条件に合致する複数の単位構成要素からの単位信号を1つの処理回路にて纏めて取り扱うことができるようになる。処理単位ブロック内の対象となる単位構成要素の数が増加しても、1つの処理回路にて纏めて取り扱うことができ、対象となる単位構成要素の数に関わらず、加算処理用の回路構成がコンパクトになる。間引き加算処理が可能な装置において、ナイキスト周波数の減少による折返しノイズの問題を簡易な構成で解決できるようになる。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS撮像素子をデバイスとして使用した場合を例に説明する。また、CMOS撮像素子は、全ての画素がNMOSあるいはPMOSよりなるものであるとして説明する。
ただしこれは一例であって、対象となるデバイスはMOS型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する全ての実施形態が同様に適用できる。
<固体撮像装置の構成>
図1は、本発明の一実施形態に係るCMOS固体撮像装置の概略構成図である。この固体撮像装置1は、カラー画像を撮像し得る電子スチルカメラとして適用されるようになっている。また、静止画撮像モード時には、全画素を順番に読み出すモードが設定されるようになっている。また、通常の静止画撮像モードとは異なる特殊撮影モードとして、行や列を数個ずつ飛ばしながら読み出す間引き読出モード、行や列を数個ずつ選択して読み出し加算して出力する加算読出モードなど、画素の信号を読み出す順番を通常の静止画撮像モードとは異なる順番にする特殊読出モードが設定可能に構成されている。
固体撮像装置1は、入射光量に応じた信号を出力する受光素子を含む画素が行および列に配列された(すなわち2次元マトリクス状の)撮像部を有し、各画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部が垂直列ごとに設けられたカラム型のものである。すなわち、図1(A)に示すように、固体撮像装置1は、複数の単位画素3(単位構成要素の一例)が行および列に配列された撮像部(画素部)10と、撮像部10の外側に設けられた駆動制御部7と、間引き加算処理部25とを備えている。駆動制御部7としては、たとえば、水平走査回路12と垂直走査回路14を備える。
間引き加算処理部25は、CDS処理部(カラム回路)26と、メモリ回路部27と、接続制御部28とを有して構成されている。なお、詳しくは後述するが、本実施形態における間引き加算処理部25は、メモリ回路部27の構成をより簡易にするべく、メモリ機能要素を、CDS処理部26が備える容量素子(キャパシタあるいはコンデンサともいう)をアナログメモリ素子として兼用するようにしている点と、接続制御部28を利用して、複数列や複数行の画素情報を、アナログメモリ素子を利用して加算処理や平均化処理をするようにしている点に特徴を有する。
図1(A)では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の画素が配置される。なお、図示を割愛するが、撮像部10には、各画素に所定のカラーコーディングを持つ色分離フィルタが形成されている。また図示を割愛するが、撮像部10の各画素は、フォトダイオードなどの光電変換素子およびトランジスタ回路によって構成されている。
また、駆動制御部7の他の構成要素として、水平走査回路12、垂直走査回路14、CDS処理部26、メモリ回路部27、あるいは接続制御部28などの固体撮像装置1の各機能部に所定タイミングの制御パルス(CN1,CN2,CN3,CN4など)を供給するタイミングジェネレータ(読出アドレス制御装置の一例)20が設けられている。
これらの駆動制御部7の各要素は、撮像部10とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子(撮像デバイス)として構成される。
単位画素3は、垂直列選択のための垂直制御線15を介して垂直走査回路14と、垂直信号線19を介してCDS処理部26と、それぞれ接続されている。水平走査回路12や垂直走査回路14は、たとえばシフトレジスタを有して構成され、タイミングジェネレータ20から与えられる駆動パルスに応答してシフト動作(走査)を開始するようになっている。このため、垂直制御線15には、単位画素3を駆動するための種々のパルス信号が含まれる。
水平走査回路12は、水平方向の読出列(水平方向のアドレス)を規定する(CDS処理部26内の個々のカラム回路やメモリ回路部27の各メモリを選択する)水平アドレス設定部12aと、水平アドレス設定部12aにて規定された読出アドレスに従って、CDS処理部26やメモリ回路部27の各信号を水平信号線18に導く水平駆動回路12bとを有する。水平アドレス設定部12aは、図示を割愛するが、シフトレジスタを有して構成されており、メモリ回路部27に記憶された画素情報を順に選択し、その選択した画素情報を水平信号線18に出力する選択手段としての機能を持つ。
垂直走査回路14は、垂直方向の読出行(垂直方向のアドレス)や水平方向の読出列(水平方向のアドレス)を規定する(撮像部10の行を選択する)垂直アドレス設定部14aと、垂直アドレス設定部14aにて規定された読出アドレス上(水平行方向)の単位画素3に対する制御線にパルスを供給して駆動する垂直駆動回路14bとを有する。
垂直アドレス設定部14aは、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタ142と、電子シャッタ用の行の制御を行なうシャッタシフトレジスタ144とを有する。
垂直シフトレジスタ142は、撮像部10から画素情報を読み出すに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動回路14bとともに信号出力行選択手段を構成している。シャッタシフトレジスタ144は、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動回路14bとともに電子シャッタ行選択手段を構成している。
タイミングジェネレータ20は、水平アドレス信号を水平アドレス設定部12aへ、また垂直アドレス信号を垂直アドレス設定部14aへ出力し、各アドレス設定部12a,14aは、それを受けて対応する行もしくは列を選択する。
なお、タイミングジェネレータ20は、撮像部10や水平走査回路12など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部10や水平走査回路12などから成る撮像デバイスとタイミングジェネレータ20とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
カラム回路としてのCDS処理部26は、垂直列ごとに設けられており、1行分の画素の信号を受けて、その信号を処理する。たとえば、CDS処理部26は、ノイズ除去手段の機能を備えており、タイミングジェネレータ20から与えられるサンプルパルスSHPとサンプルパルスSHDといった2つのサンプルパルスに基づいて、垂直信号線19を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル(ノイズレベル;0レベル)と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除く。
なお、CDS処理部26の後段には、必要に応じてAGC(Auto Gain Control) 回路やADC(Analog Digital Converter)回路などをCDS処理部26と同一の半導体領域に設けることも可能である。
CDS処理部26により処理された電圧信号は、先ずメモリ回路部27に送られる。メモリ回路部27は、CDS処理部26を経た画素情報を記憶する。ここでは、メモリ回路部27のメモリ容量については問わないものとする。
メモリ回路部27に一時的に記憶された画素情報は、水平走査回路12からの水平選択信号により駆動される図示しない水平選択スイッチを介して所定のタイミングで読み出されて水平信号線18に伝達されて、水平信号線18の後端に接続された出力バッファ29に入力される。
出力バッファ29は、撮像部10から水平信号線18を通して出力される各画素の信号を適当なゲインで増幅した後、撮像信号S0として外部回路100に供給する。
つまり、本実施形態のカラム型の固体撮像装置1においては、単位画素3からの出力信号(電圧信号)が、垂直信号線19→CDS処理部26→メモリ回路部27→水平信号線18→出力バッファ29の順で出力される。その駆動は、1行分の画素出力信号は垂直信号線19を介してパラレルにCDS処理部26に送り、CDS処理後の信号(詳しくはメモリ回路部27の出力)は水平信号線18を介してシリアルに出力するようにする。
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素3に対して水平行方向および垂直列方向の何れに配するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
本実施形態の固体撮像装置1の外部回路100は、撮像部10や駆動制御部7などが同一の半導体領域に一体的に形成された固体撮像素子とは別の別の基板(プリント基板もしくは半導体基板)上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。撮像部10や駆動制御部7などからなる固体撮像素子と、外部回路100とによって、固体撮像装置1が構成されている。
たとえば、図1(B)に示すように、外部回路100は、出力バッファ29から出力されたアナログの撮像信号S0をデジタルの撮像データD0に変換するA/D(Analog to Digital )変換部110と、A/D変換部110によりデジタル化された撮像データD0に基づいてデジタル信号処理を施すデジタル信号処理部(DSP;Digital Signal Processor)130とを備える。
デジタル信号処理部130は、たとえば、A/D変換部110から出力されるディジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してR(赤),G(緑),B(青)の各画像を表す画像データRGBを生成し、この画像データRGBに対してその他の信号処理を施してモニタ出力用の画像データD2を生成する。また、デジタル信号処理部130には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
また外部回路100は、デジタル信号処理部130にてデジタル処理された画像データD2をアナログの画像信号S1に変換するD/A(Digital to Analog )変換部136を備える。D/A変換部136から出力された画像信号S1は、図示しない液晶モニタなどの表示デバイスに送られる。操作者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の操作を行なうことが可能になっている。
なお、図1では、固体撮像素子の後段の信号処理を担当する外部回路100を固体撮像素子(チップ)外で行なう例を示しているが、チップ内部に、外部回路100の全てもしくは一部(たとえばA/D変換部110やデジタルアンプ部など)の機能要素を、チップに内蔵するように構成してもよい。
このような構成の固体撮像装置1において、垂直シフトレジスタ142、シャッタシフトレジスタ144、およびそれらを制御するタイミングジェネレータ20により、撮像部10の各画素を水平行単位で順に選択し、その選択した1つの水平行分の画素の情報を同時に読み出すタイプのCMOSイメージセンサが構成されている。
また、メモリ回路部27、水平アドレス設定部12a(詳しくはその内部の図示しない水平シフトレジスタ)、水平信号線18、およびそれらを制御するタイミングジェネレータ20により、撮像部10から画素情報を間引いて読み出す過程において、本実施形態特有の機能として、水平行方向および垂直列方向にて互いに隣接する複数の画素からなる画素ブロックを単位画素ブロックとし、この単位画素ブロック内の同色の色分離フィルタの画素情報を擬似的に1画素分の画素情報として読み出す駆動手段が構成されている。この点については、後で詳しく説明する。
たとえば、撮像部10から画素情報を読み出すに当たり、撮像部10の各水平行の画素の内の何れかが垂直シフトレジスタ142によって選択されると、その選択された信号出力対象の画素行(以下信号出力行という)の各画素において、光電変換素子によって光電変換され、蓄積された信号電荷(電子もしくはホール)に応じた信号レベルと、この光電変換素子をリセットした後の基準レベル(0レベル)は、各垂直列のCDS処理部26に伝達される。
また、電子シャッタ動作に際して、シャッタシフトレジスタ144によって電子シャッタ対象の画素行(以下電子シャッタ行という)が選択されると、その選択された電子シャッタ行の各画素の光電変換素子がリセットされる。シャッタシフトレジスタ144は、垂直シフトレジスタ142が信号出力行を駆動した直後に、垂直シフトレジスタ142と同様の駆動パルスで動作する。そして、電子シャッタ行と信号出力行の各画素の信号をCDS処理部26で取り込む。
電子シャッタ行と信号出力行が一定の間隔で進んで行くとき、信号出力行から出力される画素情報は、電子シャッタ行から信号出力行まで進んで行く期間に光電変換素子で光電変換された光量に対応する信号となる。したがって、電子シャッタ行と信号出力行の間隔を調節することにより、光電変換素子への照射時間すなわち電荷蓄積時間を変えることができる。
垂直シフトレジスタ142およびシャッタシフトレジスタ144を制御する制御パルスCN1は、タイミングジェネレータ20により生成される。したがって、電子シャッタ機能のための電荷蓄積時間の調整は、タイミングジェネレータ20で生成する各制御パルスCN1のタイミング関係を調節することによって実現できる。
全画素読出し時には、電子シャッタおよび読出しの各動作は、第1行から最終行または最終行付近の画素行までを順に垂直シフトレジスタ142の制御の元で選択することで、略全ての水平行に対して行なわれる。
読み出された画素情報は、メモリ回路部27に記憶される。そして、任意のタイミングにおいて任意の画素情報を複数同時にメモリ回路部27から水平信号線18へ出力し、読み出す。ここまでは、一般的なCMOSイメージセンサの場合と同様の動作である。
<間引き加算処理の動作;第1実施形態の基本>
図2は、間引き加算処理時の駆動方法の第1実施形態を説明する図である。ここで、図2(a)は、1/9の割合で画素情報量を圧縮するときの従来の間引き加算処理の場合の一例を示し、図2(b)は、本実施形態に係る間引き加算処理の場合の一例を模式化し、画素の並びで示している。
本実施形態の固体撮像装置1では、間引き加算処理の過程において、水平行方向および垂直列方向にて互いに隣接する複数の画素からなる画素ブロックを1単位とし、その単位画素ブロックが互いに重なり合うことなく敷き詰められた状態で、単位画素ブロック中に存在する同色の色分離フィルタの画素情報を1画素分の情報として読み出すことにより、画素サイズを擬似的に増加させ、読み出す画素間隔を一定とし、また画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、ナイキスト周波数以上の空間周波数領域のMTF(Modulation Transfer Function)値を減少させることによって折返しノイズを低減する構成を採っている。
たとえば、従来の間引き加算処理においては、図2(a)に示すように、単純に2行目の2,5,8,…列の各画素情報を順番に読み出し、最終列または最終列付近まで達すると、次いで5行目の2,5,8,…列の各画素情報を順番に読み出し、以下同様の動作を繰り返す。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。このようにして、1/9の圧縮率で間引き操作を行なうと、読み出す画素間の距離が増加するため、ナイキスト周波数が減少し、それに伴って相対的にナイキスト周波数以上の空間周波数が増加するために折返しノイズが増加する。
ここで、読み出す画素のピッチ幅を減少させてナイキスト周波数を増加させるか、もしくはナイキスト周波数以上の周波数領域のMTF値を減少させれば、折返しノイズを低減することができる。画素幅をX、空間周波数をωとすると、MTF値は、式(2)で表すことができ、画素面積が増加するにつれて減少する。
Figure 2006020037
そこで、折返しノイズを低減するために、本実施形態の固体撮像装置1では、それぞれ3以上の奇数行×奇数列すなわち(2k+3)×(2k+3)(kは0以上の正の整数;以下条件式Aという)の画素ブロックを単位画素ブロックとし、その単位画素ブロックが互いに重なり合うことなく敷き詰められた状態で、この単位ブロック内に存在する同色の色分離フィルタの画像情報の全てを加算することにより、擬似的に画素面積を増加させ、ナイキスト周波数以上の空間周波数領域のMTF値を低減しながら、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、画素情報を間引く。
たとえば、図2(b)に示すように、一例として、2行2列を単位とし、その単位の繰返しのカラーコーディングを持つ色分離フィルタが配された画素配列において、たとえばk=0の場合すなわち1/9の割合で画素情報量を圧縮するに当たって、3×3の画素ブロックを単位画素ブロック(図中、太い四角で囲んだブロック)とする。なお、便宜上、これら単位画素ブロックの配列に対して仮想画素行名a,b,c,…、仮想画素列名a,b,c,…をそれぞれ付すものとする。
そして、先ず、1行目の1,3列目、および3行目の1,3列目の同色の色分離フィルタ(図中、斜線部)の画素情報、すなわちa行a列目の画素ブロック内の同色、本例ではG(緑)の画素情報をすべて加算して1画素分の情報として出力する。
なお、単位画素ブロック内の同色の画素情報を全て加算する処理をどのようにして実現するかについては、たとえば、特願2003−043897号にて提案したように、同色の画素情報の全てをメモリ回路部27から水平信号線18上へ同時に読み出すことによっても実現できるが、本実施形態では、そのような仕組みを採らずに、メモリ回路部27の構成をより簡易にできる仕組みを採用する。この点については、後で詳しく説明する。
次に、1行目の4,6列目および3行目の4,6列目の同色の色分離フィルタの画素情報、すなわちa行b列目の画素ブロック内の同色、本例ではB(青)の画像情報をすべて加算して1画素分の情報として出力する。以下同様の操作を、a行目について画素ブロック単位で繰り返す。
a行目において、読み出す画素が最終列または最終列付近に達すると、3段下がって、4行目の1,3列目および6行目の1,3列目の同色の色分離フィルタの画素情報、すなわちb行a列目の画素ブロック内の同色、本例ではR(赤)の画像情報をすべて加算して1画素分の情報として出力する。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。
次いで、4行目の4,6列目および3行目の4,6列目の同色の色分離フィルタの画素情報、すなわちb行b列目の画素ブロック内の同色、本例ではGの画像情報をすべて加算して1画素分の情報として出力する。以下同様の操作を、b行目について画素ブロック単位で繰り返す。
以下、最終行または最終行付近の画素情報まで同様の操作を繰り返す。
このような操作によって間引き読出し処理を行なうことにより、擬似的に画素面積を増加させ、ナイキスト周波数以上の空間周波数領域のMTF値を減少させることができるため、折返しノイズを低減でき、偽色の少ない間引き加算処理を実現できる。
また、3以上の奇数行×奇数列の画素ブロックを単位画素ブロックとすることで、単位画素ブロック内の同色の色分離フィルタの画素情報を、単位画素ブロックの重心を崩さないように加算して出力することができる。
<間引き加算処理の動作;第1実施形態の変形例>
図3〜図5は、間引き加算処理時の駆動方法の第1実施形態の変形例を説明する図である。上述した第1実施形態の間引き加算処理においては、条件式Aにおいて、k=0の3×3の画素ブロックを単位画素ブロックとした場合を例に挙げて説明したが、これに限られるものではなく、図示を割愛するが、kが1以上、すなわちk=1の5×5の画素ブロックを単位画素ブロックとする1/25の割合での画素情報量の圧縮や、k=2の7×7の画素ブロックを単位画素ブロックとする1/49の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。
また、画素情報を単位画素ブロックの重心を崩さないように読み出し、間引き加算する手法としても何通りか考えられる。具体的には、たとえばk=3のとき、図3(a)に示すように、9×9の単位画素ブロックの出力として、画素配列の1,9行目の1,9列目、3,7行目の3,7列目、5行5列目の各画素情報を加算して出力し、他の単位画素ブロックについても、同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出したり、図3(b)に示すように、単位画素ブロックの出力として、画素配列の1,9行目の1,5,9列目、3,7行目の3,7列目の各画素情報を加算して出力し、他の単位画素ブロックについても、同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出す手法である。
また、図4に示す手法は、横方向(列配垂直列方向)の空間周波数による折返しノイズを特に低減したいときに考えられる間引き加算の手法であり、横方向の画素面積を擬似的に増加させている。
具体的には、3×3の画素ブロックを擬似的に単位画素ブロックとし、この単位画素ブロックのa行a列目の出力として2行目の1,3列目の画素情報を加算して出力する。次に、a行b列目の出力として2行目の4,6列目の画素情報を加算して出力する。以下同様に最終列または最終列付近まで加算出力する。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。
この後、単位画素ブロックのb行a列目の出力として、5行目の1,3列目の画素情報を加算して出力する。以下、各単位画素ブロックにおいても同様の操作を繰り返して、間引き加算しながら任意の全画素を読み出す。
上述した間引き加算処理により、横方向の画素面積を擬似的に増加させることができるため、横方向の空間周波数による折返しノイズを低減できる。もちろん、縦方向(行配垂直列方向)についても、同様の考え方で間引き処理をすることによって折返しノイズを低減することができる。
ここまでは、2行2列を単位とし、その単位の繰返し(垂直2×水平2繰返し)のカラーコーディングを持つ色分離フィルタが配された画素配列についての間引き読出し処理について説明をしてきたが、これに限られるものではなく、ある単位画素ブロックを1つの画素として見立て、その単位画素ブロック中の同色の色分離フィルタの画素情報を加算して、画素面積(画素幅)を擬似的に増加させ、間引き処理時の折返しノイズを低減する手法は、あらゆるカラーカーディングを持つ色分離フィルタ配列においても有効である。
他のカラーカーディングを持つ色分離フィルタの画素配列として、たとえば、Gストライプ方式のカラーコーディングで、4行4列を単位とし、その単位の繰返しのカラーコーディングを持つ色分離フィルタの画素配列が考えられる。
この画素配列の場合には、それぞれ3以上の奇数行×奇数列すなわち(2k+3)×(2k+3)(条件式A)の画素ブロックを単位画素ブロックとする点で、また“単位画素ブロックが互いに重なり合うことなく敷き詰められた状態で”処理する点では基本形と同様であるが、ストライプ方式におけるフィルタ繰返しサイクルに合わせて加算対象の画素位置を調整することで、各単位画素ブロック内の同色の色分離フィルタの画素情報を擬似的に1画素分の画素情報として読み出すようにすればよい。
具体的には、たとえばk=0のとき、図5(a)に示すように、単位画素ブロックのa行a列目の出力として画素配列の1,3行目の1列目および2行目の3列目の画素情報を加算して出力し、次いで単位画素ブロックのa行b列目の出力として画素配列の1,3行目の6列目および2行目の4列目の画素情報を加算して出力し、以下同様に最終列または最終列付近まで加算して出力する。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。
しかる後、単位画素ブロックのb行a列目の出力として画素配列の4,6行目の1列目および5行目の3列目の画素情報を加算して出力し、次いで単位画素ブロックのb行b列目の出力として画素配列の4,6行目の6列目および5行目の4列目の画素情報を加算して出力し、以下同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出すようにすればよい。
また、図5(b)に示すように、単位画素ブロックのa行a列目の出力として画素配列の1,3行目の1列目および2行目の3列目の画素情報を加算して出力し、次いで単位画素ブロックのa行b列目の出力として画素配列の1,3行目の4列目および2行目の6列目の画素情報を加算して出力し、以下同様に最終列または最終列付近まで加算して出力する。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。
しかる後、単位画素ブロックのb行a列目の出力として画素配列の4,6行目の1列目および5行目の3列目の画素情報を加算して出力し、次いで単位画素ブロックのb行b列目の出力として画素配列の4,6行目の4列目および5行目の6列目の画素情報を加算して出力し、以下同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出すようにすればよい。
つまり、4行4列を繰返し単位とするカラーコーディングの場合も、2行2列の場合と同様に、単位画素ブロック中の斜線部の画素情報を加算して、1つの画素情報として出力することにより、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、折返しノイズを低減することができる。
なお、上記説明では、4行×4列を繰返し単位とするカラーコーディングにおける事例として、k=0の3×3の画素ブロックを単位画素ブロックとした場合を例に挙げて説明したが、これに限られるものではなく、図示を割愛するが、kが1以上、すなわちk=1の5×5の画素ブロックを単位画素ブロックとする1/25の割合での画素情報量の圧縮や、k=2の7×7の画素ブロックを単位画素ブロックとする1/49の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。
また、上記説明では、4行×4列を繰返し単位とするカラーコーディングにおける事例として、第1実施形態の基本形と同様に、処理単位ブロックが互いに重なり合うことなく敷き詰められた状態での処理態様について説明したが、4行×4列を繰返し単位とするカラーコーディングの場合においても、詳細な説明を割愛するが、後述する第2実施形態と同様に、処理単位ブロックが交互に重なり合いながら敷き詰められた状態での間引読出加算処理にすることもできる。
以上説明したように、第1実施形態の間引き加算処理においては、ある単位画素ブロックを1つの画素として見立て、その単位画素ブロック内の同色の色分離フィルタの画素情報を加算して読み出すことにより、画素間の距離が増大し、ナイキスト周波数が減少することで相対的に折返しノイズが増加することが問題であった間引き読出し過程においても、擬似的に画素面積(画素幅)を増大させ、ナイキスト周波数以上の空間周波数領域においてMTF値を減少させることで、折返しノイズを低減することができる。
また、サンプリング過程で間引き処理をしながら画素情報を読み出すことにより、固体撮像素子の駆動周波数を下げることができるため、その分だけ消費電力を低減することができ、しかも後段のA/D変換部110に掛る負荷を大幅に低減できるため、信号処理系に負荷を掛けることなく画素情報量を圧縮することができる。
<間引き加算処理の動作;第2実施形態の基本>
図6〜図8は、間引き加算処理時の駆動方法の第2実施形態を説明する図である。この第2実施形態は、間引き加算処理時に、1/偶数画素×1/偶数画素すなわち1/(2k+2)×(2k+2)(kは0以上の正の整数;条件式Bともいう)の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック(単位画素ブロック;処理単位ブロック)が交互に重なり合いながら敷き詰められた状態で、偶数×偶数すなわち(2k+2)×(2k+2)(条件式Cともいう)画素を間引き加算することにより画素情報を、折返しノイズを低減した状態で間引く構成を採る点に特徴を有する。
ここで、第1実施形態との比較においては、“処理単位ブロックが交互に重なり合いながら敷き詰められた状態”の方が、折返しノイズは減少するが、出力するときのデータ量は増加する。このような基本原則を鑑みて、基本的には、間引きし出力する画素数とスピードおよび折返しノイズの効果を考え合わせて、交互に敷き詰めるか、それとも敷き詰めないかを選択するのがよい。
たとえば図6〜図8は、条件式B,Cにおいてk=0のとき、すなわち4(=2×2)画素を間引き加算し、1/4の割合で画素情報量を圧縮する場合について示している。図6(a)に示すように、1行目の1,3列目、3行目の1,3列目の同色の色分離フィルタの画素情報、本例ではGの画素情報をすべて加算して1画素分の情報として出力する。
次に、図6(b)に示すように、1行目の2,4列目、3行目の2,4列目の同色の色分離フィルタの画素情報、本例ではBの画素情報をすべて加算して1画素分の情報として出力する。次いで、図6(c)に示すように、1行目の5,7列目、3行目の5,7列目の画素情報、本例ではGの画素情報をすべて加算して1画素分の情報として出力する。
同様の操作を繰り返し、読み出す画素が、図7(a)に示すように、最終列または最終列付近に達する。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。この後、図7(b)に示すように、1段下がって、2行目の1,3列目、4行目の1,3列目の同色の色分離フィルタの画素情報、本例ではRの画素情報をすべて加算して1画素分の情報として出力する。
この2行目、4行目において、読み込む画素が最終列または最終列付近に達すると、3段下がって、5行目の1,3列目、7行目の1,3列目の画素情報をすべて加算して1画素分の情報として出力するように同様の操作を繰り返す。最終列またはその付近まで読み出す画素が達し、下の段に移るときは、1段,3段,1段,3段,…と設定された最終行またはその付近の画素情報が読み出されるまで同様の操作を繰り返す。
つまり、操作(1){操作A <4m+1,4m+3行目の4n+1,4n+3列目(m,nは0以上の正の整数)の画素情報を間引き加算して1画素分の情報として出力> し、次に操作B <4m+1,4m+3行目の4n+2,4n+4列目の画素情報を間引き加算して1画素分の情報として出力> する。m=0,n=0から開始し、まずmを0で固定し、A,B一連の操作が終了したら次のA,Bの操作に移行する前にnを1つ増加させる。以降同様に、A,B,A,B,A,B,…と順番にA,Bの操作を列の最後またはその付近まで繰り返す。}
最終列またはその付近まで読み込むと、次は操作(2){操作A <4m+2,4m+4行目の4n+1,4n+3列目の画素情報を間引き加算して1画素分の情報として出力> し、次に操作B <4m+2,4m+4行目の4n+2,4n+4列目の画素情報を間引き加算して1画素分の情報として出力> する。m=0,n=0から開始し、まずmを0で固定し、A,B一連の操作が終了したら次のA,Bの操作に移行する前にnを1つ増加させる。以降同様に、A,B,A,B,A,B,…と順番にA,Bの操作を列の最後またはその付近まで繰り返す。}
この行でも最終列またはその付近まで画素情報を読み込むと、mの値を1つ増加させて操作(1),(2)を同様に行なう。そして、読み出すように設定された画素情報をすべて読み出すまで、操作(1),(2)のペアを基本動作とし、その基本動作が1サイクル行なわれるごとに、mの値を1ずつ増加させる。
このように間引き加算を行った場合、擬似的な画素の重心は図8に示すようになり、2×2の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、1/4の割合で画素情報量を圧縮したことになる。
<間引き加算処理の動作;第2実施形態の変形例>
上述した第2実施形態の間引き加算処理においては、条件式Bにおいてk=0の1/4割合で画素情報量を圧縮する過程において、条件式Cにおいてk=0の2×2の画素ブロックを単位画素ブロックとし間引き加算する場合を例に挙げて説明したが、これに限られるものではなく、kが1以上、すなわちk=1の4×4の画素ブロックを単位画素ブロックとする1/16の割合での画素情報量の圧縮や、k=2の6×6の画素ブロックを単位画素ブロックとする1/36の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。
図9〜図11は、条件式B,Cにおいてk=1のとき、すなわち16(=4×4)画素を間引き加算し、1/16の割合で画素情報量を圧縮する場合について示している。この場合、先ず、図9(a)に示すように、1,3,5,7行目の1,3,5,7列目の画素情報を加算して1画素分の情報として出力する。次に、図9(b)に示すように、1,3,5,7行目の4,6,8,10列目の画素情報を加算して1画素分の情報として出力する。同様に、1,3,5,7行目の9,11,13,15列目の画素情報を加算して1画素分の情報として出力する。
同様の操作を繰り返し、図10(a)に示すように、読み出す画素が最終列または最終列付近に達する。どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。この後、図10(b)に示すように、3段下がって、4,6,8,10行目の1,3,5,7列目の画素情報を加算して1画素分の情報として出力する。この4,6,8,10行において、読み込む画素が最終列または最終列付近に達すると、5段下がって以下同様の操作を繰り返す。
つまり、操作(1){操作A <8m+1,8m+3,8m+5,8m+7行目の8n+1,8n+3,8n+5,8n+7列目を間引き加算して1画素分の情報として出力(m,nは0以上の正の整数)> し、次いで操作B <8m+1,8m+3,8m+5,8m+7行目の8n+4,8n+6,8n+8,8n+10列目の画素情報を間引き加算して1画素分の情報として出力> する。mの値は固定で、A,B一連の操作が終了したら、次のA,Bの操作に移行する前にnを1つ増加させる。以降同様に、A,B,A,B,A,B,…と順番にA,Bの操作を列の最後またはその付近まで繰り返す。}
最終列またはその付近まで読み込むと、次は操作(2){操作A <8m+4,8m+6,8m+8,8m+10行目の8n+1,8n+3,8n+5,8n+7列目の画素情報を間引き加算して1画素分の情報として出力> し、次いで操作B <8m+4,8m+6,8m+8,8m+10行目の8n+4,8n+6,8n+8,8n+10列目の画素情報を間引き加算して1画素分の情報として出力> する。mの値は固定で、A,B一連の操作が終了したら、次のA,Bの操作に移行する前にnを1つ増加させる。以降同様に、A,B,A,B,A,B,…と順番にA,Bの操作を列の最後またはその付近まで繰り返す。}
この行でも最終列またはその付近まで読み込むと、mの値を1つ増加させて操作(1),(2)を行なう。そして、読み出すように設定された画素情報をすべて読み出すまで、上述した一連の動作を繰り返す。このように間引き加算を行った場合、擬似的な画素の重心は図11に示すようになり、4×4の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、1/16の割合で画素情報量を圧縮したことになる。
ただし、このようにして1/偶数画素×1/偶数画素の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック(単位画素ブロック)が交互に重なり合いながら敷き詰められた状態で、偶数×偶数画素を間引き加算すると、たとえば図11に示すように、加算結果の重心位置がずれる。
第2実施形態において、加算結果の重心位置がずれないように読み出すには、それぞれ3以上の1/奇数画素×1/奇数画素すなわち1/(2k+3)×(2k+3)(kは0以上の正の整数;条件式Dともいう)の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック(単位画素ブロック)が交互に重なり合いながら敷き詰められた状態で、それぞれ3以上の奇数×奇数すなわち(2k+3)×(2k+3)(条件式Eともいう)画素を間引き加算するようにすればよく、この場合にも、画素情報を、折返しノイズを低減した状態で間引く構成を採ることができる。
つまり、折返しノイズと加算結果の重心位置の双方を一番に考えるならば、奇数単位で間引きするのがベストではあるが、センサの仕様によっては、いつも奇数とすることはできない。センサ仕様上奇数を選択不可能な場合において、ただ単に間引きをするよりも、たとえ偶数でも(重心がずれても)加算間引きする方がいいときがある場合には、前述のように1/偶数画素×1/偶数画素の割合で画素情報量を圧縮する過程において、間引き加算する単位画素ブロックが交互に重なり合いながら敷き詰められた状態で、偶数×偶数画素を間引き加算するとよく、センサ仕様上奇数を選択可能な場合には、1/奇数画素×1/奇数画素の割合で画素情報量を圧縮する過程において、間引き加算する単位画素ブロックが交互に重なり合いながら敷き詰められた状態で、奇数×奇数画素を間引き加算するとよい。
たとえば、図12〜図14は、条件式D,Eにおいてk=1のとき、すなわち9(=3×3)画素を間引き加算し、1/9の割合で画素情報量を圧縮する場合について示している。この場合、先ず、図12(a)に示すように、1行目の1,3,5列目、3行目の1,3,5および5行目の1,3,5列目の画素情報を加算して1画素分の情報として出力する。
次に、図12(b)に示すように、1行目の4,6,8列目、3行目の4,6,8列目および5行目の4,6,8列目の画素情報を加算して1画素分の情報として出力する。次いで、図12(c)に示すように、1行目の7,9,11列目、3行目の7,9,11列目および5行目の7,9,11列目の画素情報を加算して1画素分の情報として出力する。
同様の操作を繰り返して、読み出す画素が、図13(a)に示すように、最終列または最終列付近に達する。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。この後、図13(b)に示すように、3段下がって、4行目の1,3,5列目、6行目の1,3,5列目および8行目の1,3,5列目の画素情報を加算して1画素分の情報として出力する。
つまり、操作(1){3m+1,3m+3,3m+5行目の6n+1,6n+3,6n+5列目(m,nは0以上の正の整数)の画素情報を間引き加算して1画素分の情報として出力}し、次いで操作(2){3m+1,3m+3,3m+5行目の6n+4,6n+6,6n+8を間引き加算して1画素分の情報として出力}する。操作(1),(2)をペアで行なうのが基本動作であり、m=0,n=0から開始し、まずmを0で固定し、nを基本動作1回につき順次1ずつ増加させる。画素の最終列またはその付近に達したときに、mを1つ増加させ、nを0にする。
以下、同様にして設定された画素情報をすべて読み出すまで、その操作を繰り返して実行する。このようにして間引き加算を行った場合には、擬似的な画素の重心は図14に示すようになり、3×3の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、1/9の割合で画素情報量を圧縮したことになる。
また、3以上の奇数×奇数とする場合においても、図示を割愛するが、kが1以上、すなわちk=1の5×5の画素ブロックを単位画素ブロックとする1/25の割合での画素情報量の圧縮や、k=2の7×7の画素ブロックを単位画素ブロックとする1/49の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。
なお、上述した第2実施形態の説明では、偶数×偶数と、3以上の奇数×奇数の場合に分けて条件式を示したが、両者を纏めて、1/(k+2)×(k+2)(kは0以上の正の整数;条件式Fともいう)の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック(単位画素ブロック)が交互に重なり合いながら敷き詰められた状態で、それぞれ(k+2)×(k+2)(条件式Gともいう)画素を間引き加算する構成と考えることができる。
また、3以上の奇数×奇数の場合に、仮想画素中の全ての画素の情報を読み出す例を示したが、必ずしも全ての画素の情報を読み出す必要はなく、たとえば、任意の行の画像情報だけ読み込んで間引き加算したり、縦の列を読み飛ばすことによって間引き加算するようにしてもよい。
図15〜図17は、縦の列を読み飛ばすことによって間引き加算する変形例を説明する図である。この図15および図16に示す変形例は、16画素を間引き加算し、1/25の割合で画素情報量を圧縮する場合を示している。
先ず、図15(a)に示すように、1,3,5,7行目の1,3,5,7列目の画素情報を加算して1画素分の情報として出力する。次に、図15(b)に示すように、1,3,5,7行目の6,8,10,12列目の画素情報を加算して1画素分の情報として出力する。図から分かるように、読み出すごとに1画素列ずつ拾い漏れがある。同様に、1,3,5,7行目の11,13,15,17列目の画素情報を加算して1画素分の情報として出力する。
同様の操作を繰り返し、図16(a)に示すように、読み出す画素が最終列または最終列付近に達する。なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。この後、図16(b)に示すように、5段下がって、6,8,10,12行目の1,3,5,7列目の画素情報を加算して1画素分の情報として出力する。
つまり、操作(1){5m+1,5m+3,5m+5,5m+7行目の10n+1,10n+3,10n+5,10n+7列目の画素情報を間引き加算して1画素分の情報として出力}し、次いで操作(2){5m+1,5m+3,5m+5,5m+7行目の10n+6,10n+8,10n+10,10n+12を間引き加算して1画素分の情報として出力}する。
操作(1),(2)を繰り返すのが基本動作であり、m,nは0以上の正の整数で、m=0,n=0から開始し、まずmを0で固定し、nを基本動作1回につき順次1ずつ増加させる。画素の最終列または最終列付近に達したときに、mを1つ増加させ、nを0にする。以下、その操作の繰り返しを行なう。
このように、縦の列を読み飛ばして間引き加算する場合、擬似的な画素の重心は図17の斜線部分となり、5×5の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、1/25の割合で画素情報量を圧縮したことになる。
このようにして、間引き加算処理を行なうことにより、擬似的に画素面積の増加および横方向への画素の拾い漏れがなくなることなどによってナイキスト周波数以上の空間周波数領域のMTF値を低減することができる。これにより、折返しノイズが減少するので、間引き過程において、従来問題であったノイズを低減しつつ画質を向上させることができる。
また、サンプリング過程で間引きながら信号処理を行なうことにより、出力バッファ29やA/D変換部110に掛る負荷を大幅に低減できるため、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、高速読出し、低消費電力化、間引きすることができる。
<間引き加算処理の動作の実現手法;第1実施形態>
図18は、上述した間引き加算処理の動作を実現するための回路構成の第1実施形態を示す図である。
間引き加算処理の動作を実現する具体的な手法としては、特願2003−043897号のある(第1および第2)実施形態において、固体撮像素子から読み出した画素情報を格納するメモリ回路部27を設けて、このメモリ回路部27に格納されている単位画素ブロック内の同色の色分離フィルタの画素情報を同時に水平信号線18に出力する仕組みを例示した。
しかしながら、この場合、単位画素ブロック分の複数行の全画素情報を記憶する必要があるので、単純な構成では、少なくとも複数行分のラインメモリが必要になり、単位画素ブロックのサイズに応じて、メモリ回路部27の構成が大規模になる。
一方、特願2003−043897号においては、他の(第3および第4)実施形態として、固体撮像素子の画素配列に対してそれぞれ1行分の画素情報を格納可能な2つのメモリ回路(つまり2つのラインメモリ)を設け、各メモリ回路にそれぞれ格納されている単位画素ブロック内のうちの同色である2列分の色分離フィルタの画素情報を同時に水平信号線に出力する仕組みも提案している。
この場合、単位画素ブロックのサイズに拘らず、2つのラインメモリで間引き加算処理を実現できるが、複数行分のラインメモリを必要とする点では、特願2003−043897号の第1および第2実施形態と同様であり、依然として、メモリ回路の構成が煩雑になる問題がある。
そこで、本実施形態では、メモリ回路の構成をより簡易にするべく、1つのメモリ回路を用いた構成と動作を具体的に示すこととする。
図18に示すように、第1実施形態の間引き加算処理部25は、CDS処理部(カラム回路)26と、メモリ回路部27と、接続制御部28とを有して構成されている。メモリ回路部27のメモリ機能要素は、CDS処理部26が備える容量素子をアナログメモリ素子として兼用している。
たとえば、CDS処理部26は、それぞれ撮像部10の垂直列(図ではm列〜m+7列までを例示)ごとに設けられた結合キャパシタCaおよびサンプルホールドキャパシタCbと、各キャパシタCa,キャパシタCb間の接続を制御パルスSに従って制御するスイッチSaと、サンプルホールドキャパシタCbの電位を基準電位VcにリセットするスイッチSbと、各サンプルホールドキャパシタCbに保持された信号電圧を制御パルスU2に従って所定の順に水平信号線18に読み出す制御を行なうスイッチSc(水平列選択スイッチあるいはカラムスイッチといわれるもの)とを備えている。
ここで、サンプルホールドキャパシタCbが、メモリ回路部27のメモリ機能要素として機能し、一種のラインメモリとして動作するようになっている。
また、本実施形態の間引き加算処理部25は、複数列や複数行の画素情報を、メモリ回路部27のアナログメモリ素子であるサンプルホールドキャパシタCbを利用して加算処理や平均化処理をするように制御する接続制御部28として、先ず、結合キャパシタCaとスイッチSaとの接続ノードにおいて、隣接する奇数列間(たとえば1列目と3列目、3列目と5列目など)もしくは隣接する偶数列間(たとえば2列目と4列目、4列目と6列目など)の接続を制御パルスRに従って制御するスイッチSdを有している。
スイッチSdは、単位画素ブロック内の同色画素の複数列を接続して画素情報を列加算するべく、それら複数列の画素情報を共通の(1つの)記憶素子(本例ではサンプルホールドキャパシタCb)に導く機能を持つ。
また、接続制御部28は、スイッチSaとサンプルホールドキャパシタCbの接続ノードにおいて、隣接する奇数列間(たとえば1列目と3列目、3列目と5列目など)もしくは隣接する偶数列間(たとえば2列目と4列目、4列目と6列目など)の接続を制御パルスTに従って制御するスイッチSeを有している。
スイッチSeは、単位画素ブロック内の同色画素の複数列のメモリ素子(本例ではサンプルホールドキャパシタCb)を接続することで、複数列のサンプルホールドキャパシタCbに保持されている各行の複数列分の画素情報を行加算し、加算した結果を平準化(平均化)する、つまりそれぞれの保持内容を共通にさせる機能を持つ。
図19〜図23は、図18に示した第1実施形態の間引き加算処理部25において、上述した間引き加算処理の動作を実現する手法の具体例を説明する図である。
ここでは、図12および図13に示した、同色の9(=3×3)画素を間引き加算し、1/9の割合で画素情報量を圧縮する場合を一例にして説明する。色分離フィルタとしては、図18に示すGrに着目して説明する。
よって、図18との対応では、画素P11はn行m列のGr画素、画素P12はn行m+2列のGr画素、画素P13は、n行m+4列のGr画素、画素P21はn+2行m列のGr画素、画素P22はn+2行m+2列のGr画素、画素P23は、n+2行m+4列のGr画素、画素P31はn+4行m列のGr画素、画素P32はn+4行m+2列のGr画素、画素P33は、n+4行m+4列のGr画素である。
また、垂直列ごとに設けられたキャパシタC1は結合キャパシタCam、キャパシタC2は結合キャパシタCam+2、キャパシタC3は結合キャパシタCam+4である。また、垂直列ごとに設けられたキャパシタC4はサンプルホールドキャパシタCbm、キャパシタC5はサンプルホールドキャパシタCbm+2、キャパシタC6はサンプルホールドキャパシタCbm+4であり、CDS処理部26の機能要素として作用するだけでなく、本実施形態特有のメモリ回路部27をも構成する。
また、結合キャパシタCaとスイッチSaとの接続ノードにおいて隣接する列間の接続を制御するスイッチS1はスイッチSd02、スイッチS2はスイッチSd24、さらにスイッチSaとサンプルホールドキャパシタCbとの接続ノードにおいて隣接する列間の接続を制御するスイッチS3はスイッチSe02、スイッチS4はスイッチSe24である。
また、サンプルホールドキャパシタCbとしてのキャパシタC4の電位を基準電位VcにリセットするスイッチS8はスイッチScm、キャパシタC5の電位を基準電位VcにリセットするスイッチS9はスイッチScm+2、キャパシタC9の電位を基準電位VcにリセットするスイッチS10はスイッチScm+4である。
さらに、各サンプルホールドキャパシタCb(本例ではキャパシタC4〜C6)に保持された信号電圧を所定の順に水平信号線18に読み出すスイッチY1はスイッチScm、スイッチY2はスイッチScm+2、スイッチY3はスイッチScm+4である。
先ず、間引きを行なわない撮像時の画素情報を出力するときには、図19において、撮像部10から画素情報が読み出され、さらにCDS処理部26にてCDS処理された画素情報は、メモリ回路部27のラインメモリ(本例ではサンプルホールドキャパシタCbとしてのキャパシタC4〜C6)に格納され、スイッチY1〜Y3の選択動作によって順次水平信号線18に読み出される。
水平信号線18に読み出された信号は図示しない出力バッファ29を通して適当なゲインに増幅もしくは減幅された後、後段の図示しない外部回路100におけるA/D変換部110によりデジタル変換され、さらにデジタル信号処理部130により適当なゲインに増幅もしくは減幅され、出力される。
次に、間引き加算する状態で出力するときには、カラーフィルタ(色分離フィルタ)が存在するときは、たとえば図12および図13に示したように、飛び飛びに読み出され、加算される。この際、加算処理時には、メモリ回路部27のラインメモリとしての機能要素であるサンプルホールドキャパシタCbを利用する。以下具体的に説明する。
先ず、1行目の3列分の画素情報を纏めて1つのサンプルホールドキャパシタCbとしてのキャパシタC4に取り込む準備をする。このため、先ず、キャパシタC1とスイッチS5との接続ノードとキャパシタC2とスイッチS6との接続ノード間をスイッチS1で、キャパシタC2とスイッチS6との接続ノードとキャパシタC3とスイッチS7との接続ノード間をスイッチS2で、それぞれ接続する。その他のスイッチS3〜S10、Y1〜Y3をそれぞれ開放(オープン)にする。
そして、この状態で、図20に示すように、スイッチS5,S8を閉じて、1行目の3列分の画素P11,P12,P13(図中白抜きの画素)のリセットレベルをキャパシタC4に読み出す。
この後、その後スイッチS8を切り、図21の状態にした後、1行目の画素の信号レベルをキャパシタC4に読み出す。この動作により、キャパシタC4には、1行目の3列分の画素P11,P12,P13の情報が合成(加算に相当)されて格納される。
ここで、“合成(加算に相当)”といったのは、3列分の画素を加算する際には、結合キャパシタCa(本例ではC1〜C3)と、サンプルホールドキャパシタCb(本例ではC4)との間での容量結合による加算処理を行なうので、3つのキャパシタC3と1つのキャパシタC4との間での容量分配による効果のため、単純な加算処理にはならないからである。しかしながら、この過程での処理は、3列分の画素情報を纏めて1つのキャパシタC4に取り込むというものであるから、数学的な意義は、加算処理である。
次に、上記に準じて、2行目の3列分の画素P21,P22,P23(図中斜線ハッチングの画素)の情報をキャパシタC4に取り込む。たとえば、先ず、2行目の3列分の画素情報を纏めて1つのサンプルホールドキャパシタCbとしてのキャパシタC5に取り込む準備をする。このため、図示を割愛するが、先ず、キャパシタC1とスイッチS5との接続ノードとキャパシタC2とスイッチS6との接続ノード間をスイッチS1で、キャパシタC2とスイッチS6との接続ノードとキャパシタC3とスイッチS7との接続ノード間をスイッチS2で、それぞれ接続する。その他のスイッチS3〜S10、Y1〜Y3をそれぞれ開放(オープン)にする。
そして、この状態で、スイッチS6,S9を閉じて、2行目の3列分の画素P21,P22,P23のリセットレベルをキャパシタC5に読み出す。
その後、スイッチS9を切って図22の状態にした後、2行目の画素の信号レベルをキャパシタC5に読み出す。この動作により、キャパシタC5には、2行目の3列分の画素P21,P22,P23の情報が合成(加算に相当)されて格納される。
また、3行目の3列分の画素P31,P32,P33(図中ドットで示す画素)の情報をキャパシタC6に取り込む。たとえば、先ず、3行目の3列分の画素情報を纏めて1つのサンプルホールドキャパシタCbとしてのキャパシタC6に取り込む準備をする。このため、図示を割愛するが、先ず、キャパシタC1とスイッチS5との接続ノードとキャパシタC2とスイッチS6との接続ノード間をスイッチS1で、キャパシタC2とスイッチS6との接続ノードとキャパシタC3とスイッチS7との接続ノード間をスイッチS2で、それぞれ接続する。その他のスイッチS3〜S10、Y1〜Y3をそれぞれ開放(オープン)にする。
そして、この状態で、スイッチS7,S10を閉じて、3行目の3列分の画素P31,P32,P33のリセットレベルをキャパシタC6に読み出す。
図示を割愛するが、その後、スイッチS10を切り、3行目の画素の信号レベルをキャパシタC6に読み出す。この動作により、キャパシタC6には、3行目の3列分の画素P31,P32,P33の情報が合成(加算に相当)されて格納される。
このように、行ごとに処理対象画素(本例では3列分)の画素情報を読み出しては、その3列分の合成(実質的には加算)を取って、それぞれ1個のサンプルホールドキャパシタCbに読み出す動作を行なうことで、同一行の3列分の信号を、メモリ回路部27におけるそれぞれ対応する1個のサンプルホールドキャパシタCb(本例ではC4,C5,C6)に加算して格納することができる。
この同一行の3列分の加算処理の後、図23に示すように、結合キャパシタCa(本例ではC1〜C3)とサンプルホールドキャパシタCb(本例ではC4〜C6)との間の接続を制御するスイッチSa(本例ではS5〜S7)を開放状態(オープン)にして、スイッチSaとサンプルホールドキャパシタCb(本例ではC4,C5,C6)との接続ノードにおいて隣接する列間の接続を制御するスイッチS3,S4を閉じる。
この動作は、サンプルホールドキャパシタCb(本例ではC4,C5,C6)に格納されていた各行の信号を容量分配することであり、数学的な意義は平均化処理である。また、サンプルホールドキャパシタCb(本例ではC4,C5,C6)には、それぞれ各行の3列分の情報が加算されて格納されているので、結果的には、単位画素ブロック(本例では3行×3列分)の同一色の画素の情報を全て加算して平均化して出力することになる。
この3行×3列分の画素の情報を平均化したサンプルホールドキャパシタCb(本例ではC4,C5,C6)に保持されている情報を水平信号線18に読み出す際には、スイッチY1〜3のうちの少なくとも1つをオンさせるとよい。結果的には、3行×3列分の画素の情報を平均化して、擬似的に1画素分の画素情報として読み出すことを意味する。
以上説明したように、第1実施形態の間引き加算処理部25によれば、間引き加算処理を行なうに際して、CDS処理部26の機能要素でもあるサンプルホールドキャパシタCbを1列分のラインメモリとして利用して、単位画素ブロックの画素情報を加算し、平均化するようにした。
つまり、間引き加算処理部25として、処理単位ブロック内の同一色の画素からの各画素信号を纏めて保持可能な複数の記憶素子として、CDS処理部26におけるサンプルホールドキャパシタを利用するメモリ回路部27を用意する。接続制御部28(本例ではスイッチS1,S2)を利用して、同一色の画素を持つ複数列を接続して、それら複数列の画素情報を共通のサンプルホールドキャパシタCbに導くことで加算処理を実現する。さらに、加算処理された複数列のサンプルホールドキャパシタCbを接続制御部28(本例ではスイッチS3,S4)を利用して接続することで、行ごとに加算した複数列の加算結果を平均化する。
これにより、回路規模(特にメモリ回路の規模)を特願2003−043897号の仕組みよりも低減しつつ、擬似的に画素面積(画素幅)を増大させ、ナイキスト周波数以上の空間周波数領域においてMTF値を減少させることで、折返しノイズを低減することができ、偽色の少ない間引き加算処理を実現できる。間引き加算処理が可能な撮像装置を構成するに当たり、ナイキスト周波数の減少による折返しノイズの問題を簡易な構成で解決できるようになる。
また、一度加算した結果を平均化して1画素分の画素情報として水平信号線18に出力する構成を採っているので、後段へ送られる信号レベルを概ね単位画素3の飽和レベルに維持することができ、たとえばA/D変換部110以降の回路の入力ダイナミックレンジが狭い場合に有効となる。
また、CDS処理部26が備えるサンプルホールドキャパシタCbをメモリ回路部27の1行分のラインメモリとして利用しているので、CDS処理部26と独立にメモリ回路部27用のメモリ素子を設ける必要がなく、回路をよりコンパクトにできる。
つまり、空間周波数をなるべく落とさない方法で間引き加算処理ができることに加えて、チップの多くの面積を占める、メモリ素子としてのキャパシタの数を減らすことで、チップ面積を小さくし、チップコストも下げることができ、一般消費者に、安くて、高品質な製品を供給できるようになる。
また、チップから出力される出力信号量も減るので、高フレームレートでの信号出力や、フレームレートを落とすことによって、全体のシステムの、低消費電力化が行なえる。
<間引き加算処理の動作の実現手法;第2実施形態>
図24は、上述した間引き加算処理の動作を実現するための回路構成の第2実施形態を示す図である。
この第2実施形態の構成は、図24に示した第1実施形態の間引き加算処理部25における、スイッチSaとサンプルホールドキャパシタCbの接続ノードにおいて、隣接する奇数列間(たとえば1列目と3列目、3列目と5列目など)もしくは隣接する偶数列間(たとえば2列目と4列目、4列目と6列目など)の接続を制御パルスTに従って制御するスイッチSeを割愛している点が、第1実施形態と異なる。
つまり、メモリ回路部27の1列分ラインメモリとして機能するサンプルホールドキャパシタCb間を繋ぐスイッチSeを無くしている。この場合、スイッチY1〜Y3が、単位画素ブロック内の同色の色分離フィルタが形成された画素を持つ複数列のサンプルホールドキャパシタCbに格納されている、処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御する機能を果たす。
図25は、図24に示した第2実施形態の間引き加算処理部25において、上述した間引き加算処理の動作を実現する手法の具体例を説明する図である。
メモリ回路部27の1列分ラインメモリとして機能するサンプルホールドキャパシタCb間を繋ぐスイッチSeを無くしているので、第1実施形態の構成におけるスイッチSeに関わる動作が異なる。
すなわち、行ごとに処理対象画素(本例では3列分)の画素情報を読み出しては、その3列分の合成(実質的には加算)を取って、それぞれ1個のサンプルホールドキャパシタCbに読み出す動作を行なうことで、3行分の信号を、メモリ回路部27におけるそれぞれ対応する1個のサンプルホールドキャパシタCb(本例ではC4,C5,C6)に格納する(同一行の3列分の加算処理)までは、第1実施形態と同様である(図19〜図22参照)。
この後には、図25に示すように、スイッチY1〜Y3の全てを同時にオンすることで、各サンプルホールドキャパシタCb(本例ではC4,C5,C6)に保持された同一行の3列分の加算結果を、同時に水平信号線18に読み出す。
サンプルホールドキャパシタCb(本例ではC4,C5,C6)には、それぞれ各行の3列分の情報が加算されて格納されているので、結果的には、単位画素ブロック(本例では3行×3列分)の同一色の画素の情報を加算して、擬似的に1画素分の画素情報として読み出すことを意味する。
このように、第2実施形態の間引き加算処理部25においても、間引き加算処理を行なうに際して、CDS処理部26の機能要素でもあるサンプルホールドキャパシタCbを1列分のラインメモリとして利用して、単位画素ブロックの画素情報を加算して出力するようにしたので、回路規模(特にメモリ回路の規模)を特願2003−043897号の仕組みよりも低減しつつ、擬似的に画素面積(画素幅)を増大させ、ナイキスト周波数以上の空間周波数領域においてMTF値を減少させることで、折返しノイズを低減することができ、偽色の少ない間引き加算処理を実現できる。
なお、第1実施形態の間引き加算処理部25とは異なり、平均化処理がなされずに、単位画素ブロック(本例では3行×3列分)の同一色の画素の情報を全て加算して出力するので、通常読み出し時と比べて信号量が3倍になる。よって、後段の回路のダイナミックレンジに考慮する必要がある。
しかしながら、間引き加算処理という観点では、加算と平均化はゲイン1/3違うだけであり、この点を無視すれば、同じ意義を持つ。
なお、第1および第2実施形態の間引き加算処理部25では、行ごとにスイッチSa(本例ではスイッチS5〜S7)を切り替えることで各行の加算結果を垂直列ごとに設けられた個別のサンプルホールドキャパシタCb(本例ではキャパシタC4〜C6)に保持させたが、何れか1つのサンプルホールドキャパシタCbに同色の全ての画素情報を保持させて加算し、そのサンプルホールドキャパシタCbから加算結果を読み出すことで、単位画素ブロック(本例では3行×3列分)の同一色の画素の情報を全て加算して、擬似的に1画素分の画素情報として読み出すこともできる。
なお、特願2003−043897号の仕組みにおいても、単位画素ブロック内の同色の画素情報を加算する処理の実現に当たって、同一色の画素情報をメモリ回路部から水平信号線上へ同時に読み出すことによって実現する仕組みが提案されているが、CDS処理部とは独立にメモリ回路部を備えており、全体の回路規模が大きい。
これに対して、この第2実施形態では、“同一色の画素情報をメモリ回路部から水平信号線上へ同時に読み出す”という点で似通っているが、CDS処理部26が備えるサンプルホールドキャパシタCbをメモリ回路部27の1行分のラインメモリとして利用しているので、CDS処理部26と独立にメモリ回路部27用のメモリ素子を設ける必要がなく、回路をよりコンパクトにできる利点がある。
つまり、空間周波数をなるべく落とさない方法で間引き加算処理ができることに加えて、チップの多くの面積を占める、メモリ素子としてのキャパシタの数を減らすことで、チップ面積を小さくし、チップコストも下げることができ、一般消費者に、安くて、高品質な製品を供給できるようになる。
なお、第1実施形態や第2実施形態の間引き加算処理部25の具体的な説明においては、図12および図13に示した3×3の画素ブロックを単位画素ブロックとした場合を例に挙げて説明したが、これに限られるものではなく、図示を割愛するが、上記で説明したその他の間引き加算処理の動作の全てに、同様の仕組みを適用でき、同様の効果を享受することができる。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
たとえば、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするCMOS型の固体撮像装置について例示したが、物理量の変化を検知するあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置など、その他の物理的な変化を検知する仕組みにも同様に適用できる。
本発明の一実施形態に係るCMOS固体撮像装置の概略構成図である。 間引き加算処理時の駆動方法の第1実施形態を説明する図である。 間引き加算処理時の駆動方法の第1実施形態の変形例を説明する図である。 間引き加算処理時の駆動方法の第1実施形態の変形例を説明する図である。 間引き加算処理時の駆動方法の第1実施形態の変形例を説明する図である。 間引き加算処理時の駆動方法の第2実施形態を説明する図である。 間引き加算処理時の駆動方法の第2実施形態を説明する図である。 間引き加算処理時の駆動方法の第2実施形態を説明する図である。 間引き加算処理時の駆動方法の第2実施形態の変形例(その1)を説明する図である(偶数時のk=1)。 間引き加算処理時の駆動方法の第2実施形態の変形例(その1)を説明する図である(偶数時のk=1)。 間引き加算処理時の駆動方法の第2実施形態の変形例(その1)を説明する図である(偶数時のk=1)。 間引き加算処理時の駆動方法の第2実施形態の変形例(その2)を説明する図である(奇数時のk=1)。 間引き加算処理時の駆動方法の第2実施形態の変形例(その2)を説明する図である(奇数時のk=1)。 間引き加算処理時の駆動方法の第2実施形態の変形例(その2)を説明する図である(奇数時のk=1)。 間引き加算処理時の駆動方法の第2実施形態の変形例(その3)を説明する図である。 間引き加算処理時の駆動方法の第2実施形態の変形例(その3)を説明する図である(奇数時のk=1)。 間引き加算処理時の駆動方法の第2実施形態の変形例(その3)を説明する図である(奇数時のk=1 間引き加算処理の動作を実現するための回路構成の第1実施形態を示す図である。 図18に示した第1実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 図18に示した第1実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 図18に示した第1実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 図18に示した第1実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 図18に示した第1実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 間引き加算処理の動作を実現するための回路構成の第2実施形態を示す図である。 図24に示した第2実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。
符号の説明
1…固体撮像装置、3…単位画素、7…駆動制御部、10…撮像部、100…外部回路、12…水平走査回路、14…垂直走査回路、20…タイミングジェネレータ、25…間引き加算処理部、26…CDS処理部、27…メモリ回路部、28…接続制御部、29…出力バッファ

Claims (31)

  1. 物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についての所定の検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得方法であって、
    前記単位構成要素から前記単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、
    当該処理単位ブロック内の一方の方向における前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を共通の処理回路に導くことで、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする物理情報取得方法。
  2. 前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を加算して前記処理単位ブロックの情報として読み出す
    ことを特徴とする請求項1に記載の物理情報取得方法。
  3. 前記加算した情報を平均化して前記処理単位ブロックの情報として読み出す
    ことを特徴とする請求項2に記載の物理情報取得方法。
  4. 前記単位構成要素が行列状に配されている場合、
    行方向および列方向にて前記所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを前記処理単位ブロックとし、
    列ごと設けられた処理回路を行ごとに切り替えることで、前記処理単位ブロック内の前記行方向における同一行の前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を、列ごと設けられた前記処理回路の何れかに共通に導く
    ことを特徴とする請求項1に記載の物理情報取得方法。
  5. 前記単位構成要素のそれぞれには、所定のカラーコーディングを持つ色分離フィルタが形成されており、
    同色の前記色分離フィルタを前記所定の条件として、当該同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項1に記載の物理情報取得方法。
  6. 前記単位構成要素が行列状に配されている場合、
    前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、
    kを0以上の正の整数とするとき、1/(k+2)×(k+2)の割合で画素情報量を圧縮する過程において、間引き加算する処理単位ブロックが交互に重なり合いながら敷き詰められた状態で、(k+2)×(k+2)の前記単位構成要素を間引き加算する
    ことを特徴とする請求項5に記載の物理情報取得方法。
  7. 前記単位構成要素が行列状に配されている場合、
    前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、
    kを0以上の正の整数とするとき、1/(2k+3)×(2k+3)の割合で画素情報量を圧縮する過程において、(2k+3)×(2k+3)のブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項5に記載の物理情報取得方法。
  8. 前記単位構成要素が行列状に配されている場合、
    前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、 kを0以上の正の整数とするとき、(2k+3)×(2k+3)のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項5に記載の物理情報取得方法。
  9. 前記単位構成要素が行列状に配されている場合、
    前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、 kを0以上の正の整数とするとき、(2k+2)×(2k+2)のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項5に記載の物理情報取得方法。
  10. 前記単位構成要素が行列状に配されている場合、
    前記所定のカラーコーディングは4行4列を単位とし、その単位の繰り返しであり、 kを0以上の正の整数とするとき、(2k+3)×(2k+3)の画素ブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項5に記載の物理情報取得方法。
  11. 物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についての所定の検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得装置であって、
    前記単位構成要素から前記単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、当該処理単位ブロック内の一方の方向における前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を共通の処理回路に導くことで、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を擬似的に1つの処理単位ブロックの情報として読み出す駆動制御部を備えている
    ことを特徴とする物理情報取得装置。
  12. 前記駆動制御部は、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を加算して前記処理単位ブロックの情報として読み出す
    ことを特徴とする請求項11に記載の物理情報取得装置。
  13. 前記駆動制御部は、前記加算した情報を平均化して前記処理単位ブロックの情報として読み出す
    ことを特徴とする請求項12に記載の物理情報取得装置。
  14. 前記処理回路は、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を纏めて保持可能な複数の記憶素子と、
    前記複数の記憶素子の何れに前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を纏めるかを制御する接続制御部と
    を備えている
    ことを特徴とする請求項11に記載の物理情報取得装置。
  15. 前記記憶素子は、前記単位構成要素からの単位信号に含まれるノイズ成分を抑制する処理にも使用されるものである
    ことを特徴とする請求項14に記載の物理情報取得装置。
  16. 前記半導体装置は、前記単位構成要素が行列状に配されており、
    前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列を接続して、それら複数列の単位信号を共通の前記記憶素子に導くように切替制御するスイッチを有する
    ことを特徴とする請求項14に記載の物理情報取得装置。
  17. 前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子を接続して、当該複数列の記憶素子に保持されている各行の複数列分の情報を加算し、この加算した結果を平均化するように切替制御するスイッチを有する
    ことを特徴とする請求項16に記載の物理情報取得装置。
  18. 前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子に格納されている前記処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御するスイッチを有する
    ことを特徴とする請求項16に記載の物理情報取得装置。
  19. 前記半導体装置は、前記単位構成要素が行列状に配されており、
    前記駆動制御部は、行方向および列方向にて前記所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを前記処理単位ブロックとし、列ごと設けられた処理回路を行ごとに切り替えることで、前記処理単位ブロック内の前記行方向における同一行の前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を、列ごと設けられた前記処理回路の何れかに共通に導く
    ことを特徴とする請求項11に記載の物理情報取得装置。
  20. 前記半導体装置は、前記単位構成要素のそれぞれには、所定のカラーコーディングを持つ色分離フィルタが形成されており、
    前記駆動制御部は、同色の前記色分離フィルタを前記所定の条件として、当該同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項11に記載の物理情報取得装置。
  21. 前記半導体装置は、前記単位構成要素が行列状に配され、かつ、前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、
    前記駆動制御部は、kを0以上の正の整数とするとき、1/(k+2)×(k+2)の割合で画素情報量を圧縮する過程において、間引き加算する処理単位ブロックが交互に重なり合いながら敷き詰められた状態で、(k+2)×(k+2)の前記単位構成要素を間引き加算する
    ことを特徴とする請求項20に記載の物理情報取得装置。
  22. 前記半導体装置は、前記単位構成要素が行列状に配され、かつ、前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、
    前記駆動制御部は、kを0以上の正の整数とするとき、1/(2k+3)×(2k+3)の割合で画素情報量を圧縮する過程において、(2k+3)×(2k+3)のブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項20に記載の物理情報取得装置。
  23. 前記半導体装置は、前記単位構成要素が行列状に配され、かつ、前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、
    前記駆動制御部は、kを0以上の正の整数とするとき、(2k+3)×(2k+3)のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項20に記載の物理情報取得装置。
  24. 前記半導体装置は、前記単位構成要素が行列状に配され、かつ、前記所定のカラーコーディングは2行2列を単位とし、その単位の繰り返しであり、
    前記駆動制御部は、kを0以上の正の整数とするとき、(2k+2)×(2k+2)のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項20に記載の物理情報取得装置。
  25. 前記半導体装置は、前記単位構成要素が行列状に配され、かつ、前記所定のカラーコーディングは4行4列を単位とし、その単位の繰り返しであり、
    前記駆動制御部は、kを0以上の正の整数とするとき、(2k+3)×(2k+3)の画素ブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に1つの処理単位ブロックの情報として読み出す
    ことを特徴とする請求項20に記載の物理情報取得装置。
  26. 物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置であって、
    前記単位構成要素から前記単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、当該処理単位ブロック内の一方の方向における前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を共通の処理回路に導くことで、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を擬似的に1つの処理単位ブロックの情報として読み出す駆動制御部を備えている
    ことを特徴とする半導体装置。
  27. 前記処理回路は、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を纏めて保持可能な複数の記憶素子と、
    前記複数の記憶素子の何れに前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を纏めるかを制御する接続制御部と
    を備えている
    ことを特徴とする請求項26に記載の半導体装置。
  28. 前記記憶素子は、前記単位構成要素からの単位信号に含まれるノイズ成分を抑制する処理にも使用されるものである
    ことを特徴とする請求項26に記載の半導体装置。
  29. 前記単位構成要素が行列状に配されており、
    前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列を接続して、それら複数列の単位信号を共通の前記記憶素子に導くように切替制御するスイッチを有する
    ことを特徴とする請求項27に記載の半導体装置。
  30. 前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子を接続して、当該複数列の記憶素子に保持されている各行の複数列分の情報を加算し、この加算した結果を平均化するように切替制御するスイッチを有する
    ことを特徴とする請求項29に記載の半導体装置。
  31. 前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子に格納されている前記処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御するスイッチを有する
    ことを特徴とする請求項29に記載の半導体装置。
JP2004195503A 2004-07-01 2004-07-01 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 Expired - Fee Related JP4826071B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004195503A JP4826071B2 (ja) 2004-07-01 2004-07-01 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004195503A JP4826071B2 (ja) 2004-07-01 2004-07-01 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置

Publications (3)

Publication Number Publication Date
JP2006020037A true JP2006020037A (ja) 2006-01-19
JP2006020037A5 JP2006020037A5 (ja) 2007-08-09
JP4826071B2 JP4826071B2 (ja) 2011-11-30

Family

ID=35793856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004195503A Expired - Fee Related JP4826071B2 (ja) 2004-07-01 2004-07-01 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置

Country Status (1)

Country Link
JP (1) JP4826071B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129581A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置及び撮像システム
WO2010046982A1 (ja) * 2008-10-23 2010-04-29 株式会社島津製作所 光または放射線撮像装置
JP2010118839A (ja) * 2008-11-12 2010-05-27 Canon Inc 撮像装置
JP2010258828A (ja) * 2009-04-24 2010-11-11 Sony Corp 固体撮像素子およびその駆動方法、並びにカメラシステム
JP2012019516A (ja) * 2010-07-07 2012-01-26 Hynix Semiconductor Inc イメージセンサのカラム回路およびピクセルビニング回路
JP2012231524A (ja) * 2012-07-11 2012-11-22 Canon Inc 撮像システム
WO2013153991A1 (ja) * 2012-04-09 2013-10-17 オリンパスメディカルシステムズ株式会社 固体撮像装置
JP2015154089A (ja) * 2014-02-10 2015-08-24 キヤノン株式会社 光電変換装置及びそれを用いた撮像システム
JP5877931B2 (ja) * 2013-05-23 2016-03-08 富士フイルム株式会社 画素補間装置およびその動作制御方法
JP5883992B2 (ja) * 2013-05-23 2016-03-15 富士フイルム株式会社 画素混合装置およびその動作制御方法
WO2023286297A1 (ja) * 2021-07-16 2023-01-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718181B (zh) * 2018-07-12 2021-09-21 杭州海康威视数字技术股份有限公司 信号源备份方法、装置、系统及led控制器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182005A (ja) * 1994-12-22 1996-07-12 Canon Inc 光電変換装置
JPH09247689A (ja) * 1996-03-11 1997-09-19 Olympus Optical Co Ltd カラー撮像装置
JP2001292453A (ja) * 2000-04-07 2001-10-19 Canon Inc カラー撮像装置及びそれを用いた撮像システム
JP2002330349A (ja) * 2001-04-26 2002-11-15 Fujitsu Ltd Xyアドレス型固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182005A (ja) * 1994-12-22 1996-07-12 Canon Inc 光電変換装置
JPH09247689A (ja) * 1996-03-11 1997-09-19 Olympus Optical Co Ltd カラー撮像装置
JP2001292453A (ja) * 2000-04-07 2001-10-19 Canon Inc カラー撮像装置及びそれを用いた撮像システム
JP2002330349A (ja) * 2001-04-26 2002-11-15 Fujitsu Ltd Xyアドレス型固体撮像装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129581A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置及び撮像システム
WO2010046982A1 (ja) * 2008-10-23 2010-04-29 株式会社島津製作所 光または放射線撮像装置
JP2010118839A (ja) * 2008-11-12 2010-05-27 Canon Inc 撮像装置
JP2010258828A (ja) * 2009-04-24 2010-11-11 Sony Corp 固体撮像素子およびその駆動方法、並びにカメラシステム
JP2012019516A (ja) * 2010-07-07 2012-01-26 Hynix Semiconductor Inc イメージセンサのカラム回路およびピクセルビニング回路
WO2013153991A1 (ja) * 2012-04-09 2013-10-17 オリンパスメディカルシステムズ株式会社 固体撮像装置
JP5409976B1 (ja) * 2012-04-09 2014-02-05 オリンパスメディカルシステムズ株式会社 固体撮像装置
US8829411B2 (en) 2012-04-09 2014-09-09 Olympus Medical Systems Corp. Solid-state imaging device
JP2012231524A (ja) * 2012-07-11 2012-11-22 Canon Inc 撮像システム
JP5877931B2 (ja) * 2013-05-23 2016-03-08 富士フイルム株式会社 画素補間装置およびその動作制御方法
JP5883992B2 (ja) * 2013-05-23 2016-03-15 富士フイルム株式会社 画素混合装置およびその動作制御方法
US10306196B2 (en) 2013-05-23 2019-05-28 Fujifilm Corporation Pixel mixing device and method for controlling operation of same
JP2015154089A (ja) * 2014-02-10 2015-08-24 キヤノン株式会社 光電変換装置及びそれを用いた撮像システム
WO2023286297A1 (ja) * 2021-07-16 2023-01-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
JP4826071B2 (ja) 2011-11-30

Similar Documents

Publication Publication Date Title
US7623172B2 (en) Solid-state image pickup device and drive method thereof
JP5342969B2 (ja) 撮像装置及び撮像方法
TWI504256B (zh) 固態成像裝置,其訊號處理方法,及電子設備
JP4821921B2 (ja) 固体撮像装置および電子機器
JP4951440B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP4833213B2 (ja) 撮像データ処理装置、撮像データ処理方法および撮像素子
JP4609092B2 (ja) 物理情報取得方法および物理情報取得装置
KR20090125006A (ko) 고체 촬상 장치, 촬상 장치, 및 고체 촬상 장치의 구동 방법
JP2010263526A (ja) 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP2009060342A (ja) 撮像装置及びccd型固体撮像素子の駆動方法
US8896736B2 (en) Solid-state imaging device, imaging apparatus and signal reading method having photoelectric conversion elements that are targets from which signals are read in the same group
JP6872956B2 (ja) 撮像システム及び撮像システムの制御方法
JP4826071B2 (ja) 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP2007129581A (ja) 撮像装置及び撮像システム
JP2004229119A (ja) Mos型固体撮像素子およびこれを備えた撮像装置
JP5625298B2 (ja) 撮像装置
US9407822B2 (en) Image capturing apparatus capable of reducing time taken to display image on display and method of controlling the same
JP4232714B2 (ja) 読出アドレス制御方法、物理情報取得装置、および半導体装置
JPWO2003034714A1 (ja) 固体撮像装置
JP2005086245A (ja) 固体撮像装置
JP2006135481A (ja) 信号処理方法および信号処理装置並びに物理量分布検知のための半導体装置
JP2006148509A (ja) 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP4599993B2 (ja) 物理情報取得方法および物理情報取得装置
JP4468052B2 (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070625

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees