JP2021114652A - Tdi方式イメージセンサ、及び撮像装置 - Google Patents

Tdi方式イメージセンサ、及び撮像装置 Download PDF

Info

Publication number
JP2021114652A
JP2021114652A JP2020005270A JP2020005270A JP2021114652A JP 2021114652 A JP2021114652 A JP 2021114652A JP 2020005270 A JP2020005270 A JP 2020005270A JP 2020005270 A JP2020005270 A JP 2020005270A JP 2021114652 A JP2021114652 A JP 2021114652A
Authority
JP
Japan
Prior art keywords
tdi
pixel
horizontal
vertical
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020005270A
Other languages
English (en)
Other versions
JP7278226B2 (ja
Inventor
淳治 中西
Junji Nakanishi
淳治 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2020005270A priority Critical patent/JP7278226B2/ja
Publication of JP2021114652A publication Critical patent/JP2021114652A/ja
Application granted granted Critical
Publication of JP7278226B2 publication Critical patent/JP7278226B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】 相対位置が理想的な関係に保たれるN枚の格子画像を出力し得るTDI方式イメージセンサを提供する。【解決手段】複数の垂直転送部は、相連続するN個の垂直転送部から成る複数の群に分割され、各群のN個の垂直転送部に対応するN個の電荷蓄積制御ゲート(9)は、それぞれ1撮像周期中に1回、かつ一つずつ順に選択され、対応する電荷蓄積部(8)から水平転送部への信号電荷の送出を行わせる。【選択図】 図1

Description

本開示は、TDI方式イメージセンサ、及び撮像装置に関する。本開示は特に、リモートセンシング等の分野で用いるのに適したTDI方式イメージセンサ、及びこれを用いた撮像装置に関する。
半導体基板に形成された画素アレイを備えたイメージセンサが多く開発されている。画像解像度を向上させるには画素ピッチを小さくすることが望ましいが、画素ピッチを小さくすると、画素の面積が小さくなり入射光量が減少し、S/Nが劣化する。イメージセンサは、例えばリモートセンシングに利用される。
リモートセンシングでは、解像度の高いモノクロ画像を撮像するパンクロマチック検出器(PA検出器)と、RGB等のカラー画像を撮像する複数のマルチスペクトル検出器(MU検出器)とを組み合わせ、これら2種類の画像を合成(パンシャープン処理)することによって高解像度のカラー画像を得る場合がある。「PA」は、Panchromaticを表し、「MU」は、Multi−Spectrumを表す。MU検出器は入射面側に分光フィルタを装着することで色情報を得るが、分光フィルタによって入射光量が減少するため、画素サイズをPA検出器に比べて大きくすることで感度を確保している。
イメージセンサのS/Nを改善するための方法としてTDI方式がある。ここで「TDI」は、Time Delay and Integration(時間遅延積分)の略である。TDI方式は、2次元イメージセンサであるFFT型CCDを用い、電荷転送を被写体像の移動に同期させる。ここで「FFT」は、Full Frame Transfer(フル・フレーム・トランスファ)の略であり、「CCD」はCharge Coupled Devicesの略である。リモートセンシングの場合、垂直方向の電荷転送を衛星の移動速度に合わせることでTDI動作が実現できる。垂直CCDでM段(M:整数)のTDI動作を行うと、蓄積時間が実効的にM倍となるため、感度がM倍になり、S/Nは√M倍に改善される。
また、画像解像度を向上させる方法として、オーバーサンプリングという手法がある。オーバーサンプリングでは、画素ピッチが等しい2本のイメージセンサを用い、これらを互いに垂直方向及び水平方向に画素ピッチの1/2だけずれた撮像画像が得られるように配置し、得られた2枚の撮像画像を合成することで、斜め格子の画像を生成し、さらに画素補間することによって、解像度が2倍の高精細画像を得る。オーバーサンプリングでは2本のイメージセンサの相対的な位置関係が正確であることが重要であり、別々のチップを並べて実装するといった方法では位置精度が不足する。そのため、一つのチップ上に2本のイメージセンサを半導体製造プロセスによって形成するといった方法が採用される。
イメージセンサの数を2に限定せず、一般化して、N本(N:2以上の整数)のイメージセンサを用いることも提案されている。N本のイメージセンサを用いる場合、これらは互いに垂直方向及び水平方向に画素ピッチの1/Nずつずれた撮像画像が得られるように配置される。
特許文献1の図3及び図4は、2本のイメージセンサの組み合わせでオーバーサンプリング検出器を構成した人工衛星搭載光学センサの例である。
特許第5042675号明細書
特許文献1に記載のように、2本のイメージセンサの組み合わせでオーバーサンプリングを行う場合、2枚の撮像画像が垂直方向及び水平方向にそれぞれ画素ピッチの1/2だけずれた撮像画像を得る必要がある。垂直方向及び水平方向にそれぞれ画素ピッチの1/2だけずれた撮像画像を得るには、イメージセンサを水平方向に画素ピッチの1/2だけずれ、かつ垂直方向1/2と0以上の整数との和と画素ピッチとの積で与えられる距離だけずれた位置に配置すれば良い。
半導体製造プロセスを用いて単一チップ上に2本のイメージセンサを形成することで、2本のイメージセンサの相対位置については、高い精度を実現することができる。一方、被写体像の移動方向は、衛星の摂動の影響、姿勢制御の問題等のために変動する場合がある。この変動があると、2枚の撮像画像の相対位置が理想とする位置関係から外れてしまう。特に、2本のイメージセンサ間の垂直方向の距離Lに比例して撮像画像間のずれ量が拡大する。また、撮像光学系の影響で被写体像(検出器面上に投影される光学像)に歪がある場合にも、イメージセンサ間の距離Lが大きいほど、2枚の撮像画像の相対位置の、理想とする位置関係からのずれが大きくなる。
このように、2本のイメージセンサの組み合わせを用いる従来のオーバーサンプリング検出器では、イメージセンサ間の距離Lが大きいほど2枚の撮像画像の相対位置の、理想的な位置関係からのずれが大きくなり、合成画像の質が低下する。
また、2本のイメージセンサの組み合わせを用いる従来のオーバーサンプリング検出器は、イメージセンサを単独で使用する場合に比べて出力チャネル数及び消費電力が倍増する。そのため、そのような従来のオーバーサンプリング検出器を用いた撮像装置は、消費電力が増加して装置が大型化するといった問題があった。とりわけ、カラー撮像装置の場合は、MU検出器として色(バンド)の数に応じた数のイメージセンサを配置するため、この問題がより顕著になっていた。
これらの問題は、オーバーサンプリングのために組み合わせて用いられるイメージセンサの数が増えるほど一層顕著となる。
本開示に係るTDI方式イメージセンサは、
水平方向及び垂直方向に配列され、各々光電変換を行う複数のサブ画素を有する画素アレイと、
水平方向の異なる位置において垂直方向に配列された複数の前記サブ画素で光電変換により発生された信号電荷を時間遅延積分して前記垂直方向に転送する複数の垂直転送部と、
前記複数の垂直転送部により転送された信号電荷を水平方向に転送する水平転送部と、
前記水平転送部により転送された信号電荷の量を表す画素信号を出力する少なくとも一つの出力回路と、
それぞれ前記複数の垂直転送部に対応して設けられ、各々対応する垂直転送部で転送された信号電荷を蓄積する複数の電荷蓄積部と、
それぞれ前記電荷蓄積部に対応して設けられ、各々対応する電荷蓄積部に蓄積された信号電荷の、前記水平転送部への送出を制御する複数の電荷蓄積制御ゲートとを有し、
前記複数の垂直転送部は、各々相連続するN個(Nは2以上の整数)の前記垂直転送部から成る複数の群に分割され、
前記垂直転送部は、1撮像周期中に、サブ画素N個分の垂直転送を行ない、
各群のN個の垂直転送部に対応するN個の電荷蓄積制御ゲートは、それぞれ1撮像周期中に1回、かつ一つずつ順に選択され、対応する電荷蓄積部から前記水平転送部への信号電荷の送出を行わせる。
本開示に係る撮像装置は、
パンクロマチック検出器と、複数バンドのマルチスペクトル検出器とを有し、
前記パンクロマチック検出器は、N本(Nは2以上の整数)の第1種のTDI方式イメージセンサで構成され、
前記複数バンドのマルチスペクトル検出器は、複数本の第2種のTDI方式イメージセンサで構成され、
前記複数本の第2種のTDI方式イメージセンサは、互いに異なる波長帯の光を透過する分光フィルタが装着されており、
前記第2種のTDI方式イメージセンサは、前記第1種のTDI方式イメージセンサよりも画素ピッチが大きく、
前記N本の第1種のTDI方式イメージセンサは、水平方向に互いに画素ピッチの1/Nずつずれ、かつ垂直方向に互いに1/Nと0以上の整数との和と画素ピッチとの積で与えられる距離ずつずれた位置に配置されており、
前記複数本の第2種のTDI方式イメージセンサの各々は、水平方向に画素ピッチの1/Nずつずれ、かつ垂直方向に画素ピッチの1/NずつずれたN枚の格子画像を出力する。
本開示に係るTDI方式イメージセンサは、単独で、水平方向に画素ピッチの1/Nずつずれかつ垂直方向に画素ピッチの1/NずつずれたN枚の画像を出力することができる。従って、出力されるN枚の画像の相対位置が、理想的な位置関係に保たれる。そのため、上記のN枚の画像を合成することで優れた高精細画像を得ることができる。
本開示に係る撮像装置によれば、複数本の第2種のTDI方式イメージセンサの各々から出力されるN枚の格子画像が、N本の第1種のTDI方式イメージセンサから出力されるN枚の格子画像とそれぞれ同じ画素配列を有するので、第2種のTDI方式イメージセンサの出力に対するオーバーサンプリングの画像処理を第1のTDI方式イメージセンサの出力に対するオーバーサンプリングの画像処理と同じ方法で行うことができ、オーバーサンプリングの画像処理で得られた画像を用いて行われるパンシャープン処理等の画像処理が容易であり、かつ、撮像装置を全体としてより小さくすることができ、消費電力も少なくなる。
実施の形態1によるTDI方式イメージセンサの概略レイアウトを示す平面図である。 図1の概略レイアウトの一部を拡大して詳細に示す図である。 (a)〜(h)は、実施の形態1によるTDI方式イメージセンサの信号加算動作を説明する図である。 実施の形態1によるTDI方式イメージセンサの駆動クロックを示すタイミング図である。 (a)〜(c)は、実施の形態1によるTDI方式イメージセンサを用いたオーバーサンプリングを説明する図である。 実施の形態2によるTDI方式イメージセンサの概略レイアウトを示す平面図である。 図6の概略レイアウトの一部を拡大して詳細に示す図である。 実施の形態2によるTDI方式イメージセンサの駆動クロックを示すタイミング図である。 実施の形態3によるTDI方式イメージセンサの概略レイアウトを示す平面図である。 図9の概略レイアウトの一部を拡大して詳細に示す図である。 実施の形態4によるTDI方式イメージセンサの概略レイアウトを示す平面図である。 実施の形態4によるTDI方式イメージセンサの駆動クロックを示すタイミング図である。 (a)〜(d)は、実施の形態4によるTDI方式イメージセンサを用いたオーバーサンプリングを説明する図である。 実施の形態5による撮像装置の概略構成を示すブロック図である。 実施の形態5による撮像装置の、焦点面構成部の検出器の配置を示す平面図である。 (a)〜(c)は、図15の第1種のTDI方式イメージセンサを用いたオーバーサンプリングを説明する図である。 実施の形態6による撮像装置の、焦点面構成部の検出器の配置を示す平面図である。 (a)〜(d)は、図17の第1種のTDI方式イメージセンサを用いたオーバーサンプリングを説明する図である。 比較例のTDI方式イメージセンサの概略レイアウトを示す平面図である。 (a)〜(e)は、比較例のTDI方式イメージセンサの信号加算動作を説明する図である。 比較例のTDI方式イメージセンサの駆動クロックタイミング図である。 (a)〜(c)は、比較例のTDI方式イメージセンサを用いたオーバーサンプリングを説明する図である。 (a)及び(b)は、比較例のTDI方式イメージセンサを用いたオーバーサンプリング検出器において、被写体像の移動方向と画素アレイの配置方向との関係を示す図である。 (a)及び(b)は、比較例のTDI方式イメージセンサを用いたオーバーサンプリング検出器において、被写体像の歪の例を表す模式図である。
実施の形態1.
図1は実施の形態1によるTDI方式イメージセンサの概略レイアウトを示す平面図である。
以下では、1以上のTDI方式イメージセンサで構成される検出器がリモートセンシング等の分野で使用される場合、例えば人工衛星に搭載され、地表の2次元画像を撮影するために使用される場合を想定して説明する。
図1に示されるTDI方式イメージセンサは、半導体基板に形成されたCCD検出器で構成されものであり、2次元の画素アレイ3を有する。画素アレイ3は、各々光電変換を行う複数のサブ画素2により構成される。
複数のサブ画素2は格子配列されている。サブ画素2の格子配列とは、格子の各格子点にサブ画素2が配置されていることを意味する。従って、サブ画素2は、水平方向(行方向)及び垂直方向(列方向)に配列されている。水平方向の異なる位置において垂直方向に配列されたサブ画素により複数のサブ画素列が形成される。水平方向(行方向)は、図1において横方向であり、垂直方向(列方向)は、図1において縦方向である。
画素アレイ3の、垂直方向に隣り合う2つの行内に位置し、各行内で水平方向に隣り合う2つのサブ画素、即ち2行2列の格子配列されたサブ画素2により1つの画素1が構成されている。1以上のTDI方式イメージセンサで検出器(例えば後述のMU検出器)が構成される場合、画素1は、当該検出器の1つの画素となる。
隣り合う2つのサブ画素列により1つの画素列が構成されている。サブ画素2との区別のため画素1を複合画素と言うことがある。各サブ画素2はいずれか1つの画素1にのみ属する。
サブ画素2は行方向及び列方向に等しいピッチで配置されている。画素1も行方向及び列方向に等しいピッチpで配置されている。画素1のピッチpはサブ画素2のピッチの2倍である。
また、TDI方式イメージセンサでは、垂直方向の画素数に比べて、水平方向の画素数がはるかに多く、TDI方式イメージセンサは、全体として水平方向に細長い形状を有することが一般的である。
以上のように、画素アレイ3は、周期的に配置されたサブ画素2、画素1、及びサブ画素列、及び画素列を有するものである。画素アレイ3は、水平方向に、2つのサブ画素列を1周期とする周期構造を有するものであると言える。
画素アレイの一方の端部、例えば図1において左の端から数えて奇数番目のサブ画素列及び偶数番目のサブ画素列を、以下では単に「奇数番目のサブ画素列」及び「偶数番目のサブ画素列」と言うことがある。
半導体基板内において各サブ画素列に沿って形成された垂直転送チャネル4と、半導体基板表面上に形成された垂直転送電極(図1には示されていない)とにより、垂直転送部としての垂直CCD5が構成されている。
奇数番目のサブ画素列を含む垂直CCDを奇数番目の垂直CCDと言い、偶数番目のサブ画素列を含む垂直CCDを偶数番目の垂直CCDと言う。
ある奇数番目の垂直CCDとそれに対して一方の側、例えば右側で隣接する偶数番目の垂直CCDとは一つの群を成すとみることができる。
各垂直CCD5は、対応するサブ画素列内のサブ画素2で発生した信号電荷を垂直方向に、具体的には、図1において下方に垂直転送する。
垂直CCD5により垂直転送された信号電荷は、水平転送部としての水平CCD6で水平方向に、例えば図1で右方向に水平転送され、水平CCD6の端部に接続された出力回路7から、転送された信号電荷の量を表す画素信号が出力される。
出力回路7から順次出力される画素信号の時系列は、格子画像を表す。格子画像は各格子点を中心とする領域内で発生した信号電荷の量を表す画素信号の集合で構成されている。
TDI方式イメージセンサは、垂直方向がAT方向に一致し、水平方向がCT方向に一致するように、配置されている。ここで「AT」はAlong Trackの略であり、AT方向は衛星の進行方向である。「CT」はCross Trackの略である。CT方向はAT方向に垂直である。
各垂直CCD5の終端、即ち各垂直CCD5と水平CCD6とが互いに接続される部分には電荷蓄積ゲート(ST)8と電荷蓄積制御ゲート(SC)9とが形成されている。
複数の電荷蓄積ゲート8のうち、奇数番目の垂直CCD5の終端に設けられたものを符号8−1で示し、偶数番目の垂直CCD5の終端に設けられたものを符号8−2で示す。同様に、複数の電荷蓄積制御ゲート9のうち、奇数番目の垂直CCD5の終端に設けられたものを符号9−1で示し、偶数番目の垂直CCD5の終端に設けられたものを符号9−2で示す。電荷蓄積ゲート8−1及び8−2は互いに電気的に独立しており、電荷蓄積制御ゲート9−1及び9−2は互いに電気的に独立している。
ゲート8及び9は、図示しない駆動部により制御される。即ち、これらのゲートの制御のためのクロックは、図示しない駆動部から供給される。
各電荷蓄積ゲート8と、垂直転送チャネルのうち当該電荷蓄積ゲート8の下に位置する部分とにより、1つの電荷蓄積部が形成されている。
図2は、図1に示した概略レイアウトにおいて、垂直CCD5と水平CCD6との接続部付近のレイアウトの詳細を示した拡大図である。図2は垂直CCD5が4相駆動CCDである場合を示している。4つの垂直転送電極10−1〜10−4で1組の垂直転送電極10が構成されている。画素アレイ3には複数組の垂直転送電極10が設けられている。
垂直転送電極10−1〜10−4は金属配線15によって入出力パッド16に接続されており、外部から入出力パッド16を介して垂直転送クロックφV1〜φV4が垂直転送電極10−1〜10−4に与えられると、信号電荷が図2で下方へとCCD転送される。このとき、垂直CCDの転送速度を衛星の進行に伴う被写体像の移動速度と一致させるとTDI(時間遅延積分)動作が実現できる。
図2は水平CCD6が2相駆動CCDである場合を示している。隣り合う水平転送電極12−1と水平転送電極13−1とが電気的に接続されて水平転送電極対14−1(H1)を形成する。隣り合う水平転送電極12−2と水平転送電極13−2とが電気的に接続されて水平転送電極対14−2(H2)を形成する。隣り合う水平転送電極対14−1と水平転送電極対14−2とで1組の水平転送電極14を構成する。1組の水平転送電極14とその下に位置する転送チャネル11とで、水平CCD6の1段分を構成する。また、半導体基板内に形成された転送チャネル11と半導体基板表面上に形成された複数組の水平転送電極14とで水平CCD6を形成している。
奇数番目の垂直CCD5の各々の転送チャネル4は水平転送電極12−2(φH2側)の下で水平転送チャネル11へと接続されている。また、偶数番目の垂直CCD5の各々の転送チャネル4は水平転送電極12−1(φH1側)の下で水平転送チャネル11へと接続されている。
転送チャネル11は、水平転送電極13−1の下方よりも、水平転送電極12−1の下方の方が、ポテンシャルが深くなるように、かつ水平転送電極13−2の下方よりも、水平転送電極12−2の下方の方が、ポテンシャルが深くなるように形成されている。そのため、電極H1と電極H2とに外部から入出力パッド16を介して水平転送クロックφH1〜φH2が与えられると、水平転送電極対14−1、14−2の各々の下に図面で右に向かって深くなる階段状のポテンシャル分布が形成され、信号電荷が図面右方へとCCD転送される。
図2において、各垂直CCD5の終端、即ち図面で下端に位置する電荷蓄積ゲート8で構成される電荷蓄積部で、当該垂直CCD5を転送されてきた信号電荷の加算を行う。垂直CCD5はサブ画素2で発生する信号電荷をサブ画素ごとに分離して転送するが、電荷蓄積制御ゲート9を閉じたままにしておくと、転送されてきた信号電荷は電荷蓄積ゲート8の下方に蓄えられたままになる。この後、転送されてくる信号電荷は、それ以前に蓄積されていた信号電荷に加えられる。従って、垂直CCD5を2段転送する間に1度だけ電荷蓄積制御ゲート9を開けるような駆動クロックを与えると、垂直方向に隣接する2個のサブ画素2の信号電荷が加算され、加算で得られた信号電荷が水平CCD6へと送出される。
以下では、特許文献1に記載されたイメージセンサに相当する構成を比較例として説明する。なお、特許文献1の図2及び図4に示されるマルチスペクトルセンサの画素14、14a又は14bの1/4の領域が本開示の「サブ画素」に相当するので、以下では、比較例において、特許文献1の画素14、14a又は14bの1/4の領域に相当するものを「サブ画素」と言う。
次に、本実施の形態による信号加算動作について、比較例の信号加算動作と比較して、図面を用いて説明する。
初めに、比較例のTDI方式イメージセンサを用いた信号加算動作について説明する。
図19は、比較例のTDI方式イメージセンサの概略レイアウトを示す平面図である。図19に示される構成は、特許文献1の図2に示された構成、即ち、垂直方向に2サブ画素分の時間蓄積(信号加算)を行うとともに、水平方向に2サブ画素分の時間蓄積(信号加算)を行う構成に相当する。
図19において、電荷蓄積ゲート8と電荷蓄積制御ゲート9とがそれぞれ一続きに形成されている。即ち、図1に示される複数のゲート8−1及び8−2から成るゲート群の代わりに、単一の横方向に延びた部材で、ゲート8が形成されており、図1に示される複数のゲート9−1及び9−2から成るゲート群の代わりに、単一の横方向に延びた部材で、ゲート9が形成されている点が、図1に示した本実施の形態によるTDI方式イメージセンサと異なっている。
図20(a)〜(e)は、図19に示した比較例のTDI方式イメージセンサの信号加算動作を説明するための図である。図20(a)〜(e)において、〇、●、△、▲印が、各サブ画素2で発生して転送される信号電荷17を模式的に表している。
図21は、図19に示した比較例のTDI方式イメージセンサを駆動するためのクロックのタイミング図である。
まず、図20(a)に示すように、サブ画素2で発生した信号電荷17は、サブ画素単位で分離されて蓄積され、転送される。図20(b)に示すように、垂直方向に1段分の転送制御(そのためのクロックの印加)が行われると、信号電荷17がサブ画素1個分だけ図面下方へと移動する。同時に、図20(a)において画素アレイの最下段のサブ画素2に蓄積されていた信号電荷17は、図20(b)では電荷蓄積ゲート8の下へと移動する。
次に、図20(c)で垂直方向に1段分の転送制御が行われると、信号電荷17がサブ画素1個分だけ図面下方へと移動する。同時に、図20(b)において画素アレイの最下段のサブ画素2に蓄積されていた信号電荷17は、図20(c)では電荷蓄積ゲート8の下へと移動し、図20(b)の時点で電荷蓄積ゲート8の下に保持されていた信号電荷17に加えられる。すなわち、各サブ画素列内で垂直方向に隣接するに2個のサブ画素の信号電荷17が加算される。
次に、図20(d)で電荷蓄積制御ゲート9が開くと、電荷蓄積ゲート8の下に保持されていた信号電荷17が水平CCD6へと送出される。次に、図20(e)において、電荷蓄積制御ゲート9が閉じられ、水平CCD6へと移動した信号電荷が水平CCD6の転送動作によって図面右方へと転送され、水平CCD6の終端(右端)で、水平方向の信号加算動作が行われ、加算の結果得られる各画素の信号が出力回路7から出力される。出力される各画素の信号は、当該画素を構成する2行2列のサブ画素で発生した信号電荷の合計を表すものとなる。出力される信号の時系列は格子画像を表す。
次に、本実施の形態によるTDI方式イメージセンサを用いた信号加算動作について説明する。
図3(a)〜(h)は、図1に示した本実施の形態によるTDI方式イメージセンサの信号加算動作を説明するための図である。図3(a)〜(h)において、〇、●、△、▲印が、各サブ画素2で発生して転送される信号電荷17を模式的に示している。
図3(a)に示すように、サブ画素2で発生した信号電荷17は、サブ画素単位で分離されて蓄積され、転送される。図3(b)に示すように、垂直方向に1段分の転送制御が行われると、信号電荷17がサブ画素1個分だけ図面下方へと移動する。同時に、図3(a)において画素アレイの奇数番目の垂直CCDの最下段のサブ画素2に蓄積されていた信号電荷17が、図3(b)では電荷蓄積ゲート8−1の下へと移動する。
次に、図3(c)で垂直方向に1段分の転送制御が行われると、信号電荷17がサブ画素1個分だけ図面下方へと移動する。同時に、図3(b)において奇数番目の垂直CCD5の最下段のサブ画素2に蓄積されていた信号電荷17が、図3(c)では電荷蓄積ゲート8−1の下へと移動し、図3(b)の時点で電荷蓄積ゲート8−1の下に保持されていた信号電荷17に加えられる。すなわち、奇数番目のサブ画素列内の、垂直方向に隣接する2個のサブ画素の信号電荷17が加算される。同時に、図3(b)において偶数番目の垂直CCDの最下段のサブ画素2に蓄積されていた信号電荷17が、図3(c)では電荷蓄積ゲート8−2の下へと移動する。
次に、図3(d)で電荷蓄積制御ゲート9−1が開くと、電荷蓄積ゲート8−1の下に保持されていた信号電荷17が水平CCD6へと送出される。このとき、電荷蓄積制御ゲート9−2は閉じたままであり、電荷蓄積ゲート8−2の下に保持されていた信号電荷17はそのまま保持される。次に、図3(e)において、電荷蓄積制御ゲート9−1が閉じられ、水平CCD6へと移動した信号電荷が水平CCD6の転送動作によって図面右方へと転送され、出力回路7から画素信号として出力される。このとき、水平CCD6の終端(右端)で水平方向の信号加算は行われない。出力される画素信号の各々は、奇数番目のサブ画素列内の垂直方向に隣接する2個のサブ画素の信号電荷の合計を表す。
次に、図3(f)で垂直方向に1段分の転送制御が行われると、信号電荷17がサブ画素1個分だけ図面下方へと移動する。同時に、図3(e)において偶数番目の垂直CCD5の最下段のサブ画素2に蓄積されていた信号電荷17が、図3(f)では電荷蓄積ゲート8−2の下へと移動し、図3(e)の時点で電荷蓄積ゲート8−2の下に保持されていた信号電荷17に加えられる。すなわち、偶数番目のサブ画素列内の、垂直方向に隣接する2個のサブ画素の信号電荷17が加算される。同時に、図3(e)において奇数番目の垂直CCD5の最下段のサブ画素2に蓄積されていた信号電荷17が、図3(f)では電荷蓄積ゲート8−1の下へと移動する。
次に、図3(g)で電荷蓄積制御ゲート9−2が開くと、電荷蓄積ゲート8−2の下に保持されていた信号電荷17が水平CCD6へと送出される。このとき、電荷蓄積制御ゲート9−1は閉じたままであり、電荷蓄積ゲート8−1の下に保持されていた信号電荷17はそのまま保持される。次に、図3(h)において、電荷蓄積制御ゲート9−2が閉じられ、水平CCD6へと移動した信号電荷が水平CCD6の転送動作によって図面右方へと転送され、出力回路7から画素信号として出力される。このとき、水平CCD6の終端(右端)で水平方向の信号加算は行われない。出力される画素信号の各々は、偶数番目のサブ画素列内の垂直方向に隣接する2個のサブ画素の信号電荷の合計を表す。
以上のように、本実施の形態によるTDI方式イメージセンサでは、信号加算されるサブ画素の組み合わせが、奇数番目のサブ画素列と偶数番目のサブ画素列とで垂直方向にサブ画素1個分だけずれる。
図4は、図1に示した本実施の形態によるTDI方式イメージセンサを駆動するためのクロックのタイミング図である。図4において、Ta〜Thが、それぞれ図3(a)〜(h)に示される動作のタイミングを示す。
図4に示した駆動クロックは、奇数番目の垂直CCD5に対応する電荷蓄積ゲート8−1及び電荷蓄積制御ゲート9−1に与えられるφST−Aクロック及びφSC−Aクロックと、偶数番目の垂直CCD5に対応する電荷蓄積ゲート8−2及び電荷蓄積制御ゲート9−2に与えられるφST−Bクロック及びφSC−Bクロックとが、撮像周期の1/2だけずれている点で、図21に示した比較例のTDI方式イメージセンサの駆動クロックと異なっている。
本実施の形態によるTDI方式イメージセンサでは、奇数番目の垂直CCDに対応する電荷蓄積ゲート8−1の下に保持されていた、垂直方向に隣接する2個のサブ画素の信号電荷は、図4のタイミングTdでφST−AクロックがHになると水平CCD6の電極φH2の下へと転送され、その後、水平CCDによって水平転送され、転送された信号電荷の量を表す画素信号が出力回路7から出力される。
一方、偶数番目の垂直CCDに対応する電荷蓄積ゲート8−2の下に保持されていた、垂直方向に隣接する2個のサブ画素の信号電荷は、図4のタイミングTgでφST−BクロックがHになると水平CCD6の電極φH1の下へと転送され、その後、水平CCDによって水平転送され、転送された信号電荷の量を表す画素信号が出力回路7から出力される。
以上の動作の結果、本実施の形態によるTDI方式イメージセンサでは、1撮像周期にサブ画素2個分の垂直転送が行われ、奇数番目のサブ画素列で発生した信号電荷に対応する画素信号と偶数番目のサブ画素列で発生した信号電荷に対応する画素信号とは、それぞれ1撮像周期に1回、撮像周期の1/2だけ異なるタイミングで、即ち交互に読み出される。
複数の撮像周期に亘り順次読み出される画素信号の時系列により、2次元の格子画像が構成される。
次に、本実施の形態によるTDI方式イメージセンサを用いたオーバーサンプリングについて、比較例のTDI方式イメージセンサを用いたオーバーサンプリングと比較して、図面を参照して説明する。
初めに、比較例のTDI方式イメージセンサを用いたオーバーサンプリングについて説明する。オーバーサンプリングを行うには、例えば図19及び図20(a)〜(e)に示されるTDI方式イメージセンサを2本用いる。これらのTDI方式イメージセンサの画素アレイは、水平方向に画素ピッチpの1/2だけずれ、垂直方向に1/2と0以上の整数との和と画素ピッチpとの積で与えられる距離だけずれている。
即ち上記の距離Esは、上記の整数をFsとすれば下記の式で与えられる。
Es={(1/2)+Fs}×p
2本のTDI方式イメージセンサの各々においては、図20(a)〜(e)を参照して説明したように、垂直方向にサブ画素2個分の信号電荷の加算が行われ、水平方向にサブ画素2個分の信号電荷の加算が行われ、各々2行2列のサブ画素の信号電荷の合計を表す画素信号が出力される。
そのような2本のTDI方式イメージセンサの組み合わせは、特許文献1の図4に示されるマルチスペクトルセンサに相当する。
図22(a)は、上記の2本のTDI方式イメージセンサのうち1本のTDI方式イメージセンサから得られる格子画像を模式的に表すものである。
〇印18aは各画素の領域1aの中心を示す。複数の領域1aの上記の中心18aは、垂直方向及び水平方向に等間隔pで格子状に、即ち格子点に配置されている。格子点の間隔pは、マルチスペクトルセンサの画素ピッチに対応する。
図22(b)は上記の2本のTDI方式イメージセンサのうち、別の1本のTDI方式イメージセンサから得られる格子画像を模式的に表すものである。
●印18bは各画素の領域1bの中心を示す。複数の領域1bの上記の中心18bは、垂直方向及び水平方向に等間隔pで格子状に、即ち格子点に配置されている。格子点の間隔pは、マルチスペクトルセンサの画素ピッチに対応する。
なお、図22(a)の画素の領域1aには、ハッチングしてある領域とハッチングしていない領域とがあり、これらが市松模様を成すように配置されているが、ハッチングは領域間の境界を示すためであり、両領域間に差異があるわけではない。同様に、図22(b)の画素の領域1bには、ハッチングしてある領域とハッチングしていない領域とがあり、これらが市松模様を成すように配置されているが、ハッチングは領域間の境界を示すためであり、両領域間に差異があるわけではない。
図22(a)及び(b)に示される格子画像としては、理想的には互いに垂直方向及び水平方向に画素ピッチの1/2だけずれたもの、即ち被写体の同じ点が垂直方向及び水平方向に画素ピッチの1/2だけずれた位置に現れるものが得られるが、図22(a)及び(b)にはそのずれが示されていない。
比較例のTDI方式イメージセンサを用いたオーバーサンプリングでは、図22(a)及び図22(b)に示される、2枚の格子画像を、互いに画素ピッチの1/2だけずらして重ね合わせる。その結果得られる画像は、その画素の領域の中心18a及び18bが図22(c)に示すような斜め格子の格子点に位置する配列になる。図22(c)に示した画素データが得られていない格子点19の画素データを、周囲の画素の画素データを用いて補間することにより、垂直方向及び水平方向の解像度が2倍である高精細画像を得る。
次に、本実施の形態によるTDI方式イメージセンサを用いたオーバーサンプリングについて説明する。
図5(a)〜(c)は、本実施の形態のTDI方式イメージセンサで得られた画像を用いたオーバーサンプリングを説明するための図である。
図5(a)は、図3(a)〜(h)に示した本実施の形態によるTDI方式イメージセンサの信号加算動作において、奇数番目のサブ画素列の信号電荷を読み出すことで得られる格子画像を模式的に表すものである。
図5(a)の領域1aが本実施の形態のTDI方式イメージセンサ1つの画素の領域に対応し、図5(a)の領域2aが本実施の形態のTDI方式イメージセンサの1つのサブ画素の領域に対応する。
領域20aは、本実施の形態による信号加算動作において、奇数番目のサブ画素列内の、垂直方向に信号加算される2個のサブ画素の領域である。
〇印18aは2個のサブ画素から成る領域20aの各々の中心を示す。複数の領域20aの上記の中心18aは、垂直方向及び水平方向に等間隔pで格子状に、即ちそれぞれ格子点に配置されている。格子点の間隔pはイメージセンサの画素ピッチに対応する。
領域21aは偶数番目のサブ画素列の領域であり、奇数番目のサブ画素列の信号電荷が読み出される時点では領域21aからは、信号電荷の読み出しが行われない。
図5(a)の格子点18aを中心とする領域20aで発生した信号電荷は、1撮像周期のうちで例えば前半の1/2撮像周期の期間中に水平1ラインずつ読み出される。
なお、図5(a)の信号加算されるサブ画素の領域20aには、ハッチングしてある領域とハッチングしていない領域とがあり、これらが垂直方向に交互に並んでいるが、ハッチングは領域間の境界を示すためであり、両領域間に差異があるわけではない。
図5(b)は、図3(a)〜(h)に示した本実施の形態によるTDI方式イメージセンサの信号加算動作において偶数番目のサブ画素列の信号電荷を読み出すことで得られる格子画像を模式的に表すものである。
図5(b)の領域1bが本実施の形態のTDI方式イメージセンサの1つの画素の領域に対応し、図5(b)の領域2bが本実施の形態のTDI方式イメージセンサの1つのサブ画素の領域に対応する。
領域20bは、本実施の形態による信号加算動作において、偶数番目のサブ画素列内の、垂直方向に信号加算される2個のサブ画素の領域を示す。
●印18bは2個のサブ画素から成る領域20bの各々の中心を示す。複数の領域20bの上記の中心18bは、垂直方向及び水平方向に等間隔pで格子状に、即ちそれぞれ格子点に配置されている。格子点の間隔pはイメージセンサの画素ピッチに対応する。
領域21bは奇数番目のサブ画素列の領域であり、奇数番目のサブ画素列の信号電荷が読み出される時点では領域21bからは、信号電荷の読み出しが行われない。
図5(b)の格子点18bを中心とする領域20bで発生した信号電荷は、1撮像周期のうちで例えば後半の1/2撮像周期の期間中に水平1ラインずつ読み出される。
なお、図5(b)の信号加算されるサブ画素の領域20bにはハッチングしてある領域とハッチングしていない領域とがあり、これらが垂直方向に交互に並んでいるが、ハッチングは領域間の境界を示すためであり、両領域間に差異があるわけではない。
本実施の形態によるTDI方式イメージセンサを用いたオーバーサンプリングによる画像処理では、図5(a)及び(b)に示した2枚の格子画像をそのまま重ね合わせる。図5(a)の格子点18aと図5(b)の格子点18bとは、もともと垂直方向及び水平方向にそれぞれ画素ピッチの1/2だけずれて配置されているため、これらをそのまま重ね合わせることで図5(c)に示すような斜め格子配列の画像が得られる。
これに加えて、図5(c)に示した画素データが得られていない格子点19の画素データを周囲の画素の画素データを用いて補間することにより、垂直方向及び水平方向の解像度が2倍である高精細画像を得る。
図22(c)に示した比較例のTDI方式イメージセンサによるオーバーサンプリングで得られた画像と図5(c)に示した本実施の形態のTDI方式イメージセンサによるオーバーサンプリングで得られた画像とは、画素配列が一致する。すなわち、比較例のオーバーサンプリングでは2本のTDI方式イメージセンサを用いて高精細画像を取得しているのに対し、本実施の形態によるオーバーサンプリングでは、単一のTDI方式イメージセンサで、比較例と同じ解像度の高精細画像を取得することができる。
ここで、単一のTDI方式イメージセンサを用いてオーバーサンプリングを行うことの利点について図面を参照して説明する。
図23(a)及び(b)は、比較例による、2本のTDI方式イメージセンサを用いるオーバーサンプリングについて、衛星の進行に伴う被写体像の移動方向と画素アレイの配列方向との関係を示す図である。
図23(a)及び(b)において、2本のTDI方式イメージセンサの画素アレイ3aと画素アレイ3bとは、水平方向に画素ピッチpの1/2だけずれ、垂直方向に距離Lだけずれるように配置されている。
従って、画素アレイ3a、3bの対応する画素(画素アレイ内における位置が同じである画素Px:ハッチングで示す)は、水平方向に間隔p/2だけ離れている。
図23(a)は、被写体像の移動方向Dmが画素アレイの垂直方向Dvと一致している場合を示すもので、このとき得られる2枚の格子画像(対応する画素Px)は水平方向にp/2だけずれている。
図23(b)は、被写体像の移動方向Dmが画素アレイの垂直方向Dvに対して角度θだけ傾いている場合を示すもので、このとき得られる2枚の格子画像(対応する画素Px)は水平方向に
Ds=(p/2+Ltanθ)
だけずれている。すなわち、2枚の格子画像の相対位置がオーバーサンプリングにおいて理想とする位置から水平方向にLtanθだけ外れてしまう。TDI方式イメージセンサは、TDI段数(垂直方向に並んだ画素の数)が多い程画素アレイの垂直方向の寸法が大きく、また、水平CCDが画素アレイの下方に配置される。そのため、オーバーサンプリング検出器を構成する、上下に並べられた2本のTDI方式イメージセンサでは、一般的に画素ピッチpが数μmから数十μm程度であるのに対し、距離Lが数mm程度と長くなる。その結果、角度のずれθがわずかであっても2枚の格子画像の位置ずれが大きくなる。
図24(a)及び(b)は、2本のTDI方式イメージセンサの組み合わせを用いる比較例について、画素アレイに投影される被写体像に撮像光学系の歪が生じている場合を示した図である。図24(a)及び(b)において、2本のイメージセンサの画素アレイ3aと画素アレイ3bとは、水平方向に画素ピッチpの1/2だけずれ(図示を省略している)、垂直方向に距離Lだけずれた位置に配置されている。
図24(a)及び(b)で、31は画素アレイに投影される格子模様の被写体像を模式的に表したもので、図24(a)は被写体像が樽型に歪む場合を、図24(b)は被写体像が糸巻き型に歪む場合を表している。
図24(a)及び(b)に示すように、撮像光学系に歪があると焦点面、特にその周辺付近では投影像の格子間隔が一定でなくなり、画素アレイ3a、3bの画素ピッチと投影像との相対位置関係にずれが生じる。多くの場合、画素アレイの端に行くほどずれ量が拡大し、そのずれ量は画素アレイ3aと画素アレイ3bとで異なっている。また、距離Lが大きいほどずれ量は拡大し、画素アレイ3aと画素アレイ3bとのずれ量の差も大きくなる。
以上に示したように、2本のTDI方式イメージセンサの組み合わせを用いる比較例のオーバーサンプリングでは、並列配置した2本のイメージセンサ間の距離Lが大きいほど、得られる2枚の撮像画像の相対位置が理想位置から外れてしまい、画像合成する場合の位置精度が低下する。
一方、本実施の形態によるTDI方式イメージセンサは、それ自体で、画素ピッチの1/2だけずれた2枚の格子画像を出力することができる。すなわち、2本のイメージセンサを用いる比較例のオーバーサンプリング検出器によって得られるのと同じ画素配列の画像を、1本のTDI方式イメージセンサで得ることができる。従って、衛星の進行方向の変動或いは撮像光学系の歪がある場合でも、2枚の格子画像の相対位置は理想的な位置関係に保たれる。このため、オーバーサンプリングによる画像処理で画像を合成する際の位置精度が向上し、優れた高精細画像が得られる。
以上の例では、図5(a)及び(b)に示される2枚の格子画像を1本のTDI方式イメージセンサで取得しているが、駆動クロックのパターンを変えることで異なる読出しモードで動作させることも可能である。即ち、電荷蓄積ゲート8−1と電荷蓄積ゲート8−2とに同一のクロックφSTを与え、かつ電荷蓄積制御ゲート9−1と電荷蓄積制御ゲート9−2とに同一のクロックφSCを与えればよい。この場合は、電荷蓄積ゲート8−1と電荷蓄積ゲート8−2とが共通で、かつ電荷蓄積制御ゲート9−1と電荷蓄積制御ゲート9−2とがそれぞれ一続きである、図19に示した比較例のTDI方式イメージセンサと等価になる。このとき、図20(a)〜(e)に示したのと同様の信号加算動作により、2行2列のサブ画素の信号電荷を加算した信号が出力される。
実施の形態2.
図6は実施の形態2によるTDI方式イメージセンサの概略レイアウトを示す平面図である。図7は、図6に示した概略レイアウトにおいて、垂直CCD5と水平CCD6との接続部付近のレイアウトの詳細を示した拡大図である。
図1及び図2に示された構成に対し、図6及び図7に示される構成は以下の点で異なる。
まず、電荷蓄積制御ゲート9と水平CCD6との間に送出制御ゲート22が設けられている。
また、奇数番目の垂直CCD5の各々、及びそれに対して、その一方の側(図6で右側)において隣接する偶数番目の垂直CCD5の転送チャネル4、即ち、同じ群に属する一対の垂直CCD5の転送チャネル4が、送出制御ゲート22の下で合流した後、水平CCD6に接続されている。
合流後の転送チャネル4と水平CCD6との接続は、水平転送電極12−2の下で行われる。
上記以外の点では、図6及び図7に示したTDI方式イメージセンサは、図1及び図2に示した実施の形態1によるTDI方式イメージセンサと同様である。
図8は、図6及び図7に示したTDI方式イメージセンサを駆動するためのクロックのタイミング図である。図4に示される駆動クロックに対して、図8に示される駆動クロックは、φSC−2クロックが付加されている点で異なる。
それ以外の点では、図8に示したクロックは、図4に示したクロックと同様である。
φSC−2クロックは、φSC−AクロックがHとなるタイミングとφSC−BクロックがHとなるタイミングとの両方で、Hとなるように与えられる。これにより、電荷蓄積ゲート8から水平CCD6への電荷送出のタイミングは、奇数番目の垂直CCDで転送された電荷の場合も偶数番目の垂直CCDで転送された電荷の場合も、実施の形態1によるTDI方式イメージセンサの場合と同様になる。
電荷蓄積ゲート8の下における信号加算動作は実施の形態1によるTDI方式イメージセンサの信号加算動作と同様である。
実施の形態2によるTDI方式イメージセンサでは、奇数番目の垂直CCD5の転送チャネル4で垂直転送された信号電荷と、偶数番目の垂直CCD5の転送チャネル4で垂直転送された信号電荷とが、いずれも水平転送電極12−2(φH2側)の下で水平転送チャネル11へと送出される。そのため、奇数番目の垂直CCDからの信号が読み出されるときと偶数番目の垂直CCDからの信号が読み出されるときとで水平転送以降の信号読出しのためのクロックのタイミングが同様となり、駆動クロックが単純になる。
実施の形態3.
図9は実施の形態3によるTDI方式イメージセンサの概略レイアウトを示す平面図である。図10は、図9に示した概略レイアウトにおいて、垂直CCD5と水平CCD6との接続部付近のレイアウトの詳細を示した拡大図である。
図6及び図7に示される構成に対し、図9及び図10に示される構成は以下の点で異なる。
まず、水平CCD6が第1の水平CCD6−1と第2の水平CCD6−2とに分割されている。具体的には水平転送チャネル11が2分割され、間に分離部23が設けられている。その結果、第1の水平CCD6−1の第1の端部(右端)と第2の水平CCD6−2の第1の端部(左端)とは互いに隣接し、かつ互いに分離されている。
また、図6の出力回路7の代わりに第1の出力回路7−1と第2の出力回路7−2とが用いられている。
複数の垂直CCD5は、画素アレイ3の、水平方向の一方の側を占める第1のアレイ部分3−1内で発生した信号電荷を転送する第1組の垂直CCDと、画素アレイ3の、水平方向の他方の側を占める第2のアレイ部分3−2内で発生した信号電荷を転送する第2組の垂直CCDとを含む。
第1の出力回路7−1は、第1の水平CCD6−1の第2の端部(左端)に接続され、第2の出力回路7−2は、第2の水平CCD6−2の第2の端部(右端)に接続されている。
第1の水平CCD6−1は、第1組の垂直CCDで転送された信号電荷を、図9及び図で左に向けて、すなわち第1の出力回路7−1に向けて転送し、第2の水平CCD6−2は、第2組の垂直CCDで転送された信号電荷を、図9及び図で右に向けて、すなわち第2の出力回路7−2に向けて転送する。そのため、水平転送電極12−1、13−1、12−2及び13−2の並び順が、分離部23を境にして左右で逆となっている。
第1の出力回路7−1は、第1の水平CCD6−1により転送された信号電荷の量を表す画素信号を出力し、第2の出力回路7−2は、第2の水平CCD6−2により転送された信号電荷の量を表す画素信号を出力する。その結果、第1のアレイ部分3−1内で発生した信号電荷の量を表す画素信号は、出力回路7−1から出力され、第2のアレイ部分3−2で発生した信号電荷の量を表す画素信号は出力回路7−2から出力される。
上記以外の部分については、図9及び図10に示したTDI方式イメージセンサは、図6及び図7に示した実施の形態2によるTDI方式イメージセンサと同様である。
図9及び図10に示したTDI方式イメージセンサの駆動クロックは、図8に示した実施の形態2によるTDI方式イメージセンサの駆動クロックと同様である。ただし、水平CCD6が2分割されて、それぞれの転送段数が半分になるため、水平転送クロックφH1及びφH2のクロック周波数は実施の形態2に比べて1/2倍で良く、読み出し周波数も1/2倍になる。
2本TDI方式イメージセンサの組み合わせを用いる場合、単一のTDI方式イメージセンサを用いる場合と比べてデータ量が2倍になる。一方、衛星搭載用のイメージセンサでは撮像周期が決められている。
そのため、実施の形態1又は2によるTDI方式イメージセンサではデータの読出し周波数を2倍にする必要がある。
ところが、一般に高速読出しを行おうとすると、水平CCDの転送効率劣化、消費電力増大、出力回路の読出しノイズ増加等の問題が生じ易い。
これに対して、図9及び10に示した実施の形態3によるTDI方式イメージセンサでは、出力を左右のチャネルに振り分けて読み出すため、データの読出し周波数は、図19に示した比較例のTDI方式イメージセンサと同じで済む。そのため、高速読出しに伴う性能劣化を生じないといった効果がある。
実施の形態4.
図11は実施の形態4によるTDI方式イメージセンサの概略レイアウトを示す平面図である。
図示の例では、3行3列のサブ画素で1つの画素が構成されており、1つの画素列は相連続する3つのサブ画素列で構成されている。
垂直CCD5の各々の終端(水平CCDとの接続部手前)に電荷蓄積ゲート(ST)8と電荷蓄積制御ゲート(SC)9とが形成されている。
1つの画素列を構成する3つのサブ画素列に対応する3つの垂直CCDは一つの群を構成している。即ち、画素アレイ3に設けられた垂直CCDは、各々相連続する3つの垂直CCDから成る複数の群に分割されている。画素アレイ3は、3つのサブ画素列を1周期とする周期構造を有するとも言える。
以下では、各群の垂直CCDに対し、左から順に順番を付けて、「1番目の垂直CCD」、「2番目の垂直CCD」及び「3番目の垂直CCD」と言う。
電荷蓄積ゲート8のうち、1番目、2番目及び3番目の垂直CCD5の終端に設けられたものを符号8−1、8−2及び8−3で示す。同様に、電荷蓄積制御ゲート9のうち、1番目、2番目及び3番目の垂直CCD5の終端に設けられたものを符号9−1、9−2及び9−3で示す。
電荷蓄積ゲート8−1、8−2、8−3は互いに電気的に独立している。電荷蓄積制御ゲート9−1、9−2、9−3は、互いに電気的に独立している。
また、画素アレイのサブ画素アレイに対し、左から順に順番を付けると、各群の1番目、2番目、及び3番目の垂直CCD5は、3m番目(m:整数)、(3m+1)番目、及び(3m+2)番目のサブ画素列C3m、C3m+1、及びC3m+2にそれぞれ対応するものとなる。
複数の電荷蓄積制御ゲート9と水平CCD6との間に送出制御ゲート22が設けられている。
各群の垂直CCD5の転送チャネル4は、送出制御ゲート22の下で合流した後に水平CCD6へと接続されている。
図12は、図11に示した実施の形態4によるTDI方式イメージセンサを駆動するためのクロックのタイミング図である。
図12に示すように、垂直転送クロックφV1〜φV4の3周期が、1撮像周期に相当する。すなわち、1撮像周期にサブ画素3個分の垂直転送が行われる。
図12に示した駆動クロックのうち、ΦST−A、ΦST−B、ΦST−C、ΦSC−A、ΦSC−B、ΦSC−Cクロックは、以下のように与えられる。
各群の左から数えて1番目の垂直CCD5の電荷蓄積ゲート8−1及び電荷蓄積制御ゲート9−1にφST−Aクロック及びφSC−Aクロックがそれぞれ与えられる。
各群の左から数えて2番目の垂直CCD5の電荷蓄積ゲート8−2及び電荷蓄積制御ゲート9−2にφST−Bクロック及びφSC−Bクロックがそれぞれ与えられる。
各群の左から数えて3番目の垂直CCD5の電荷蓄積ゲート8−3及び電荷蓄積制御ゲート9−3にφST−Cクロック及びφSC−Cクロックがそれぞれ与えられる。
3つの電荷蓄積クロックφST−A、φST−B及びφST−Cは、それぞれ1撮像周期に1回、かつ一つずつ順に、撮像周期の1/3ずつ遅れて与えられる。
同様に、3つの電荷蓄積制御クロックφSC−A、φSC−B及びφSC−Cは、それぞれ1撮像周期に1回、かつ一つずつ順に、撮像周期の1/3ずつ遅れて与えられる。
以上の読出し動作の結果、実施の形態4によるTDI方式イメージセンサでは、各群の3つのサブ画素列内の、垂直方向に連続する3個のサブ画素の信号電荷の加算結果を示す画素信号が、それぞれ1撮像周期に1回、かつ一つずつ順に、読み出される。
図13(a)〜(d)は、実施の形態4によるTDI方式イメージセンサを用いたオーバーサンプリングを説明するための図である。
図13(a)は、実施の形態4によるTDI方式イメージセンサの信号加算動作において、3m番目のサブ画素列C3mの信号電荷を読み出すことで得られる格子画像を模式的に表すものである。
図13(a)の領域1aが1つの画素の領域に対応し、図13(a)の領域2aが1つのサブ画素の領域に対応する。
領域20aは、本実施の形態による信号加算動作において、3m番目のサブ画素列C3m内の、垂直方向に信号加算される3個のサブ画素の領域である。
〇印18aは3個のサブ画素から成る領域20aの各々の中心を示す。複数の領域20aの上記の中心18aは、垂直方向及び水平方向に等間隔pで格子状に、即ちそれぞれ格子点に配置されている。格子点の間隔pはイメージセンサの画素ピッチに対応する。
領域21aは(3m+1)番目のサブ画素列及び(3m+2)番目のサブ画素列の領域であり、3m番目のサブ画素列の信号電荷が読み出される時点では領域21aからは、信号電荷の読み出しが行われない。
図13(a)の格子点18aを中心とする領域20aで発生した信号電荷は、1撮像周期のうちで例えば最初の1/3撮像周期の期間中に水平1ラインずつ読み出される。
なお、図13(a)の信号加算されるサブ画素の領域20aには、ハッチングしてある領域とハッチングしていない領域とがあり、これらが垂直方向に交互に並んでいるが、ハッチングは領域間の境界を示すためであり、両領域間に差異があるわけではない。
図13(b)は、実施の形態4によるTDI方式イメージセンサの信号加算動作において、(3m+1)番目のサブ画素列C3m+1の信号電荷を読み出すことで得られる格子画像を模式的に表すものである。
図13(b)の領域1bが1つの画素の領域に対応し、図13(b)の領域2bが1つのサブ画素の領域に対応する。
領域20bは、本実施の形態による信号加算動作において、(3m+1)番目のサブ画素列C3m+1内の、垂直方向に信号加算される3個のサブ画素の領域である。
●印18bは3個のサブ画素から成る領域20bの各々の中心を示す。複数の領域20bの上記の中心18bは、垂直方向及び水平方向に等間隔pで格子状に、即ちそれぞれ格子点に配置されている。格子点の間隔pはイメージセンサの画素ピッチに対応する。
領域21bは3m番目のサブ画素列及び(3m+2)番目のサブ画素列の領域であり、(3m+1)番目のサブ画素列の信号電荷が読み出される時点では領域21bからは、信号電荷の読み出しが行われない。
図13(b)の格子点18bを中心とする領域20bで発生した信号電荷は、1撮像周期のうちで例えば中間の1/3撮像周期の期間中に水平1ラインずつ読み出される。
なお、図13(b)の信号加算されるサブ画素の領域20bには、ハッチングしてある領域とハッチングしていない領域とがあり、これらが垂直方向に交互に並んでいるが、ハッチングは領域間の境界を示すためであり、両領域間に差異があるわけではない。
図13(c)は、実施の形態4によるTDI方式イメージセンサの信号加算動作において、(3m+2)番目のサブ画素列C3m+2の信号電荷を読み出すことで得られる格子画像を模式的に表すものである。
図13(c)の領域1cが1つの画素の領域に対応し、図13(c)の領域2cが1つのサブ画素の領域に対応する。
領域20cは、本実施の形態による信号加算動作において、(3m+2)番目のサブ画素列C3m+2内の、垂直方向に信号加算される3個のサブ画素の領域である。
◇印18cは3個のサブ画素から成る領域20cの各々の中心を示す。複数の領域20cの上記の中心18cは、垂直方向及び水平方向に等間隔pで格子状に、即ちそれぞれ格子点に配置されている。格子点の間隔pはイメージセンサの画素ピッチに対応する。
領域21cは3m番目のサブ画素列及び(3m+1)番目のサブ画素列の領域であり、(3m+2)番目のサブ画素列の信号電荷が読み出される時点では領域21cからは、信号電荷の読み出しが行われないを表している。
図13(c)の格子点18cを中心とする領域20cで発生した信号電荷は、1撮像周期のうちで例えば最後の1/3撮像周期の期間中に水平1ラインずつ読み出される。
なお、図13(c)の信号加算されるサブ画素の領域20cには、ハッチングしてある領域とハッチングしていない領域とがあり、これらが垂直方向に交互に並んでいるが、ハッチングは領域間の境界を示すためであり、両領域間に差異があるわけではない。
図13(a)〜(c)に示すように、実施の形態4のTDI方式イメージセンサにおいては、(3m+1)番目のサブ画素列C3m+1から読み出された信号電荷による画像が、3m番目のサブ画素列C3mから読み出された信号電荷による画像に対して、垂直方向に画素ピッチの1/3だけ一方の側(例えば上方)にずれており、水平方向に画素ピッチの1/3だけ一方の側(例えば右側)にずれている。
また、(3m+2)番目のサブ画素列C3m+2から読み出された信号電荷による画像が、
(3m+1)番目のサブ画素列C3m+1から読み出された信号電荷による画像に対して、垂直方向に画素ピッチの1/3だけ一方の側(例えば上方)にずれており、水平方向に画素ピッチの1/3だけ一方の側(例えば右側)にずれている。
したがって、各群のi番目(iは2又は3)の垂直CCDから読み出された信号電荷による画像が、(i−1)番目の垂直CCDから読み出された信号電荷による画像に対して、
垂直方向に画素ピッチの1/3だけ一方の側(例えば上方)にずれており、水平方向に画素ピッチの1/3だけ一方の側(例えば右側)にずれていると言える。
即ち、このような構成を有するTDI方式リニアセンサは、水平方向に画素ピッチの1/3ずつずれかつ垂直方向に画素ピッチの1/3ずつずれた3枚の格子画像を出力する。
実施の形態4によるTDI方式イメージセンサを用いたオーバーサンプリングによる画像処理では、図13(a)、(b)及び(c)に示した3枚の格子画像をそのまま重ね合わせる。図13(a)、(b)及び(c)に示される格子点18a、18b及び18cは、垂直方向及び水平方向にそれぞれp/3ずつずれているため、これらをそのまま重ね合わせることで図13(d)に示すような斜め格子配列の画像が得られる。
これに加えて、図13(d)に示した画素データが得られていない格子点19の画素データを周囲の画素の画素データを用いて補間することにより、垂直方向及び水平方向の解像度が3倍である高精細画像を得る。
図13(d)に示した本実施の形態のTDI方式イメージセンサを用いたオーバーサンプリングで得られる画像は、比較例のTDI方式イメージセンサを3本用いたオーバーサンプリングで得られる画像と、画素配列が完全に一致する。すなわち、比較例のオーバーサンプリング方法では3本のTDI方式イメージセンサを用いて高精細画像を取得するのに対し、本実施の形態によるオーバーサンプリングでは単一のTDI方式イメージセンサで、比較例と同じ解像度の高精細画像を取得することができる。
なお、上記の例では各画素が3行3列のサブ画素で構成され、垂直方向に連続する3個のサブ画素の信号加算を行うTDI方式イメージセンサについて示したが、各画素を構成するサブ画素は、4行4列以上であっても良い。また、実施の形態1〜3のごとく2行2列であっても良い。
一般化すれば、各画素がN行N列(Nは2以上の整数)のサブ画素で構成されており、垂直方向に連続するN個のサブ画素の信号加算を行うように構成されていれば良い。
各画素がN行N列のサブ画素で構成されている場合TDI方式イメージセンサの構成は以下の如くとなる。
複数の垂直CCDは、各々相連続するN個の垂直CCDから成る複数の群に分割され、
各垂直CCDは、1撮像周期中にサブ画素N個分の垂直転送を行ない、
各群のN個の垂直CCDに対応するN個の電荷蓄積制御ゲートは、それぞれ1撮像周期中に1回、かつ一つずつ順に選択され、対応する電荷蓄積部(8)から水平CCDへの信号電荷の送出を行わせる。
上記の複数の群の各々において、水平方向の一方の側から他方の側に順番を付けたとき、上記の複数の群の各々の、i番目(iは2からNのいずれか)の垂直CCDに対応する電荷蓄積制御ゲートは、(i−1)番目の垂直CCDに対応する電荷蓄積制御ゲートの次に、対応する電荷蓄積部から水平CCDへの信号電荷の送出を行わせ、1番目の垂直CCDに対応する電荷蓄積制御ゲートは、N番目の垂直CCDに対応する電荷蓄積制御ゲートの次に、対応する電荷蓄積部から水平CCDへの信号電荷の送出を行わせる。
また、上記の複数の群の各々において、水平方向の一方の側から他方の側に順番を付けたとき、複数の群のj番目(jは1からNのいずれか)の垂直CCDに対応する電荷蓄積制御ゲートは互いに同時に対応する電荷蓄積部から水平CCDへの信号電荷の送出を行わせる。
さらに、実施の形態2〜4のごとく、複数の群の各々の垂直CCDを構成する転送チャネルが、送出制御ゲート(22)の下で互いに合流した後、水平CCDに接続される構成としても良い。
このような構成を有するTDI方式イメージセンサにおいては、i番目(iは2からNのいずれか)の垂直CCDから読み出された信号電荷による画像が、(i−1)番目の垂直CCDから読み出された信号電荷による画像に対して、垂直方向に画素ピッチの1/Nだけ一方の側(例えば上方)にずれており、水平方向に画素ピッチの1/Nだけ一方の側(例えば右側)にずれている。即ち、このような構成を有するTDI方式リニアセンサは、水平方向に画素ピッチの1/N(Nは2以上の整数)ずつずれかつ垂直方向に画素ピッチの1/NずつずれたN枚の格子画像を出力する。
実施の形態5.
図14は、実施の形態5による撮像装置の概略構成を示すブロック図である。実施の形態5による撮像装置は、焦点面構成部101と、光学部102、駆動部103、信号処理部104、及び伝送部105を有する。
焦点面構成部101は、PA検出装置201及びMU検出装置202を有する。
光学部102は、その撮像光学系の焦点面に、被写体の光学像(被写体像)を形成する。
焦点面構成部101のPA検出装置201及びMU検出装置202は、光学部102の撮像光学系の焦点面に配置されている。
PA検出装置201及びMU検出装置202は、入射した光の強度分布を検出し、強度分布に対応する電気信号の時系列を出力する。
駆動部103は、PA検出装置201及びMU検出装置202を動作させるためのクロック電圧及びバイアス電圧を与える。
信号処理部104は、PA検出装置201及びMU検出装置202の出力信号を2次元的な画像データへと変換する。
伝送部105は、画像データを衛星から地上へと伝送する。
地上では、伝送された画像データを用いて、オーバーサンプリングによる画像処理、各種の補正等の画像処理が行われる。
図15は、図14に示した実施の形態5による撮像装置の、焦点面構成部101における検出器の配置を示す平面図である。図15に示される焦点面構成部101は、ベース板24と、ベース板24の表面上に配置されたPA検出装置201及びMU検出装置202を含む。
PA検出装置201は、4つのPA検出器25−1〜25−4から成る。PA検出器25−1〜25−4の各々は、一つの半導体チップの表面に(即ち同じチップの表面に)形成された2本のTDI方式イメージセンサ26−1及び26−2を有する。
TDI方式イメージセンサ26−1及び26−2の各々を、第1種のTDI方式イメージセンサという。
TDI方式イメージセンサ26−1及び26−2は、それらの長手方向、即ちその画素アレイの配置方向が、衛星のCT方向と一致するように配置されている。
TDI方式イメージセンサ26−1及び26−2は、それらの画素アレイが、上記の焦点面に位置するように設けられている。
複数個(図15の場合は4個)のPA検出器25−1〜25−4はベース板24の表面上にスタガ配置され、PA検出器25−1〜25−4のうちの互いに隣接するもののTDI方式イメージセンサ26−1及び26−2の端部が互いにオーバーラップするように配置される。こうして、4個のPA検出器25−1〜25−4の組み合わせで1個のPA検出装置201を構成している。
TDI方式イメージセンサ26−1及び26−2の画素アレイは、ともに画素ピッチがp1であり、互いに水平方向に画素ピッチp1の1/2だけずれ、かつ垂直方向に1/2と0以上の整数との和と画素ピッチp1との積で与えられる距離だけずれた位置に配置されている。
即ち上記の距離Es1は、上記の整数をFs1とすれば下記の式で与えられる。
Es1={(1/2)+Fs1}×p1
TDI方式イメージセンサ26−1及び26−2では、垂直方向にも水平方向にも信号電荷の加算が行われない。TDI方式イメージセンサ26−1及び26−2では解像度を重視するためである。TDI方式イメージセンサ26−1及び26−2の各々は、特許文献1の図1に示された光検出器と基本的に同じ構成を有するものであっても良い。
2本のTDI方式イメージセンサ26−1及び26−2から出力される画素信号で表される格子画像は、それぞれ図16(a)及び(b)に示される画素配列を有する。図16(a)で、〇印18aはTDI方式イメージセンサ26−1で得られる格子画像におけ各画素の領域の中心を示し、図16(b)で、●印18bはTDI方式イメージセンサ26−2で得られる格子画像におけ各画素の領域の中心を示す。図16(a)及び(b)に示される格子画像は、互いに垂直方向に画素ピッチp1の1/2だけずれ、かつ水平方向に画素ピッチp1の1/2だけずれている。
その結果、上記の2枚の格子画像に対してオーバーサンプリングの画像処理を行うことで得られる画像は、図16(c)の格子点18a、18bの位置に画素データを有する斜め格子の画像であり、格子点19の画素データを補間することで、図16(c)の格子点18a、18b、19の位置に画素データを有する格子画像が得られる。
即ち、TDI方式イメージセンサ26−1及び26−2の組み合わせは、特許文献1の図3に示されたパンクロマチックセンサと基本的に同じ構成を有する。
以上のように、TDI方式イメージセンサ26−1及び26−2の組み合わせは1つのオーバーサンプリング検出器を構成している。
図15に示されるMU検出装置202は、4つのMU検出器28−1〜28−4から成る。
MU検出器28−1〜28−4の各々は、一つの半導体チップの表面に(すなわち同じチップの表面上に)形成された、複数本(図15の場合は4本)のTDI方式イメージセンサ29−1〜29−4を有する。TDI方式イメージセンサ29−1〜29−4を、第2種のTDI方式イメージセンサという。
TDI方式イメージセンサ29−1〜29−4は、それらの長手方向、即ちその画素アレイの配置方向が、衛星のCT方向と一致するように配置されている。
TDI方式イメージセンサ29−1〜29−4は、それらの画素アレイが、上記の焦点面に位置するように設けられている。
TDI方式イメージセンサ29−1〜29−4の入射面上には、それぞれ異なる波長帯の光を透過する分光フィルタが装着されており、TDI方式イメージセンサ29−1〜29−4からは互いに異なる色(分光スペクトル)の画像が出力される。
複数個(図15の場合は4個)のMU検出器28−1〜28−4はベース板24の表面上にスタガ配置され、MU検出器28−1〜28−4のうちの互いに隣接するもののTDI方式イメージセンサ29−1〜29−4の端部が互いにオーバーラップするように配置される。こうして、4個のMU検出器28−1〜28−4の組み合わせで、複数バンド(図15の場合は4バンド)のMU検出装置202を構成している。
TDI方式イメージセンサ29−1〜29−4の画素アレイは、互いに水平方向にずれることなく配置されている。
TDI方式イメージセンサ29−1〜29−4の画素アレイの画素ピッチp2は、TDI方式イメージセンサ26−1及び26−2の画素ピッチp1のR倍である。
即ち、Rは、PA検出装置201(を構成するTDI方式イメージセンサ)の画素ピッチp1に対するMU検出装置202(を構成するTDI方式イメージセンサ)の画素ピッチp2の比である。
上記の画素ピッチ比Rの値は、一般に2以上の整数倍に設定される場合が多い。これは、パンシャープン処理によってカラー画像を合成する際に、画素ピッチ比が整数倍であると処理が単純化されることによる。
PA検出装置201とMU検出装置202とは、焦点面構成部101上で水平方向の同じ範囲に画素アレイが配列される。すなわち、衛星の進行に伴ってスキャンされる地球表面の範囲(観測範囲)は、PA検出装置201とMU検出装置202とで同じである。
MU検出装置202を構成するTDI方式イメージセンサ29−1〜29−4の各々は、互いに垂直方向に画素ピッチの1/2だけずれるとともに、水平方向に画素ピッチの1/2だけずれた2枚の格子画像を出力する。
TDI方式イメージセンサ29−1〜29−4の各々としては、実施の形態1、2又は3によるTDI方式イメージセンサを用いることができる。
TDI方式イメージセンサ29−1〜29−4の各々が出力する2枚の格子画像は、TDI方式イメージセンサ26−1及び26−2の組み合わせが出力する2枚の格子画像と同じ画素配列を有し、TDI方式イメージセンサ29−1〜29−4の各々が出力する2枚の格子画像に対してオーバーサンプリングの画像処理を行うことで得られる画像は、TDI方式イメージセンサ26−1及び26−2の組み合わせが出力する2枚の格子画像に対してオーバーサンプリングの画像処理を行うことで得られる画像と同じ画素配列を有する。
TDI方式イメージセンサ29−1〜29−4の各々として用いられる、単一のTDI方式イメージセンサによって得られた2枚の格子画像は、衛星の進行方向の変動、撮像光学系の歪等がある場合でも常に理想的な位置関係を有するため、画像を合成する際の位置精度が高く、優れた高精細マルチスペクトル画像が得られる。
また、以上の構成で得られた格子画像に対してオーバーサンプリングによる画像処理を行うと、PA検出器25−1〜25−4に関しては画素ピッチがp1/2の画像が得られ、MU検出器28−1〜28−4に関しては画素ピッチがp2/2=R×p1/2の画像が得られる。すなわち、オーバーサンプリングによる画像処理の結果得られる画像間の解像度の比はR倍であり、オーバーサンプリングによる画像処理を行う前のPA画像とMU画像との解像度の比と変わらない。
また、4バンドのMU検出器を構成する場合、比較例の如く2本のTDI方式イメージセンサの組み合わせを用いる場合には、8本のTDI方式イメージセンサが必要であるが、実施の形態5では、4本のTDI方式イメージセンサで4バンドのMU検出器を構成することができる。そのため、MU検出器の垂直方向の寸法を大幅に低減できるとともに、消費電力も大幅に削減される。
実施の形態1、2又は3によるTDI方式イメージセンサは、1つの画素が2行2列のサブ画素で構成されるため、製造上の限界等の理由によって画素ピッチ自体を小さくするには不向きである。ところが入射光量の関係で、MU検出器の画素ピッチはPA検出器に比べて数倍程度大きく設定する必要があるため、この構成がかえって有利になる。すなわち、高解像度を要求されるPA検出器は、各々1枚の格子画像を生成する2本のTDI方式イメージセンサ組み合わせで構成し、バンド数を増やしたいMU検出器は、各々2枚の格子画像を生成する複数本のTDI方式イメージセンサで構成することで、高解像度化、低消費電力化及び装置小型化をバランスよく実現できる。
またMU検出器28−1〜28−4の各々を構成する第2種のTDI方式イメージセンサの数は、4に限定されず、2又は3であっても良く5以上であっても良い。要するに複数であれば良い。
そのような複数本の第2種のTDI方式イメージセンサは、互いに異なる波長帯の光を透過する分光フィルタが装着されていれば良い。
実施の形態6.
図17は実施の形態6による撮像装置の、焦点面構成部101のPA検出装置及びMU検出装置の構成要素の配置の例を示す平面図である。
図17に示される構成は、図15に示される構成に対して以下の点で異なる。
即ち、図15のPA検出装置201及びMU検出装置202の代わりに、PA検出装置201b及びMU検出装置202bが設けられている。
PA検出装置201bは、4つのPA検出器25b−1〜25b−4から成る。PA検出器25b−1〜25b−4の各々は、一つの半導体チップの表面に(即ち同じチップの表面に)形成された3本のTDI方式イメージセンサ26−1〜26−3を有する。
TDI方式イメージセンサ26−1〜26−3の各々を、第1種のTDI方式イメージセンサという。
TDI方式イメージセンサ26−1〜26−3は、それらの長手方向、即ちその画素アレイの配置方向が、衛星のCT方向と一致するように配置されている。
TDI方式イメージセンサ26−1〜26−3は、それらの画素アレイが、上記の焦点面に位置するように設けられている。
複数個(図17の場合は4個)のPA検出器25b−1〜25b−4はベース板24の表面上にスタガ配置され、PA検出器25b−1〜25b−4のうちの互いに隣接するもののTDI方式イメージセンサ26−1〜26−3の端部が互いにオーバーラップするように配置される。こうして、4個のPA検出器25b−1〜25b−4の組み合わせで1個のPA検出装置201bを構成している。
TDI方式イメージセンサ26−1〜26−3の画素アレイは、いずれも画素ピッチがp1であり、水平方向に画素ピッチの1/3ずつずれており、垂直方向に1/3と0以上の整数との和と画素ピッチp1との積で与えられる距離ずつずれている。
即ち上記の距離Es1は、上記の整数をFs1とすれば下記の式で与えられる。
Es1={(1/3)+Fs1}×p1
例えば、TDI方式イメージセンサ26−1及びTDI方式イメージセンサ26−2の水平方向のずれが画素ピッチp1の1/3であり、垂直方向のずれが1/3と0以上の整数との和と画素ピッチp1との積で与えられる。
TDI方式イメージセンサ26−2及びTDI方式イメージセンサ26−3の水平方向のずれが画素ピッチp1の1/3であり、垂直方向のずれ乃至距離が1/3と0以上の整数との和と画素ピッチp1との積で与えられる。
TDI方式イメージセンサ26−1〜26−3では、垂直方向にも水平方向にも信号電荷の加算が行われない。TDI方式イメージセンサ26−1〜26−2では解像度を重視するためである。TDI方式イメージセンサ26−1〜26−3の各々は、特許文献1の図1に示された光検出器と基本的に同じ構成を有するものであっても良い。
3本のTDI方式イメージセンサ26−1〜26−3から出力される画素信号で表される格子画像は、それぞれ図18(a)〜(c)に示される画素配列を有する。図18(a)で、〇印18aはTDI方式イメージセンサ26−1で得られる格子画像におけ各画素の領域の中心を示し、図18(b)で、●印18bはTDI方式イメージセンサ26−2で得られる格子画像におけ各画素の領域の中心を示し、図18(c)で、◇印18cはTDI方式イメージセンサ26−3で得られる格子画像におけ各画素の領域の中心を示す。図18(a)、〜(c)に示される格子画像は、互いに垂直方向に画素ピッチp1の1/3ずつずれ、かつ水平方向に画素ピッチp1の1/3ずつずれている。
その結果、上記の3枚の格子画像に対してオーバーサンプリングの画像処理を行うことで得られる画像は、図18(d)の格子点18a、18b、18cの位置に画素データを有する斜め格子の画像である。
図18(c)の画素配列は、図13(d)の画素配列と同様である。但し、図13(d)の格子点18a、18b、18cの位置の画素データは、同じサブ画素列内の3個のサブ画素の信号を加算したものであるのに対し、図18(d)の格子点18a、18b、18cの位置の画素データは、信号加算を行うことなく得られたものである。
実施の形態4で説明したのと同様に、図18(d)の格子点19の画素データを補間することで、図18(d)の格子点18a、18b、18c、19の位置に画素データを有する格子画像が得られる。
以上のように、TDI方式イメージセンサ26−1〜26−3の組み合わせは1つのオーバーサンプリング検出器を構成している。
図17に示されるMU検出装置202bは、4つのMU検出器28b−1〜28b−4から成る。
MU検出器28b−1〜28b−4の各々は、一つの半導体チップの表面に(すなわち同じチップの表面上に)形成された、複数本(図17の場合は4本)のTDI方式イメージセンサ29b−1〜29b−4を有する。TDI方式イメージセンサ29b−1〜29b−4を、第2種のTDI方式イメージセンサという。
TDI方式イメージセンサ29b−1〜29b−4は、それらの長手方向、即ちその画素アレイの配置方向が、衛星のCT方向と一致するように配置されている。
TDI方式イメージセンサ29b−1〜29b−4は、それらの画素アレイが、上記の焦点面に位置するように設けられている。
TDI方式イメージセンサ29b−1〜29b−4の入射面上には、それぞれ異なる波長帯の光を透過する分光フィルタが装着されており、TDI方式イメージセンサ29b−1〜29b−4からは互いに異なる色(分光スペクトル)の画像が出力される。
複数個(図17の場合は4個)のMU検出器28b−1〜28b−4はベース板24の表面上にスタガ配置され、MU検出器28b−1〜28b−4のうちの互いに隣接するもののTDI方式イメージセンサ29b−1〜29b−4の端部が互いにオーバーラップするように配置される。こうして、4個のMU検出器28b−1〜28b−4の組み合わせで、複数バンド(図17の場合は4バンド)のMU検出装置202bを構成している。
TDI方式イメージセンサ29b−1〜29b−4の画素アレイは、互いに水平方向にずれることなく配置されている。
TDI方式イメージセンサ29b−1〜29b−4の画素アレイの画素ピッチp2は、TDI方式イメージセンサ26−1〜26−3の画素ピッチp1のR倍である。
即ち、Rは、PA検出装置201b(を構成するTDI方式イメージセンサ)の画素ピッチp1に対するMU検出装置202b(を構成するTDI方式イメージセンサ)の画素ピッチp2の比である。
上記の画素ピッチ比Rの値は、一般に2以上の整数倍に設定される場合が多い。これは、パンシャープン処理によってカラー画像を合成する際に、画素ピッチ比が整数倍であると処理が単純化されることによる。
PA検出装置201bとMU検出装置202bとは、焦点面構成部101上で水平方向の同じ範囲に画素アレイが配列される。すなわち、衛星の進行に伴ってスキャンされる地球表面の範囲(観測範囲)は、PA検出装置201bとMU検出装置202bとで同じである。
MU検出装置202bを構成するTDI方式イメージセンサ29b−1〜29b−4の各々は、互いに垂直方向に画素ピッチの1/3ずつずれるとともに、水平方向に画素ピッチの1/3ずつずれた3枚の格子画像を出力する。
TDI方式イメージセンサ29b−1〜29b−4の各々としては、実施の形態4によるTDI方式イメージセンサを用いることができる。
TDI方式イメージセンサ29b−1〜29b−4の各々が出力する3枚の格子画像は、TDI方式イメージセンサ26−1〜26−3の組み合わせが出力する3枚の格子画像と同じ画素配列を有し、TDI方式イメージセンサ29b−1〜29b−4の各々が出力する3枚の格子画像に対してオーバーサンプリングの画像処理を行うことで得られる画像は、TDI方式イメージセンサ26−1〜26−3の組み合わせが出力する3枚の格子画像に対してオーバーサンプリングの画像処理を行うことで得られる画像と同じ画素配列を有する。
TDI方式イメージセンサ29b−1〜29b−4の各々として用いられる、単一のTDI方式イメージセンサによって得られた3枚の格子画像は、衛星の進行方向の変動、撮像光学系の歪等がある場合でも常に理想的な位置関係を有するため、画像を合成する際の位置精度が向上し、優れた高精細マルチスペクトル画像が得られる。
また、以上の構成で得られた格子画像に対してオーバーサンプリングによる画像処理を行うと、PA検出器25b−1〜25b−4に関しては画素ピッチがp1/3の画像が得られ、MU検出器28b−1〜28b−4に関しては画素ピッチp2/3(=R×p1/3)の画像が得られる。すなわち、オーバーサンプリングによる画像処理の結果得られる画像間の解像度の比はR倍であり、オーバーサンプリングによる画像処理を行う前のPA画像とMU画像との解像度の比と変わらない。
また、4バンドのMU検出器を構成する場合、従来技術の教示に従って、3本のTDI方式イメージセンサの組み合わせを用いる場合には、12本のTDI方式イメージセンサが必要であるが、実施の形態6では、4本のTDI方式イメージセンサで4バンドのMU検出器を構成することができる。そのため、MU検出器の垂直方向の寸法を大幅に低減できるとともに、消費電力も大幅に削減される。
実施の形態4によるTDI方式イメージセンサは、1つの画素が3行3列のサブ画素で構成されるため、製造上の限界等の理由によって画素ピッチ自体を小さくするには不向きである。ところが入射光量の関係で、MU検出器の画素ピッチはPA検出器に比べて数倍程度大きく設定する必要があるため、この構成がかえって有利になる。すなわち、高解像度を要求されるPA検出器は、各々1枚の格子画像を生成する3本のTDI方式イメージセンサの組み合わせで構成し、バンド数を増やしたいMU検出器は、各々3枚の格子画像を生成する複数本のTDI方式イメージセンサで構成することで、高解像度化、低消費電力化及び装置小型化をバランスよく実現できる。
なお、上記の例では、PA検出器は、各々1枚の格子画像を生成する3本のTDI方式イメージセンサの組み合わせで構成され、MU検出器は、各々3枚の格子画像を生成する複数本のTDI方式イメージセンサで構成されている。
PA検出器を構成するTDI方式イメージセンサの数は、4以上であっても良く、実施の形態5の如く2であっても良く、またMU検出器を構成するTDI方式イメージセンサの各々が生成する格子画像の枚数は4以上であっても良く、実施の形態5の如く2であっても良い。
一般化すれば、PA検出器(25)は、N本(N:整数)の第1種のTDI方式イメージセンサ(26−1、26−2)の組み合わせで構成され、複数バンドのマルチスペクトル検出器(28)は、複数本の第2種のTDI方式イメージセンサ(29−1〜29−4)で構成され、N本の第1種のTDI方式イメージセンサ(26−1、26−2)は、水平方向に互いに画素ピッチの1/Nずつずれた位置に配置されており、垂直方向に互いに1/Nと0以上の整数との和と画素ピッチとの積で与えられる距離ずつずれた位置に配置されていれば良い。
即ち上記の距離Esは、上記の整数をFsとし、上記の画素ピッチをpとすれば下記の式で与えられる。
Es={(1/N)+Fs}×p
例えば、N本の第1種のTDI方式イメージセンサが、水平方向の異なる位置に配置されており、その配置位置に応じて、水平方向の一方の側から他方の側に順番を付けたとき、n番目(nは2からNのいずれか)の位置に配置された第1種のTDI方式イメージセンサは、(n−1)番目の位置に配置された第1種のTDI方式イメージセンサに対して、一方の側、例えば図面上右側に画素ピッチの1/Nずつずらして配置されていれば良い。
また例えば、N本の第1種のTDI方式イメージセンサが、垂直方向の異なる位置に配置されており、その配置位置に応じて、垂直方向の一方の側から他方の側に順番を付けたとき、n番目(nは2からNのいずれか)の位置に配置された第1種のTDI方式イメージセンサは、(n−1)番目の位置に配置された第1種のTDI方式イメージセンサに対して、一方の側、例えば図面上下側に1/Nと整数との和と画素ピッチとの積で与えられる距離ずつずらして配置されていれば良い。
また、複数本の第2種のTDI方式イメージセンサは、互いに異なる波長帯の光を透過する分光フィルタが装着されており、第2種のTDI方式イメージセンサ(29b−1〜29b−4)は、第1種のTDI方式イメージセンサ(26−1〜26−3)よりも画素ピッチが大きく、複数本の第2種のTDI方式イメージセンサの各々は、互いに水平方向に画素ピッチの1/N(Nは2以上の整数)ずつずれかつ垂直方向に画素ピッチの1/NずつずれたN枚の格子画像を出力する構成であれば良い。
またMU検出器28b−1〜28b−4の各々を構成する第2種のTDI方式イメージセンサの数は、4に限定されず、2又は3であっても良く5以上であっても良い。要するに複数であれば良い。
そのような複数本の第2種のTDI方式イメージセンサは、互いに異なる波長帯の光を透過する分光フィルタが装着されていれば良い。
また、実施の形態5及び6に係る撮像装置によれば、複数本の第2種のTDI方式イメージセンサの各々から出力されるN枚の格子画像が、N本の第1種のTDI方式イメージセンサから出力されるN枚の格子画像とそれぞれ同じ画素配列を有するので、第2種のTDI方式イメージセンサの出力に対するオーバーサンプリングの画像処理を第1のTDI方式イメージセンサの出力に対するオーバーサンプリングの画像処理と同じ方法で行うことができ、オーバーサンプリングの画像処理で得られた画像を用いて行われるパンシャープン処理等の画像処理が容易であり、かつ、撮像装置を全体としてより小さくすることができ、消費電力も少なくなる。
上記した実施の形態には種々の変形が可能である。例えば、各実施の形態中で説明した変形例についての記載は他の実施の形態にも適用可能である。
また、上記の実施の形態では、サブ画素(或いは画素)の水平方向のピッチと垂直方向のピッチが互いに等しいものとして説明したが、サブ画素(或いは画素)の水平方向のピッチと垂直方向のピッチとは異なっていても良い。
1 画素、 2 サブ画素、 3 画素アレイ、 4 垂直転送チャネル、 5 垂直CCD、 6 水平CCD、 7,7−1,7−2 出力回路、 8,8−1,8−2,8−3 電荷蓄積ゲート、 9,9−1,9−2,9−3 電荷蓄積制御ゲート、 10 垂直転送電極の組、 10−1〜10−4 垂直転送電極、 11 水平転送チャネル、 12−1,12−2 水平転送電極、 13−1,13−2 水平転送電極、 14 水平転送電極の組、 14−1,14−2 水平転送電極対、 15 金属配線、 16 入出力パッド、 17 信号電荷、 18 画素中心、 19 格子点、 20a,20b,20c 信号加算される画素の領域、 21a,21b,21c サブ画素列の領域、 22 送出制御ゲート、 23 分離部、 24 ベース板、 25−1〜25−4,25b−1〜25b−4 PA検出器、 26−1〜26−3 TDI方式イメージセンサ、 28−1〜28−4 MU検出器、 29−1〜29−4,29b−1〜29b−4 TDI方式イメージセンサ、 101 焦点面構成部、 102 光学部、 103 駆動部、 104 信号処理部、 105 伝送部、 201,201b PA検出装置、 202,202b MU検出装置。

Claims (9)

  1. 水平方向及び垂直方向に配列され、各々光電変換を行う複数のサブ画素を有する画素アレイと、
    水平方向の異なる位置において垂直方向に配列された複数の前記サブ画素で光電変換により発生された信号電荷を時間遅延積分して前記垂直方向に転送する複数の垂直転送部と、
    前記複数の垂直転送部により転送された信号電荷を水平方向に転送する水平転送部と、
    前記水平転送部により転送された信号電荷の量を表す画素信号を出力する少なくとも一つの出力回路と、
    それぞれ前記複数の垂直転送部に対応して設けられ、各々対応する垂直転送部で転送された信号電荷を蓄積する複数の電荷蓄積部と、
    それぞれ前記電荷蓄積部に対応して設けられ、各々対応する電荷蓄積部に蓄積された信号電荷の、前記水平転送部への送出を制御する複数の電荷蓄積制御ゲートとを有し、
    前記複数の垂直転送部は、各々相連続するN個(Nは2以上の整数)の前記垂直転送部から成る複数の群に分割され、
    前記垂直転送部は、1撮像周期中に、サブ画素N個分の垂直転送を行ない、
    各群のN個の垂直転送部に対応するN個の電荷蓄積制御ゲートは、それぞれ1撮像周期中に1回、かつ一つずつ順に選択され、対応する電荷蓄積部から前記水平転送部への信号電荷の送出を行わせる
    TDI方式イメージセンサ。
  2. 前記複数の群の各々の垂直転送部に対し、水平方向の一方の側から他方の側への順に順番を付けたとき、
    i番目(iは2からNのいずれか)の垂直転送部に対応する電荷蓄積制御ゲートは、(i−1)番目の垂直転送部に対応する電荷蓄積制御ゲートの次に、対応する電荷蓄積部から前記水平転送部への信号電荷の送出を行わせ、
    1番目の垂直転送部に対応する電荷蓄積制御ゲートは、N番目の垂直転送部に対応する電荷蓄積制御ゲートの次に、対応する電荷蓄積部から前記水平転送部への信号電荷の送出を行わせる
    請求項1に記載のTDI方式イメージセンサ。
  3. 前記複数の群の各々の垂直転送部に対し、水平方向の一方の側から他方の側への順に順番を付けたとき、前記複数の群のj番目(jは1からNのいずれか)の垂直転送部に対応する電荷蓄積制御ゲートは互いに同時に対応する電荷蓄積部から前記水平転送部への信号電荷の送出を行わせる
    請求項1又は2に記載のTDI方式イメージセンサ。
  4. 前記複数の前記電荷蓄積制御ゲートと、前記水平転送部との間に設けられた送出制御ゲートをさらに有し、
    前記垂直転送部の各々は、当該垂直転送部に沿って形成された転送チャネルを有し、
    前記複数の群の各々の垂直転送部を構成する転送チャネルが、前記送出制御ゲートの下で互いに合流した後、前記水平転送部に接続されている
    請求項1から3のいずれかに記載のTDI方式イメージセンサ。
  5. 前記水平転送部は、第1の水平転送部と第2の水平転送部とに分割されており、
    前記複数の垂直転送部は、
    前記画素アレイの、水平方向の一方の側を占める第1のアレイ部分内で発生した信号電荷を転送する第1組の垂直転送部と、
    前記画素アレイの、水平方向の他方の側を占める第2のアレイ部分内で発生した信号電荷を転送する第2組の垂直転送部とを含み、
    前記少なくとも一つの出力回路は、第1の出力回路と第2の出力回路とを含み、
    前記第1の水平転送部の第1の端部と前記第2の水平転送部の第1の端部とが互いに隣接し、かつ互いに分離されており、
    前記第1の出力回路は、前記第1の水平転送部の第2の端部に接続され、
    前記第2の出力回路は、前記第2の水平転送部の第2の端部に接続され、
    前記第1の水平転送部は、前記第1組の垂直転送部で転送された信号電荷を前記第1の出力回路に向けて転送し、
    前記第2の水平転送部は、前記第2組の垂直転送部で転送された信号電荷を前記第2の出力回路に向けて転送し、
    前記第1の出力回路は、前記第1の水平転送部により転送された信号電荷の量を表す画素信号を出力し、
    前記第2の出力回路は、前記第2の水平転送部により転送された信号電荷の量を表す画素信号を出力する
    請求項1から4のいずれかに記載のTDI方式イメージセンサ。
  6. Nが2である請求項1から5のいずれか1項に記載のTDI方式イメージセンサ。
  7. パンクロマチック検出器と、複数バンドのマルチスペクトル検出器とを有し、
    前記パンクロマチック検出器は、N本(Nは2以上の整数)の第1種のTDI方式イメージセンサで構成され、
    前記複数バンドのマルチスペクトル検出器は、複数本の第2種のTDI方式イメージセンサで構成され、
    前記複数本の第2種のTDI方式イメージセンサは、互いに異なる波長帯の光を透過する分光フィルタが装着されており、
    前記第2種のTDI方式イメージセンサは、前記第1種のTDI方式イメージセンサよりも画素ピッチが大きく、
    前記N本の第1種のTDI方式イメージセンサは、水平方向に互いに画素ピッチの1/Nずつずれ、かつ垂直方向に互いに1/Nと0以上の整数との和と画素ピッチとの積で与えられる距離ずつずれた位置に配置されており、
    前記複数本の第2種のTDI方式イメージセンサの各々は、水平方向に画素ピッチの1/Nずつずれ、かつ垂直方向に画素ピッチの1/NずつずれたN枚の格子画像を出力し、
    前記複数本の第2種のTDI方式イメージセンサの各々が請求項1から6のいずれか1項に記載のTDI方式イメージセンサである
    撮像装置。
  8. パンクロマチック検出器と、複数バンドのマルチスペクトル検出器とを有し、
    前記パンクロマチック検出器は、N本(Nは2以上の整数)の第1種のTDI方式イメージセンサで構成され、
    前記複数バンドのマルチスペクトル検出器は、複数本の第2種のTDI方式イメージセンサで構成され、
    前記複数本の第2種のTDI方式イメージセンサは、互いに異なる波長帯の光を透過する分光フィルタが装着されており、
    前記第2種のTDI方式イメージセンサは、前記第1種のTDI方式イメージセンサよりも画素ピッチが大きく、
    前記N本の第1種のTDI方式イメージセンサは、水平方向に互いに画素ピッチの1/Nずつずれ、かつ垂直方向に互いに1/Nと0以上の整数との和と画素ピッチとの積で与えられる距離ずつずれた位置に配置されており、
    前記複数本の第2種のTDI方式イメージセンサの各々は、水平方向に画素ピッチの1/Nずつずれ、かつ垂直方向に画素ピッチの1/NずつずれたN枚の格子画像を出力する
    撮像装置。
  9. Nが2である請求項8に記載の撮像装置。
JP2020005270A 2020-01-16 2020-01-16 Tdi方式イメージセンサ、及び撮像装置 Active JP7278226B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020005270A JP7278226B2 (ja) 2020-01-16 2020-01-16 Tdi方式イメージセンサ、及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020005270A JP7278226B2 (ja) 2020-01-16 2020-01-16 Tdi方式イメージセンサ、及び撮像装置

Publications (2)

Publication Number Publication Date
JP2021114652A true JP2021114652A (ja) 2021-08-05
JP7278226B2 JP7278226B2 (ja) 2023-05-19

Family

ID=77077758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020005270A Active JP7278226B2 (ja) 2020-01-16 2020-01-16 Tdi方式イメージセンサ、及び撮像装置

Country Status (1)

Country Link
JP (1) JP7278226B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021166780A (ja) * 2017-12-15 2021-10-21 株式会社三洋物産 遊技機
JP2021166783A (ja) * 2017-12-15 2021-10-21 株式会社三洋物産 遊技機
JP2021166781A (ja) * 2017-12-15 2021-10-21 株式会社三洋物産 遊技機

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236156A (ja) * 2007-03-19 2008-10-02 Mitsubishi Electric Corp 光検出器及び人工衛星搭載光学センサ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236156A (ja) * 2007-03-19 2008-10-02 Mitsubishi Electric Corp 光検出器及び人工衛星搭載光学センサ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021166780A (ja) * 2017-12-15 2021-10-21 株式会社三洋物産 遊技機
JP2021166783A (ja) * 2017-12-15 2021-10-21 株式会社三洋物産 遊技機
JP2021166781A (ja) * 2017-12-15 2021-10-21 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
JP7278226B2 (ja) 2023-05-19

Similar Documents

Publication Publication Date Title
US9843751B2 (en) Solid-state image sensor and camera system
JP2021114652A (ja) Tdi方式イメージセンサ、及び撮像装置
US9420208B2 (en) Driving method for image pickup apparatus and driving method for image pickup system
US4663656A (en) High-resolution CCD imagers using area-array CCD's for sensing spectral components of an optical line image
US5045932A (en) Method and apparatus for generating a high definition electronic signal from a line scan of a color original
EP3525449B1 (en) Image-capturing element and image-capturing device
US5587814A (en) Color image sensor including plural light-receiving windows and color filters
US9100545B2 (en) Image device having a plurality of detectors in a time delay and integration (TDI) configuration and associated method
US4278995A (en) Color line sensor for use in film scanning apparatus
CN102986228B (zh) 固体摄像元件、具备该固体摄像元件的摄像装置、以及摄像控制方法
JP4139088B2 (ja) 固体撮像装置及びその制御方法
KR100347507B1 (ko) Ccd고체촬상소자및그구동방법
US8253818B2 (en) Pixel shift type imaging device
US6462779B1 (en) Constant speed, variable resolution two-phase CCD
US7176972B2 (en) Fast imaging device and fast photographing device
US20060268138A1 (en) Image signal processing unit, image pickup device including the same, and image signal processing method
WO2018116523A1 (ja) Tdi方式リニアイメージセンサ
US20100208116A1 (en) Color ccd linear image sensor
JP2011146924A (ja) イメージセンサおよびそれを用いた撮像装置
JP2002185871A (ja) 固体撮像素子及びその駆動方法
US20230308780A1 (en) Imaging device, and electronic instrument comprising imaging device
US20220217294A1 (en) Imaging device
JP2895941B2 (ja) 固体撮像装置
JPH0137910B2 (ja)
JP4373431B2 (ja) 固体撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230509

R150 Certificate of patent or registration of utility model

Ref document number: 7278226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150