JP2006014117A - 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 - Google Patents

Abstract

【課題】ダイナミックレンジ拡大処理機能を持つ撮像装置において、簡易な構成でありながら、通常時と同等のフレームレートと低消費電力を達成できるようにする。
【解決手段】固体撮像素子１０における全体の撮像範囲の内、垂直列方向に連続したライン（水平列）でなる領域で垂直列方向を複数（たとえば３つ）の領域に分割し、その内の一部の領域（たとえば領域Ｂ）を、ダイナミックレンジ拡大処理に寄与する有効領域として取り扱い、この領域Ｂを使って、露光時間が異なる条件の元で複数の画像信号を、その際の各処理速度を、全体の検知領域から処理対象信号を取得する際の処理速度と同じにして、取得する。通常時と同等の処理速度で各条件の信号を取得しても、通常時と同等のフレームレートで各条件の複数の信号を取得でき、通常時と同等のフレームレートと低消費電力を達成しつつ、ダイナミックレンジを拡大できる。
【選択図】図１０

Description

本発明は、物理情報取得方法および物理情報取得装置、並びに複数の単位構成要素が配列されてなる物理量分布検知の半導体装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、複数の画像情報に基づいて所定目的用の情報を取得する技術に関する。

光や放射線などの外部から入力される電磁波あるいは圧力（接触など）などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。

たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。また、コンピュータ機器の分野では、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置などが使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。

たとえば、固体撮像素子は、光電変換素子であるフォトダイオードに蓄積された信号電荷（光電子）を、画像情報として読み出す。画素部から読み出されたアナログの画素信号は、必要に応じて、アナログ−デジタル変換装置（ＡＤ変換装置；Analog Digital Converter）にてデジタルデータに変換する。

一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。たとえば、ビデオカメラや電子スチルカメラにおいて、広いダイナミックレンジを必要とするシーン、たとえば室内から窓辺の人物を撮影する逆光時の撮影の場合、一般的な露光制御を行なうと、目的の人物が黒く潰れ、窓の外の風景に適切な露光が行なわれる。逆に、室内の被写体の黒潰れを防止するべく逆光補正処理を行ない、目的の人物の映像信号が黒く潰れないような補正を行なうと、逆光補正前に最適な露光であった室外の風景は白く飛んでしまう。あるいは、室内外双方の露光の妥協点で撮影を行なうと、室内外ともに満足な画像にならない。

このような広いダイナミックレンジを必要とするシーンを撮影する場合の問題を解消する一手法として、同一被写体について、それぞれ異なる検知時間（たとえば露光時間に基づく信号電荷の蓄積時間）の元で取得された複数の信号を用いて、すなわち屋内画像に適した長時間露光と屋外露光に適した短時間露光を連続で行ない、広ダイナミックレンジの画像を取得する仕組みが考えられている（たとえば特許文献１参照）。

特開２００３−１６３８３１号公報

たとえば、蓄積時間の異なる２系統の出力１，２を使ってデバイス外部（オフチップ）の合成回路にて画像合成することで、より広い入射光量に対して飽和し難い信号出力が得られ、低輝度部分のＳ／Ｎ（Signal (to) Noise ratio ）の低下を防止しつつ、高輝度部分の飽和を防止することでダイナミックレンジを拡大することができる。たとえば、屋内画像は長時間露光のＳ／Ｎの良好な部分を用いる一方、長時間露光で白飛びしてしまう屋外領域を短時間露光の画像を用いることができ、屋内から屋外までの階調を実現できる。

しかしながら、このようにして露光条件の異なる複数の画像情報に基づいてダイナミックレンジを拡大する場合、露光時間の異なる複数枚（典型例は２枚）分の画像信号が必要となる。複数枚分の画像信号を得るためのフレームレートを通常の読出し時と同じにするためには、撮像デバイスを画像枚数の倍数分だけ高速（たとえば２枚の場合には２倍）の周波数で駆動しなければならない。

しかしながら、高速の周波数で駆動すると、デバイスの設計仕様や信号処理システムの特性上の制限があり、特性の劣化の問題が生じる。たとえばＣＣＤデバイスであれば、垂直および水平転送の劣化やＳ／Ｎ劣化などの問題が生じる。加えて、転送クロック数が高くなることに伴って、消費電力の増加を伴う。

この新たな問題を解消する方法として、たとえば、露光時間の異なる複数枚（典型例は２枚）分の画像信号を読み出すための特殊なデバイス構造や回路を用意する仕組みも考えられている。しかしながら、この場合、特殊（複雑）なデバイス構造でなければダイナミックレンジを拡大することができない。つまり、センサデバイスとしての制限がある。また、回路規模が増大する問題が生じる。

また、撮像条件の異なる複数の画像情報に基づいて所定目的を達する情報を取得する仕組みは、前述のダイナミックレンジを拡大する用途に限らず、様々なものがある。一例としては、たとえば、特許文献２に記載のように、撮像時点の異なる複数の画像情報から差分画像を求めて動体検出を行なう仕組みがある。

特開平１１−８８０５号公報 この動体検出の仕組みの場合にも、撮像時点の異なる複数の画像情報に基づいて差分画像を求めて動体検出する場合、露光時間の異なる複数枚（典型例は２枚）分の画像信号が必要となる。したがって、前述のダイナミックレンジを拡大する用途と同様に、複数枚分の画像信号を得るためのフレームレートを通常の読出し時と同じにするためには、撮像デバイスを画像枚数の倍数分だけ高速（たとえば２枚の場合には２倍）の周波数で駆動しなければならない。

本発明は、上記事情に鑑みてなされたものであり、簡易な構成でありながら、通常時と同等のフレームレートと低消費電力を達成しつつ、異なる検知条件の元で複数の信号を取得することで、たとえばダイナミックレンジを拡大する、あるいは動体検出を行なうなどができる仕組みを提供することを目的とする。

本発明に係る物理情報取得方法は、半導体装置における全体の検知領域の内、所定方向に連続した複数の単位構成要素で構成される領域単位で複数の領域に分割して取り扱い、この分割した領域の内の一部を使って、検知条件（たとえば検知時間や検知時点）が異なる複数の単位信号のそれぞれを取得することとした。

本発明に係る物理情報取得装置や半導体装置は、上記本発明に係る物理情報取得方法を実施するのに好適な装置であって、半導体装置における全体の検知領域の内、所定方向に連続した複数の単位構成要素で構成される領域単位で複数の領域に分割して取り扱い、この分割した領域の内の一部を使って、検知条件が異なる複数の単位信号のそれぞれを取得する用途信号取得部を備えるものとした。

また従属項に記載された発明は、本発明に係る物理情報取得方法や物理情報取得装置あるいは半導体装置のさらなる有利な具体例を規定する。

たとえば、分割した領域の内の一部を、全体の検知領域の内の１／２以下の領域にするのがよく、また、この分割した領域の内の一部から、検知条件が異なる複数の単位信号をそれぞれ取得する際には、その各処理速度を、全体の検知領域から単位信号を取得する際の処理速度と同じにするのがよい。

なお、対象の半導体装置は、汎用的なものであってもよいが、分割した領域ごとに、単位構成要素からの単位信号の読み出しの有無を独立に制御することが可能なものであるとなおよい。

分割した領域について、独立に制御することが可能な構造とするには、たとえば、検知領域において水平および垂直方向に複数の単位構成要素が配され、この単位構成要素で発生した単位信号を所定の駆動信号に応じて垂直および水平方向に転送して処理対象信号を得る装置とし、単位構成要素ごとに対応して設けられた読出ゲート部と、この読出ゲート部に読出電圧を印加して、単位構成要素から単位信号を読み出し、この単位信号を転送する駆動信号を印加する駆動部とを有するものとし、駆動部を、分割した各検知領域のそれぞれに配された読出ゲート部に、それぞれ独立に読出電圧を印加する構造とすればよい。このような仕組みの実現に当たっては、たとえば、特開２００３−９００９号公報に記載の技術を利用することができる。

本発明によれば、半導体装置における全体の検知領域を複数の領域に分割して取り扱い、この分割した領域の内の一部を使って、検知条件が異なる複数の単位信号を取得するようにした。検知領域の全体ではなく一部の領域を使うようにすることで、検知条件が異なる各信号取得に要する時間を短くすることができる。

これにより、通常時と同等の処理速度で各条件の信号を取得するようにしても、通常時と同等のフレームレートで各条件の複数の単位信号を取得できる。よって、通常時と同等のフレームレートと低消費電力を達成しつつ、異なる検知条件の元で複数の信号を取得することができる。たとえばダイナミックレンジを拡大する、あるいは動体検出を行なうなどが、通常時と同等のフレームレートと低消費電力を達成しつつできるようになる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜デジタルスチルカメラの全体構成；ＣＣＤタイプ＞
図１は、本発明に係る半導体装置の一例である撮像装置（カメラシステム）の第１実施形態を示す概略構成図である。第１実施形態の撮像装置は、固体撮像素子１０の一例であるたとえばインターライン転送（ＩＴ）方式で、全ての画素に蓄積した信号を水平ラインごとに順次読み出す全画素読出し（プログレッシブ読出し）が可能なＣＣＤ固体撮像素子１１（もちろんデバイス選択による）、たとえば製造ラインの搬送ベルトに載置され移動されて来た被写体Ｚの光学像を取り込む撮像レンズ５０、およびＣＣＤ固体撮像素子１１を駆動する駆動制御部９６を有するカメラモジュール３と、カメラモジュール３により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット４とを備えてなるＦＡ（Factory Automation）カメラ１として構成されている。

カメラモジュール３と接続される本体ユニット４は、たとえばパーソナルコンピュータ（以下パソコンともいう）を利用して、ＣＰＵやメモリを使用してソフトウェア的に画像処理機能や制御機能を実現することができる。ソフトウェアにより処理を実行させる仕組みとすることで、ハードウェアの変更を伴うことなく、処理手順などを容易に変更できる利点を享受できるようになる。

なお、このＦＡカメラ１は、具体的には、フレーム読出方式を用いた静止画撮像動作時にカラー画像を撮像し得るカメラとして適用されるようになっている。また、フレーム読出方式としては、ＣＣＤ固体撮像素子１１と組み合わせることで、一般的な２フィールド読出方式に限らず、３フィールド、４フィールド、あるいは５フィールド、さらにはそれ以上など様々フィールド数の態様の読出方式を適用可能に構成されている。また、静止画撮像モードに限らず、間引き読みを利用して３０フレーム／秒に近いフレームレート（たとえば１０フレーム以上／秒）での動画撮影モードも用意されている。

カメラモジュール３内の駆動制御部９６には、ＣＣＤ固体撮像素子１１を駆動するための各種のパルス信号を生成するタイミング信号生成部４０と、このタイミング信号生成部４０からのパルス信号を受けて、ＣＣＤ固体撮像素子１１を駆動するためのドライブパルスに変換するドライバ（駆動部）４２と、ＣＣＤ固体撮像素子１１やドライバ４２などに電源供給する駆動電源４６が設けられている。

カメラモジュール３内の固体撮像素子１０（本例ではＣＣＤ固体撮像素子１１）と駆動制御部９６とにより固体撮像装置２が構成される。固体撮像装置２は、ＣＣＤ固体撮像素子１１と駆動制御部９６とが、１枚の回路基板上に配されたもの、あるいは１つの半導体基板上に形成されたものとして提供されるものであるのがよい。

ＣＣＤ固体撮像素子１１は、その構成例については図示を割愛するが、たとえば、半導体基板上に、画素（ユニットセル）に対応して受光素子の一例であるフォトダイオードなどからなるセンサ部（感光部；フォトセル）が多数、水平（行）方向および垂直（列）方向において２次元マトリクス状に配列されている。これらセンサ部は、受光面から入射した入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。

センサ部は、カラー画像撮像用途として、光が入射されるフォトダイオードなどの受光面には、複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられる。一例としては、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いて、正方格子状に配されたセンサ部（単位画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタ（原色フィルタ）に対応するように配される。あるいは、シアン（Ｃ），マゼンタ（Ｍ），イエロ（Ｙ），緑（Ｇ）の４色を組み合わせた補色フィルタ構成のものとしてもよい。

信号処理として、原色信号処理を行なう構成のものとする場合、原色フィルタとすれば、ＣＣＤ固体撮像素子１１にて得られる撮像信号（複数色の画素信号の組合せ）から、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離する原色分離部を割愛することができる。

またＣＣＤ固体撮像素子１１は、センサ部の垂直列ごとに３相や４相あるいは６相もしくは８相などの駆動に対応する複数本の垂直転送電極が設けられる垂直ＣＣＤ（Ｖレジスタ部、垂直転送部）が配列される。たとえば全画素読出し対応の構成とする場合、３相駆動にする。垂直ＣＣＤの転送方向は図中縦方向であり、この方向に垂直ＣＣＤが複数本並べられて設けられる。さらに、これら垂直ＣＣＤと各センサ部との間には読出ゲート（ＲＯＧ）が介在し、また各ユニットセルの境界部分にはチャネルストップが設けられる。これらセンサ部の垂直列ごとに設けられ、各センサ部から読出ゲート部によって読み出された信号電荷を垂直転送する複数本の垂直ＣＣＤによって撮像エリアが構成される。

センサ部に蓄積された信号電荷は、読出ゲート部に読出パルスＸＳＧに対応するドライブパルスが印加されることで垂直ＣＣＤに読み出される。垂直ＣＣＤは、３相〜８相などの垂直転送クロックＶｘに基づくドライブパルスφＶｘよって転送駆動され、読み出された信号電荷を水平ブランキング期間の一部にて１走査線（１ライン）に相当する部分ずつ順に垂直方向に転送する。この１ラインずつの垂直転送を、特にラインシフトという。

また、ＣＣＤ固体撮像素子１１には、複数本の垂直ＣＣＤの各転送先側端部すなわち、最後の行の垂直ＣＣＤに隣接して、所定（たとえば左右）方向に延在する水平ＣＣＤ（Ｈレジスタ部、水平転送部）が１ライン分設けられる。この水平ＣＣＤは、たとえば２相の水平転送クロックＨ１，Ｈ２に基づくドライブパルスφＨ１，φＨ２によって転送駆動され、複数本の垂直ＣＣＤから移された１ライン分の信号電荷を、水平ブランキング期間後の水平走査期間において順次水平方向に転送する。このため２相駆動に対応する複数本（２本）の水平転送電極が設けられる。

水平ＣＣＤの転送先の端部には、たとえばフローティング・ディフュージョン・アンプ（ＦＤＡ）構成の電荷電圧変換部が設けられる。この電荷電圧変換部は、水平ＣＣＤによって水平転送されてきた信号電荷を順次電圧信号に変換して出力する。この電圧信号は、被写体からの光の入射量に応じたＣＣＤ出力（Ｖout ）として導出される。以上により、インターライン転送方式のＣＣＤ固体撮像素子１１が構成される。

また、このＦＡカメラ１の処理系統は、大別して、光学系５、信号処理系６、表示系８、および制御系９から構成されている。なお、カメラモジュール３および本体ユニット４が、図示しない外装ケースに収容されて、実際の製品（完成品）が仕上がるのはいうまでもない。信号処理系６は、半導体装置としての固体撮像素子１０で取得される物理量変化の検知信号に基づき所定の物理情報（本例では画像）を取得する物理情報取得装置の一例である。

光学系５は、シャッタ５２、被写体の光画像を集光するレンズ５４、および光画像の光量を調整する絞り５６を有する撮像レンズ５０と、集光された光画像を光電変換して電気信号に変換するＣＣＤ固体撮像素子１１とから構成されている。被写体Ｚからの光Ｌ１は、シャッタ５２およびレンズ５４を透過し、絞り５６により調整されて、適度な明るさでＣＣＤ固体撮像素子１１に入射する。このとき、レンズ５４は、被写体Ｚからの光Ｌ１からなる映像が、ＣＣＤ固体撮像素子１１上で結像されるように焦点位置を調整する。

信号処理系６は、ＣＣＤ固体撮像素子１１からのアナログ撮像信号を増幅するＡＧＣ（Automatic Gain Control）機能付きの増幅アンプや、増幅された撮像信号をサンプリングホールド（Ｓ／Ｈ；Sampling Hold ）することによってノイズを低減させるＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路などを有するプリアンプ部６２、プリアンプ部６２が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換部６４、Ａ／Ｄ変換部６４から入力されるデジタル信号に所定の画像処理を施すＤＳＰ（Digital Signal Processor）で構成されたカメラ信号処理ＬＳＩ（Large Scale Integrated Circuit；大規模集積回路）としての画像信号処理部６６から構成される。

画像信号処理部６６は、たとえば、補色の撮像データから、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離・同時化する原色分離処理、原色の撮像データ（Ｒ，Ｇ，Ｂの各画素データ）を同時化する同時化処理、スミア現象やブルーミング現象によって生じる縦縞のノイズ成分を補正する縦縞ノイズ補正処理、ホワイトバランス（ＷＢ；White Balance ）調整を制御するＷＢ制御処理、階調度合いを調整するガンマ補正処理、電荷蓄積時間の異なる２画面の画素情報を利用してダイナミックレンジを拡大するダイナミックレンジ拡大処理、あるいは輝度データ（Ｙ）や色データ（Ｃ）を生成するＹＣ信号生成処理などを行ない、そのままハードディスク装置７８などの記憶装置に記憶・保存したり、その他の機能部に処理済みデータを送る。なお、本実施形態特有のダイナミックレンジ拡大処理の構成部分については後で詳しく説明する。

このＤＳＰで構成される画像信号処理部６６は、各機能部分の全ての処理をそれぞれ専用のハードウェアによるデジタル処理回路で行なう構成とすることもできるし、これら機能部分の一部をソフトウェア処理で行なう構成とすることもできる。

ソフトウェアで所定の処理を行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。

表示系８は、画像信号処理部６６が処理した画像信号をアナログ化するＤ／Ａ（Digital/Analog）変換部８２、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能する液晶（ＬＣＤ；Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）などよりなるビデオモニタ８４、およびアナログ化された画像信号を後段のビデオモニタ８４に適合する形式のビデオ信号にエンコードするビデオエンコーダ８６から構成されている。なお、Ｄ／Ａ変換部８２とビデオエンコーダ８６との配置を逆にして、エンコード処理をデジタル処理で行なう構成とすることもできる。この場合、ビデオエンコーダ８６を画像信号処理部６６に取り込むこともできる。

制御系９は、先ず、固体撮像素子１０の一例であるＣＣＤ固体撮像素子１１を駆動する基準を定める水平同期信号ＳＨＤや垂直同期信号ＳＶＤなどの基準信号を生成する同期信号生成部４１と、ＦＡカメラ１の全体を制御するＣＰＵ（Central Processing Unit ）などよりなる中央制御部９２とを備えている。同期信号生成部４１は、中央制御部９２からの指示に基づき、所定周期の水平同期信号ＳＨＤや垂直同期信号ＳＶＤを生成して、固体撮像素子１０側のタイミング信号生成部４０に供給する。同期信号生成部４１と、中央制御部９２とにより、本発明に係る基準信号供給部やタイミング制御装置が構成される。

また制御系９は、読出専用の記憶部であるＲＯＭ（Read Only Memory）９３ａ、随時書込みおよび読出しが可能であるともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９３ｂ、不揮発性の記憶部の一例であるＲＡＭ（ＮＶＲＡＭと記述する）９３ｃ、白点位置情報や各種調整データなど装置個別のデータを格納する不揮発性の記憶部の一例であるＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）９３ｄを有する記憶部（メモリ部）９３を備えている。なお、ＣＰＵなどからなる中央制御部９２やＥＥＰＲＯＭ９３ｄを除く記憶部９３の各種メモリはＤＳＰで構成された画像信号処理部６６に取り込むこともできる。

上記において“揮発性の記憶部”とは、ＦＡカメラ１の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、ＦＡカメラ１のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。なお、特殊用途として、半導体製のメモリ素子により構成することに限らず、外付けの駆動装置を利用することで、磁気ディスクや光ディスクなどの外部媒体を利用して構成してもよい。

このような電子計算機を利用して構成されるＦＡカメラ１においては、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、記録媒体（本例ではＲＯＭ９３ａ）からインストールされる。このソフトウェアの中には、コンピュータ上で稼働するＯＳ（オペレーティングシステム；基本ソフト）も含まれる。

なお、所定の処理を中央制御部９２に実行させるプログラムは、ＣＤ−ＲＯＭやフラッシュメモリなどの不揮発性の半導体メモリカードなど、任意の可搬型の記憶媒体を通じて配布（取得や更新）されてもよいし、あるいは、サーバなどからインターネットなどのネットワークを経由してプログラムをダウンロードして取得したり、あるいは更新したりしてもよい。

中央制御部９２は、半導体メモリなどで構成された記憶部９３のＲＯＭ９３ａに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてＦＡカメラ１の全体の動作や信号処理を制御する。ＣＰＵやメモリを利用してソフトウェア的にＦＡカメラ１を構成する、すなわちパーソナルコンピュータなどのコンピュータ（電子計算機）の機能を利用してＦＡカメラ１をソフトウェア的に機能させる構成が実現される。

このような構成において、中央制御部９２は、システムバス９９を介してシステム全体の制御を行なう。ＲＯＭ９３ａは、中央制御部９２の制御プログラムなど装置共通のデータを格納する。ＲＡＭ９３ｂは、ＳＲＡＭ（Static Random Access Memory ）などで構成され、プログラム制御変数や各種処理のためのデータなどを格納する。また、ＲＡＭ９３ｂは、固体撮像素子１０で読み取った画像データや、所定のアプリケーションプログラムによって編集した画像データやハードディスク装置７８から読み取った画像データなどを一時的に格納する領域を含んでいる。

また制御系９は、画像信号処理部６６に送られた画像の明るさが適度な明るさを保つようにシャッタ５２や絞り５６を制御する露出コントローラ９４、ＣＣＤ固体撮像素子１１から画像信号処理部６６までの各機能部の動作タイミングを制御するタイミング信号生成部（タイミングジェネレータ；ＴＧ）４０を具備した駆動制御部９６、ユーザがシャッタタイミングやズーム操作あるいはその他のコマンドを入力するキーやスイッチなどからなる操作部９８を有する。

中央制御部９２は、ＦＡカメラ１のシステムバス９９に接続された画像信号処理部６６、ＣＯＤＥＣ７４、ハードディスク装置７８、露出コントローラ９４、およびタイミング信号生成部４０を制御している。

このＦＡカメラ１では、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、自動露光（ＡＥ）などの自動制御装置を備えている。これらの制御は、ＣＣＤ固体撮像素子１１から得られる出力信号を使用して処理する。たとえば、露出コントローラ９４は、画像信号処理部６６に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部９２により設定され、その制御値に従って絞り５６を制御する。具体的には、中央制御部９２が画像信号処理部６６に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値が予め定められた適当とされる輝度の範囲に収まるように絞り５６の制御値を設定する。

タイミング信号生成部４０は、中央制御部９２により制御され、ＣＣＤ固体撮像素子１１、プリアンプ部６２、Ａ／Ｄ変換部６４、および画像信号処理部６６の動作に必要とされるタイミングパルスを発生し、各部に供給する。操作部９８は、ユーザが、ＦＡカメラ１を動作させるとき操作される。

図示した例は、信号処理系６のプリアンプ部６２およびＡ／Ｄ変換部６４をカメラモジュール３に内蔵しているが、このような構成に限らず、プリアンプ部６２やＡ／Ｄ変換部６４を本体ユニット４内に設ける構成を採ることもできる。またＤ／Ａ変換部を画像信号処理部６６内に設ける構成を採ることもできる。

また、タイミング信号生成部４０をカメラモジュール３に内蔵しているが、このような構成に限らず、タイミング信号生成部４０を本体ユニット４内に設ける構成を採ることもできる。またタイミング信号生成部４０とドライバ４２とが別体のものとしているが、このような構成に限らず、両者を一体化させたもの（ドライバ内蔵のタイミングジェネレータ）としてもよい。こうすることで、よりコンパクトな（小型の）ＦＡカメラ１を構成できる。

また、タイミング信号生成部４０やドライバ４２は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、１つの半導体基板上に回路形成されたＩＣ（Integrated Circuit）として提供されるものであるのがよい。こうすることで、コンパクトにできるだけなく、部材の取扱いが容易になるし、両者を低コストで実現できる。また、ＦＡカメラ１の製造が容易になる。

また、使用するＣＣＤ固体撮像素子１１との関わりの強い部分であるタイミング信号生成部４０やドライバ４２をＣＣＤ固体撮像素子１１と共通の基板に搭載することで一体化させる、あるいはカメラモジュール３内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。また、これらがモジュールとして一体となっているので、ＦＡカメラ１（の完成品）の製造も容易になる。なお、カメラモジュール３は、ＣＣＤ固体撮像素子１１および光学系５からのみ構成されていても構わない。

このようなＣＣＤ固体撮像素子１１を備えたＦＡカメラ１の一連の動作を概説すれば以下の通りである。先ず、タイミング信号生成部４０は、垂直転送用の転送クロックＶ１〜Ｖ６（Ｖ８）や読出パルスＸＳＧなどの種々のパルス信号を生成する。これらのパルス信号は、ドライバ４２により所定電圧レベルのドライブパルスに変換された後に、ＣＣＤ固体撮像素子１１の所定端子に入力される。

搬送ベルト上の被写体Ｚを撮像する際、撮像レンズ５０（シャッタ５２およびレンズ５４）を介してＣＣＤ固体撮像素子１１の受光面に結像された被写体Ｚの光学像は、フォトダイオードなどからなる各センサ部で光の入射光量に応じた量の信号電荷に変換される。

センサ部の各々に蓄積された信号電荷は、タイミング信号生成部４０から発せられた読出パルスＸＳＧが読出ゲート部の転送チャネル端子電極に印加され、転送チャネル端子電極下のポテンシャルが深くなることにより、当該読出ゲート部を通して垂直ＣＣＤに読み出される。そして、垂直ドライブパルスφＶｘに基づいて垂直ＣＣＤが駆動されることで、順次水平ＣＣＤへ転送される。

なお、ＣＣＤ固体撮像素子１１は、蓄積した信号電荷を電子シャッタパルスＳＵＢによって基板に掃出可能な構造のものとし、各画素に蓄積された信号電荷を全画素一斉にリセットすることで電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を実現できる構造のものを使用する。

水平ＣＣＤは、タイミング信号生成部４０から発せられドライバ４２により所定電圧レベルの変換された２相の水平ドライブパルスφＨ１，φＨ２に基づいて、複数本の垂直ＣＣＤの各々から垂直転送された１ラインに相当する信号電荷を順次電荷電圧変換部側に水平転送する。

電荷電圧変換部は、水平ＣＣＤから順に注入される信号電荷を図示しないフローティングディフュージョンに蓄積し、この蓄積した信号電荷を信号電圧に変換し、たとえば図示しないソースフォロア構成の出力回路を介して、タイミング信号生成部４０から発せられたリセットパルスＲＧの制御の元に撮像信号（ＣＣＤ出力信号）Ｖout として出力する。

すなわち上記ＣＣＤ固体撮像素子１１においては、センサ部を縦横に２次元状に配置してなる撮像エリアで検出した信号電荷を、各センサ部の垂直列に対応して設けられた垂直ＣＣＤにより水平ＣＣＤまで垂直転送し、この後、２相の水平転送パルスＨ１，Ｈ２に基づいて、信号電荷を水平ＣＣＤにより水平方向に転送するようにしている。そして、電荷電圧変換部にて水平ＣＣＤからの信号電荷に対応した電位に変換してから出力するという動作を繰り返す。

ＣＣＤ固体撮像素子１１から順次読み出された電圧信号、すなわち画素に対応するＲ，Ｇ，Ｂの各画素信号は、タイミング信号生成部４０からの各サンプルパルスなどに基づき、プリアンプ部６２にてＣＤＳ処理などが施され、Ａ／Ｄ変換部６４にてデジタルのＲ,Ｇ，Ｂの各画素データに変換された後、一旦、記憶部９３のＲＡＭ９３ｂに格納される。

ＲＡＭ９３ｂに格納されたＲ，Ｇ，Ｂの各画素データは、画像信号処理部６６にて、同時化処理やガンマ補正処理などが施された後、輝度データＹと色（クロマ）データＵ，Ｖ（あるいはＣｒ，Ｃｂ）（纏めてＹＣデータともいう）に変換され、記憶部９３のＲＡＭ９３ｂに一旦格納される。

表示系８では、ＲＡＭ９３ｂに格納したＹＣデータを読み出し、液晶などからなるビデオモニタ８４に出力することにより、スルー画像や撮影された静止画などを表示させることができる。撮影後のＹＣデータは、ハードディスク装置７８などの記録装置に記録される。

＜モード対応＞
なお、本実施形態のＦＡカメラ１は、通常の静止画像を撮影するための通常撮像モードや、撮像画像を液晶や有機ＥＬなどよりなるビデオモニタ８４でモニタリングする場合に、滑らかな画像を得るためフレームレートを向上させるべく撮像領域の全体について間引き読出しを行なうモニタリングモードが用意されている。加えて、露光時間（シャッタ速度）を変化させた複数枚（典型例としては２枚）の画像を撮像し、これら複数枚の画像を用いる（典型例としては複数枚を１枚に合成する）ことで、ダイナミックレンジの拡大を図るＤレンジ拡大モードが用意されている。なお、Ｄレンジ拡大モード時の撮像手法や信号処理手法については後で詳しく説明する。

これらモード設定は、操作部９８を介してユーザによりなされ、その設定情報が中央制御部９２に通知される。この通知を受けた中央制御部９２は、設定された撮像モードに沿って、駆動制御部９６（最終的にはＣＣＤ固体撮像素子１１）や画像信号処理部６６などを制御する。

駆動制御部９６は、通常撮像モード時には、たとえば、全画素読出し動作を行なうようにＣＣＤ固体撮像素子１１を駆動し、モニタリングモード時時には、撮像領域の全体において間引き読出し動作を行なうようにＣＣＤ固体撮像素子１１を駆動し、Ｄレンジ拡大モード時には、少なくとも撮像領域全体中の一部の領域のみをそれぞれ異なる露光時間で複数回読み出す（間引き読出しでもよい）動作を行なうようにＣＣＤ固体撮像素子１１を駆動する。

＜デジタルスチルカメラの全体構成；ＣＭＯＳタイプ＞
図２は、本発明に係る半導体装置の一例である撮像装置の第２実施形態を示す概略構成図である。第２実施形態の撮像装置は、第１実施形態におけるＣＣＤ固体撮像素子１１をＣＭＯＳ撮像素子１２に変更しており、この変更に応じて、プリアンプ部６２、Ａ／Ｄ変換部６４、および駆動制御部９６と同等の機能を持つ回路部をＣＭＯＳ撮像素子１２に取り込むように変更している。その他の点は、第１実施形態と同じである。

なお、ＤＳＰで構成された画像信号処理部６６には、ＣＰＵなどからなる中央制御部９２やＥＥＰＲＯＭ９３ｄを除く記憶部９３の各種メモリを取り込むようにしている。

ＣＭＯＳ撮像素子１２は、その構成例については図示を割愛するが、先ず、センサ部にフォトダイオードなどを用いる点やカラー画像撮像用の色分離フィルタを設ける点は、ＣＣＤ固体撮像素子１１の場合と同様である。

ＣＭＯＳ撮像素子１２は、入射光量に応じた電気信号を出力するフォトダイオードなどの光電変換素子を含む複数個のセンサ部（画素）が行および列に配列された（すなわち２次元マトリクス状の）画素部（撮像部）１２ａを有し、各画素からの信号出力が電圧信号であって、ＣＤＳ処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などのデータ処理を行なうカラム処理部１２ｂが列並列に設けられている。また、多数のセンサ部で構成される撮像部の周辺には、ＣＣＤの場合の駆動制御部９６に対応し、ＣＭＯＳ撮像素子１２を駆動・制御する駆動制御部１２ｃの他、カラム処理部１２ｂにＡＤ変換用の参照電圧を供給する参照信号生成部や出力回路などを備えている。

“列並列にデータ処理部が設けられている”とは、垂直列の垂直信号線に対して実質的に並列に複数のＣＤＳ処理機能部やデジタル変換部が設けられていることを意味する。複数の各機能部は、デバイスを平面視したときに、ともに撮像部に対して列方向の一方の端縁側（出力側）にのみ配されている形態のものであってもよいし、画素部に対して列方向の一方の端縁側（出力側）とその反対側である他方の端縁側に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査（水平走査）を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。

駆動制御部は、撮像部の信号を順次読み出すための制御回路機能を備えている。たとえば、制御回路機能としては、列アドレスや列走査を制御する水平走査部（列走査回路）と、行アドレスや行走査を制御する垂直走査部（行走査回路）と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部とを備える。

水平走査部は、カラム処理部からカウント値を読み出す読出走査部の機能を持つ。これらの駆動制御部の各要素は、撮像部とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。

垂直走査部は、画素部１２ａの行を選択し、その行に必要な制御パルス（ラインシフトパルス）を供給する。たとえば、垂直方向の読出行を規定する（画素部１２ａの行を選択する）垂直デコーダと、垂直デコーダにて規定された読出アドレス上（行方向）の単位画素に対する行制御線にパルスを供給して駆動する垂直駆動回路とを有する。なお、垂直デコーダは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。

水平走査部は、低速クロックに同期してカラム処理部１２ｂのカラムＡＤ回路を順番に選択し、その信号を水平信号線（水平出力線）に導く。たとえば、水平方向の読出列を規定する（カラム処理部１２ｂ内の個々のカラムＡＤ回路を選択する）水平デコーダと、水平デコーダにて規定された読出アドレスに従って、カラム処理部１２ｂの各信号を水平信号線に導く水平駆動回路とを有する。なお、水平信号線は、たとえばカラムＡＤ回路が取り扱うビット数ｎ（ｎは正の整数）分、たとえば１０（＝ｎ）ビットならば、そのビット数分に対応して１０本配置される。

ＣＭＯＳセンサは、Ｘ−Ｙアドレス型固体撮像素子の一例であり、アドレス指定によって任意の位置の画素から信号を取り出すことができ、画素で得られた信号電荷をシフトレジスタで画素を選択して順番に読み出すＣＣＤ(Charge Coupled Device )型イメージセンサと異なり、画素の信号を読み出す位置や順番を比較的自由に設定可能であるという特徴を有する。

たとえば、デジタルスチルカメラに代表される静止画の撮像技術では、撮像デバイスとして多画素のＣＭＯＳ型固体撮像素子を用い、全画素の画素情報を独立に読み出すことによって静止画を得る“全画素読出モード”がよく知られているが、このモードの他に、たとえば行や列を数個ずつ飛ばしながら読み出す“間引き読出モード”、たとえば行や列を数個ずつ（隣接した画素に限らない）選択して読み出し加算して出力する“加算読出モード”などの動作がセンサ側で簡単に実現できる。

間引き読出モードは、たとえば、被写体を確認している段階（モニタリングモード）で、液晶モニタの画素数に応じた荒い画像（低解像度の画像）で出力したり、動画については画素情報を間引きすることによって情報量を減少させて伝送したりする際に利用される。また、加算読出モードは、複数行（たとえば２行）から信号を出力して、それらを加算することで、ダイナミックレンジを拡大する目的で使用される。なお、本実施形態におけるダイナミックレンジ拡大技術では、このような加算読出モードを利用することができることに加えて、同一画素における異なる露光時間の画素情報を用いることもできる点に特徴を持つ。この点については、後で説明する。

また、カメラ部分を１８０度回転したときにモニタ上で画像が反転しないようにするなどの目的で、反転読出しを行なう逆方向読出モード（ミラー処理）が要求されることもある。この逆方向読出モードとは、順方向読出モードにおけるアドレス走査の順に対して逆方向に走査するモードであり、このモードもセンサ側で簡単に実現できる。たとえば、順方向読出モード時には行や列のアドレスを小さい方から順番に走査する場合、逆方向読出モードでは、行や列のアドレスを大きい方から小さい方に走査する。

なお、カラム処理部１２ｂと出力部とのインタフェースや水平走査部の構成によっては、必ずしも水平方向の逆転読出しがセンサ側で実現できないこともある。この場合、水平方向のミラー処理は、画像信号処理部６６で実現すればよい。

このような構成のＣＭＯＳ撮像素子１２を備えたＦＡカメラ１において、単位画素から出力された画素信号は、垂直列ごとに、垂直信号線を介して、カラム処理部１２ｂのカラムＡＤ回路に供給される。単位画素を構成する増幅用トランジスタは各垂直信号線に接続されている。

カラム処理部１２ｂの各カラムＡＤ回路は、１列分の画素の信号を受けて、その信号をデジタルデータに変換する。ＡＤ回路の構成については、詳細は説明を割愛するが、一例としては、コンパレータ（電圧比較器）にランプ状の参照信号（参照電圧）を供給すると同時にクロック信号でのカウント（計数）を開始し、垂直信号線を介して入力されたアナログの画素信号を参照信号と比較することによってパルス信号が得られるまでカウントすることでＡＤ変換を行なう。

また、この際、回路構成を工夫することで、ＡＤ変換とともに、垂直信号線を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光光量に応じた）信号レベルとの差分をとる処理を行なうことができる。これにより、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除くことができる。

このカラムＡＤ回路でデジタル化された画素データは、水平走査部からの水平選択信号により駆動される図示しない水平選択スイッチを介して水平信号線に伝達され、さらに出力回路に入力される。

このような構成によって、電荷生成部としての受光素子が行列状に配された画素部１２ａからは、行アドレスや行走査を制御する垂直走査部（行走査回路）からの駆動パルス（ラインシフトパルス；ＣＣＤの垂直転送クロックに相当）に基づいて、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子（フォトダイオードなどの光電変換素子）が行列状に配された画素部１２ａに対応する１枚分の画像すなわちフレーム画像が、画素部１２ａ全体の画素信号の集合で示される。

＜＜ダイナミックレンジ拡大処理機能＞＞
図３は、図１や図２に示したＦＡカメラ１におけるダイナミックレンジ拡大処理に着目した一構成例のブロック図である。また、図４〜図７は、ダイナミックレンジ拡大処理の処理態様を説明する図である。

図３に示すように、画像処理部（ＤＳＰ）６６における信号処理機能として、固体撮像素子１０で取得されＡ／Ｄ変換部６４にてデジタル化された撮像データの黒基準をクランプするデジタルクランプ部２００、およびデジタルクランプ部２００にてクランプされた撮像データからＲ，Ｇ，Ｂの原色データを抽出した後に、原色データＲ，Ｇ，Ｂに対して、シャープネス補正、ガンマ補正、コントラスト補正、あるいはその他の輝度信号処理や色信号処理を施し輝度データＹ（あるいは明度データＬ）や２つの色データＵ，Ｖ（あるいは色差データＲ−Ｙ，Ｂ−Ｙ）に変換して出力する色信号処理部２２０を備えている。

色信号処理部２２０にて生成された各データは、そのままハードディスク装置などの記憶装置に記憶・保存されたり、図示しない記録系（たとえばＣＯＤＥＣ）に送られて画像記録に供されたり、あるいは表示系８（たとえばビデオエンコーダ８６）に送られて表示出力に供されたりする。

色信号処理部２２０は、一例として、デジタルクランプ部２００にてクランプされた撮像データからＲ，Ｇ，Ｂの原色データを抽出するとともに同時化する原色分離・同時化処理部２２２、および同時化された画素データのゲインを調整可能な色信号増幅部の一例であるホワイトバランスアンプ部２２４を備えている。また、色信号処理部２２０は、ガンマ補正部２２６および色差マトリクス部２２８を備えている。もちろん、この構成例は一例であって、色信号処理部２２０は、これらの処理機能以外の構成要素も備える。

ガンマ補正部２２６は、Ｒ信号Ｓｒ３，Ｇ信号Ｓｇ３，Ｂ信号Ｓｂ３に基づいて、忠実な色再現のためのガンマ（γ）補正を行ない、ガンマ（γ）補正された各色用の出力信号Ｒ，Ｇ，Ｂを色差マトリクス部２２８に入力する。色差マトリクス部２２８は、色差マトリクス処理を行なって得た色差信号Ｒ−Ｙ，Ｂ−Ｙをビデオエンコーダ８６に入力する。

ビデオエンコーダ８６は、色信号副搬送波に対応するデジタル信号で色差信号Ｒ−Ｙ，Ｂ−Ｙをデジタル変調した後、図示しない輝度信号生成部にて生成された輝度信号Ｙと合成して、デジタル映像信号ＶＤ（＝Ｙ＋Ｓ＋Ｃ；Ｓは同期信号、Ｃはクロマ信号、あるいはＹ信号とクロマ信号Ｃｂ，Ｃｒ）に変換した後、Ｄ／Ａ変換部８２に入力する。Ｄ／Ａ変換部８２は、デジタル映像信号ＶＤをアナログ映像信号Ｖに変換する。

また画像信号処理部６６は、本実施形態の特徴部分として、ＣＣＤ固体撮像素子１１における全体の検知領域を所定方向に連続した複数の単位構成要素（センサ部）で構成される領域単位で複数の領域に分割して取り扱い、この分割した領域の内の一部を使って、検知条件が異なる複数の画素信号のそれぞれを取得する用途信号取得部４００を、デジタルクランプ部２００と色信号処理部２２０との間に備えている。

ここで、用途信号取得部４００としては、電子的にすなわち画像データ処理により画像のダイナミックレンジを拡大するダイナミックレンジ拡大処理を行なう機能要素として、露光時間の異なる複数枚の画像に基づきダイナミックレンジ拡大処理を行なうレンジ拡大処理部４０２を有している。

レンジ拡大処理部４０２は、１画面分の画素データを記憶するフレームメモリ４１０、フレームメモリ４１０から読み出した画像と前段の信号処理系統から送られてくる現時点の画像とに基づき所定の演算処理をして演算画像を生成する演算画像生成部４２０、フレームメモリ４１０から読み出した画像と、信号処理系統から送られてくる現時点の画像と、演算画像生成部４２０から出力された演算画像（本例ではＤレンジが拡大された１枚の画像）の何れか１つを選択して出力する出力画像選択部４３０、および固体撮像素子１０の撮像領域におけるダイナミックレンジ拡大処理に関わる画素位置（あるいは画像領域）を指定したり、当該レンジ拡大処理部４０２における処理動作を制御する処理制御部４４０を備えている。なお、処理制御部４４０は、たとえばタイミング信号生成部（タイミングジェネレータ）４０に取り込んでもよい。

処理制御部４４０はまた、固体撮像素子１０の種類、ダイナミックレンジ拡大処理に関わる画素の位置（読出領域ともいう）の内容に応じて、駆動制御部９６（１２ｃ）に与える指示を切り替える。当然に、駆動制御部９６（１２ｃ）から固体撮像素子１０に発せられる種々の駆動パルスも、固体撮像素子１０の種類、ダイナミックレンジ拡大処理に関わる画素の位置（読出領域ともいう）の内容に応じて異なるものとなる。

このような構成において、レンジ拡大処理部４０２は、露光時間（電荷蓄積時間）の異なる複数枚の画像の内の一方（以下、短時間露光の画像とする）を先ずフレームメモリ４１０に記憶する。この後、露光時間（電荷蓄積時間）の異なる複数枚の画像の内の他方（以下、長時間露光の画像とする）を取り込み、演算画像生成部４２０にて、フレームメモリ４１０に記憶した短時間露光の画像と同時化して合成処理を行なう。

レンジ拡大処理部４０２における広ダイナミックレンジ化のための信号処理は、短時間露光の画像と長時間露光の画像とを１枚に合成した和を使用することもできる。また、両画像を用途によって使い分けることもできる。この選択は出力画像選択部４３０にてなされる。すなわち、電子シャッタ機能を利用して露光時間（シャッタ速度）を変え、明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像すればよい。短時間露光（高速シャッタ）では暗い被写体は写らないが、明るい被写体は鮮明に写る。一方、長時間露光（低速シャッタ）では明るい被写体は飽和して飛んでしまうが、暗い被写体は鮮明に写る。ダイナミックレンジ拡大処理では、これらの２つの画像から、良好な部分だけを切り出して使用（たとえば合成）するようにすればよい。

何れの場合でも、画像の中の輝度レベルの比較的低い部分は長時間露光（低速シャッタ）画像の比率を高くし、輝度レベルの高い部分は短時間露光（高速シャッタ）画像の比率を高くすることになる。このような処理により、高輝度部分の飽和による白飛びがなく、かつ、低輝度部分のＳ／Ｎの良好な画像を得ることができる。

たとえば、ダイナミックレンジ拡大の概念を図４に示している。固体撮像素子１０の信号出力は入射光量に比例して増加するが、出力が飽和レベルに達するとそれ以上は増加しない。たとえば、図４（Ａ）にａ，ｂで示すように、固体撮像素子１０が飽和する光量がＬ１である。

ここで、電子シャッタ機能を使用して固体撮像素子１０の露光時間を短縮すると、入射光量と信号出力の関係は、ｃ，ｄのように変化し、固体撮像素子１０が飽和する光量はＬ２まで増加する。最大入射光量がＬ２の場合、電子シャッタで露光時間を調整してｃのカーブに沿った信号を取り出すことになるが、Ｌ１以下の光量の領域においては露光時間の長いａの方が出力が大きく、Ｓ／Ｎが良好である。

したがって、Ｌ１以下の領域では長時間露光の信号ａ、Ｌ２以上の領域では短時間露光の信号ｃを使用すれば、飽和する入射光量が大きく、かつ暗い部分でのＳ／Ｎの良好な画像信号が得られる。すなわち、ダイナミックレンジを拡大することができる。

ここで、撮像装置の使用目的によっては、図４（Ｂ）に示すように、光量と出力が不連続の関係でも使用可能である。すなわち、低光量側の画像を重視する場合には、長時間蓄積の画像を選択出力して使用する一方、高光量側の画像を重視する場合には、短時間蓄積の画像を選択出力して使用する。つまり、高速シャッタ画像と低速シャッタ画像の何れか一方を選択使用する。露光制御の応答性を気にすることなく、即時に何れかに切り替えることができる。

これに対して、図４（Ｃ）に示すように、演算画像生成部４２０にて、短時間蓄積の画像と長時間蓄積の画像とを所定の比率で加算することで、非直線あるいはなだらかに連続させて、１つの画像に合成して使用するようにしてもよい。

ここで、イメージセンサのダイナミックレンジが６０ｄＢあると仮定するとともに、長時間蓄積を１フレーム期間近傍の適当な期間、たとえば約１／１５ミリ秒程度に設定し、また短時間蓄積を１水平期間以下の適当な期間、たとえば約１／１５マイクロ秒程度に設定すると、図５に示すように、長時間蓄積時間の光量に対するセンサ出力は、光量の変化に対し３桁まで対応することになる（長時間蓄積感度曲線を参照）。また、短時間蓄積時間の光量に対するセンサ出力も、光量の変化に対し３桁まで対応することになるが、長時間蓄積時間で検出できる光量と３桁ずれることになる（短時間蓄積感度曲線を参照）。

よって、蓄積時間の異なる画像を加算演算することで得られる加算演算の画像により、６桁すなわち１２０ｄＢのダイナミックレンジを実現できる。たとえば図６に示すように、長時間蓄積時間では飽和してしまう部分が存在する画像（図６（Ａ）参照）を、短時間蓄積時間で検出された画像（図６（Ｂ）参照）で補うことができ、一方の蓄積時間だけでは画像出力できない飽和レベル以上についても、再現することができるようになる（図６（Ｃ）参照）。

以上説明したように、時間加算処理の応用として、蓄積時間の異なる同一位置の複数の画素信号を加算すれば、演算データとして、より広い入射光量に対して飽和し難い信号出力が得られ、ダイナミックレンジを拡大可能なデータを取得できる。白飛びや黒潰れの緩和された光量に対するダイナミックレンジの広い画像を取得することができる。

また、蓄積時間の異なる２つ（必要に応じてさらに蓄積時間の異なる画素信号を増やしてもよい）の画素信号の合成によりダイナミックレンジを拡大するようにしているので、画素内メモリなど専用の画素構造を必要とせず、通常の画素構造のデバイスにも適用可能であり、センサデバイスとしての制限がない。

ただし、実際には、単純な加算処理では、光量に対するセンサ出力が視感度と適合した理想的なニー特性にはならない。すなわち、光量の対数に比例して明るさを識別するという人間の視覚特性に合わない。

この問題を解消するには、視感度を考慮するべく、比較処理に使用される参照信号の時間変化量を調整することで、加算演算における処理対象画像信号についての係数を設定するのが好ましい。特に、通常の蓄積時間であれば飽和してしまうような高レベルの信号を飽和することなくかつ視感度補正を実現するべく、比較的短時間の蓄積時間の元で取得された処理対象画像について、変化量を調整するのが好ましい。

具体的には、線形に変化させずに、傾きを数段階に亘り変化させるのがよい。なお、このような線形性を持ちつつ段階的に変化させることに限らず、たとえば２次関数などの高次関数に従って連続的に漸次変化させてもよい。

このときの変化のさせ方としては、人間の目の感度の対数特性に合わせて、また人間の目が暗部での明るさの変化に敏感であることに適合するように暗部での階調精度を維持し、人間の目が明部での明るさの変化に鈍感であることに適合するように明部での階調精度を甘くする。具体的には、ＡＤ変換の初期において参照電位RAMPの傾きを小さくすることで係数を大きく設定（高ゲインにする）し、ＡＤ変換が進むに従って、参照電位RAMPの傾きを大きくするのがよい。人間の視覚特性に合わせて高輝度の範囲を圧縮した特性であるニー特性を実現する。

このような変化特性を与えるには、図７に示すように、短時間蓄積感度曲線には、ゲイン成分を持たせつつ、高輝度側でガンマ補正を施す、すなわち人間の視覚特性に合わせて高輝度の範囲を圧縮した特性であるニー特性を実現するのがよい。

このように、傾きを漸次変化させるようにすれば、異なる蓄積時間の合成によりワイドダイナミックレンジを実現するだけに留まらず、感度特性にガンマ補正を施し、より自然な信号変化特性を実現することができる。異なる蓄積時間の間の感度差を自然に繋ぐことができ、より自然な画像を合成することができるようになる。

＜露光時間の異なる複数枚の画像を取得する手法の基本＞
ところで、露光時間（あるいは電荷蓄積時間やシャッタ時間）の異なる複数枚の画像を用いてダイナミックレンジ拡大を図るには、先にも説明したように、それぞれ異なる蓄積時間の元で取得された複数の処理対象画素信号を取り扱い加算演算（時間加算処理）を行ない、この加算されたダイナミックレンジの広い合成画像を出力するようにするか、もしくは、それぞれ異なる蓄積時間の元で取得された複数の処理対象画像の内の何れかを用途によって使い分けることが考えられる。

ここで、露光時間の異なる複数枚の画像を用いてダイナミックレンジ拡大を図る場合、最終的に合成された画像信号のフレームレートを通常の読出し（静止画撮像における通常撮像モードや間引き読みを利用した動画撮像時のモニタリングモード）のときと同じにするためには、固体撮像素子１０を画像枚数分（２枚のときには２倍）の周波数で駆動するか、それぞれの画像におけるダイナミックレンジに関わる読出画素数を少なくする必要がある。前者の場合、デバイス設計仕様および信号処理システムの特性上の制限があり、特性の劣化や消費電力の増加を伴う。

そこで、本実施形態では、時間加算処理として、蓄積時間の異なる画像を取り扱う場合に、露光時間の異なる各画像における対象画素は実質的に同一配列位置のものとする。ここで、“実質的に同一配列位置”とは、概ね同一画素位置にて、それぞれ異なる露光時間の画像を取得するものであればよい。完全に同一位置であることが望ましいのは言うまでもない。また、動体を撮像する場合、動体の動きに連動して撮像領域（画素位置）をシフトさせることで、撮像デバイスに対して被写体を相対的に静止するようにしてもよい。

つまり、厳格に“同一画素位置”である必要はなく、使用する撮像デバイスの種類や読出方式などに応じて、実質的に同一画素でそれぞれ異なる露光時間の画像を取得して、これら複数枚の画像を合成することで広ダイナミックレンジの画像を得ることができる限りにおいて、様々な変形が可能である。

また、蓄積時間の異なる複数枚の画像を、通常の撮像画像の読出レート（フレームレート）と同じ期間内に読み出すようにするべく、各画像の撮像範囲は、固体撮像素子１０における撮像領域の全体ではなく、一部とする。典型例としては、連続したライン（水平列）でなる領域で垂直列方向を複数の領域に分割するか、あるいは水平列を間引く。

ここで、後者の態様は、いわゆる重付け撮像として知られている仕組みである。重付け撮像の場合、フィールド読出しの１／６０秒蓄積期間の任意の時間に、加算する垂直方向２画素のうちの１画素に電子シャッタを用いる。ダイナミックレンジ拡大で垂直方向の１画素を電子シャッタ動作で動かすということである。こうすることで、撮像デバイスの全領域（ここでは間引きを無視する）について、標準動作で蓄積されてきたｌ／６０秒の信号電荷と、電子シャッタモードで蓄積された任意蓄積時間（１／ｒ秒）の信号電荷をラインごとに蓄積できる。１／ｒ秒を任意の時間に設定すれば、電子シャッタ動作によって掃出し量を調整できるので、任意の重み付けができ、ダイナミックレンジ拡大の効果を得ることができる。

同様の考え方を適用して、全画素の信号電荷を同一時刻に一斉に読み出し、かつ各画素の信号電荷を独立に転送する全画素読み出し方式に代えて、たとえば奇数ラインと偶数ラインの各画素の信号電荷をフィールドごとに交互に読み出し、かつ各画素の信号電荷を独立に転送するいわゆるフレーム読出方式を採用する場合において、各フィールドで露光時間を異なるものとし、それらを合成するか、何れか一方を使い分けるようにすることで、ダイナミックレンジ拡大を図ることもできる。

これに対して、本実施形態では、連続したライン（水平列）でなる領域で垂直列方向を複数の領域に分割する手法を採用する。これは、画像の使用目的によっては、必ずしも、撮像デバイスの全領域の画像を必要としないという点に着目したものである。前述の重付け撮像などと比べて、垂直、水平ともに解像度を落とさないという効果もある。ＦＡ用途では、正方画素を前提にして処理することが多く、その関係を維持する本実施形態の効果が高い。

つまり、本実施形態では、複数枚の画像を１フレーム内に読み出すので、少なくとも、２つの領域に分割する。分割した領域の内のダイナミックレンジ拡大処理に関わる部分を、以下有効領域ともいう。有効領域は、通常撮像時の領域（デバイスの有効撮像領域の全体）に対して少なくとも１／２以下になる。したがって、フレームメモリ４１０は、固体撮像素子１０における全撮像領域の全画素数分必要なわけではなく、読み出す領域の画素数分でよい。

また、通常のＣＣＤ固体撮像素子１１を使用する場合、ダイナミックレンジ拡大処理に関わらない領域（寄与しない領域）、すなわち分割した領域の内の不要部分（以下不要領域ともいう）の画素情報を破棄するためには、掃出しのための処理時間が必要になるので、その分だけ、有効領域を少なくする必要があるし、蓄積時間の設定範囲としては、長時間蓄積側は概ね１／２フレーム期間よりもさらに短くなる。

一方、読出領域を独立して制御可能な特別なＣＣＤ固体撮像素子１１を使用する場合には（たとえば特開２００３−９００９号公報を参照）、全撮像領域に対して有効領域を最大で１／２に設定できる。また、有効領域を１／２以下にすれば、その分だけ転送時間が不要になりその分を長時間蓄積側についての蓄積時間に割り当てることができる。以下具体的に説明する。

＜ＣＣＤ固体撮像素子と周辺部の概要；第１例＞
図８および図９は、固体撮像素子１０としてＣＣＤ固体撮像素子１１を使用した場合における撮像エリアの具体例（第１例）を説明する平面模式図である。本例では、通常のインターライン転送（ＩＴ）方式のＣＣＤ固体撮像素子１１（以下通常ＣＣＤともいう）を３相もしくは４相で駆動する場合を例に採って説明する。

図８において、ＣＣＤ固体撮像素子１１には、駆動電源４６から、ドレイン電圧ＶＤＤおよびリセットドレイン電圧ＶＲＤが印加され、ドライバ４２にも所定の電圧が供給されるようになっている。

固体撮像装置２を構成するＣＣＤ固体撮像素子１１は、半導体基板２１上に、画素（ユニットセル）に対応して受光素子の一例であるフォトダイオードなどからなるセンサ部（感光部；フォトセル）１１ａが多数、垂直（行）方向および水平方向（列）方向において２次元マトリクス状に配列されている。これらセンサ部１１ａは、受光面から入射した入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。

またＣＣＤ固体撮像素子１１は、センサ部１１ａの垂直列ごとに３相もしくは４相駆動に対応する複数本（本例では１ユニットセル当たり３本もしくは４本）の垂直転送電極２４（２４-1〜２４-3もしくは２４-1〜２４-4）が設けられる垂直ＣＣＤ（Ｖレジスタ部、垂直転送部）１３が配列されている。

垂直ＣＣＤ１３の転送方向は図中縦方向であり、この方向に垂直ＣＣＤ１３が設けられ、この方向に直交する方向（水平方向）に垂直ＣＣＤ１３が複数本並べられる。さらに、これら垂直ＣＣＤ１３と各センサ部１１ａとの間には読出ゲート（ＲＯＧ）１２が介在している。また各ユニットセルの境界部分にはチャネルストップＣＳが設けられている。これらセンサ部１１ａの垂直列ごとに設けられ、各センサ部１１ａから読出ゲート部１２によって読み出された信号電荷を垂直転送する複数本の垂直ＣＣＤ１３によって撮像エリア１４が構成されている。

センサ部１１ａに蓄積された信号電荷は、読出ゲート部１２に読出パルスＸＳＧに対応するドライブパルスが印加されることにより垂直ＣＣＤ１３に読み出される。垂直ＣＣＤ１３は、３相（４相）の垂直転送クロックＶ１〜Ｖ３（Ｖ４）に基づくドライブパルスφＶｘよって転送駆動され、読み出された信号電荷を水平ブランキング期間の一部にて１走査線（１ライン）に相当する部分ずつ順に垂直方向に転送する。この１ラインずつの垂直転送を、特にラインシフトという。

また、ＣＣＤ固体撮像素子１１には、複数本の垂直ＣＣＤ１３の各転送先側端部すなわち、最後の行の垂直ＣＣＤ１３に隣接して、図の左右方向に延在する水平ＣＣＤ１５（Ｈレジスタ部、水平転送部）１５が１ライン分設けられている。この水平ＣＣＤ１５は、たとえば２相の水平転送クロックＨ１，Ｈ２に基づくドライブパルスφＨ１，φＨ２によって転送駆動され、複数本の垂直ＣＣＤ１３から移された１ライン分の信号電荷を、水平ブランキング期間後の水平走査期間において順次水平方向に転送する。このため２相駆動に対応する複数本（２本）の水平転送電極２９（２９-1，２９-2）が設けられる。

水平ＣＣＤ１５の転送先の端部には、たとえばフローティング・ディフュージョン・アンプ（ＦＤＡ）構成の電荷電圧変換部１６が設けられている。この電荷電圧変換部１６は、水平ＣＣＤ１５によって水平転送されてきた信号電荷を順次電圧信号に変換して出力端子１７から撮像信号Ｖｏｕｔとして出力する。この電圧信号は、被写体からの光の入射量に応じたＣＣＤ出力（ＶＯＵＴ）として導出される。以上により、インターライン転送方式のＣＣＤ固体撮像素子１１が構成されている。

また固体撮像装置２は、ＣＣＤ固体撮像素子１１を駆動するための種々のパルス信号（“Ｌ”レベルと“Ｈ”レベルの２値）を生成するタイミング信号生成部４０と、タイミング信号生成部４０から供給された種々のパルスを所定レベルのドライブパルスにしてＣＣＤ固体撮像素子１１に供給するドライバ４２とを備えている。

たとえば、タイミング信号生成部４０は、水平同期信号（ＶＤ）や垂直同期信号（ＶＤ）に基づいて、ＣＣＤ固体撮像素子１１のセンサ部１１ａに蓄積された信号電荷を読み出すための読出パルスＸＳＧ、読み出した信号電荷を垂直方向に転送駆動し水平ＣＣＤ１５に渡すための垂直転送クロックＶ１〜Ｖｎ（ｎは駆動時の相数を示す；たとえば６相駆動時にはＶ６、８相駆動時にはＶ８）、垂直ＣＣＤ１３から渡された信号電荷を水平方向に転送駆動し電荷電圧変換部１６に渡すための水平転送パルスＨ１，Ｈ２、およびリセットパルスＲＧなどを生成し、ドライバ４２に供給する。また、タイミング信号生成部４０は、転送クロック以外にも、電子シャッタ時に、センサ部１１ａの各々に蓄積された信号電荷を、一斉に基板Ｓｕｂに掃き出すために基板Ｓｕｂに印加する電子シャッタパルスＳＵＢなどの各種のタイミング信号をも適宜発生する。

ドライバ４２は、タイミング信号生成部４０から供給された種々のパルスを所定レベルの電圧信号（ドライブパルス）に変換し、あるいは別の信号に変換しＣＣＤ固体撮像素子１１に供給する。たとえば、タイミング信号生成部４０から発せられたｎ相の垂直転送クロックＶ１〜Ｖ３（Ｖ４）は、ドライバ４２を介してドライブパルスφＶｘとされ、ＣＣＤ固体撮像素子１１内の対応する所定の垂直転送電極（２４-1〜２４-3もしくは２４-1〜２４-4）に印加されるようになっている。同様に、２相の水平転送クロックＨ１，Ｈ２は、ドライバ４２を介してドライブパルスφＨ１，φＨ２とされ、ＣＣＤ固体撮像素子１１内の対応する所定の水平転送電極（２９-1，２９-2）に印加されるようになっている。

ここで、ドライバ４２は、読出パルスＸＳＧについては、３相もしくは４相の垂直転送クロックＶ１〜Ｖ３（Ｖ４）のうちのＶ１，Ｖ３に重畳することで、３値レベルを採る垂直ドライブパルスφＶ１，φＶ３として、ＣＣＤ固体撮像素子１１に供給する。つまり、垂直ドライブパルスφＶ１，φＶ３は、本来の垂直転送動作だけでなく、信号電荷の読出しにも兼用されるようにする。

このような構成のＣＣＤ固体撮像素子１１の一連の動作を概説すれば以下の通りである。先ず、タイミング信号生成部４０は、垂直転送用の転送クロックＶ１〜Ｖ３（Ｖ４）や読出パルスＸＳＧなどの種々のパルス信号を生成する。これらのパルス信号は、ドライバ４２により所定電圧レベルのドライブパルスに変換された後に、ＣＣＤ固体撮像素子１１の所定端子に入力される。

センサ部１１ａの各々に蓄積された信号電荷は、タイミング信号生成部４０から発せられた読出パルスＸＳＧが読出ゲート部１２の転送チャネル端子電極に印加され、転送チャネル端子電極下のポテンシャルが深くなることにより、当該読出ゲート部１２を通して垂直ＣＣＤ１３に読み出される。そして、３相（４相）の垂直ドライブパルスφＶｘに基づいて垂直ＣＣＤ１３が駆動されることで、順次水平ＣＣＤ１５へ転送される。

水平ＣＣＤ１５は、タイミング信号生成部４０から発せられドライバ４２により所定電圧レベルの変換された２相の水平ドライブパルスφＨ１，φＨ２に基づいて、複数本の垂直ＣＣＤ１３の各々から垂直転送された１ラインに相当する信号電荷を順次電荷電圧変換部１６側に水平転送する。

電荷電圧変換部１６は、水平ＣＣＤ１５から順に注入される信号電荷を図示しないフローティングディフュージョンに蓄積し、この蓄積した信号電荷を信号電圧に変換して、たとえば図示しないソースフォロア構成の出力回路を介して、タイミング信号生成部４０から発せられたリセットパルスＲＧの制御の元に撮像信号（ＣＣＤ出力信号）ＶＯＵＴとして出力する。

すなわち上記ＣＣＤ固体撮像素子１１においては、センサ部１１ａを縦横に２次元状に配置してなる撮像エリア１４で検出した信号電荷を、各センサ部１１ａの垂直列に対応して設けられた垂直ＣＣＤ１３により水平ＣＣＤ１５まで垂直転送し、この後、２相の水平転送パルスＨ１，Ｈ２に基づいて、信号電荷を水平ＣＣＤ１５により水平方向に転送するようにしている。そして、電荷電圧変換部１６にて水平ＣＣＤ１５からの信号電荷に対応した電位に変換してから出力するという動作を繰り返す。

ここで、たとえば、画像認識用途においては、全体の画素の信号を常に得る必要はなく、全体の画像から特定の領域を選択した後は、その領域の画像信号のみ、広ダイナミックレンジ信号が得られればよい場合がある。

本例では、この点に着目し、フレームレートを減少させることなく、広ダイナミックレンジ信号を得る仕組みを実現する。たとえば、図９の撮像エリア１４を垂直方向に仮想的に連続する複数の水平列でなる３つの領域に分割し、水平ＣＣＤ１５に近い方から撮像領域Ａ、撮像領域Ｂ、撮像領域Ｃとし、撮像領域Ｂのみをダイナミックレンジ拡大処理に寄与する有効領域として取り扱い、この撮像領域Ｂから、それぞれ異なる露光時間の画素信号を繰り返し読み出すようにする。

なお、“１フィールド周期”は、撮像面上を２次元走査して画像を読み出す期間（具体的には１垂直走査周期）であり、“１フレーム周期”は、撮像面上の全画素で画像を形成するに要する期間である。全ての行を順に垂直方向に走査する順次走査（プログレッシブ走査）を行なう場合は、“１フィールド周期”が“１フレーム周期”になる。これに対して、一方の垂直走査時には行を間引いて順に垂直方向に走査するとともに、他方の垂直走査時には一方の垂直走査時に間引いた行を補完するように垂直方向に走査する飛越し走査（インタレース走査）を行なう場合は、“ｋフィールド”が“１フレーム”になる。“ｋ”は間引きの程度によるもので、通常は、ｋ＝２とする。なお、順次走査であるのか飛越し走査であるのかに拘わらず、撮像面上を２次元走査して画像を読み出す１垂直走査周期を、広義の“１フレーム”ということもある。本願明細書においての説明におけるフレームは広義のフレームの意味で使用する。

＜ダイナミックレンジ拡大処理機能の実現手法；第１例＞
図１０は、図８に示した一般的なインターライン転送方式ＣＣＤ（通常ＣＣＤ）を用いつつ、領域分割して使用することで、ダイナミックレン拡大用の蓄積時間が互いに異なる２つの画像を取得する第１例の手法を説明するタイミングチャートである。

図１０において、横軸は時間経過を表す。“１フレーム期間”と示した長さが、通常の静止画像を読み出す（撮像領域全体の画素信号を出力させる）通常撮像モード時の動作における１フレーム期間である。

前述のように、インターライン転送方式のＣＣＤ固体撮像素子１１では、各画素で発生した信号電荷を読出パルスＸＳＧにより垂直ＣＣＤ（垂直転送レジスタ）１３に読み出し、垂直転送クロック（ラインシフトパルス）により水平ＣＣＤ（水平転送レジスタ）１５に転送し、さらに水平転送クロックにより電荷電圧変換部１６に転送し、出力端子より信号電圧として出力する。このため、フレームレート（１秒間に得られる画像データの枚数）は水平転送クロックの周波数と全体の画素数でほぼ決定される。

ここで、時刻Ｔ０では電子シャッタを切り、Ｔ０以前に蓄積した信号３１Ａをリセットする。このリセット動作は、時刻Ｔ０において通常ローレベルである電子シャッタパルスＳＵＢをハイレベルとすることによって行なわれる。電子シャッタパルスＳＵＢをＣＣＤ固体撮像素子１１の基板電圧に重畳することで、画素（センサ部１１ａ）に蓄積された電荷を掃き出してリセットする。このため、信号波形において、時間とともに増大する信号が、Ｔ０においてゼロとなる。そして、時刻Ｔ０以降に改めて信号電荷の蓄積が始まり、読出パルスＸＳＧが供給された時点で信号電荷が垂直ＣＣＤ１３に転送される。

したがって、読出パルスＸＳＧと電子シャッタパルスＳＵＢに基づく掃出し画素（ハッチングした電子シャッタの発生している期間の画素）との関係から分かるように、露光期間は、電子シャッタパルスＳＵＢが発生してから次の読出パルスＸＳＧが発生するまでの期間となる。

φＶｘは垂直転送クロックであり、“通常速”の部分は出力信号を読み出す期間、“高速”の部分は垂直転送クロックの周波数を上げて掃き出し転送を行なう期間である。

Ｖ−ＲＥＧ（Ａ）、Ｖ−ＲＥＧ（Ｂ）、Ｖ−ＲＥＧ（Ｃ）は、それぞれ図９に示したＣＣＤ固体撮像素子１１における撮像領域の内、撮像領域Ａ、撮像領域Ｂ、撮像領域Ｃに隣接した垂直ＣＣＤ１３の中の信号電荷の状態を示している。図中、“Ａ”は撮像領域Ａで得られた画像信号、“Ｂ”は撮像領域Ｂで得られた画像信号、“Ｃ”は撮像領域Ｃで得られた画像信号、“空”は信号電荷がない状態を示している。

一般的なインターライン転送方式ＣＣＤを用いる場合、撮像エリア１４の全体について画素信号を読み出す必要がある。ただし、ダイナミックレンジ拡大処理を行なう場合、その処理に関わる有効領域だけを、適切に読み出せばよい。たとえば、図９では撮像エリア１４を、撮像領域Ａ、撮像領域Ｂ、撮像領域Ｃというように全体を１／３ずつの領域に分け、ダイナミックレンジ拡大処理時に信号処理する信号は、主として中央部の撮像領域Ｂの信号電荷Ｂｅとする。撮像領域Ａの信号電荷Ａｅおよび撮像領域Ｃの信号電荷Ｃｅは不要な信号電荷となる。

この場合、垂直転送は、垂直ＣＣＤ１３の中では画素信号を保ったまま転送するようにする。一例としては、通常の垂直転送と同じ速度での垂直転送により撮像領域Ａの信号電荷Ａｅを水平ＣＣＤ１５へ転送して、水平ＣＣＤ１５により信号電荷Ａｅを不要信号として掃き出していく。

また、図１０に示すように、垂直高速転送として、通常の垂直転送よりも高速に垂直転送して掃き出すようにしてもよい。たとえば白黒カメラに適した正方画素配列インタライン型ＣＣＤ固体撮像素子であるＩＣＫ４４２ＡＬ（http://www.sony.co.jp/~semicon/japanese/img/sonyj01/e6803441.pdf参照；以下非特許文献１という）と同様にして、全画素読出方式による中央部走査モード（非特許文献１のｐ１８参照）を採用する。

ここで、中央部走査モードを実現するには、不要な部分である撮像領域Ａおよび撮像領域Ｃにおいては垂直レジスタの高速転送による掃き捨てを行ない、画面中央部の撮像領域Ｂを切り出すのであるが、ここでは、不要な部分（特に撮像領域Ｂよりも先に読み出す必要がある撮像領域Ａ）の信号電荷を掃き捨てる際には、高速掃出しモード（非特許文献１のｐ２０参照）ではなく、フレームシフト読出（非特許文献１のｐ１９参照）を利用した高速転送を行なうことで、撮像領域Ｂの信号電荷に悪影響を与えない範囲で、通常の転送速度に対しておよぼ１０倍程度の高速な読出しを行なうようにする。

この場合、垂直転送は水平ブランキング以外の期間も行なわれ水平ＣＣＤ１５で混ざるので、撮像領域Ａの信号電荷を正常に取り出すことができない。しかしながら、垂直ＣＣＤ１３の中では正常に信号電荷が転送され、また、映像期間も垂直転送を連続して行なうので、通常の画像出力時よりもはるかに速い転送（高いフレームレート）が可能である。

次に、通常の垂直転送と同じ速度での垂直転送により撮像領域Ｂの信号電荷Ｂｅを水平ＣＣＤ１５へ転送して、電荷電圧変換部１６にて所望の撮像信号に変換して出力する。次に、残った撮像領域Ｃの不要信号Ｃｅを、通常の垂直転送よりも高速に垂直転送して掃き出す。この撮像領域Ｂよりも後に読み出す必要がある撮像領域Ｃについては、撮像領域Ｂの信号電荷を考慮する必要がなく、高速掃出しモード（非特許文献１のｐ２０参照）を用いればよい。

この結果、短時間露光１による領域Ｂの画像信号は短時間露光出力１で、長時間露光２による領域Ｂの画像信号は長時間露光出力２で得ることができる。同様に、短時間露光３による領域Ｂの画像信号は短時間露光出力３で、長時間露光４による領域Ｂの画像信号は長時間露光出力４（図示せず）で得ることができる。何れも、通常撮像モード時の１フレーム期間内に、短時間露光出力ｎと長時間露光ｎ＋１といった２回の画像出力が得られるので、短時間露光出力ｎと長時間露光ｎ＋１を利用した合成画像（あるいは何れか一方の画像）のフレームレートを、通常撮像モード時と同じにすることができる。

＜ＣＣＤ固体撮像素子と周辺部の概要；第２例＞
図１１は、ＣＣＤ固体撮像素子１１の第２例を説明する平面模式図である。この第２例では、インターライン転送（ＩＴ）方式のＣＣＤ固体撮像素子１１を３相で駆動する場合を例に採って説明する。この第２例のＣＣＤ固体撮像素子１１は、特開２００３−９００９号公報に記載のものと同様に、撮像領域を垂直方向に分割し、領域ごとに画素から垂直レジスタへの読み出しの有無をコントロールすることを可能にした点に特徴を有する。以下、この第２例の構造を持つＣＣＤ固体撮像素子１１を“分割ＣＣＤ”ともいう。

第１例では、撮像領域Ａの不要信号Ａｅや撮像領域Ｃの不要信号Ｃｅの高速掃き出しによる時間のロスが発生し、その分だけ長時間露光側の露光時間が１／２Ｖよりも短くなるし、また、高速掃き出しを行なうために電力を消費してしまうという問題がある。

この問題を解決するには、垂直転送により撮像領域Ｂの信号電荷Ｂｅを水平ＣＣＤ１５へ転送して、電荷電圧変換部１６から所望の撮像信号として出力した後、不要信号Ｃｅの高速掃き出しを行なわずに、次の信号を読み出して高速化を図ることが考えられる。

しかしながらこの場合、信号を読み出すときに掃き捨てなかった不要信号Ｃｅは、次に読み出す撮像領域Ａの不要信号Ａｅ’と垂直ＣＣＤ１３において重ねられることになる。このときに、垂直ＣＣＤ１３のダイナミックレンジが不足していると、垂直転送の際に、不要信号Ｃｅ＋Ａｅ’と必要な領域の信号Ｂｅ’とが混ざってしまう虞れがある。

この問題は、第１例において、撮像エリア１４の全領域において、４／１２間引きを行なえるように読み出し電極が形成されているために、撮像領域Ａおよび撮像領域Ｃの不要領域においても信号が読み出されていることに起因している。

加えて、撮像領域Ｂの信号電荷Ｂｅを読み終わった後に読出パルスＳＧを発すると、次の撮像領域Ｂの信号電荷Ｂｅ’を読出し始めるまでに時間が掛ることも問題である。

第２例は、このような問題を解決することができるようにしている。以下、第１例のＣＣＤ固体撮像素子１１との相違点を中心に説明する。

垂直ＣＣＤ１３は、たとえば、３相の垂直転送クロックφＶ１，φＶ２（Ａ／Ｂ／Ｃ），φＶ３（Ａ／Ｂ／Ｃ）によって転送駆動され、読み出された信号電荷を水平ブランキング期間内において所望のライン分ずつ順に垂直方向に転送する。

ここで、垂直転送クロックφＶ１〜φＶ３のうち、２相目および３相目の垂直転送クロックについては、通常の撮像エリア１４の全体の間引き動作および撮像エリア１４の中央部（撮像領域Ｂ）のみの間引き動作を実現するために、たとえば、それぞれ３系統の垂直転送クロックφＶ２Ａ／φＶ２Ｂ／φＶ２Ｃ／およびφＶ３Ａ／φＶ３Ｂ／φＶ３Ｃが発生される。Ａ／Ｂ／Ｃは、後述する図１３の分割領域Ａ，Ｂ，Ｃに対応するものである。

図１２は、撮像エリア１４の具体的な構成の一例を示す平面パターン図である。垂直ＣＣＤ１３は、Ｐ型のシリコン基板あるいはＰ型のウェル領域上にＮ型の不純物拡散領域による垂直レジスタ１３が形成され、この垂直レジスタ１３上に酸化膜を介してそれぞれ多層膜シリコンで、その転送方向に繰り返し配列されて、３相分の転送電極ＴＥ１〜ＴＥ３が形成される。

たとえば、図１２に示すように、１層目の多結晶シリコン層で形成された第１垂直転送電極ＴＥ１は、その全体が垂直方向のセンサ部１１ａ（幅Ｗｓで示す領域）間において水平方向に延長されて連続形成され、垂直ＣＣＤ１３（幅Ｗｒで示す領域）と平面的に重なる部分（以下、第１電極部ＴＥ１ｂと記す）とそれ以外の部分（以下、第１導線部ＴＥ１ａと記す）とが同一幅で水平方向に連続して形成されている（実線参照）。

また、２層目の多結晶シリコン層で形成された第２垂直転送電極ＴＥ２は、第１垂直転送電極ＴＥ１上において水平方向に延びる第２導線部ＴＥ２ａと、垂直ＣＣＤ１３に沿って図面上、上方に突出する第２電極部ＴＥ２ｂとから構成されている（破線参照）。

また、３層目の多結晶シリコン層で形成された第３垂直転送電極ＴＥ３は、第１垂直転送電極ＴＥ１上と第２垂直転送電極ＴＥ２における第２導線部ＴＥ２ａ上にかけて水平方向に延びる第３導線部ＴＥ３ａと、垂直ＣＣＤ１３に沿って図面上、下方に突出する第３電極部ＴＥ３ｂを有する（一点鎖線参照）。

すわなち、この第３垂直転送電極ＴＥ３における第３導線部ＴＥ３ａは、その垂直方向の断面をみると、第２導線部ＴＥ２ａにおけるその上面の一部から側面（第２垂直転送電極ＴＥ２における第２電極部ＴＥ２ｂの引出し側とは反対側の側面）に亘り、さらに上部に露出する第１導線部ＴＥ１ｂの上面にかけて連続形成されている。なお、Ｗｃで示す領域は、チャネル・ストッパ領域である。

特に、本例においては、第１垂直転送電極ＴＥ１の幅Ｗ１を垂直ＣＣＤ１３の幅Ｗｒとほぼ同じにし、さらに、第２垂直転送電極ＴＥ２における第２導線部ＴＥ２ａの幅Ｗ２（＜Ｗ１）と第３垂直転送電極ＴＥ３における第３導線部ＴＥ３ａの幅Ｗ３（＜Ｗ１）をほぼ同じにして、第２導線部ＴＥ２ａと第３導線部ＴＥ３ａとを、第１垂直転送電極ＴＥ１の幅方向中央部分にてオーバーラップさせたて形成するようにしている。

この場合、第１垂直転送電極ＴＥ１の幅Ｗ１が大きくなることから、センサ部１１ａの開口、すわなち垂直方向の開口長Ｌｓの減少が懸念されるが、たとえばマイクロレンズの光集光シミュレーションにより、垂直方向の開口長Ｌｓの減少が感度の劣化に影響を与えないことが確認済みである。

これら転送電極ＴＥ１〜ＴＥ３には、電荷転送時に、３相のクロック信号φＶ１，φＶ２，φＶ３が印加される。３相のクロック信号が各転送電極ＴＥ１〜ＴＥ３に印加されると、転送チャネルＣＨのポテンシャルψが順次変化し、その結果、転送チャネルＣＨ内の電荷が垂直方向に転送される。なお、上述したように、２相目の転送電極ＴＥ２と３相目の転送電極ＴＥ３には、それぞれφＶ２Ａ／φＶ２Ｂ／φＶ２Ｃ、およびφＶ３Ａ／φＶ３Ｂ／φＶ３Ｃのいずれかが印加される。

また、２相目および３相目の転送電極ＴＥ２およびＴＥ３は、読出ゲート部ＲＯＧのゲート電極を兼ねている。このことから、３相の垂直転送クロックφＶ１〜φＶ３のうち、２相目および３相目の転送電極ＴＥ２およびＴＥ３に印加される転送クロックφＶ２，φＶ３は、低レベル（以下Ｌレベルという）、中間レベル（以下Ｍレベルという）、および高レベル（Ｈレベルという）の３値をとるように設定されており、その３値目のＨレベルのパルスが読出ゲート部ＲＯＧの読み出しパルスφＲＧとなる。そして、読出ゲート部ＲＯＧの制御用を兼ねた転送電極ＴＥ２，ＴＥ３に読出電圧φＲＧが印加されると、読出ゲートＲＯＧから電荷がセンサ部１１ａに隣接する転送チャネルＣＨに転送される。

図１３は、図１１に示した第２例のＣＣＤ固体撮像素子１１において、撮像領域の各領域に印加される垂直転送クロックの様子を示す図である。ここで、第２例においては、図１３に示すように、ダイナミックレンジ拡大処理に関わる有効領域である撮像領域Ｂにおいては、垂直転送クロックφＶ１と３系統に別れた垂直転送クロックφＶ２（Ａ／Ｂ／Ｃ）およびφＶ３（Ａ／Ｂ／Ｃ）のうち、垂直転送クロックφＶ２ＢおよびφＶ３Ｂが印加されるようになっている。また、ダイナミックレンジ拡大処理に寄与しない無効領域である撮像領域Ａおよび撮像領域Ｃにおいては、垂直転送クロックφＶ１と３系統に別れた垂直転送クロックφＶ２（Ａ／Ｂ／Ｃ）およびφＶ３（Ａ／Ｂ／Ｃ）のうち、垂直転送クロックφＶ１ＡおよびφＶ３Ａ、あるいはφＶ１ＣおよびφＶ３Ｃが印加されるようになっている。

図１４および図１５に、上記の動作を実現するための、垂直ＣＣＤ１３の転送電極の配線パターン例を示す。ここでは、行（垂直方向）において１２画素を繰り返し単位として、信号電荷を読み出す場合を行なう例について説明する。なお、図１４は、ダイナミックレンジ拡大処理に関わる画素信号を取得するための有効領域である撮像領域Ｂにおける配線パターン例を示しており、図１５は、ダイナミックレンジ拡大処理に関わらない不要領域である撮像領域Ａおよび撮像領域Ｃにおける配線パターン例を示している。

図１４および図１５に示すように、撮像エリア１４においては、垂直転送クロックφＶ１，φＶ２（Ａ／Ｂ／Ｃ），φＶ３（Ａ／Ｂ／Ｃ）を転送するためのバスライン２４_1〜２４_3Ｂが配線されている。

そして、撮像領域Ｂにおいては、図１４に示すように、垂直転送クロックφＶ１を伝送するバスライン２４_1には、下から順に各センサ部１１ａに対応する１相目の転送電極ＴＥ１が接続されている。

垂直転送クロックφＶ２Ｂを伝送するバスライン２４_2Ｂには、下から順に各センサ部１１ａに対応する２相目の転送電極ＴＥ２が接続されている。

垂直転送クロックφＶ３Ｂを伝送するバスライン２４_3Ｂには、下から順に各センサ部１１ａに対応する３相目の転送電極ＴＥ３が接続されている。

垂直転送は、転送電極ＴＥ３→転送電極ＴＥ２→転送電極ＴＥ１の順で、図の上から下の方向に行なわれる。

一方、撮像領域Ａにおいては、図１５に示すように、垂直転送クロックφＶ１を伝送するバスライン２４_1には、下から順に各センサ部１１ａに対応する１相目の転送電極ＴＥ１が接続されている。

垂直転送クロックφＶ２Ａを伝送するバスライン２４_2Ａには、下から順に各センサ部１１ａに対応する２相目の転送電極ＴＥ２が接続されている。

垂直転送クロックφＶ３Ａを伝送するバスライン２４_3Ａには、下から順に各センサ部１１ａに対応する３相目の転送電極ＴＥ３が接続されている。
つまり、図１４における参照子“Ｂ”を参照子“Ｂ”に置き換えただけである。このことから分かるように、図示を割愛するが、撮像領域Ｃについては、図１５における参照子“Ａ”（あるいは図１４における参照子“Ｂ”）を参照子“Ｃ”に置き換えればよい。

このように、本実施形態では、撮像領域Ａ，Ｂ，Ｃでは基本的な構造が不変である。このような形態とすることで、領域Ｂに限らず、領域Ａ，Ｂ，Ｃの何処でも任意に選択して、ダイナミックレンジ処理に関わる画素信号を取得するための有効領域に設定することができる。この点は、特開２００３−９００９号公報に記載のものにおいて、撮像領域を垂直方向に分割する際に、オートフォーカス処理に関わる画素信号を取得するための有効領域における配線パターンとそれ以外の無効領域における配線パターンとが異なるのとは大きな違いである。

＜ダイナミックレンジ拡大処理機能の実現手法；第２例＞
図１６は、図１１〜図１５で説明した第２例のインターライン転送方式ＣＣＤ（分割ＣＣＤ）を用いつつ、領域分割して使用することで、ダイナミックレン拡大用の蓄積時間が互いに異なる２つの画像を取得する第２例の手法を説明するタイミングチャートである。

ここでは、第１例と同様に、図９において、全画素領域を領域Ａ、領域Ｂ、領域Ｃに３等分するものとする。この図で使用している記号の説明は図１０と同一である。

ただし、読出パルスＸＳＧは、ダイナミックレンジ拡大処理に関わる有効領域である撮像領域Ｂのみに印加されるものとし、撮像領域Ａおよび撮像領域Ｃには印加されない。したがって、垂直ＣＣＤ１３に読み出される信号電荷は撮像領域Ｂの“Ｂ”のみである。

ここで、図のように、読出パルスＸＳＧと電子シャッタパルスＳＵＢをコントロールすれば、出力期間は間欠的となるが、１フレーム期間に短時間露光と長時間露光による画像信号を得ることができる。第１例に示した通常のＣＣＤ固体撮像素子１１の場合に比べて、長時間露光の期間を１フレーム期間（１Ｖ）の２／３とすることができ、被写体の状況にもよるが、Ｓ／Ｎの改善を期待できる。

また、上述したように、第２例のＣＣＤ固体撮像素子１１を用いた場合、ダイナミックレンジ拡大処理に関わる有効領域である撮像領域Ｂのみの信号電荷を高速に必要とする場合において、撮像領域Ｂのみの信号電荷Ｂｅを垂直ＣＣＤ１３に読み出すことから、撮像領域Ｂで読み出された信号電荷Ｂｅを全て水平ＣＣＤ１５へ転送した直後に、再び、撮像領域Ｂにおける信号電荷Ｂｅを読み出すことができる。

したがって、不要領域である撮像領域Ａおよび撮像領域Ｃにおける信号電荷は読み出さないことから、第１例に比べて、撮像領域Ｂの信号電荷を水平ＣＣＤ１５へ転送した後に、撮像領域Ｃにおける信号電荷の高速掃き出しを行なう必要がないことから、その分時間のロスがなくなり、フレームレートを向上させることができる。また、高速掃き出しを行なう必要がないことから、消費電力を低減することができる。

また、第１例における、撮像領域Ｃの不要信号を捨てずに次の信号電荷を読み出す動作を行なった際に、垂直ＣＣＤ１３のダイナミックレンジ不足の問題から、不要信号が重ね合わさることによる、必要な信号領域に不要信号が漏れ込むといった不具合もない。

＜ダイナミックレンジ拡大処理機能の実現手法；第３例＞
図１７は、図１１〜図１５で説明した第２例のインターライン転送方式ＣＣＤ（分割ＣＣＤ）を用いつつ、領域分割して使用することで、ダイナミックレン拡大用の蓄積時間が互いに異なる２つの画像を取得するとともに、フレームレートをさらに高める手法（以下実現手法の第３例）を説明するタイミングチャートである。

第２例のＣＣＤ固体撮像素子（分割ＣＣＤ）１１を使用すると、同じ画素数の領域を読み出す場合に、第１例のような通常のＣＣＤ固体撮像素子１１よりも高フレームレートで短時間露光と長時間露光による画像信号を得ることができる。

たとえば、図１６の場合と同じく撮像領域Ｂのみを読み出す場合、垂直ＣＣＤ１３に読み出される信号電荷は“Ｂ”のみである。撮像領域Ｂは全体の１／３であるから、図１７に示した読出パルスＸＳＧ，電子シャッタパルスＳＵＢ，垂直転送クロックＶｘのように駆動すれば、元々の１フレーム期間の２／３の期間で２種類の信号を取り出すことができる。これを連続して行なうことで、たとえば、フレームレートを１．５倍にすることができる。

なお、本願発明には関係ないが、露光時間を毎回同じにして連続的に動作させれば、３倍のフレームレートにすることができる。これにより、通常の読み出しモード以外に広ダイナミックレンジモードと高フレームレートモードを有する撮像装置を構成することができる。

＜ダイナミックレンジ拡大後のモニタ画面例＞
図１８は、上記第１例〜第３例の手法を用いてダイナミックレンジ拡大処理を行なった画像の一例を示す図である。撮像領域をＡ，Ｂ，Ｃと３分割し、注目する被写体の存在する撮像領域Ｂのみを選択して、広ダイナミックレンジ画像信号を得る例を示している。

撮像領域Ｂを有効領域として取り扱い、電子シャッタ機能を利用して露光時間を変えることで、明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を１枚の画像として撮像することができる。すなわち、図１８（Ａ）において、短時間露光では暗い被写体は写り難く（図では濃度を低くして示す）、明るい被写体は鮮明に写る一方、長時間露光では明るい被写体は飽和（図では濃度を高くして示す）して飛んでしまうが暗い被写体は鮮明に写るようなシーンを考える。

図１８（Ｂ）に示すように、本実施形態の仕組みを適用することで、ダイナミックレンジ拡大処理では、露光時間の異なる２つの画像から、良好な部分だけを切り出して、たとえば１枚の画像に合成すれば、明るい部分から暗い部分までが適度な信号レベル（濃度）で含まれるダイナミックレンジが広い被写体を１枚の画像として取得できる。すなわち、インターライン転送方式ＣＣＤで、信号出力領域を限定することにより、所定のフレームレート以上で、短時間露光出力と長時間露光出力を得て、広ダイナミックレンジ画像信号を合成することができる。

複数画面の露光によるワイドダイナミックレンジ処理にう当たって、フレームレートを変えずにワイドダイナミック処理を実現でき、特に撮像領域の全範囲を必ずしも必要としないＦＡマシンビジョン用カメラなどに適用するのに有益である。

なお、ここでは、デバイスの全撮像エリア１４に対して中央部１／３の領域を有効領域として選択しているが、通常ＣＣＤの場合、長時間露光の時間設定が１／２以下となる不利益があるものの、領域設定に自由度があるので、撮像領域Ａでも、撮像領域Ｃでも、また、中間的な領域でも駆動タイミングの作り方により選択可能である。

一方、分割ＣＣＤの場合、垂直転送電極の配線を予め図１４、図１５に示したようにして領域分割に合わせて敷設しておく必要があるので、領域設定に自由度がなく、この例ではダイナミックレンジ拡大処理に寄与する撮像領域がＡ，Ｂ，Ｃの何れかに限定されるが、通常ＣＣＤと同じ駆動タイミングで動作させることも可能である。

また、先にも述べたように、撮像領域Ａ，Ｂ，Ｃでは基本的な構造が不変であり、領域Ｂに限らず、領域Ａ，Ｂ，Ｃの何処でも任意に選択して、ダイナミックレンジ処理に関わる画素信号を取得するための有効領域に設定することができるので、Ａ，Ｂ，Ｃを選択した中での狭い領域の選択読出しも可能である。

＜ダイナミックレンジ拡大処理機能の実現手法；第４例＞
図１９は、第１例あるいは第２例のインターライン転送方式ＣＣＤを用いつつ、領域分割して使用することで、ダイナミックレン拡大用の蓄積時間が互いに異なる２つの画像を取得する第４例を説明する図である。

第１例〜第３例では、図９に示したように、ＣＣＤ固体撮像素子１１の撮像エリア１４を垂直方向に仮想的に連続する複数の水平列でなる３つの領域に分割し、中央部の撮像領域Ｂのみをダイナミックレンジ拡大処理に寄与する有効領域として取り扱い、この撮像領域Ｂから、それぞれ異なる露光時間の画素信号を繰り返し読み出すようにしていた。

これに対して、この第４例では、ＣＣＤ固体撮像素子１１の撮像エリア１４を垂直方向に仮想的に連続する複数の水平列でなる２つの領域に分割し、水平ＣＣＤ１５に近い撮像領域Ａのみをダイナミックレンジ拡大処理に寄与する有効領域として取り扱い、この撮像領域Ａから、それぞれ異なる露光時間の画素信号を繰り返し読み出す点に特徴を有する。

こうすることで、たとえば、第１例と同様に通常ＣＣＤを用いる場合には、第１例における撮像領域Ａについての高速読出が不要になることによる利点が得られる。領域を３分割して使用する第１例において、不要領域である撮像領域Ａについて通常の垂直転送よりも高速に垂直転送して掃き出す場合、有効領域である撮像領域Ｂについての信号電荷も通常の垂直転送よりも高速に撮像領域Ａまで垂直転送される。したがって、撮像領域Ｂについての信号電荷を高速の周波数で駆動することとなり、デバイスの設計仕様や信号処理システムの特性上の制限があり、垂直転送の劣化やＳ／Ｎ劣化などの特性の劣化の問題が生じる。

よって、実際には、特性劣化を防止するべく、領域を３分割して使用する第１例においては、不要領域である撮像領域Ａの掃出しをする際にも、領域Ｂの信号電荷に悪影響を与えない範囲での速度で垂直転送して掃き出すのが好ましい。

一例としては、通常の垂直転送と同等の速度で垂直転送して掃き出すことが考えられる。この場合、ある露光時間の画像の読出しには最低でも（後半の不要領域である撮像領域Ｃの高速転送を無視しても）２／３Ｖだけ掛る。これを、それぞれ異なる露光時間の複数枚の画像について行なう必要が生じるので、そのままでは、ダイナミックレンジ拡大処理のフレームレートが、通常の画像取得時よりも低下してしまうことになる。

これに対して、第４例のように、撮像エリア１４を垂直方向の上下２つの領域に分割し、水平ＣＣＤ１５に近い領域のみをダイナミックレンジ拡大処理に寄与する有効領域として取り扱うようにすれば、ダイナミックレンジ拡大処理に寄与する撮像領域Ａの画像の読出しは、後半の不要領域である撮像領域Ｂの高速転送を無視した場合、１／２Ｖだけでよくなり、通常の画像取得時と同等のフレームレートにすることができる。なお、実際には、後半の不要領域である撮像領域Ｂの高速転送を考慮する必要があるので、水平ＣＣＤ１５に近い撮像領域Ａは、撮像エリア１４の全体に対して１／２よりも少し狭くするのがよい。

なお、第２例の分割ＣＣＤのように、垂直転送電極を、分割した領域を独立に読出／非読出を制御可能な構造にすれば、水平ＣＣＤ１５に近い撮像領域Ａは、撮像エリア１４の全体に対して丁度１／２に設定することができ、出力期間は間欠的とならず、連続する。このように、分割ＣＣＤは、１フレーム内で、露光時間が互いに異なる２つの画像を連続して取得し、かつ撮像領域を１／２というように無駄なく使うことができる利点がある。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、上記においては、ファクトリーオートメーション用の撮像装置において、画像の一部のみの広ダイナミックレンジ信号が必要な用途を実現する際に好適なダイナミックレンジ拡大処理を実現する仕組みについて説明したが、一部のみの広ダイナミックレンジ画像信号が必要な限りにおいて、その適用範囲は、ファクトリーオートメーション用の撮像装置に限定されない。たとえば、デジタルスチルカメラ用途において、電子ズームモード時に、ズーム範囲について広ダイナミックレンジ画像信号を取得する際にも適用可能である。

また、上記で具体的に説明したダイナミックレンジ拡大処理機能の実現手法に当たっては、固体撮像素子１０としてＣＣＤ固体撮像素子１１を使用した場合を例示したが、ＣＣＤ固体撮像素子１１に代えて、ＣＭＯＳ撮像素子１２を使用した場合でも、連続したライン（水平列）でなる領域で垂直列方向を複数の領域に分割して、その分割領域の一部をダイナミックレンジ拡大処理に関わる画像領域として取り扱う仕組みを、同様に適用可能であり、同様の作用・効果を享受できる。

先にも説明したように、ＣＭＯＳセンサは、Ｘ−Ｙアドレス型固体撮像素子の一例であり、アドレス指定によって任意の位置の画素から信号を取り出すことができるので、撮像エリア１４を領域分割して取り扱うことで、通常時と同等のフレームレートと低消費電力を達成しつつ、ダイナミックレンジを拡大する仕組みを容易に実現可能である。領域設定の自由度もＣＣＤよりも格段に高い。

また、上記実施形態では、個々の単位画素からの信号を読出可能な固体撮像装置の一例として、光を受光することで信号電荷を生成する画素部を備えたＣＣＤセンサやＣＭＯＳセンサを例に示したが、信号電荷の生成は、光に限らず、たとえば赤外線、紫外線、あるいはＸ線などの電磁波一般に適用可能であり、この電磁波を受けてその量に応じたアナログ信号を出力する素子が多数配列された単位構成要素を備えた半導体装置に、上記実施形態で示した事項を適用可能である。

また、上記実施形態で広ダイナミックレンジ画像信号生成機能を持つ装置の一例として説明したレンジ拡大処理部４０２は、固体撮像装置やその他の電子機器に組み込まれて提供されることに限らず、たとえばＩＣ（Integrated Circuit；集積回路）や、蓄積時間の異なる複数の画像信号間での演算を持つ画像生成モジュールのようにして、単独の装置として提供されてもよい。

この場合、レンジ拡大処理部４０２を構成する各機能部の全てを備えた装置、たとえば全ての機能部を同一の半導体基板上に配したＩＣ（集積回路）として提供してもよいし、その一部あるいはそれぞれを、個別の半導体基板上に配したＩＣ（個別チップ）として提供し、それらを組み合わせて使用することでモジュールとして纏めるようにしてもよい。

これらを組み込んで提供することで、広ダイナミックレンジ画像信号を生成する機能を実現するに当たって、必要な機能部を纏めて取り扱うことができ、部材の取扱いや管理が簡易になる。また、必要な要素がＩＣやモジュールとして纏まって（一体となって）いるので、固体撮像装置やその他の電子機器の完成品の製造も容易になる。

また、上記実施形態では、撮像条件の異なる複数の画像情報に基づいて所定目的を達する情報を取得する仕組みの一例として、露光時間の異なる複数の画像情報に基づいてダイナミックレンジを拡大する例を示したが、撮像条件の異なる複数の画像情報を利用する他の用途にも、上記実施形態で説明した仕組みが同様に適用できる。

たとえば、撮像時点の異なる複数の画像情報から差分画像を求めて動体検出を行なう時間差分処理の仕組みとする場合、演算画像生成部４２０を、撮像時点の異なる複数の画像情報から差分画像を求める差分画像生成部として機能させればよい。この場合でも、通常時と同等の処理速度で各条件の信号を取得するようにしても、通常時と同等のフレームレートで複数の単位信号を取得できる、通常時と同等のフレームレートと低消費電力を達成しつつ、動体検出用の差分画像を取得できる。

また、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするＣＣＤ型やＣＭＯＳ型の固体撮像装置について例示したが、物理量の変化を検知するに際して、検知時間を変えることで検知レンジに影響を与えるあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置など、その他の物理的な変化を検知する仕組みにも同様に適用できる。

本発明に係る半導体装置の一例である撮像装置の第１実施形態を示す概略構成図（ＣＣＤタイプ）である。 本発明に係る半導体装置の一例である撮像装置の第２実施形態を示す概略構成図である（ＣＭＯＳタイプ）。 図１や図２に示したデジタルスチルカメラにおけるダイナミックレンジ拡大処理に着目した一構成例のブロック図である。 ダイナミックレンジ拡大処理の処理態様を説明する図であるその１）。 ダイナミックレンジ拡大処理の処理態様を説明する図である（その２）。 ダイナミックレンジ拡大処理の処理態様を説明する図である（その３）。 ダイナミックレンジ拡大処理の処理態様を説明する図である（その４）。 ＣＣＤ固体撮像素子を使用した場合における撮像エリアの具体例（第１例）を説明する平面模式図である（その１）。 ＣＣＤ固体撮像素子を使用した場合における撮像エリアの具体例（第１例）を説明する平面模式図である（その２）。 図８に示したインターライン転送方式ＣＣＤ（通常ＣＣＤ）を用いつつ、蓄積時間が互いに異なる２つの画像を取得する第１例の手法を説明するタイミングチャートである。 ＣＣＤ固体撮像素子の第２例を説明する平面模式図である。 撮像エリアの具体的構成の一例を示す平面パターン図である（その１）。 図１１に示した第２例のＣＣＤ固体撮像素子において、撮像領域の各領域に印加される垂直転送クロックの様子を示す図である。 ダイナミックレンジ拡大処理に関わる有効領域である撮像領域Ｂにおける垂直転送クロックの伝送系の配線パターン図である。 ダイナミックレンジ拡大処理に寄与しない無効領域である撮像領域Ａ，Ｃにおける垂直転送クロックの伝送系の配線パターン図である。 図１１〜図１５で説明した第２例のインターライン転送方式ＣＣＤ（分割ＣＣＤ）を用いつつ、蓄積時間が互いに異なる２つの画像を取得する第２例の手法を説明するタイミングチャートである。 図１１〜図１５で説明した第２例のインターライン転送方式ＣＣＤ（分割ＣＣＤ）を用いつつ、領域分割して使用することで、ダイナミックレン拡大用の蓄積時間が互いに異なる２つの画像を取得するとともに、フレームレートをさらに高める第３例の手法を説明するタイミングチャートである。 ダイナミックレンジ拡大処理を行なった画像の一例を示す図である。 第１例あるいは第２例のインターライン転送方式ＣＣＤを用いつつ、ダイナミックレン拡大用の蓄積時間が互いに異なる２つの画像を取得する第４例を説明する図である。

符号の説明

１…ＦＡカメラ（撮像装置）、２…固体撮像装置、３…カメラモジュール、４…本体ユニット、５…光学系、６…信号処理系、８…表示系、９…制御系、１０…固体撮像素子、１１…ＣＣＤ固体撮像素子、１２…ＣＭＯＳ撮像素子、５０…撮像レンズ、６６…画像信号処理部、８４…ビデオモニタ、９２…中央制御部、９４…露出コントローラ、９８…操作部、９９…システムバス、４００…用途信号取得部、４０２…レンジ拡大処理部、４１０…フレームメモリ、４２０…演算画像生成部、４３０…出力画像選択部、４４０…処理制御部

Claims (15)

1. 物理量の変化を検知し検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についてのそれぞれ異なる検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得方法であって、
   前記半導体装置における全体の検知領域を所定方向に連続した複数の単位構成要素で構成される領域単位で複数の領域に分割して取り扱い、この分割した領域の内の一部を使って、前記検知条件が異なる前記複数の単位信号のそれぞれを取得する
   ことを特徴とする物理情報取得方法。
2. 前記所定目的は、前記物理量の変化に対する検知可能な信号範囲を拡大することである
   ことを特徴とする請求項１に記載の物理情報取得方法。
3. 前記分割した領域の内の一部は、前記全体の検知領域の内の１／２以下の領域である
   ことを特徴とする請求項１に記載の物理情報取得方法。
4. 前記分割した領域の内の一部から、それぞれ異なる前記検知条件の元で前記複数の単位信号をそれぞれ取得する際の各処理速度を、前記全体の検知領域から前記単位信号を取得する際の処理速度と同じにする
   ことを特徴とする請求項１に記載の物理情報取得方法。
5. 前記半導体装置に対して、前記分割した領域ごとに、前記単位構成要素からの前記単位信号の読み出しの有無を独立に制御する
   ことを特徴とする請求項１に記載の物理情報取得方法。
6. 物理量の変化を検知し検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についてのそれぞれ異なる検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得装置であって、
   前記半導体装置における全体の検知領域を所定方向に連続した複数の単位構成要素で構成される領域単位で複数の領域に分割して取り扱い、この分割した領域の内の一部を使って、前記検知条件が異なる前記複数の単位信号のそれぞれを取得する用途信号取得部
   を備えたことを特徴とする物理情報取得装置。
7. 前記用途信号取得部は、前記物理量の変化に対する検知可能な信号範囲を拡大可能な物理情報を取得するレンジ拡大処理部を有する
   ことを特徴とする請求項６に記載の物理情報取得装置。
8. 前記用途信号取得部は、前記分割した領域の内の一部を、前記全体の検知領域の内の１／２以下の領域に設定する処理制御部を有する
   ことを特徴とする請求項６に記載の物理情報取得装置。
9. 前記用途信号取得部は、前記分割した領域の内の一部から、それぞれ異なる前記検知条件の元で前記複数の単位信号をそれぞれ取得する際の各処理速度を、前記全体の検知領域から前記単位信号を取得する際の処理速度と同じに設定する処理制御部を有する
   ことを特徴とする請求項６に記載の物理情報取得装置。
10. 前記用途信号取得部は、前記検知条件が異なる前記複数の単位信号を取得する前記分割した領域の内の一部を任意に選択可能に構成されている
    ことを特徴とする請求項６に記載の物理情報取得装置。
11. 物理量の変化を検知し検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置であって、
    前記半導体装置における全体の検知領域の内、所定方向に連続した複数の単位構成要素で構成される領域単位で複数の領域に分割して取り扱い、この分割した領域の内の一部を使って、物理量についてのそれぞれ異なる検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得するダイナミックレンジが拡大された情報を取得する用途信号取得部
    を備えたことを特徴とする半導体装置。
12. 前記用途信号取得部は、前記物理量の変化に対する検知可能な信号範囲を拡大可能な物理情報を取得するレンジ拡大処理部を有する
    ことを特徴とすることを特徴とする請求項１１に記載の半導体装置。
13. 撮像領域において水平および垂直方向に複数の前記単位構成要素が配され、前記単位構成要素で発生した前記単位信号に対応する信号電荷を所定の駆動信号に応じて垂直および水平方向に転送するインターライン転送方式のＣＣＤ撮像素子を有する
    ことを特徴とする請求項１１に記載の半導体装置。
14. 前記ＣＣＤ撮像素子は、前記分割した領域ごとに、前記単位構成要素からの前記信号電荷の読み出しの有無を選択可能に構成されている
    ことを特徴とする請求項１２に記載の半導体装置。
15. 前記ＣＣＤ撮像素子は、前記検知条件が異なる前記複数の単位信号を取得する前記分割した領域の内の一部を任意に選択可能に構成されている
    ことを特徴とする請求項１１に記載の半導体装置。
    

Images