JP2004357335A - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
JP2004357335A
JP2004357335A JP2004237152A JP2004237152A JP2004357335A JP 2004357335 A JP2004357335 A JP 2004357335A JP 2004237152 A JP2004237152 A JP 2004237152A JP 2004237152 A JP2004237152 A JP 2004237152A JP 2004357335 A JP2004357335 A JP 2004357335A
Authority
JP
Japan
Prior art keywords
signal
solid
state imaging
imaging device
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004237152A
Other languages
English (en)
Other versions
JP3988760B2 (ja
Inventor
Hiroya Kusaka
博也 日下
Shigeo Sakagami
茂生 阪上
Tomoaki To
知章 塘
Masaaki Nakayama
正明 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004237152A priority Critical patent/JP3988760B2/ja
Publication of JP2004357335A publication Critical patent/JP2004357335A/ja
Application granted granted Critical
Publication of JP3988760B2 publication Critical patent/JP3988760B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】従来のダイナミックレンジ拡大カメラでは複数枚の撮像素子や全画素読み出しCCDを必要とし、装置が高価になってしまうという問題があった。
【解決手段】フィールド読み出しモードとフレーム読み出しモードの2つの読み出しモードで信号を読み出すことが可能なインタラインCCD3(IT−CCD)を用い、CCD3の露光及び信号読み出しモードをシステム制御手段11にて制御し、短時間露光信号(Short信号)はフィールド読み出し、長時間露光信号(Long信号)はフレーム読み出しにより画像を取得し、これら2つの画像を信号合成手段7で合成することによりダイナミックレンジを拡大する。
【選択図】図1

Description

本発明は、撮影画像のダイナミックレンジ拡大が可能な固体撮像装置に関するものである。
従来から、露光量の異なる2つの画像信号を合成してダイナミックレンジの広い映像信号を得るための固体撮像装置としては、例えば、特許文献1及び特許文献2で開示されているものがある。
特許文献1においては、露光時間を変えて撮影した連続する2枚のフィールド画像をそれぞれレベルシフトさせた後、1フレームの画像に合成することでダイナミックレンジの広い画像を得ることが可能なデジタルスチルカメラが開示されている。
また、特許文献2においては、複数のCCDから得られる露光時間の異なった複数のフレーム画像をそれぞれレベルシフトさせた後、1フレームの画像に合成することでダイナミックレンジの広い画像を得ることが可能なデジタルスチルカメラが開示されている。
他にも、1フィールド期間内に長時間露光信号と短時間露光信号を読み出し可能な特殊なCCDを用いてダイナミックレンジを拡大したビデオカメラの例が知られている(非特許文献1)。
特開平9−214829号公報 特開平9−275527号公報 映像メディア学会技術報告Vol.22,No.3,pp1〜6(1998)"単板Hyper-Dカラーカメラ信号処理方式の開発"
しかしながら、例えば特許文献1にて開示されているデジタルスチルカメラにおいては、露光時間を変えて撮影した連続する2枚のフィールド画像を合成するため、合成後の画像は1フィールド分の画像解像度、つまりCCDの画素数の半分の解像度しか得られず、撮影画像の解像度不足が懸念される。
これに対し、特許文献2にて開示されているデジタルスチルカメラにおいては、複数のCCDにより撮影された露光時間の異なる画像信号を合成するために、合成後の画像は1フレーム分の画像解像度、つまりCCDの画素数分の解像度が得られるが、CCDが複数個必要となり撮像装置のサイズ、コストの面で不利となる。
また、非特許文献1で報告済みの撮像装置の場合は撮影画像のダイナミックレンジ拡大には特殊なCCDが必要となる。
本発明は以上の問題に鑑みてなされたものであり、民生用固体撮像装置に一般的に用いられる固体撮像素子を1個用いることで安価で、且つCCDの画素数並みの画像解像度でダイナミックレンジを拡大した画像を撮影可能な固体撮像装置を提供することを目的とする。
このような課題を解決するために本願の請求項1記載の発明は、行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第1露光として前記ホトダイオード上に蓄積された電荷を第1の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第1の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第2露光において前記ホトダイオード上に蓄積された電荷を第2の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第1露光及び前記第2露光により撮影された画像信号を合成することを特徴とするものである。
本願の請求項2記載の発明は、行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第1露光として前記ホトダイオード上に蓄積された電荷の一部のみを第1の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第1の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第2露光において前記ホトダイオード上に蓄積された電荷を第2の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第1露光及び前記第2露光により撮影された画像信号を合成することを特徴とするものである。
本願の請求項3記載の発明は、行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第1露光として前記ホトダイオード上に蓄積された電荷を第1の読み出し制御パルスの印加後にフィールド読み出しにより前記転送手段を介して出力し、更に、前記第1の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第2露光において前記ホトダイオード上に蓄積された電荷を第2の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第1露光及び前記第2露光により撮影された画像信号を合成することを特徴とするものである。
本発明によれば、固体撮像素子の露光及び信号読み出しモードを制御し、1フィールド分の短時間露光信号と1フレーム分の長時間露光信号を撮影しこれらを合成することで、固体撮像素子の画素数並みの解像度を持ちながらもダイナミックレンジが拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているIT−CCDが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。
(実施の形態1)
図1は、本発明の実施の形態1における固体撮像装置のブロック図である。同図において、1は光学レンズ、2は光学絞りと兼用の機械シャッター、3は固体撮像素子であり、本実施の形態1においては民生用固体撮像装置で一般に用いられているインタライン転送CCD(IT−CCD)であるとする。4は相関二重サンプリング回路と自動利得制御(AGC)回路から構成されるアナログ信号処理手段、5はA/D変換手段、6はA/D変換手段5によりデジタル信号に変換された画像信号を記憶する画像メモリである。7は画像メモリ6から読み出される2系統の画像信号を合成する信号合成手段である。
信号合成手段7で得られた信号はデジタル信号処理手段8において、輝度信号と色信号の分離、ノイズ除去、エッジ強調、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。また機械シャッター駆動制御手段9は機械シャッター2の開閉の制御を行う手段であり、固体撮像素子駆動制御手段10は固体撮像素子3の露光制御や信号読み出しのモード、タイミング等を制御する手段である。なおこれらを含め上記すべての構成要素の動作モードや動作タイミングはシステム制御手段11により統合的に制御されるものとする。
図2(a)、(b)、(c)、(d)は、固体撮像素子3の動作、構成を説明するための模式図である。なお本発明の実施の形態1において固体撮像素子3は、フィールド読み出しモードとフレーム読み出しモードの2つの読み出しモードで信号を読み出すことが可能なインタライン転送CCD(IT−CCD)であり、説明の便宜上、図2のような垂直4画素、水平2画素のいわゆる4×2画素の構成で説明する。
図2(a)、(b)は、IT−CCDにおけるフィールド読み出しモードを説明するための図である。図2(a)において、ホトダイオードは光電変換により光の強さに応じた信号電荷が蓄積される部分であり、一定時間の後、印加される制御パルスによってこの蓄積された電荷は垂直転送CCDに移動する。このとき隣接する上下2つのホトダイオードの電荷が垂直転送CCD上で混合され、水平転送CCDを介して外部に出力される。以上が第1フィールドの読み出し動作である。
第2フィールドは、図2(b)に示すように、垂直転送CCD上で混合されるホトダイオードのペアが第1フィールドの場合比べ垂直方向に1画素ずれる。これにより2フィールド分の信号読み出しにより、インタレース方式の1フレームに相当する画像信号を読み出すことができる。
次に、図2(c)、(d)を用いてフレーム読み出しモードについて説明する。フレーム読み出しモードではまず第1フィールドにおいて(図2(c))、垂直方向に1画素飛ばしでホトダイオードに蓄積された電荷が垂直転送CCDに転送され、これが水平転送CCDを介して外部に出力される。そして第2フィールドにおいて(図2(d))は、第1フィールドで垂直転送CCDに転送されなかったホトダイオードの電荷が垂直転送CCDに転送され、これが水平転送CCDを介して外部に出力される。このようにフレーム読み出しモードではホトダイオード上の電荷が垂直転送CCDで混合されることなく、外部に出力される。これにより2フィールド分の信号読み出しにより、インタレース方式の1フレームに相当する画像信号を読み出すことができる。
図3は、固体撮像素子3上に形成される補色市松タイプのカラーフィルター配列図である。図3中、Mgはマゼンタ、Gはグリーン、Yeはイエロー、Cyはシアンの各色を表す。図3に示す通りフォトダイオード1画素に対し1色のカラーフィルターが対応している。
図4は、信号合成手段7の構成例を示すブロック図である。同図において701は画像メモリ6から出力される画像信号の2水平走査ライン分の画像信号を加算する2ライン加算手段である(なお以下、水平走査ラインに相当する画像信号を単に水平ラインもしくは水平ライン信号と称す)。702は画像メモリ6から出力される画像信号に対し垂直方向の補間処理を施す補間手段である。重み付け加算手段703は2水平ライン加算手段701と補間手段702の出力を重み付け加算する手段である。
図5は、2水平ライン加算手段701の構成例を示すブロック図である。同図において70101は1ラインメモリであり画像メモリ6から出力された画像信号の1ライン分を1水平同期期間だけ遅延させる手段である。70102は加算器であり、1ラインメモリ70101において遅延させられた水平ライン信号と、2水平ライン加算手段701に入力する水平ライン信号とがこの加算器70102において加算されることで隣接する上下2ラインの加算が行われる。
図6は、補間手段702の構成を示すブロック図である。同図において70201、70202は1ラインメモリであり画像メモリ6から出力された画像信号の1ライン分を1水平同期期間だけ遅延させる手段である。70203、70204はアンプ手段であり、画像メモリ6からの入力信号及び1ラインメモリ70202の出力信号に対し一定のゲインを乗算する。70205は加算器であり、アンプ手段70203、70204でゲインを乗算された信号を加算する。
図7は重み付け加算手段703の構成を示すブロック図である。同図において70301は合成係数発生手段であり、ここで2水平ライン加算手段701を経た信号の画素毎の信号レベルに応じてある係数k(1≧k≧0)を発生し、k及び1−kなる値を乗算器70302、70303に与える。乗算器70302、70303はk及び1−kを補間手段702を経た信号及び2水平ライン加算手段701を経た信号に乗算し、この結果は加算器70304にて加算され出力される。
以上のように構成された本発明の実施の形態1の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態1においては、短時間露光信号(以下これをshort信号と称す)と長時間露光信号(以下これをlong信号と称す)の2つの画像を撮影し、これを合成することでダイナミックレンジを拡大した画像を撮影することを特徴とする。このようなダイナミックレンジ拡大の原理を図8を用いて説明する。図8(a)、(b)は露光時の被写体の明るさ(固体撮像素子への入射光量)と固体撮像素子から出力される信号量の関係を示すものである。図8(a)に示すように長時間露光時は入射光により固体撮像素子のホトダイオード上に発生する電荷量が大きく、当然のことながら出力される信号量も大きくなる。しかしホトダイオードに蓄積される電荷量には上限が存在し、この上限を超えると飽和、つまり信号がつぶれてしまう現象が発生し、被写体像を正確に再現することができない。逆に図8(b)に示すように露光時間を短く設定すれば飽和を回避することは可能であるが、今度は被写体内の低輝度部分のS/Nが劣化する。そこで長時間露光により得られた信号(long信号)と短時間露光で得られた信号(short信号)を用いて、低輝度部はlong信号、高輝度部はshort信号からなる画像を合成すれば、被写体の低輝度部から高輝度部までを再現でき、撮像装置のダイナミックレンジを拡大することが可能となる。この際に、short信号にはlong信号との露光量の比(露光時間の比)に相当するゲインを乗じた後(図8(c))に合成を行えば図8(d)に示すように露光量の比に応じたダイナミックレンジの拡大が実現できる。例えばlong信号とshort信号の露光量比(露光時間比)が1:Dの場合、ダイナミックレンジはD倍に拡大可能である。
以下、上記の原理に従って撮影画像のダイナミックレンジを拡大可能な撮像装置の具体例に関し説明する。
まず、short信号とlong信号の撮影方法に関し図9を用いて説明する。図9は固体撮像素子3における被写体像の露光及び露光した信号の読み出しに関するタイミングチャートである。同図において(a)は垂直方向の同期信号、(b)は固体撮像素子3のホトダイオードからの信号電荷読み出しを制御する読み出し制御パルス、(c)は機械シャッター2の開閉状態、(d)は固体撮像素子3のホトダイオード上の露光信号、(e)は固体撮像素子3から出力される信号を示す。
short信号の露光時は、機械シャッター2を開放状態にし、電子シャッター機能を用いて必要な露光時間、例えば1/1000秒間露光を行う。1/1000秒の露光が終了した後、読み出し制御パルスによりホトダイオード上の蓄積電荷は垂直転送CCDに移動させる。このとき固体撮像素子3はフィールド読み出しモードで駆動するものとし、図2(a)で説明したようにホトダイオード上の蓄積電荷を垂直転送CCD上で混合し、外部に読み出す。この際読み出す画像信号は第1フィールド分の信号のみとする。図10にフィールド読み出しモードで読み出されたshort信号を示す。なお固体撮像素子3の垂直方向のホトダイオードの数はN個(説明の便宜上、Nは偶数とするがこれに限るものではない。)とする。図10に示すように読み出されたshort信号はYe、Cy、G、Mgの4色の信号がそれぞれ加算されたYe+Mg、Cy+G、Ye+G、Cy+Mgの4種類の信号となる。またその垂直方向のライン数はホトダイオードの垂直方向の個数Nの1/2となる。
次に、short信号を読み出している間に、long信号の露光を行う。long信号の露光期間は例えば1/100秒とする。long信号の露光時間は機械シャッター2の開閉で制御するものとし、long信号の露光開始後1/100秒後に機械シャッター2を閉じ露光を完了する。このように機械シャッター2を閉じることで、長時間露光したその信号は読み出し中に余分に露光されることがない。
long信号の露光が完了すると読み出し制御パルスによりホトダイオード上の蓄積電荷は垂直転送CCDに転送される。このとき固体撮像素子3はフレーム読み出しモードで駆動するものとし、図2(c)で説明したように垂直方向の奇数ラインに相当するホトダイオードの電荷を第1フィールド分だけ読み出しを行う。第1フィールドの信号読み出し終了後に、今度は垂直方向の偶数ラインに相当するホトダイオードの電荷を読み出し(第2フィールド)、これによってlong信号は1フレームに相当する信号を固体撮像素子3から読み出す。なお、図9(a)に示した垂直同期信号の周期は例えば1/100秒とし、固体撮像素子3からの1フィールド分の信号読み出しは、垂直同期信号の1周期内で完了するものとする。図11にフレーム読み出しモードで読み出されたlong信号を示す。図11に示すように読み出されたlong信号は第1フィールドはYe、Cyの2色の信号となり、第2フィールドはG、Mgの2色の信号となる。またその垂直方向のライン数は各フィールドでホトダイオードの垂直方向の個数Nの1/2であり、2つのフィールドを合わせると1フレームに相当するNラインの信号となる。
以上のような露光及び信号読み出しを行うことで、露光時間の異なる2つの信号、つまり1フィールド画像であるshort信号と1フレーム画像であるlong信号を得ることが可能である。なお、short信号は水平ライン数がlong信号の1/2であるため、short信号はlong信号に比べ画素数の少ない信号となっている。
次に、固体撮像素子3で得られた露光時間の異なる2つの信号は、アナログ信号処理手段4を経てA/D変換手段5によりデジタル信号に変換され画像メモリ6に一旦記憶される。
画像メモリ6からはlong信号とshort信号が読み出される。なお、画像メモリ6からlong信号を読み出す際、long信号は第1フィールドの1ライン目、第2フィールドの1ライン目、第1フィールドの2ライン目、というように1フレーム画像としてみた場合の先頭ラインから順に読み出されることとする。画像メモリ6から読み出されたlong信号は2水平ライン加算手段701に送られる。2水平ライン加算手段701においては、フレーム信号としてみた場合に隣接する上下2ラインのlong信号が加算混合される。これはlong信号とshort信号を合成する際に、2つの信号の信号形式が異なると合成ができないためであり、よってlong信号に対しては2水平ライン加算手段701により、固体撮像素子3の垂直転送CCD上での画素混合と同一の処理を施し、short信号に対しては補間手段702により1フィールド画像を1フレーム画像に変換する。
図12(a)に2水平ライン加算手段701において隣接する上下2ラインの信号が加算混合された後のlong信号を、図12(b)に補間処理前のshort信号を、図12(c)に補間処理後のshort信号を示す。図12(a)と(c)に示すように、long信号に対する2水平ライン加算処理及びshort信号に対する補間処理によって、long信号とshort信号の信号形式が合致する。
補間手段702では、図12(b)に示すフィールド画像を補間処理により同図(c)に示すフレーム画像に変換するが、その方法について以下に説明する。
例えば図12(b)における第2ラインと第3ラインの間の水平ライン信号を補間処理により求める場合、Ye+G、Cy+Mgの信号からなる水平ライン信号をつくる必要がある。このとき最も近傍のYe+G、Cy+Mgの信号からなるラインは第2ラインと第4ラインであるため、この両者から補間処理により第2ラインと第3ラインの間のラインを求める。但し補間処理により水平ライン信号を求める位置と、第2ライン、第4ラインとの空間的距離は等距離ではないため、その距離に応じて重み付けが必要となる。そこで補間手段702においては、連続して入力される3ラインの水平ライン信号のうち中心を除く上下両端のラインが乗算器70203、70204に入力される構成であるため、この乗算器70203、70204で乗じる数をそれぞれ1/4、3/4として重み付けし、その乗算結果を加算器70205にて加算すればよい。
なお、乗算器70203、70204にて乗算される数は、補間処理により水平ライン信号を求める位置と、第2ライン、第4ラインとの空間的距離の比が1:3であることから決定する。
同様に、第3ラインと第4ラインの間の水平ライン信号を補間処理により求める場合、Ye+Mg、Cy+Gの信号からなる水平ライン信号をつくる必要がり、このとき最も近傍のYe+Mg、Cy+Gの信号からなるラインは第3ラインと第5ラインであるため、この両者との距離の比に応じた重み付けを行い、補間処理により第3ラインと第4ラインの間のラインを求めることができる。
以上の処理により、1フレーム分のlong信号と、1フィールド分のshort信号から補間処理を経て得られた1フレームに相当する信号が生成される。
これらlong信号とshort信号を合成し、ダイナミックレンジを拡大した信号を合成する手段が、重み付け加算手段703である。重み付け加算手段703においては図7に示した合成係数発生手段70301によりlong信号の画素毎の信号レベルに応じた合成係数kを求め、この合成係数kに応じて1画素単位でlong信号と、画面上の同じ空間位置に存在する補間処理により1フレーム画像となったshort信号とを合成する。
図13は合成係数発生手段70301におけるlong信号の信号レベルから画素ごとに合成係数kを求める方法の一例である。図13に示すように、long信号レベルに対し2つの閾値Th_minとTh_maxを設定し、long信号レベルが(数1)の場合、つまりlong信号の信号レベルがTh_min以下で飽和の可能性がない場合は合成係数kを0とし、longレベルが(数2)の場合、つまりlong信号レベルがTh_max以上で固体撮像素子の出力が飽和レベルに近いような場合、合成係数kを1とする。なお閾値Th_max、Th_minは使用する固体撮像素子の飽和特性やS/Nに応じて適宜決定する。
Figure 2004357335
Figure 2004357335
また、long信号レベルが(数3)の場合、つまりlong信号レベルが中間である場合には、図13に示すように合成係数kは(数4)の1次式で決定する。
Figure 2004357335
Figure 2004357335
以上のように求められた合成係数kを用いて、long信号とshort信号は画素毎に(数5)により合成される。long信号とshort信号を合成した信号を合成信号とする。
Figure 2004357335
例えば、図14に示すlong信号(Ye+Mg)L11と、この(Ye+Mg)L11と空間的位置が同じであるshort信号(Ye+Mg)S11から合成信号(Ye+Mg)M11を求める場合、long信号から決定される合成係数をk11とすると(数6)により合成が行われる。
Figure 2004357335
合成信号の他の画素も(数6)と同様に、同じ空間的位置に存在するlong信号とshort信号から求められる。
なお、(数5)及び(数6)においてshort信号に乗算される定数Dは、long信号とshort信号の露光量の比(露光時間の比)であり、例えばlong信号の露光量(露光時間)をTL、short信号の露光量(露光時間)をTSとすると、Dは(数7)で求められる。
Figure 2004357335
このようにlong信号とshort信号を用いて、long信号の信号レベルが閾値Th_min以下の部分はlong信号、同信号レベルが閾値Th_max以上つまり固体撮像素子3の出力が飽和するに近い部分(撮影画像の輝度が高く、普通ならば信号がつぶれるような部分)はshort信号、その中間の明るさの部分はlong信号とshort信号を重み付け加算した信号からなる合成信号を合成することで、撮影した画像信号のダイナミックレンジを拡大することが可能である。
但し、ダイナミックレンジ拡大がなされた合成信号のうち、long信号からなる部分は本来1フレームの画像信号であるため画像解像度が高い。これに対してshort信号からなる部分は1フィールドの画像信号から合成されるため、long信号からなる部分に比べ画像解像度は低い。しかし一般に、画面全体の信号レベルが飽和に近くなるような撮影条件はまれであり、そのような条件下でも、光学絞りを絞りこむなどして入射光量を制限するため画面全体の信号レベルが飽和に近いレベルとなることはなく、撮影画像の大半をshort信号からなる部分が占めることは実使用上あまり起こりえない。また、限られた階調で画像を表現する場合、高輝度部つまり信号レベルが高い部分は低・中輝度部に比べ、少なめに階調が割り当てられることが多い。このためshort信号からなる部分の解像度劣化はさほど目立たず、上記のような方法でlong信号とshort信号を合成してもCCDの画素数並みの解像度の合成画像が得られると考えられる。
以上の通り、信号合成手段7において合成された合成信号は、デジタル信号処理手段8において輝度と色信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。デジタル信号処理手段8における信号処理に関しては本願発明の目的と直接は関係がないため詳細な説明は省略する。
以上のように、本発明の実施の形態1の固体撮像装置においては、固体撮像素子3の露光及び信号読み出しモードを制御し、1フィールド分の短時間露光信号と1フレーム分の長時間露光信号を撮影しこれらを合成することで、CCDの画素数並みの解像度を持ちながらダイナミックレンジも拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているIT−CCDが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。
(実施の形態2)本発明の実施の形態2における固体撮像装置は、図1に示した本発明の実施の形態1に対し、重み付け加算手段(本実施の形態2では704と付番し区別する)の構成及び同手段でなされる処理が異なる。以下、本発明の実施の形態1と同様の処理内容部分に関しては説明は省略し、本発明の実施の形態1と異なる部分のみ説明する。
図15は、本発明の実施の形態2における重み付け加算手段704のブロック図である。同図において70401は2水平ライン加算手段701を経たlong信号から輝度信号成分を抽出する輝度信号抽出手段である。70402は合成係数発生手段であり、ここで輝度信号抽出手段70401を経たlong信号の輝度成分の輝度信号レベルに応じてある係数k(1≧k≧0)を発生し、k及び1−kなる値を乗算器70403、70404に与える。乗算器70403、70404はk及び1−kを補間手段702を経たshort信号及び2水平ライン加算手段701を経たlong信号に乗算し、この結果は加算器70405にて加算され出力される。
図16は輝度信号抽出手段70401の構成例を示すブロック図である。同図において704011は入力信号を1画素分の期間だけ遅延させる手段である。704012は加算器であり、1画素遅延手段704011において遅延された画素信号と輝度信号抽出手段70401に入力された画素信号を、この加算器704012において加算することで水平方向に隣接する2画素の加算が行われ信号の低域成分のみを抽出する。輝度信号抽出手段70401により抽出される信号の低域成分はすなわち画像信号の輝度信号に相当する。
以上のように構成された本発明の実施の形態2の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態1と異なり、本発明の実施の形態2においてはlong信号とshort信号を合成する際に使用する合成係数をlong信号から抽出した輝度信号の信号レベルをもとに決定する。
そのためlong信号から輝度信号を抽出する手段である輝度信号抽出手段70401を重み付け加算手段704内に有する。
輝度信号抽出手段70401においては、2水平ライン加算手段701の出力のうち水平方向に隣り合う2画素の信号を順次加算することで以下の(数8)に基づきlong信号の輝度成分(以下これをlong輝度信号と称す)を抽出する。
Figure 2004357335
例えば、図17に示すlong信号(Ye+Mg)L11とlong信号(Cy+G)L12とからlong輝度信号YL11を求める場合、(Ye+Mg)L11と(Cy+G)L12を加算することになる。同様にlong輝度信号YL12を求める場合は、(Cy+G)L12と(Ye+Mg)L13を加算する。
long信号から抽出した輝度信号(long輝度信号)をもとに合成係数を決定する方法を以下に説明する。
図18は合成係数発生手段70402におけるlong輝度信号の信号レベルから画素ごとに合成係数kを求める方法の一例である。図18に示すように、long輝度信号レベルに対し2つの閾値Th_min’とTh_max’を設定し、long輝度信号レベルが(数9)の場合、つまり被写体の輝度レベルがTh_min’以下の低輝度の場合は合成係数kを0とし、long輝度信号レベルが(数10)の場合、つまり被写体の輝度レベルがTh_max’以上の高輝度の場合、合成係数kを1とする。なお閾値Th_max’、Th_min’は使用する固体撮像素子の飽和特性やS/Nに応じて適宜決定する。
Figure 2004357335
Figure 2004357335
また、long輝度信号レベルが(数11)の場合、つまり輝度が低輝度と高輝度の中間である場合には、図18に示すように合成係数kは(数12)の1次式で決定する。
Figure 2004357335
Figure 2004357335
以上のように求められた合成係数kを用いて、long信号とshort信号は画素毎に(数5)により合成される。long信号とshort信号を合成した信号を合成信号とする。
例えば、図19に示すlong信号(Ye+Mg)L11と、この(Ye+Mg)L11と空間的位置が同じであるshort信号(Ye+Mg)S11から合成信号(Ye+Mg)M11を求める場合、これら2つの信号と空間的位置が同じであるlong輝度信号YL11から決定される合成係数(これをky11とする)をもとに(数13)により合成が行われる。
Figure 2004357335
合成信号の他の画素も(数13)と同様に、同じ空間的位置に存在するlong信号とshort信号から求められる。
なお、(数13)においてshort信号に乗算される定数Dは、本発明の実施の形態1と同様にlong信号とshort信号の露光量の比(露光時間の比)であり、(数7)で求められる。
このようにlong信号とshort信号を用いて、低輝度部はlong信号、高輝度部はshort信号、低輝度部と高輝度部の中間の輝度の部分はlong信号とshort信号を重み付け加算した信号からなる合成信号を合成することで、撮影した画像信号のダイナミックレンジを拡大することが可能である。
また、輝度信号はlong信号から抽出される低周波成分といえるため、この輝度信号をもとに合成係数を求める場合、合成係数決定に対しlong信号中のノイズ成分が及ぼす影響を低減することができる。
以上のように、本発明の実施の形態2の固体撮像装置においても、固体撮像素子3の露光及び信号読み出しモードを制御し、1フィールド分の短時間露光信号と1フレーム分の長時間露光信号を撮影しこれらを合成することで、CCDの画素数並みの解像度を持ちつつダイナミックレンジが拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているIT−CCDが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。
(実施の形態3)
図20は、本発明の実施の形態3における固体撮像装置のブロック図である。同図において、光学レンズ1、光学絞りと兼用の機械シャッター2、固体撮像素子3、アナログ信号処理手段4、A/D変換手段5、画像メモリ6、シャッター駆動手段9、固体撮像素子駆動手段10、2水平ライン加算手段701、輝度信号抽出手段70401、補間手段702の機能、動作は本発明の実施の形態1及び実施の形態2と同様であるため、図1から図19と同一の番号を付して説明は省略する。
図20に示したブロック図において、上記以外の構成要素に関して説明すると、12は輝度信号抽出手段70401の出力に対し垂直方向の補間処理を施す輝度信号補間手段であり、輝度信号合成手段13は輝度信号抽出手段70401と輝度信号補間手段12の出力を合成する手段である。なお、輝度信号補間手段12に入力される輝度信号はshort信号から抽出された輝度信号であるためshort輝度信号と称し、long信号から抽出される輝度信号をlong輝度信号と称す。よって輝度信号抽出手段70401から直接、輝度信号合成手段13に入力される信号がlong輝度信号、輝度信号補間手段12から輝度信号合成手段13に入力される信号がshort輝度信号の補間処理後の信号となる。
また、信号合成手段14は2ライン加算手段701と補間手段702の出力を合成する手段である。1ラインメモリ15、16、17,18は信号合成手段14の出力を同時化する際に必要な1水平同期期間分の遅延手段であり、1ラインメモリ15、16、17,18の出力と信号合成手段14の出力の合計5ラインの水平ライン信号から同じ空間位置にレッド(R)成分を持つ信号とブルー(B)成分を持つ信号を同時化手段19で得る。
輝度信号合成手段13で得られた輝度信号と、同時化手段19で得られたレッド(R)成分を持つ信号とブルー(B)成分を持つ信号はデジタル信号処理手段20において、ノイズ除去、エッジ強調、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。なおこれらを含め上記すべての構成要素の動作モードや動作タイミングはシステム制御手段21により統合的に制御されるものとする。
図21は輝度信号補間手段12の構成を示すブロック図である。同図において1201は1ラインメモリであり輝度信号抽出手段70401から出力された画像信号の1ライン分を1水平同期期間だけ遅延させる手段である。1202、1203はアンプ手段であり、それぞれ1201を経た信号及び輝度信号抽出手段70401を経て輝度信号補間手段12に入力された信号に対し一定のゲインを乗算する。1204は加算器であり、アンプ手段1202、1203でゲインを乗算された信号を加算する。
図22は輝度信号合成手段13の構成を示すブロック図である。同図において1301は合成係数発生手段であり、ここで輝度信号抽出手段70401を経たlong輝度信号の画素毎の信号レベルに応じてある係数k(1≧k≧0)を発生し、k及び1−kなる値を乗算器1302、1303に与える。乗算器1302、1303はk及び1−kをshort輝度信号及びlong輝度信号に乗算し、この結果は加算器1304にて加算され出力される。
図23は信号合成手段14の構成を示すブロック図である。同図において1401、1402は乗算器であり、輝度信号合成手段13より供給される係数k及び1−kをそれぞれshort信号及び2水平ライン加算後のlong信号に乗算する乗算器である。この乗算結果は加算器1403にて加算され出力される。
図24は同時化手段19の構成を示すブロック図である。同図において1901は入力される信号から3つの信号を選択し、出力A、出力B、出力Cに出力するセレクタ、1902、1903は出力B及び出力Cから出力される信号にある定数を乗算するアンプ手段であり、この乗算後の信号は加算器1904にて加算される。1905はセレクタ1901の出力Aと加算器1904の出力を出力D、出力Eに振り分けて出力するセレクタである。なお、セレクタ1901、1905による信号の出力先の選択は後述の通り、信号の色成分によって振り分けられることとする。
以上のように構成された本発明の実施の形態3の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態3においても、短時間露光信号(short信号)と長時間露光信号(long信号)の2つの画像を撮影し、これを合成することでダイナミックレンジを拡大した画像を撮影する点は本発明の実施の形態1及び2と同様である。しかし本発明の実施の形態3においては、輝度信号と、後に色信号として処理される信号とで個別に短時間露光信号(short信号)と長時間露光信号(long信号)の合成を行うことを特徴とする。
そのために本発明の実施の形態3においては本発明の実施の形態1の場合と同様に、画像メモリ6から読み出されたlong信号は、2水平ライン加算手段701においては、フレーム信号としてみた場合に隣接する上下2ラインのlong信号が加算混合される。これはshort信号が固体撮像素子3の垂直転送CCD上で画素混合されているため、これにlong信号を合わせるための措置である。
輝度信号抽出手段70401においては、本発明の実施の形態2と同様に2水平ライン加算手段701の出力のうち水平方向に隣り合う2画素の信号を順次加算することで(数8)に基づきlong信号の輝度成分(以下これをlong輝度信号と称す)を抽出する。
例えば、図17に示すlong信号(Ye+Mg)L11とlong信号(Cy+G)L12とからlong輝度信号YL11を求める場合、(Ye+Mg)L11と(Cy+G)L12を加算することになる。同様にlong輝度信号YL12を求める場合は、(Cy+G)L12と(Ye+Mg)L13を加算する。
次に、画像メモリ6から読み出されるshort信号は、まず輝度信号抽出手段70401においてlong信号の場合と同様に輝度信号が求められる。
図25にlong輝度信号、図26にshort輝度信号を示す。
図26に示すようにshort信号は1フィールドの信号であったため、short輝度信号も当然1フィールドの輝度信号である。そこでこの1フィールドのshort輝度信号を1フレームの信号に変換し、long輝度信号と信号形式を同一とするための手段が、輝度信号補間手段12である。
輝度信号補間手段12は具体的には、図21に示したアンプ手段1202、1203で乗算するゲインを0.5とすることで連続する2ラインの加算平均値を求めこれを補間信号とする。図27に補間処理後のshort輝度信号を示す。
以上の処理により、1フレーム分のlong信号から得られた輝度信号(long輝度信号)と、1フィールド分のshort信号から補間処理を経て得られた1フレームに相当する輝度信号(short輝度信号)が生成される。このように1フィールドのshort信号から1フレームのshort輝度信号を合成した理由は、short信号とlong信号を合成してダイナミックレンジ拡大を図る際に、short信号が1フィールドの信号のままでは画像を構成する水平ラインが不足し、1フレームの信号であるlong信号と合成することができないためである。
これらlong輝度信号とshort輝度信号を合成し、ダイナミックレンジを拡大した輝度信号を合成する手段が、輝度信号合成手段13である。輝度信号合成手段13においては図22に示した合成係数発生手段1301によりlong輝度信号の画素毎の信号レベルに応じた合成係数kを求め、この合成係数kに応じて1画素単位でlong輝度信号と、画面上の同じ空間位置に存在するshort輝度信号とを合成する。
long輝度信号の信号レベルから画素ごとに合成係数kを求める方法の一例としては、本発明の実施の形態2と同様の方法が考えられるため説明は省略する。
求められた合成係数kを用いて、long輝度信号とshort輝度信号は画素毎に(数14)により合成される。long輝度信号とshort輝度信号を合成した信号を合成輝度信号とする。
Figure 2004357335
例えば、図28に示すlong輝度信号YL11と、このYL11と空間的位置が同じであるshort輝度信号YS11から合成輝度信号YM11を求める場合、long輝度信号(YL11)から決定される合成係数をk11とすると(数15)により合成が行われる。
Figure 2004357335
合成輝度信号の他の画素も(数15)と同様に、同じ空間的位置に存在するlong輝度信号とshort輝度信号から求められる。
なお、(数14)及び(数15)においてshort輝度信号に乗算される定数Dは、long信号とshort信号の露光量の比(露光時間の比)であり(数7)で求められる。
このようにlong輝度信号とshort輝度信号を用いて、低輝度部はlong輝度信号、高輝度部はshort輝度信号、低輝度部と高輝度部の中間の輝度の部分はlong輝度信号とshort輝度信号を重み付け加算した信号からなる合成輝度信号を合成することで、撮影した画像の輝度信号のダイナミックレンジを拡大することが可能である。
但し、ダイナミックレンジ拡大がなされた輝度信号のうち、long輝度信号からなる部分は本来1フレームの画像信号であるため画像解像度が高い。これに対してshort輝度信号からなる部分は1フィールドの画像信号から合成されるため、long輝度信号からなる部分に比べ画像解像度は低い。しかし一般に、画面全体が高輝度となるような撮影条件下はまれであり、そのような条件下でも、光学絞りを絞りこむなどして入射光量を制限するため画面全体が高輝度となることはなく、撮影画像の大半をshort輝度信号からなる部分が占めることは実使用上あまり起こりえない。また、限られた階調で画像を表現する場合、高輝度部は低・中輝度部に比べ、少なめに階調が割り当てられることが多い。このためshort輝度信号からなる部分の解像度劣化はさほど目立たず、上記のような方法でlong輝度信号とshort輝度信号を合成してもCCDの画素数並みの解像度の合成画像が得られると考えられる。
以上が輝度信号の合成によるダイナミックレンジ拡大に関する処理内容である。次に、色信号に関する処理について説明する。
画像メモリ6から読み出されたshort信号と、2水平ライン加算手段701において隣接する上下2ラインが加算されたlong信号は、色信号のダイナミックレンジ拡大のための合成処理を信号合成手段14において施される。
なお、short信号は1フィールド信号であるため1フレーム信号であるlong信号と信号形式が異なる。よって本発明の実施の形態1と同様に、補間手段702によって1フィールド画像を1フレーム画像に変換する。
2水平ライン加算手段701において隣接する上下2ラインの信号が加算混合された後のlong信号及び補間手段702において補間処理されたshort信号は、図12(a)、(c)示す通りであり、本発明の実施の形態1と同様にlong信号に対する2水平ライン加算処理及びshort信号に対する補間処理によって、long信号とshort信号の信号形式が合致している。
信号合成手段14におけるlong信号とshort信号の合成は、本発明の実施の形態2と同様に、信号合成手段14に入力されるlong信号及びshort信号と空間的に位置が一致しているlong輝度信号とshort輝度信号とが合成される際に使用される合成係数k及び(数7)で求められるDにより画素毎に実施される。信号合成手段14で合成された信号を合成信号と称す。
以上が色信号のダイナミックレンジ拡大のための合成処理である。
さて、信号合成手段14で求められた合成信号は、Ye+Mg及びCy+Gの画素が水平方向に並ぶラインと、Ye+G及びCy+Mgの画素が水平方向に並ぶラインが垂直方向に2ライン周期で繰り返される構成のため、色の三原色であるレッド、グリーン、ブルーをそれぞれR、G、Bとすると、Ye+Mg及びCy+Gの画素が並ぶラインからは(数16)によりR成分を持った2R−Gなる色信号が、Ye+G及びCy+Mgが並ぶラインからは(数17)によりB成分を持った2B―Gなる色信号が得られる。
Figure 2004357335
Figure 2004357335
これはいわゆる色差線順次であり、1水平ライン信号に対して色信号はR成分を持った2R−G、もしくはB成分を持った2B―Gのどちらか一方しか得られない。そこで1水平ライン信号に対し、R成分とB成分の双方の成分を持った信号を得るために、ラインメモリ15、16、17、18及び同時化手段19により同時化処理が施される。
ラインメモリ15、16、17、18及び同時化手段19による同時化処理の具体的な内容を以下に説明する。同時化手段19には信号合成手段14及びラインメモリ15、16、17、18から連続する5ラインの水平ライン信号が入力される。信号合成手段14で合成された信号を合成信号を図29(a)とし、仮に同時化手段19に入力される5ラインの信号が図29(b)に示す第3ライン〜第7ラインの信号であったとする。このとき、同時化処理の対象は入力される5ラインの中心に位置する水平ライン信号であるとし、図29(b)の第5ラインの水平ライン信号に対し同時化処理を行うとすると、第5ラインはR成分を持った2R−Gに対応する信号であるため、B成分を持った2B―Gは周辺の水平ライン信号から補間処理によりつくり出せばよい。そこで図24に示す同時化手段19においてはセレクタ1901は、第5ラインの信号を出力Aに、第3ライン及び第7ラインの2B−Gに対応する信号を出力B及び出力Cに出力する。アンプ手段1902、1903で乗算するゲインは0.5とし、この乗算結果を加算器1904で加算すれば第3ラインと第7ラインの加算平均結果が求められる。この加算平均結果とセレクタ1901の出力Aの出力である第5ラインの信号はセレクタ1905に入力され、ここで出力先が選択され、2R−Gに対応する第5ラインの水平ライン信号は出力Dに、2B−Gに対応する第3ラインと第7ラインの加算平均結果は出力Eに出力される。このような動作により第5ラインが存在する空間位置に、R成分を持った2R−Gに対応する信号とB成分を持った2B−Gに対応する信号を得ることができる。同様に、例えば同時化手段19に第5ライン〜第9ラインの信号が入力され、第7ラインの水平ライン信号に対し同時化処理を行うとすると、第7ラインはB成分を持った2B−Gに対応する信号であるため、今度はR成分を持った2R―Gは周辺の水平ライン信号から補間処理によりつくり出せばよい。そこで図24に示す同時化手段19においてはセレクタ1901は、第7ラインの信号を出力Aに、第5ライン及び第9ラインの2R−Gに対応する信号を出力B及び出力Cに出力する。アンプ手段1902、1903で乗算するゲインは0.5とし、この乗算結果を加算器1904で加算すれば第5ラインと第9ラインの加算平均結果が求められる。この加算平均結果とセレクタ1901の出力Aの出力である第7ラインの信号はセレクタ1905に入力され、ここで出力先が選択され2B−Gに対応する第7ラインの水平ライン信号は出力Eに、2R−Gに対応する第5ラインと第9ラインの加算平均結果は出力Dに出力される。このような動作により第7ラインが存在する空間位置に、R成分を持った2R−Gに対応する信号とB成分を持った2B−Gに対応する信号を得ることができる。なお、同時化手段19は入力信号に応じて上記のような処理が行われるよう、入出力信号の選択等が自動的もしくはシステム制御手段21の制御により実施されるものとする。
以上の通り、輝度信号合成手段13において合成された合成輝度信号及び同時化手段19で得られたR成分を持った2R−Gに対応する信号とB成分を持った2B−Gに対応する信号は、デジタル信号処理手段20においてノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。デジタル信号手段20における信号処理に関しては本願発明の目的と直接は関係がないため詳細な説明は省略する。
以上のように、本発明の実施の形態3の固体撮像装置においては、固体撮像素子3の露光及び信号読み出しモードを制御し、1フィールド分の短時間露光信号と1フレーム分の長時間露光信号を撮影しこれらを合成することで、固体撮像素子の画素数並みの解像度を持ちながらもダイナミックレンジが拡大された画像を撮影することができる。さらに本固体撮像装置で使用する固体撮像素子には、民生用固体撮像装置で一般に用いられているIT−CCDが使用可能であるため、複数の固体撮像素子や特殊な固体撮像素子を使用する必要がなく、安価に装置を構成することができる。
(実施の形態4)
本発明の実施の形態4における固体撮像装置は、図20に示した本発明の実施の形態3に対し、2水平ライン加算手段70401の出力に対する間引き手段22が追加され、これに伴い補間手段702、1ラインメモリ17、18が削除され、さらに信号合成手段、同時化手段、デジタル信号処理手段、システム制御手段の構成・機能が異なる(本発明の実施の形態4では信号合成手段23、同時化手段24、デジタル信号処理手段25、システム制御手段26と付番し区別する)点が主な相違点であるため、以下、本発明の実施の形態3と同様の処理内容部分に関しては説明は省略し、本発明の実施の形態3と異なる部分のみ説明する。図30は、本発明の実施の形態4における固体撮像装置のブロック図である。同図において、間引き手段22は2水平ライン加算手段701の出力からその水平ライン信号を間引き、1フレーム画像を1フィールド画像に変換する手段である。信号合成手段23は、間引き手段22及び画像メモリ6の出力を輝度信号合成手段13にて求められる合成係数kに基づき合成する手段である。同時化手段24は、信号合成手段23の出力を同時化処理する手段である。
輝度信号合成手段13で得られた輝度信号と、同時化手段24で得られたレッド(R)成分を持つ信号とブルー(B)成分を持つ信号はデジタル信号処理手段25において、ノイズ除去、エッジ強調、マトリクス演算、特定のフォーマットへのエンコード等の処理が施される。なおこれらを含め上記すべての構成要素の動作モードや動作タイミングはシステム制御手段26により統合的に制御されるものとする。
図31は同時化手段24の構成を示すブロック図である。2401、2402は信号合成手段23と1ラインメモリ16を経た信号にある定数を乗算するアンプ手段であり、この乗算後の信号は加算器2403にて加算される。2404は1ラインメモリ15の出力と加算器2403の出力を出力D、出力Eに振り分けて出力するセレクタである。なお、セレクタ2404による信号の出力先の選択は後述の通り、信号の色成分によって振り分けられることとする。
以上のように構成された本発明の実施の形態4の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態3で説明したように、2水平ライン加算手段701の出力は1フレーム画像であるlong信号である。しかし画像メモリ6に記憶されているshort信号は1フィールド画像であるため、このままでは信号合成手段23においてlong信号とshort信号は合成が行えない。そこで本発明の実施の形態4においてはshort信号を補間処理により1フレームの信号に変換した。
本発明の実施の形態4においては、色信号は輝度信号と同程度の情報量を持たなくても画質面で問題がないことを利用して、本発明の実施の形態3とは逆に、1フレーム画像であるlong信号に対し垂直方向の間引き処理を施すことでlong信号を1フィールド画像に変換し、色信号合成手段24においてshort信号と合成する。具体的には図12(a)に示したような2ライン加算後のlong信号の偶数ラインを間引き手段22により間引くことで、信号合成手段23に入力されるlong信号を1フィールド画像に変換する。この間引き後のlong信号は図12(b)に示したようなshort信号と同様の形式となる。
信号合成手段23においては入力される1フィールド画像であるlong信号とshort信号は、本発明の実施の形態3と同様に、これらの信号と空間的に位置が一致しているlong輝度信号とshort輝度信号とが合成される際に使用される合成係数k及び(数7)で求められるDにより画素ごとに合成される。信号合成手段23で合成された信号を合成信号と称す。
次に、合成信号は同時化手段24において同時化処理がなされるが、本発明の実施の形態3と異なり、合成信号は1フィールド信号であるため、同時化手段24に入力する信号は例えば図32(b)に示すように第2ラインから第4ラインの3ライン分でよい。この3ラインの信号から本発明の実施の形態3と同様にR成分を持った2R−Gに対応する信号とB成分を持った2B−Gに対応する信号を得ることができる。例えば、第3ラインの位置にR成分を持った2R−Gに対応する信号とB成分を持った2B−Gに対応する信号を得るには、第2ラインと第4ラインの信号を加算平均して2B−Gに対応する信号を合成すればよい。
同時化手段24で得られた2つの信号はデジタル信号処理手段25において本発明の実施の形態3と同様に処理されるが、本発明の実施の形態4では信号合成手段23で合成された合成信号は1フィールド信号であるため、必要があればデジタル信号処理手段25においてフレーム画像への変換等がなされることは言うまでもない。
以上のように、本発明の実施の形態4の固体撮像装置においても、本発明の実施の形態3と同様に固体撮像素子3の露光及び信号読み出しモードを制御し、1フィールド分の短時間露光信号と1フレーム分の長時間露光信号を撮影しこれらを合成することで、固体撮像素子の画素数並みの解像度を持ちつつダイナミックレンジが拡大された画像を撮影することができる。さらに本発明の実施の形態4においては、色信号をフィールド信号として処理するため、1ラインメモリの必要個数等を削減でき、より安価に装置を構成することができる。
なお本発明の実施の形態1において、short信号はフィールド読み出しモードで読み出した1フィールド画像としたがこれに限るものではなく、例えば垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。一例としては、図33に示すように固体撮像素子3からshort信号を読み出す場合に垂直方向に3ライン毎に1ラインの信号を読み出す構成が考えられる。この場合、short信号は固体撮像素子上で上下2つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、long信号に対する2水平ライン加算処理が不要となる。また、図4に示した補間手段702による補間処理においては、short信号の水平ライン数をlong信号に合わせるように補間処理を行う必要がある。つまり補間手段702においてはshort信号の各水平ライン信号間に2ライン分の水平ライン信号を補間処理により作成することになる。これによりshort信号とlong信号は同一の信号形式となり図4に示した重み付け加算手段703により合成することが可能となる。この場合、合成係数kは上下2水平ライン加算されていないlong信号の各画素の信号レベルから例えば図13に示したような方法で求めればよい。なお、このようにshort信号を間引いて読み出す場合はlong信号に対する2水平ライン加算処理が不要と記したがこれに限るものではなく、long信号、short信号ともに2水平ライン加算処理を施した後に、合成処理を行う構成も考えられる。
また、本発明の実施の形態1において、露光量の異なる2つの信号は1フィールド画像であるshort信号と1フレーム画像であるlong信号としたがこれに限るものではなく、固体撮像装置の用途によっては1フィールド画像であるlong信号と1フレーム画像であるshort信号としてもよい。この場合、図34に示すようにlong信号に対し補間手段702により垂直方向の補間処理を行い、short信号に対しては2水平ライン加算手段701により隣接する上下2ラインの加算を行う構成とすればよく、重み付け加算手段703で使用する合成係数は補間処理後のlong信号から求めればよい。また、補間処理前のlong信号から合成係数を求める構成も考えられ、この場合、図34(a)に示したshort信号の偶数ラインの位置には対応するlong信号が存在せず合成係数kを決めることができないため、short信号の偶数ラインの上下のラインと同じ位置に存在するlong信号の水平ライン信号から求められる合成係数から、short信号の偶数ラインの位置の合成係数を決定するなどをすればよい。このように、1フィールド画像であるlong信号と1フレーム画像であるshort信号から合成信号を求めることで、高輝度部での解像度の高いダイナミックレンジ拡大画像が撮影可能である。
また、本発明の実施の形態1及び本発明の実施の形態2において、補間手段702は1ラインメモリを2個使用し、2水平ライン分の信号から補間処理を行う構成としたがこれに限るものではなく、例えば更に多数の1ラインメモリを用いて、更に多数の水平ライン信号から高次の内挿処理により補間処理を行う構成も考えられる。また、図35に示すように入力される1水平ラインを2回ずつ繰り返し出力することで水平ライン数を2倍にするいわゆる前値補間を行う構成も考えられる。
また、本発明の実施の形態1において、信号合成手段7では、long信号とshort信号を合成するための合成係数kはlong信号の画素毎に求めるものとしたがこれに限るものではなく、例えば複数の画素の信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数kを求める構成や、画素毎に求められたkの値のうち複数個から求めたkの平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。
また、本発明の実施の形態1において、信号合成手段7では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図36において、long信号(Ye+Mg)L11と(Cy+G)L12、(Ye+Mg)L13と(Cy+G)L14をそれぞれ1ブロックとし、これと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S12、(Ye+Mg)S13と(Cy+G)S14をそれぞれ1ブロックとすると、この2画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong信号(Ye+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数をkb11とするとそれぞれ(数18)のように行う。((Ye+Mg)M11、(Cy+G)M12は合成後の信号)
Figure 2004357335
この場合、合成係数kb11はブロックに含まれるlong信号(例えば(Ye+Mg)L11と(Cy+G)L12)のいずれかの信号レベル、もしくはブロックに含まれるlong信号(例えば(Ye+Mg)L11と(Cy+G)L12)の平均値、最大値、最小値、中間値の少なくともいずれかから図13に示した方法で求まるkをブロックの合成係数kb11とすればよい。また、ブロックに含まれるlong信号の各信号レベルから図13に示した方法で求められる画素毎のkの値(例えば図36中のk1、k2)の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は2画素と限らないことはいうまでもない。
また、本発明の実施の形態1において、信号合成手段7では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置に存在するlong信号レベルから図13に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。
また、本発明の実施の形態1において、信号合成手段7では、合成係数kはlong信号ではなくフレーム画像に変換したshort信号から求める構成も考えられる。
また、フレーム画像に変換したshort信号ではなく、フィールド画像であるshort信号から合成係数kを求める構成も考えられる。この場合、図12からわかるようにlong信号の偶数ラインに対応するshort信号は存在しないため、このままでは合成係数を決定することができない。この場合、long信号の偶数ラインに対応する位置の合成係数は周辺のshort信号もしくは周辺の合成係数から求めればよい。
また、本発明の実施の形態1において信号レベルから合成係数kを求める方法の例を図13に示したが、合成係数kの決定方法はこれに限るものではなく、例えば図37に示すように輝度レベルに応じて非線形にkを決定する方法も考えられる。
また、本発明の実施の形態2において、short信号はフィールド読み出しモードで読み出した1フィールド画像としたがこれに限るものではなく、一例としては、図33にあげたように垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。この場合、short信号は固体撮像素子上で上下2つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、long信号に対する2水平ライン加算処理が不要となる。また、図4に示した補間手段702による補間処理においては、short信号の水平ライン数をlong信号に合わせるように補間処理を行う必要がある。つまり補間手段702においてはshort信号の各水平ライン信号間に2ライン分の水平ライン信号を補間処理により作成することになる。これによりshort信号とlong信号は同一の信号形式となり図4に示した重み付け加算手段703により合成することが可能となる。但し、図15に示した輝度信号抽出手段70401には上下2水平ライン加算されていないlong信号が供給されるため、同手段に輝度信号抽出のための2水平ライン加算処理を新たに追加する必要がある。あるいは輝度信号抽出手段70401の前段に2水平ライン加算手段701と同様の手段を設け、輝度信号抽出手段70401には2水平ラインが加算された信号が供給されるようにする必要がある。なお、このようにshort信号を間引いて読み出す場合はlong信号に対する2水平ライン加算処理が不要と記したがこれに限るものではなく、long信号、short信号ともに2水平ライン加算処理を施した後に、合成処理を行う構成も考えられる。
また、本発明の実施の形態2において、露光量の異なる2つの信号は1フィールド画像であるshort信号と1フレーム画像であるlong信号としたがこれに限るものではなく、固体撮像装置の用途によっては1フィールド画像であるlong信号と1フレーム画像であるshort信号としてもよい。この場合、図34に示すようにlong信号に対し補間手段702により垂直方向の補間処理を行い、short信号に対しては2水平ライン加算手段701により隣接する上下2ラインの加算を行う構成とすればよく、重み付け加算手段703で使用する合成係数は補間処理後のlong信号から抽出された輝度信号から求めればよい。また、補間処理前のlong信号から抽出された輝度信号から合成係数を求める構成も考えられ、この場合、図34(a)に示したshort信号の偶数ラインの位置には対応するlong信号が存在せず合成係数kを決めることができないため、short信号の偶数ラインの上下のラインと同じ位置に存在するlong信号の水平ライン信号から抽出された輝度信号より求められる合成係数から、short信号の偶数ラインの位置の合成係数を決定するなどをすればよい。このように、1フィールド画像であるlong信号と1フレーム画像であるshort信号から合成信号を求めることで、高輝度部での解像度の高いダイナミックレンジ拡大画像が撮影可能である。
また、本発明の実施の形態2において、信号合成手段7では、long信号とshort信号を合成するための合成係数kはlong輝度信号の画素毎に求めるものとしたがこれに限るものではなく、例えば複数の画素の輝度信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数kを求める構成や、画素毎に求められたkの値のうち複数個から求めたkの平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。
また、本発明の実施の形態2において、信号合成手段7では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図38において、long信号(Ye+Mg)L11と(Cy+G)L12、(Ye+Mg)L13と(Cy+G)L14をそれぞれ1ブロックとし、これと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S12、(Ye+Mg)S13と(Cy+G)S14をそれぞれ1ブロックとすると、この2画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong信号(Ye+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数をkb11とするとそれぞれ(数18)のように行う。この場合、合成係数kb11はブロックに対応するlong輝度信号(例えば図38中のYL11とYL12)のいずれかの信号レベル、もしくはブロックに対応するlong輝度信号の平均値、最大値、最小値、中間値の少なくともいずれかから図18に示した方法で求まるkをブロックの合成係数kb11とすればよい。また、ブロックに対応するlong輝度信号の各信号レベルから図18に示した方法で求められる画素毎のkの値(例えば図38中のk1、k2)の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は2画素と限らないことはいうまでもない。
また、本発明の実施の形態2において、信号合成手段7では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置に対応するlong輝度信号レベルから図18に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。
また、本発明の実施の形態2において、信号合成手段7では、合成係数kはlong輝度信号ではなくフレーム画像に変換したshort信号から抽出される輝度信号(short輝度信号)から求める構成も考えられる。また、フレーム画像に変換したshort信号から抽出される輝度信号ではなく、フィールド画像であるshort信号から抽出される輝度信号から合成係数kを求める構成も考えられる。この場合、図12からわかるようにlong信号の偶数ラインに対応するshort信号は存在しないため、このままでは合成係数を決定することができない。この場合、long信号の偶数ラインに対応する位置の合成係数は周辺のshort輝度信号もしくは周辺の合成係数から求めればよい。
また、本発明の実施の形態2において信号レベルから合成係数kを求める方法の例を図18に示したが、合成係数kの決定方法はこれに限るものではなく、例えば図39に示すように輝度レベルに応じて非線形にkを決定する方法も考えられる。
また、本発明の実施の形態3において、short信号はフィールド読み出しモードで読み出した1フィールド画像としたがこれに限るものではなく、一例としては、図33にあげたように垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。この場合、short信号は固体撮像素子上で上下2つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、例えば図40に示すような構成とすればよい。図40に示した構成ではshort信号の上下2画素混合を2水平ライン加算手段27(2水平ライン加算手段701と同様の手段であるが、区別するために付番を27とする)において行うため、結果的には図20に示した構成と同様の機能、効果を実現できる。但し、輝度信号補間手段12においてはshort信号の間引かれ方に応じて、補間処理の内容が変わることは言うまでもない。例えばshort信号が図30に示したように間引かれた信号の場合、例えば図41に示すようにshort輝度信号(図41(c))の各水平ライン間に2ラインづつの補間水平ライン信号を内挿により作成すればよい。また補間手段702においても同様にshort信号の間引かれ方に応じて、必要な水平ライン信号を作成すればよいことは言うまでもない。なお、図33にあげたように垂直方向に水平ライン信号を間引いて読み出す構成の場合、図40に2水平ライン加算手段701及び27の2つの2水平ライン加算手段を持つ構成を示したがこれに限るものではなく、2水平ライン加算手段701及び27を持たない構成も考えられる。この場合、輝度信号抽出手段70401に2水平ライン加算手段701及び27と同様の効果を有する手段を包含させることでlong信号とshort信号からの輝度抽出が可能である。またこのような2水平ライン加算手段701、27を有さない構成は、固体撮像素子3上に形成された色フィルターが例えばレッド(R)、グリーン(G)、ブルー(B)の原色からなり、一般に固体撮像素子3のホトダイオード上の電荷を混合せずに輝度信号と色信号を得る撮像方式においても有効である。
また、本発明の実施の形態3及び本発明の実施の形態4において、露光量の異なる2つの信号は1フィールド画像であるshort信号と1フレーム画像であるlong信号としたがこれに限るものではなく、固体撮像装置の用途によっては1フィールド画像であるlong信号と1フレーム画像であるshort信号としてもよい。この場合、long信号から得られるlong輝度信号に対し輝度信号補間手段12により垂直方向の補間処理を行い、補間処理後のlong輝度とshort輝度信号を輝度信号合成手段13において合成すればよく、その際に使用する合成係数は補間処理後のlong輝度信号から求めればよい。また、本発明の実施の形態1及び本発明の実施の形態2と同様に補間処理前のlong輝度信号から抽出された輝度信号から合成係数を求める構成も考えられる。このように、1フィールド画像であるlong信号と1フレーム画像であるshort信号から合成信号を求めることで、高輝度部での解像度の高いダイナミックレンジ拡大画像が撮影可能である。
また、本発明の実施の形態3において、補間手段702は1ラインメモリを2個使用し、2水平ライン分の信号から補間処理を行う構成としたがこれに限るものではなく、例えば更に多数の1ラインメモリを用いて、更に多数の水平ライン信号から高次の内挿処理により補間処理を行う構成も考えられる。また、入力される1水平ラインを2回ずつ繰り返し出力することで水平ライン数を2倍にするいわゆる前値補間を行う構成も考えられる。
また、本発明の実施の形態3及び本発明の実施の形態4において、輝度信号補間手段12は2水平ライン信号の加算平均値を補間信号としたがこれに限るものではなく、例えば更に多数の水平ライン信号から高次の内挿処理により補間処理を行う構成や、前値補間により補間信号を得る構成も考えられる。
また、本発明の実施の形態3及び本発明の実施の形態4において、輝度信号合成手段13においてlong輝度信号とshort輝度信号を合成するための合成係数kはlong輝度信号の画素毎に求めるものとしたがこれに限るものではなく、例えば、複数の画素のlong輝度信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数kを求める構成や、画素毎に求められたkの値のうち複数個のkの値の平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。
また、本発明の実施の形態3及び本発明の実施の形態4において、輝度信号合成手段13では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図43において、long輝度信号YL11とYL12、YL13とYL14をそれぞれ1ブロックとし、これと同位置に存在するshort輝度信号YS11とYS12、YS13とYS14をそれぞれ1ブロックとすると、この2画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong輝度信号YL11とYL12からなるブロックとshort輝度信号YS11とYS12の合成は、このブロックの合成係数をkb11とするとそれぞれ(数19)のように行う。(YMは合成後の輝度信号)。
Figure 2004357335
この場合、合成係数kb11はブロックに対応するlong輝度信号(例えば図43中のY11とY12)のいずれかの信号レベル、もしくはブロックに対応するlong輝度信号の平均値、最大値、最小値、中間値の少なくともいずれかから図18に示した方法で求まるkをブロックの合成係数kb11とすればよい。また、ブロックに対応するlong輝度信号の各信号レベルから図18に示した方法で求められる画素毎のkの値(例えば図43中のk1、k2)の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は2画素と限らないことはいうまでもない。
また、本発明の実施の形態3及び本発明の実施の形態4において、輝度信号合成手段13では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置に対応するlong輝度信号レベルから図18に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。
また、本発明の実施の形態3及び本発明の実施の形態4において、信号合成手段14及び23では、long信号とshort信号を合成するための合成係数kはlong輝度信号から合成係数発生手段1301により画素毎に求められた値を用いるものとしたがこれに限るものではなく、例えば図42に示すように信号合成手段14及び23の内部に合成係数発生手段1404を独自に備え、複数の画素のlong輝度信号レベルの平均値もしくは最小値もしくは最大値もしくは中間値から画素毎の合成係数kを求める構成や、画素毎に求められたkの値のうち複数個から求めたkの平均値もしくは最小値もしくは最大値もしくは中間値を画素毎の合成係数とする構成も考えられる。なおここで、合成係数発生手段1404の機能は合成係数発生手段1301と同様である。
また、本発明の実施の形態3及び本発明の実施の形態4において、信号合成手段14及び23では、複数の画素からなるブロックに対して合成係数を求めて合成を行う構成も考えられる。例えば図38において、long信号(Ye+Mg)L11と(Cy+G)L12、(Ye+Mg)L13と(Cy+G)L14をそれぞれ1ブロックとし、これと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S12、(Ye+Mg)S13と(Cy+G)S14をそれぞれ1ブロックとすると、この2画素単位のブロック毎に合成係数を求め、合成を行うことも可能であり、このとき例えばlong信号(Ye+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数をkb11とすると(数18)のように行う。この場合、合成係数kb11は各ブロックと空間的に同じ位置に存在するlong輝度信号(例えば図38中のYL11とYL12)のいずれかの信号レベル、もしくはブロックと空間的に同じ位置に存在するlong輝度信号の平均値、最大値、最小値、中間値の少なくともいずれかから図18に示した方法で求まるkをブロックの合成係数kb11とすればよい。また、ブロックと空間的に同じ位置に存在するlong輝度信号の各信号レベルから図18に示した方法で求められる画素毎のkの値(例えば図38中のk1、k2)の平均値、最大値、最小値、中間値のいずれかをブロックの合成係数kb11とする構成も考えられる。なおブロック内の画素数は2画素と限らないことはいうまでもない。
また、本発明の実施の形態3及び本発明の実施の形態4において、信号合成手段14及び23では、複数の画素からなるブロックを設け、このブロック内の特定の位置、例えばブロックの中心位置と空間的に同じ位置に存在するlong輝度信号レベルから図18に示した方法で求まる合成係数をブロック内の各画素の合成処理に用いる構成も考えられる。この場合、合成係数を画素毎に求める必要がなく、処理を簡略化できる。なお、合成係数を求める際に使用する画素の位置はブロックの中心位置に限る必要はない。
また、本発明の実施の形態3及び本発明の実施の形態4において、信号合成手段14及び23で使用する合成係数kは上記方法でlong輝度信号から得られた値に一定の係数を乗算、もしくは一定の係数を加減算した値とする構成も考えられる。
また、本発明の実施の形態3及び本発明の実施の形態4において、輝度信号合成手段13、信号合成手段14及び23では、合成係数kはlong輝度信号ではなくフレーム画像に変換したshort信号から抽出される輝度信号(short輝度信号)から求める構成も考えられる。また、フレーム画像に変換したshort信号から抽出される輝度信号ではなく、フィールド画像であるshort信号から抽出される輝度信号から合成係数kを求める構成も考えられる。この場合、図12からわかるようにlong信号の偶数ラインに対応するshort信号は存在しないため、このままでは合成係数を決定することができない。この場合、long信号の偶数ラインに対応する位置の合成係数は周辺のshort輝度信号もしくは周辺の合成係数をそのまま用いるか、もしくは周辺の合成係数の平均値もしくは最大値もしくは最小値もしくは中間値から求めれる方法等が考えられる。その他、周辺の合成係数とその位置関係から補間処理により求める方法も考えられる。
また、本発明の実施の形態3及び本発明の実施の形態4において輝度信号レベルから合成係数kを求める方法の例を図18に示したが、合成係数kの決定方法はこれに限るものではなく、例えば図39に示すように輝度レベルに応じて非線形にkを決定する方法も考えられる。
また、本発明の実施の形態4において、short信号はフィールド読み出しモードで読み出した1フィールド画像としたがこれに限るものではなく、一例としては、図33にあげたように垂直方向に水平ライン信号を間引いて読み出す構成も考えられる。この場合、short信号は固体撮像素子上で上下2つのホトダイオードに蓄積された電荷が混合されずに読み出されるため、例えば図40と同様に2水平ライン加算手段によりshort信号の上下2画素混合を行うようにすれば、結果的には図30に示した構成と同様の機能、効果を実現できる。但し、本発明の実施の形態3と同様に輝度信号補間手段12においてはshort信号の間引かれ方に応じて、補間処理の内容が変わることは言うまでもない。また間引き手段22においても同様にshort信号の間引かれ方に応じて、long信号がshort信号と同じ信号形式になるように間引きを行えばよいことは言うまでもない。
また、本発明の実施の形態4においては間引き手段22によりlong信号の垂直方向の間引き処理を行う構成を説明したが、図44に示すように画像信号から水平方向に画素を間引く機能を持つ水平方向間引き手段27を設け、これにより2水平ライン加算手段701を経たlong信号とshort信号の両者の水平方向の画素を例えば1/2に間引くような構成も考えられる。この場合、上記のように水平方向の画素を1/2に間引けば、同時化処理のための1ラインメモリ15、16をその半分の容量の0.5ラインメモリ28、29に置き換えることが可能である。このように水平方向にも画素を間引くことで本発明の固体撮像装置の構成を更に簡略化し安価にすることが可能である。
その場合、水平方向の間引き処理を行う前にlong信号及びshort信号の水平方向の帯域制限を行っておけば、間引き処理により不要な折り返しが発生しない。同様に垂直方向にも帯域制限を施せば、垂直方向の間引き処理に際しても不要な折り返しを回避可能であることは言うまでもない。
また上記すべての本発明の実施の形態において、long信号とshort信号は一旦画像メモリ6に記憶することとしたがこれに限るものではなく、例えばlong信号もしくはshort信号のいづれか一方のみ画像メモリ6に記憶させ、残りの片方の信号の固体撮像素子3からの読み出しと画像メモリ6からの信号読み出しを同期させて合成の処理を行う方法も考えられる。この場合、画像メモリ6の容量を削減でき、更に安価に固体撮像装置を構成可能である。
また上記すべての本発明の実施の形態において、固体撮像素子3上に形成されるカラーフィルター配列は図3に示すようなマゼンタ、グリーン、イエロー、シアンの4色からなる補色市松タイプを用いて説明したがこれに限るものではなく、一例をあげるならば、図45に示すようなマゼンタ(Mg)とグリーン(G)がライン毎に位置反転しない配置や、図46に示すようなグリーン(G)とシアン(Cy)、イエロー(Ye)の2つの補色フィルタをストライプ状に配置する構成も考えられる。
また上記すべての本発明の実施の形態において、固体撮像素子3上に形成されるカラーフィルター配列は図3に示すようなマゼンタ、グリーン、イエロー、シアンの4色からなる構成を用いて説明したがこれに限るものではなく、グリーン(G)、ブルー(B)、レッド(R)からなる原色フィルタを用いた構成も考えられ、そのフィルター配置として一例をあげるならば、図47に示したベイヤー方式、図48に示したインタライン方式、図49に示したGストライプRB完全市松方式、図50に示したストライプ方式、図51に示した斜めストライプ方式、図52に示したGストライプRB線順次方式、図53に示したGストライプRB点順次方式等が考えられる。このように原色フィルタを用いた場合に輝度信号は(数20)に従い求められることは言うまでもない。
Figure 2004357335
また上記すべての本発明の実施の形態において、固体撮像素子3上に形成されるカラーフィルター配列を図3に示すようなマゼンタ、グリーン、イエロー、シアンの4色からなる補色市松タイプとし、更にshort信号の読み出しをフィールド読み出しとして説明したため、long信号とshort信号の信号形式をあわせるために、2水平ライン加算手段701によるlong信号の上下2水平ライン加算処理を含む構成を示したがこれに限るものではなく、上記図45〜図53に示したような他のフィルター配置を採用した場合や、フィールド読み出しではなく、図33に示したような間引き読み出しを行う場合には、2水平ライン加算処理が必ずしも必要ではないことは言うまでもない。
また上記すべての本発明の実施の形態において、合成係数を求める際の閾値Th_max、Th_min、Th_max’、Th_min’をそれぞれ(数21)のように設定し、長時間露光信号と短時間露光信号を重み付け加算ではなく、ある信号レベルを境に切り替える構成も考えられる。
Figure 2004357335
本発明の実施の形態1による固体撮像装置を示すブロック図 本発明の実施の形態1における固体撮像素子3からの信号読み出しモードの説明図 本発明の実施の形態1における固体撮像素子3上に形成される色フィルタ配置の例を示す図 本発明の実施の形態1における信号合成手段7の構成を示すブロック図 本発明の実施の形態1における2水平ライン加算手段701の構成を示すブロック図 本発明の実施の形態1における補間手段702の構成を示すブロック図 本発明の実施の形態1における重み付け加算手段703の構成を示すブロック図 本発明の実施の形態1におけるダイナミックレンジ拡大の原理を説明する説明図 本発明の実施の形態1におけるlong信号、short信号の露光及び読み出しタイミングを説明するための説明図 本発明の実施の形態1におけるshort信号を説明するための説明図 本発明の実施の形態1におけるlong信号を説明するための説明図 本発明の実施の形態1における2水平ライン加算処理と補間処理を説明するための説明図 本発明の実施の形態1における合成係数決定方法を説明するためのグラフ 本発明の実施の形態1における信号合成処理の方法を説明するための説明図 本発明の実施の形態2における重み付け加算手段704の構成を示すブロック図 本発明の実施の形態2における輝度信号抽出手段70401の構成を示すブロック図 本発明の実施の形態2におけるlong輝度信号の作成方法を説明するための説明図 本発明の実施の形態2における合成係数決定方法を説明するためのグラフ 本発明の実施の形態2における信号合成処理の方法を説明するための説明図 c固体撮像装置を示すブロック図 本発明の実施の形態3における輝度信号補間手段12の構成を示すブロック図 本発明の実施の形態3における輝度信号合成手段13の構成を示すブロック図 本発明の実施の形態3における信号合成手段14の構成を示すブロック図 本発明の実施の形態3における同時化手段19の構成を示すブロック図 本発明の実施の形態3におけるlong輝度信号を説明するための説明図 本発明の実施の形態3におけるshort輝度信号を説明するための説明図 本発明の実施の形態3における輝度信号の補間処理を説明するための説明図 本発明の実施の形態3における輝度信号の合成方法を説明するための説明図 本発明の実施の形態3における同時化手段19による同時化処理を説明するための説明図 本発明の実施の形態4における固体撮像装置を示すブロック図 本発明の実施の形態4における同時化手段24の構成を示すブロック図 本発明の実施の形態3における同時化手段24による同時化処理を説明するための説明図 固体撮像素子3からの画像信号読み出し方法の別の例を示す説明図 本発明の実施の形態1においてlong信号をフィールド画、short信号をフレーム画とした場合の2水平ライン加算処理と補間処理を説明するための説明図 前値補間処理を説明するための説明図 本発明の実施の形態1におけるlong信号とshort信号の合成方法の別の例を示す説明図 本発明の実施の形態1におけるlong信号レベルから合成係数を決定する方法の別の例を示すグラフ 本発明の実施の形態2におけるlong信号とshort信号の合成方法の別の例を示す説明図 本発明の実施の形態2におけるlong輝度信号レベルから合成係数を決定する方法の別の例を示すグラフ 本発明の実施の形態3においてshort信号の読み出し方法を変えた場合の固体撮像装置のブロック図 本発明の実施の形態3においてshort信号の読み出し方法を変えた場合の輝度信号補間処理の内容を説明するための説明図 本発明の実施の形態3において信号合成手段14の別の構成を示すブロック図 本発明の実施の形態3及び本発明の実施の形態4におけるlong輝度信号とshort輝度信号の合成方法の別の例を示す説明図 本発明の実施の形態4における固体撮像装置の別の例を示すブロック図 固体撮像素子3上に形成される色フィルタ配置の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(CyYeGストライプ方式)の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(ベイヤー方式)の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(インタライン方式)の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(GストライプRB完全市松方式)の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(ストライプ方式)の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(斜めストライプ方式)の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(GストライプRB線順次方式)の別の例を示す図 固体撮像素子3上に形成される色フィルタ配置(GストライプRB点順次方式)の別の例を示す図
符号の説明
1 光学レンズ
2 機械シャッター
3 固体撮像素子
4 アナログ信号処理手段
5 A/D変換手段
6 画像メモリ
7 信号合成手段
8 デジタル信号処理手段
9 シャッター駆動制御手段
10 固体撮像素子駆動制御手段
11 システム制御手段

Claims (16)

  1. 行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第1露光として前記ホトダイオード上に蓄積された電荷を第1の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第1の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第2露光において前記ホトダイオード上に蓄積された電荷を第2の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第1露光及び前記第2露光により撮影された画像信号を合成することを特徴とする固体撮像装置。
  2. 行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第1露光として前記ホトダイオード上に蓄積された電荷の一部のみを第1の読み出し制御パルスの印加後に前記転送手段を介して出力し、更に、前記第1の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第2露光において前記ホトダイオード上に蓄積された電荷を第2の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第1露光及び前記第2露光により撮影された画像信号を合成することを特徴とする固体撮像装置。
  3. 行列状に配置された複数個のホトダイオードと、前記ホトダイオード上に蓄積された電荷を外部に出力するための転送手段を有する固体撮像素子と、前記ホトダイオードに入射する光を遮光する遮光手段と、前記固体撮像素子から出力される画像信号を合成する信号合成手段と、を有し、前記固体撮像素子は、第1露光として前記ホトダイオード上に蓄積された電荷を第1の読み出し制御パルスの印加後にフィールド読み出しにより前記転送手段を介して出力し、更に、前記第1の読み出し制御パルス印加後、前記遮光手段による露光終了をもって完了する第2露光において前記ホトダイオード上に蓄積された電荷を第2の読み出し制御パルスの印加後に前記転送手段を介して出力し、前記画像信号合成手段は、前記第1露光及び前記第2露光により撮影された画像信号を合成することを特徴とする固体撮像装置。
  4. 第1露光の露光時間は電子シャッターにより制御することを特徴とする請求項1から請求項3のいずれかに記載の固体撮像装置。
  5. 第2の読み出し制御パルスの印加後、第2露光においてホトダイオードに蓄積された電荷はフレーム読み出しにより出力されることを特徴とする請求項1から請求項4のいずれかに記載の固体撮像装置。
  6. 第1の読み出し制御パルスの印加後に読み出される画像は、第2の読み出し制御パルス印加後に読み出される画像に比べ、画素数の少ない画像であることを特徴とする請求項1から請求項5のいずれかに記載の固体撮像装置。
  7. 機械的な遮光手段は光学絞りを兼用することを特徴とする請求項1から請求項6のいずれかに記載の固体撮像装置。
  8. 画素数の少ない画像信号とは1フィールドの画像信号であり、画素数の多い画像信号とは1フレームの画像信号であることを特徴とする請求項1、3のいずれかに記載の固体撮像装置。
  9. 露光量と画素数の異なる2つの画像信号のうち、画素数の少ない画像信号は短時間露光信号であり、画素数の多い画像信号は長時間露光信号であることを特徴とする請求項1から請求項8のいずれかに記載の固体撮像装置。
  10. 露光量と画素数の異なる2つの画像信号のうち、画素数の少ない画像信号は長時間露光信号であり、画素数の多い画像信号は短時間露光信号であることを特徴とする請求項1から請求項8のいずれかに記載の固体撮像装置。
  11. 固体撮像素子で撮像する画像信号の露光量は、機械的な遮光手段もしくは固体撮像素子の電子シャッター機能により制御することを特徴とする請求項1から請求項10のいずれかに記載の固体撮像装置。
  12. 固体撮像素子上に形成されるカラーフィルターはマゼンタ、グリーン、イエロー、シアンの4色であることを特徴とする請求項1から請求項11のいずれかに記載の固体撮像装置。
  13. 固体撮像素子上に形成されるカラーフィルター配列はマゼンタ、グリーン、イエロー、シアンの4色からなる補色市松タイプであることを特徴とする請求項1から請求項12のいずれかに記載の固体撮像装置。
  14. 固体撮像素子上に形成されるカラーフィルターはレッド、グリーン、ブルーの3色であることを特徴とする請求項1から請求項11のいずれかに記載の固体撮像装置。
  15. 固体撮像素子上に形成されるカラーフィルター配列はレッド、グリーン、ブルーの3色からなる3色ストライプタイプであることを特徴とする請求項1から請求項11のいずれかに記載の固体撮像装置。
  16. 固体撮像素子はインタライン転送CCD(IT−CCD)であることを特徴とする請求項1から請求項15のいずれかに記載の固体撮像装置。
JP2004237152A 2004-08-17 2004-08-17 固体撮像装置 Expired - Fee Related JP3988760B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004237152A JP3988760B2 (ja) 2004-08-17 2004-08-17 固体撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004237152A JP3988760B2 (ja) 2004-08-17 2004-08-17 固体撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP33122499A Division JP3674420B2 (ja) 1999-11-22 1999-11-22 固体撮像装置

Publications (2)

Publication Number Publication Date
JP2004357335A true JP2004357335A (ja) 2004-12-16
JP3988760B2 JP3988760B2 (ja) 2007-10-10

Family

ID=34056477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004237152A Expired - Fee Related JP3988760B2 (ja) 2004-08-17 2004-08-17 固体撮像装置

Country Status (1)

Country Link
JP (1) JP3988760B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP2007036978A (ja) * 2005-07-29 2007-02-08 Eastman Kodak Co デジタルカメラ、撮影方法、および撮影制御プログラム。
JP2008541584A (ja) * 2005-05-10 2008-11-20 アンドリュー・オーガスティン・ワジス 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ
JP2008301389A (ja) * 2007-06-04 2008-12-11 Panasonic Corp 画像処理lsi、及び撮像装置
JP2009169597A (ja) * 2008-01-15 2009-07-30 Nikon Corp 画像処理装置
JP2009218895A (ja) * 2008-03-11 2009-09-24 Ricoh Co Ltd 撮像装置及び撮像方法
JP2010079552A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像処理装置および画像処理方法
JP2011087338A (ja) * 2011-01-31 2011-04-28 Ricoh Co Ltd 撮像装置及び撮像方法
CN101083724B (zh) * 2006-05-31 2014-04-30 因佩瑞恩Ip控股(开曼)有限公司 具有提供增强动态范围图像的交错读取的cmos图像系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
US7791775B2 (en) 2005-04-28 2010-09-07 Olympus Corporation Imaging apparatus for generating image having wide dynamic range by using different exposures
US8619156B2 (en) 2005-05-10 2013-12-31 Silvercrest Investment Holdings Limited Image capturing system and method of controlling the same utilizing exposure control that captures multiple images of different spatial resolutions
JP2008541584A (ja) * 2005-05-10 2008-11-20 アンドリュー・オーガスティン・ワジス 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ
JP4838302B2 (ja) * 2005-05-10 2011-12-14 アクティブ オプティクス ピーティーワイ リミテッド 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ
JP2007036978A (ja) * 2005-07-29 2007-02-08 Eastman Kodak Co デジタルカメラ、撮影方法、および撮影制御プログラム。
JP4657052B2 (ja) * 2005-07-29 2011-03-23 イーストマン コダック カンパニー デジタルカメラ、撮影方法、および撮影制御プログラム。
CN101083724B (zh) * 2006-05-31 2014-04-30 因佩瑞恩Ip控股(开曼)有限公司 具有提供增强动态范围图像的交错读取的cmos图像系统
JP2008301389A (ja) * 2007-06-04 2008-12-11 Panasonic Corp 画像処理lsi、及び撮像装置
JP2009169597A (ja) * 2008-01-15 2009-07-30 Nikon Corp 画像処理装置
JP2009218895A (ja) * 2008-03-11 2009-09-24 Ricoh Co Ltd 撮像装置及び撮像方法
JP2010079552A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像処理装置および画像処理方法
US8698831B2 (en) 2008-09-25 2014-04-15 Omron Corporation Image processing device and image processing method
JP2011087338A (ja) * 2011-01-31 2011-04-28 Ricoh Co Ltd 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP3988760B2 (ja) 2007-10-10

Similar Documents

Publication Publication Date Title
EP1237363B1 (en) Solid-state imaging device
JP4738907B2 (ja) 固体撮像素子および固体撮像装置
EP1246453A2 (en) Signal processing apparatus and method, and image sensing apparatus
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
JP2001268582A (ja) 固体撮像装置および信号処理方法
JP2006165975A (ja) 撮像素子、撮像装置、画像処理方法
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
JP2004064165A (ja) 撮像装置および撮像方法
JP2942903B2 (ja) ディジタル・カメラ信号処理装置
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP3674420B2 (ja) 固体撮像装置
JP3988760B2 (ja) 固体撮像装置
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
JP4294810B2 (ja) 固体撮像装置および信号読出し方法
JP4317117B2 (ja) 固体撮像装置および撮像方法
JP2001339735A (ja) 単板式カラーカメラの色分離回路
JP2006340100A (ja) 撮影装置
JPH07123421A (ja) 撮像装置
JP2001352486A (ja) 撮像装置
JP2005051393A (ja) 撮像装置
JP2004194248A (ja) 撮像素子及び撮像装置
JP3905342B2 (ja) 固体撮像装置
JP4278893B2 (ja) 固体撮像装置
JP5377068B2 (ja) 撮像装置
JP3890095B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees