JP4282262B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4282262B2
JP4282262B2 JP2001380384A JP2001380384A JP4282262B2 JP 4282262 B2 JP4282262 B2 JP 4282262B2 JP 2001380384 A JP2001380384 A JP 2001380384A JP 2001380384 A JP2001380384 A JP 2001380384A JP 4282262 B2 JP4282262 B2 JP 4282262B2
Authority
JP
Japan
Prior art keywords
pixel
field
exposure
fields
pixel information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001380384A
Other languages
Japanese (ja)
Other versions
JP2003189193A (en
Inventor
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2001380384A priority Critical patent/JP4282262B2/en
Publication of JP2003189193A publication Critical patent/JP2003189193A/en
Application granted granted Critical
Publication of JP4282262B2 publication Critical patent/JP4282262B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、特に固体撮像素子を有するデジタルカメラに好適な撮像装置に関する。
【0002】
【従来の技術】
従来、CCD(Charge Coupled Device:電荷結合素子)等の一般的な撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置の場合、撮像素子の光電変換特性は、例えば図5で模式的に示されるようなものであった。
【0003】
同図において、横軸は入射光量を、縦軸は出力される信号レベルをそれぞれ対数的に示す。図中、ULは高輝度側限界レベルを、LLは低輝度側限界レベルをそれぞれ示すものである。
【0004】
高輝度側限界レベルULは、撮像素子の飽和レベルにほぼ対応するレベルであり、一方、低輝度側限界レベルLLについては、最低のノイズレベルNLそのものではなく、ノイズと共存しても鑑賞に堪える所定の限界S/N比を有する信号レベルとして設定される。
【0005】
そして、高輝度側限界レベルULと低輝度側限界レベルLLとの間が有効輝度域となるもので、これらの(対数軸上での)差DR=UL−LLが撮像レンジ(=ダイナミックレンジ)となる。このダイナミックレンジDRは、撮像装置の設計製造によっても異なるが、多くの場合5〜6EV(30〜36dB)程度である。
【0006】
一方、すでに広く一般に普及している銀塩フィルムを用いた銀塩カメラは、カラーネガフィルムやモノクロフィルムとカラーリバーサルフィルムとによって差があるものの、より一般的に多く使用されているカラーネガフィルムで10EV程度のダイナミックレンジ(=ラチチュード)を有している。
【0007】
したがって、銀塩カメラと同程度のダイナミックレンジを期待してデジタルカメラで撮影を行なうと、得られる画像中で、輝度の上下各限界レベルに達した部分が「白飛び」や「黒つぶれ」と称される単調な表現となってしまい、全体の画質を低下させる結果となって、失望させられることも多い。
【0008】
しかるに、撮像素子を用いたデジタルカメラで、ダイナミックレンジを拡大して撮像する試みは多数提案されており、例えば撮影光路を複数に分岐して異なる露出状態の撮影を行なう多板式の撮像素子のもの、単板の撮像素子で濃度フィルタの点順次コーディングを施した(すなわち画素単位で感度が異なるように構成した)もの、フィールド蓄積モードの動画出力を用いたフィールド順次方式のもの、全画素読出し(順次走査)の撮像素子を用いた特殊なフィールド順次方式のもの等が挙げられる。
【0009】
ここでは、全画素読出し(順次走査)の撮像素子を用いたものと、フィールド蓄積モードの動画出力を用いたフィールド順次方式のものについて簡単に説明する。
【0010】
図6は、全画素読出し(順次走査)の撮像素子を用いたものでの撮像素子の駆動タイミングを示すものである。露光に先立って、図6(1)に示すようにメカニカルシャッタが開いている状態で、図6(4)に示す撮像素子の水平/垂直転送路駆動用のクロックφH,Vにより該水平/垂直転送路が高速排出駆動され、不要電荷が一掃される。
【0011】
その後、該クロックφH,Vの転送が停止されると同時に、図6(3)に示す電荷排出パルスVSUBの最終パルスを出力することで露光が開始される。時間T1が経過した時点で、第1フレームの電荷移送パルスTG(図では「1stTG」と称する)により第1フレームの露光を終了させる。
【0012】
そこからさらに時間T2が経過した時点で、図6(1)に示す如くメカニカルシャッタを閉じることで、露光を終了させる。その後、第1フレームの全画素に対応した電荷量を読出した後に、第2フレームの電荷移送パルスTG(図では「2ndTG」と称する)が出力されると、これにより第2フレームの全画素に対応した電荷量を読出す。
【0013】
こうして得た第1フレームの画像と第2フレームの画像は、上記露光時間T1とT2の違いにより撮影レンジが異なっているので、これら2枚の画像信号に基づいてよりダイナミックレンジを拡大した画像を得ようとするものである。
【0014】
また図7は、デジタルビデオ(ムービー)カメラに採用可能なフィールド蓄積モードの動画出力を用いたフィールド順次方式での撮像素子の駆動タイミングを示すものである。
【0015】
同図は、インタレース駆動の撮像素子でフィールド毎に電荷の蓄積を行なう例で、第1のフィールドでは、図7(3)に示す電荷排出パルスVSUBが出力されてから露光を開始し、時間T1が経過した時点で、図7(1)に示す第1フィールドの電荷移送パルスTG(図では「1stTG」と称する)が出力されると、各画素に蓄えた電荷を遮光された転送路へ移送させる。
【0016】
一方、第2のフィールドでは、図7(3)に示す電荷排出パルスVSUBが出力されてから露光を開始し、時間T2が経過した時点で、図7(2)に示す第2フィールドの電荷移送パルスTG(図では「2ndTG」と称する)が出力されると、各画素に蓄えた電荷を遮光された転送路へ移送させる。
【0017】
第2のフィールドでの露光を行なっている間に、その前の第1のフィールドで転送路に移送された各画素の電荷量を、奇数番目のラインの画素(A)とその直下に位置する偶数番目のラインの画素(B)の各電荷量を加算(A+B)するようにして読出し、続いてまた第1のフィールドでの露光が開始されると、その間に、その前の第2のフィールドで転送路に移送された各画素の電荷量を、偶数番目のラインの画素(B)とその直下に位置する奇数番目のラインの画素(A)の各電荷量を加算(B+A)するようにして読出す、というような動作を繰返し実行するもので、奇偶各フィールド毎に加算対象を1画素分ずらした、いわゆるフィールド蓄積モードのインタレース駆動を使用して読み出した露出時間の異なる2枚の画像信号により、2枚の画像信号に基づいてよりダイナミックレンジを拡大した画像を得ようとするものである。
【0018】
【発明が解決しようとする課題】
しかしながら、撮影光路を複数に分岐して異なる露出状態の撮影を行なう多板式の撮像素子のものは、装置の構成が大きく複雑になってしまい、コストも高いものとなってしまうため、現実的ではない。
【0019】
また、上記図6で説明した全画素読出し(順次走査)の撮像素子を用いたものでは、一回目の露光と2回目の露光を同時に行なうのではなく、時間差をもって行なうため、厳密には同一の被写体像に対する露光条件の異なる2枚の光像を得ることは原理的に不可能であり、特に動きの激しい被写体像には対応することができない。
【0020】
同様に、上記図7で説明したフィールド蓄積モードの動画出力を用いたフィールド順次方式のものも、2回の露光を同時に行なうのではなく、時間差を生じてしまうため、動きの激しい被写体像には対応できない。
【0021】
加えて、フィールド蓄積モードの動画出力を用いたフィールド順次方式では、隣接する2画素の成分を加算して読出すようにしているため、本来の撮像素子の構成画素数を活かすことができず、垂直解像度の低下が避けられない。
【0022】
さらに、単板の撮像素子で濃度フィルタの点順次コーディングを施したものは、汎用性が低下するだけでなく、解像度が低下し、且つモアレが発生するなどの問題を有している。
【0023】
このように、デジタルカメラでダイナミックレンジを拡大しようとする試みはこれまでにも数多く考えられているものの、装置構成が簡易な実用的な方式のものは未だ存在していない。
【0024】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、装置構成の複雑化や解像度の低下を招くことなく、同時に露出条件の異なる複数の画像を撮影することで、よりダイナミックレンジを拡大した画像を得ることが可能な撮像装置を提供することにある。
【0025】
【課題を解決するための手段】
請求項1記載の発明は、撮像素子と、上記撮像素子の有する各画素の電荷をインターレース駆動により個別的に読出し可能な駆動手段と、上記撮像素子に対する実効的露光を全画素同時に開始するとともに、上記インターレース駆動により1フレームを構成する複数のフィールドのうち少なくとも1のフィールドには他のフィールドと異なる実効的露光終了を行なうことによって、他のフィールドと異なる実効的露光時間を与える露光制御手段と、上記異なる実効的露光時間によって生じた上記複数の各フィールドが各々有する実効的撮像レンジが互いに重なる被写体輝度範囲の画素情報に関しては、各画素情報を全て当該画素に関する画素情報として使用し、被写体輝度が実効的撮像レンジを逸脱するフィールドの画素情報に関しては、他の被写体輝度が実効的撮像レンジを逸脱していないフィールドの画素情報によって補間したものを当該画素に関する画素情報として出力する画素信号補正手段とを具備し、上記画素信号補正手段は、さらに被写体輝度が実効的撮像レンジを逸脱するフィールドの画素情報に関して、補間に使用すべき他のフィールドの近隣の画素情報もまた実効的撮像レンジを逸脱している場合には、当該補間を禁止し、本来の画素情報を当該画素に関する画素情報として出力することを特徴とする。
【0026】
このような構成とすれば、1フレームを構成する複数のフィールドがタイミング的に完全同一ではないが、一方が他方に含まれるから短時間側の露光部分については同時となるので、時間差がなく、且つ解像度を低下させることなくダイナミックレンジを拡大した画像を撮影することができることに加えて、画像中でダイナミックレンジの拡大を見込める画素部分のみを選択して処理することができ、無理な補間処理によって画質が劣化してしまうことを確実に防止できる。
【0027】
請求項2記載の発明は、上記請求項1記載の発明において、上記画素信号補正手段は、上記実効的露光時間が異なるフィールドの画素信号が互いに有する同一輝度被写体に対する信号レベル差を補償するレベル補償手段を有することを特徴とする。
【0028】
このような構成とすれば、上記請求項1記載の発明の作用に加えて、複数のフィールドの共通のダイナミックレンジ内で撮影された被写体像部分に関しては従来公知の撮像装置によって撮像したものと全く同一の解像度の撮像信号を得ることができる。
【0031】
請求項3記載の発明は、上記請求項1または2記載の発明において、上記撮像素子の撮像面への被写体像の入力を遮断する光学的シャッタ手段を有し、上記露光制御手段は、上記複数のフィールドのうち少なくとも1のフィールドに関する実効的露光終了を上記撮像素子の光電変換蓄積部である画素部から遮光された転送路への移送によって制御し、他の少なくとも1のフィールドに関する実効的露光終了を、上記光学的シャッタ手段の開閉によって制御することを特徴とする。
【0032】
このような構成とすれば、上記請求項1または2記載の発明の作用に加えて、一般的な光学的シャッタ手段を用いることで上記露光制御手段をより容易に実現することができる。
【0033】
【発明の実施の形態】
以下本発明をデジタルスチルカメラに適用した場合の実施の一形態について図面を参照して説明する。なお、説明を容易にするために、ここではモノクロの画像を撮影するものとする。
【0034】
図1は、同実施の形態に係るデジタルカメラ10の回路構成を示すものである。同図中、このデジタルカメラ10のレンズ鏡胴11内に、レンズ光学系12及び絞り13が設けられている。
【0035】
このレンズ鏡胴11を介して得られた光像は、メカニカルシャッタ14を透過した後に撮像素子であるCCD15の撮像面上に結像される。
【0036】
CCD15は、その露光時間中に画素毎の電荷を蓄積して出力するもので、その出力がプリプロセス回路16に入力される。
【0037】
このプリプロセス回路16は、アナログ値の信号の状態でRGBの各原色成分毎にアンプにより適宜設定された感度に従ってゲイン調整した後にA/D変換してデジタル値の画像信号を得、デジタルプロセス回路17へ出力する。
【0038】
デジタルプロセス回路17は、デジタル値の画像信号を一旦バッファメモリ18に記憶保持させ、このバッファメモリ18に記憶保持した画像信号を読出してから画素補間処理を含む各種信号処理を施す。
【0039】
こうして各種信号処理を施した画像信号に対し、デジタルプロセス回路18は最終的に標準伝送信号におけるガンマ処理を施した後にD/A変換器19へ送出し、ここでアナログ値に変換させた後にバックライトを備えたTFT−LCDパネル20にてモニタ表示させる。
【0040】
また、上記ガンマ処理を施した画像信号は、圧縮/伸長回路21にも読出され、指定された例えばJPEG等の圧縮方法によりデータ量が適宜圧縮された後に、このデジタルカメラ10の記録媒体として使用される、フラッシュメモリで構成された挿脱自在のメモリカード22に記録、保存される。
【0041】
このメモリカード22に保存された画像信号は、再生モード時に読出されると、圧縮/伸長回路21にて記録時とは反対の方法により伸長され、ビットマップ状の画像信号に復元されるもので、得られた画像信号はデジタルプロセス回路17によりバッファメモリ18に記憶され、D/A変換器19を介してTFT−LCDパネル20で表示出力される。
【0042】
しかして、このデジタルカメラ10全体を統括して制御するのがシステムコントローラ23であり、このシステムコントローラ23に対して、撮影時のAE(自動露光)演算を行なうAE処理回路24、撮影時のAF(自動合焦)演算を行なうAF処理回路25、タイミングジェネレータ(TG)26、同期信号発生器(SG)27が接続される。
【0043】
同期信号発生器27は、システムコントローラ23の制御の下にCCD15を駆動するための基準となる垂直同期信号を発振し、タイミングジェネレータ26に送出する。
【0044】
タイミングジェネレータ26は、この垂直同期信号に基づいて各種タイミング信号を発振し、上記プリプロセス回路16及び上記CCD15を駆動するCCDドライバ28に送出する。
【0045】
また、システムコントローラ23は、第1乃至第3のモータドライバ29〜31、ストロボ制御部32とも接続される。
第1のモータドライバ29は、上記メカニカルシャッタ14を開閉動作させる第1のモータ(M)33を駆動する。
第2のモータドライバ30は、上記絞り13を回動させる第2のモータ34を駆動する。
第3のモータドライバ31は、上記レンズ光学系12を移動させる第3のモータ35を駆動する。
ストロボ制御部32は、システムコントローラ23の指示に従って上記ストロボ発光部36でのチャージ及び発光をスイッチング制御する。
【0046】
また、システムコントローラ23には、図示しない電源スイッチ、レリーズスイッチ、ズームスイッチ、ストロボスイッチ、カーソルスイッチ、メニュースイッチ等を含む操作スイッチ(SW)部37からの操作信号が直接入力され、またその操作に伴なう動作状態や上記メモリカード22での記憶状態等は、バックライトを備えたモノクロタイプの液晶表示パネルで構成される液晶表示部38にて表示出力するもので、このシステムコントローラ23は以上のすべての回路の統括動作を行なうための制御プログラムを記憶したEEPROM39と接続される。
【0047】
次に上記実施の形態の動作について説明する。
【0048】
ちなみに、上記CCD15は上記従来技術の説明で用いたのと同様の一般的なものであって、各画素の電荷を、CCDドライバ28のインターレース駆動をいわゆるフレーム蓄積モードで行なうことにより、全画素1フレームの画素情報を2フィールドとして個別的に(画素電荷の加算を伴なわずに)読出し可能であるものとする。
【0049】
まず、図2により撮像素子であるCCD15の駆動タイミングを示す。図中、まず露光に先立っては、図2(1)に示すようにメカニカルシャッタ14が開いている状態で、図2(5)に示すCCD15の水平/垂直転送路駆動用のクロックφH,Vにより該水平/垂直転送路が高速排出駆動され、不要電荷が一掃される。
【0050】
その後、該クロックφH,Vの転送が停止されると同時に、図2(3)に示す電荷排出パルスVSUBの最終パルスを出力することでCCD15を構成する全画素同時に露光が開始される。
【0051】
そして、時間T1が経過した時点で、第1フィールドの電荷移送パルスTG(図では「1stTG」と称する)を出力してCCD15の第1フィールド(奇数フィールド)の露光を終了させる。
【0052】
この1stTGは、従来例(図7)のそれとは異なり、奇数番目のライン(A)の画素に蓄えた電荷のみを遮光された転送路へ移送させるものである。この時点では偶数番目のライン(B)の画素に蓄えた電荷は読み出されないから、こちらは引き続き電荷蓄積(露光)が継続していることになり、しかも露光開始時点については上述の如く電荷排出パルスVSUBの最終パルス出力時点であることは、A(第1フィールド)B(第2フィールド)共通であるという点が本発明の一つの特徴である。
【0053】
そこからさらに、上記時間T1×3の時間が経過し、第2フィールドに関しては通算して時間T2(=T1×4)が経過した時点で、図2(1)に示す如くメカニカルシャッタ14を閉じることで、露光を終了させる。
【0054】
その後、図2(5)に示すように、第1フィールドの画素に対応した電荷量を読出した後に、図2(3)に示す第2フィールド(偶数フィールド)の電荷移送パルスTG(図では「2ndTG」と称する)が出力されると、これにより第2フィールドの画素に対応した電荷量を読出す。
【0055】
この2ndTGは、従来例(図7)のそれとは異なり、偶数番目のライン(B)の画素に蓄えた電荷のみを遮光された転送路へ移送させるものである。なお、この間奇数番目のライン(A)の画素は1stTG以後にも露光を受けるため電荷が生じているが、これは使用されることなく、その後必要に応じて不要電荷として排出される。
【0056】
このようにして2フィールドに分けて読出した、露光時間の異なる2枚分の画像信号を、システムコントローラ23の制御の下にデジタルプロセス回路17が一旦バッファメモリ18に保持した後に処理する。
【0057】
図3は、これら2枚の画像信号に対応した光電変換特性について示すものであり、露光時間の違いに相当する分だけ、得られる信号レベルを被写体の輝度を表わす横軸に沿って左右に平行移動させたものになっている。
【0058】
こうして得た2枚の画像信号に対して、デジタルプロセス回路17は次に示すような該画像信号を構成する個々の画素信号の値に対しての画素信号生成処理を実施する。
【0059】
(第1フィールドの画素):
(条件1)自己の画素信号が低輝度側限界レベルLLより大きい値のとき→自己の画素信号の値の2倍の値を画素信号値とする。
(条件2)自己の画素信号が低輝度側限界レベルLL以下のとき→自己の上下に隣接する2つの第2フィールド画素の画素信号の値を判定した結果によって、
(条件2−a)それが低輝度側限界レベルLLより大きく、高輝度側限界レベルULより小さいとき→その第2フィールド画素の値(上下とも満たす場合はその平均値)の1/2の値を画素信号値とする。
(条件2−b)それが低輝度側限界レベルLL以下または高輝度側限界レベルUL以上のとき→自己の画素信号値の2倍を画素信号値とする。
【0060】
(第2フィールドの画素):
(条件1)自己の画素信号が高輝度側限界レベルULより小さい値のとき→自己の画素情報値の1/2を画素信号値とする。
(条件2)自己の画素信号が高輝度側限界レベルUL以上のとき→自己の上下に隣接する2つの第1フィールド画素の画素信号の値を判定した結果によって、
(条件2−a)それが低輝度側限界レベルLLより大きく高輝度側限界レベルULより小さいとき→その第1フィールド画素の値(上下とも満たす場合はその平均値)の2倍の値を画素信号値とする。
(条件2−b)それが低輝度側限界レベルLL以下または高輝度側限界レベルUL以上のとき→自己の画素信号値の1/2を画素信号値とする。
【0061】
上記のような画素信号生成処理において、上記条件1は、要するに第1及び第2フィールドそれぞれの画素について「所定の撮像レンジ(有効輝度域)に収まっている場合はその画素の情報をそのまま使用する」ということであり、その際に各画素が「(図3における中間の補助線ASに相当する)基準となる露光量に対して有している感度差を所定の係数を乗じて(すなわちデジタルゲイン調節を行なって)補償」するものである。
【0062】
したがって、第1及び第2両フィールドの共通の撮影レンジ内の被写体像に関しては、各画素が受容した個別の被写体情報(画素情報)が独立にかつ(感度の補償を別にして)そのまま生成画素情報として採用されるから、解像度は低下せず、撮像素子が本来有する解像度(Dレンジ拡大撮像を採用しない、一般的な例えばプログレッシブ(ノンインターレース)スキャンを行なう撮像装置によって撮像したものと全く同一の解像度)の撮像信号が得られる。
【0063】
これに対して上記条件2−aは、「自己の画素信号値が撮影レンジを逸脱している場合、上下に隣接する他フィールドの画素信号が撮影レンジを逸脱していない場合はそれで補間する」ことを意味している。すなわち、「どちらか一方のフィールドの撮影レンジでのみカバーされる高輝度や低輝度の被写体部分」に関しては、画素密度(垂直解像度)が半分になった状態での信号が得られることになる。
【0064】
この場合、上記図3の補助線ASで示した露光量を基準にとると、第2フィールドは2倍、第1フィールドは1/2の露光量であるから、それぞれ低輝度側、高輝度側に1EV(6dB)ずつ撮像レンジがシフトしたことになり、合わせて2EV(12dB)撮像レンジが拡大したことになる。
【0065】
一般的なプログレッシブスキャンのCCDを用いた場合に得られるダイナミックレンジDR=6EV(36dB)が限界であったとすれば、本実施の形態によって8EV(48dB)の広ダイナミックレンジの撮像装置を得ることができる。
【0066】
なお、この場合に上記第1及び第2のフィールドの共通レンジ、すなわち高解像度の得られるレンジは4EVあるから、通常の撮影において解像度の低下はなく、ただハイライト部分やシャドウ部分で解像度が低下するのみである。
【0067】
このような総合特性を図4に示す。同図中、上述したデジタルゲイン調節によって2つの特性を縦軸の信号レベルに沿ってそれぞれ上下に平行移動し、上記補助線AS上で一つに重ねた内容となっている。図中のEUL,ELL等はそれぞれ拡大された高輝度、低輝度の限界レベルである。
【0068】
このように、撮像により得られる画像信号のダイナミックレンジが拡大するから、高輝度部での再現域が拡大すると共に、低輝度部でのS/N比が向上してノイズを低減させることができる。
【0069】
一方、上記条件2−bは、「第1及び第2の両フィールドの撮像レンジを共に逸脱している場合は、本来の画素の情報をそのまま(ゲイン調節は行なってから)使用する」ことを意味している。
【0070】
したがって、拡大された総合レンジをも逸脱する被写体に対しては再び本来の高解像度が得られることになる。これは、完全な白黒パターン、例えば解像度チャートなどの特殊な絵柄を撮影する際に、得られる画像信号の解像度が低下する不具合を防止するものである。
【0071】
こうして、1フレームを構成する第1及び第2の2フィールド分の画像信号からダイナミックレンジを大幅に拡大した画像信号を生成することができるもので、デジタルプロセス回路17は、システムコントローラ23の制御によりこうして生成した画像信号に基づいてD/A変換器19を介してTFT−LCDパネル20でモニタ表示させ、あるいは圧縮/伸長回路21によりデータ量を圧縮した上でメモリカード22に記録、保存させる。
【0072】
このように、1フレームを構成する第1及び第2の2つの撮影フィールドは、タイミング的に完全同一ではないが、一方(第1フィールド)が他方(第2フィールド)に含まれるから短時間側の露光部分(T1)については同時となるので、時間差がなく、且つ解像度を低下させることなくダイナミックレンジを拡大した画像を撮影することができる。
【0073】
また、デジタルプロセス回路17が2つのフィールドで得た露光時間の異なる画像信号に対して実行する各画素信号値毎の補正処理は、互いの画素信号値に含まれている同一輝度の被写体像に対する信号レベル差を補償することにより実現する。
【0074】
こうすることで、2つのフィールドで共通するダイナミックレンジの範囲内で撮影された被写体像部分に関しては、一般的なノンインタレース方式の全画素読出し式の撮像装置によって撮像したものと全く同一の解像度の撮像信号を得ることができる。
【0075】
加えて、上記画素信号値の補正処理に際して、被写体像の輝度が両フィールド間の共通のダイナミックレンジを逸脱する部分の画素信号値に関して、補間に使用すべき他方側のフィールドの近隣の画素情報もまた実効的撮像レンジを逸脱している場合には、当該補間を禁止し、本来の画素情報を当該画素に関する画素情報として出力するものとした。
【0076】
これにより、画像中でダイナミックレンジの拡大を見込める画素部分のみを選択して処理することができ、無理な補間処理によって他の部分の画質が必要以上に劣化してしまうことを確実に回避することができる。
【0077】
なお、上記第2のフィールドでの露光の終了を、メカニカルシャッタ14により撮影光路を遮断させることで光学的に行なうものとし、このメカニカルシャッタ14によりCCD15への撮影光の入射を光学的に遮断した状態で第1のフィールドでの各画素信号値の読出しを行ない、その後に第2フィールドの各画素信号値の読出しを行なうようになる。
【0078】
したがって、一般的な銀塩カメラでも用いられているメカニカルシャッタ14を用いることで露光制御をより容易に実現しながら、各フィールドでの画像信号の読出しタイミングを比較的自由度の高いものとすることができる。
【0079】
なお、上記実施の形態では、第1のフィールドの露光時間T1に対して第2のフィールドの露光時間T2を4×T1であるとして説明したが、本発明はこれに限らず、複数のフィールド時間における露光時間のずらし量は任意に設定可能であるものとする。
【0080】
また、上記実施の形態では、第2フィールドの露光を終了するタイミングをメカニカルシャッタ14を閉じるタイミングで制御するものとしたが、CCD15の駆動に伴なう電子的なシャッタ時間の誤差に比して、メカニカルシャッタ14の開閉動作に含まれる時間的な誤差は非常に大きい。
【0081】
そのため、メカニカルシャッタ14の動作誤差に基づく画素信号値の誤差を補償する一手段として、CCDの一部、例えば水平ラインのOB(光学的暗部)に隣接する周辺部分に、拡散板による均一光の入射領域を設け、この領域で得られる輝度情報に基づいて、後段のプリプロセス回路16でアナログ値の各画素信号毎に実施されるゲイン調整の内容を適宜増減するようにしても良い。
【0082】
また、本実施の形態は、説明を容易にするべくCCD15がカラーフィルタを有していないモノクロタイプのものであるものとし、輝度信号のみの白黒の画像データを取り扱うものとして説明したが、カラー画像を扱う撮像装置においても適用可能であることは勿論である。
【0083】
さらに、インタレース駆動として一般的なNTSC等のテレビジョン方式に従って1フレームが2フィールドであるものとして説明したが、これに限るものでもなく、1フレームが3フィールドあるいは4フィールド以上の任意のインタレース駆動にも適用可能であり、個々のフィールドの露光時間をそれぞれ異ならせて設定することにより、非常にダイナミックレンジが広く、且つ所定の撮影レンジに収まっている輝度部分の画像に関しては高い解像度を有した画像信号を得ることができるようになるものである。
【0084】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【0085】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0086】
【発明の効果】
請求項1記載の発明によれば、1フレームを構成する複数のフィールドがタイミング的に完全同一ではないが、一方が他方に含まれるから短時間側の露光部分については同時となるので、時間差がなく、且つ解像度を低下させることなくダイナミックレンジを拡大した画像を撮影することができることに加えて、画像中でダイナミックレンジの拡大を見込める画素部分のみを選択して処理することができ、無理な補間処理によって画質が劣化してしまうことを確実に防止できる。
【0087】
請求項2記載の発明によれば、上記請求項1記載の発明の効果に加えて、複数のフィールドの共通のダイナミックレンジ内で撮影された被写体像部分に関しては従来公知の撮像装置によって撮像したものと全く同一の解像度の撮像信号を得ることができる。
【0089】
請求項3記載の発明によれば、上記請求項1または2記載の発明の効果に加えて、一般的な光学的シャッタ手段を用いることで上記露光制御手段をより容易に実現することができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態に係るデジタルカメラの回路構成を示すブロック図。
【図2】同実施の形態に係る撮像素子であるCCDの駆動タイミングを示す図
【図3】同実施の形態に係る2フィールド分の画像信号に対応した光電変換特性を示す図。
【図4】同実施の形態に係る画素信号生成処理により得られる画素信号の総合特性を示す図。
【図5】一般的な撮像素子の光電変換特性を示す図。
【図6】従来のダイナミックレンジを拡大するための1方式である全画素読出し(順次走査)の撮像素子の駆動タイミングを示す図。
【図7】従来のダイナミックレンジを拡大するための1方式であるフィールド蓄積モードの動画出力を用いたフィールド順次方式での撮像素子の駆動タイミングを示す図。
【符号の説明】
10…デジタルカメラ
11…レンズ鏡胴
12…レンズ光学系
13…絞り
14…メカニカルシャッタ
15…CCD
16…プリプロセス回路
17…デジタルプロセス回路
18…バッファメモリ
19…D/A変換器
20…TFT−LCDパネル
21…圧縮/伸長回路
22…メモリカード
23…システムコントローラ
24…AE処理回路
25…AF処理回路
26…タイミングジェネレータ(TG)
27…同期信号発生器(SG)
28…CCDドライバ
29…第1のモータドライバ
30…第2のモータドライバ
31…第3のモータドライバ
32…ストロボ制御部
33…第1のモータ
34…第2のモータ
35…第3のモータ
36…ストロボ発光部
37…操作スイッチ部
38…液晶表示部
39…EEPROM
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus particularly suitable for a digital camera having a solid-state imaging device.
[0002]
[Prior art]
Conventionally, in the case of an imaging apparatus such as a digital still camera or a digital video camera using a general imaging device such as a CCD (Charge Coupled Device), the photoelectric conversion characteristics of the imaging device are schematically shown in FIG. It was as shown in
[0003]
In the figure, the horizontal axis indicates the amount of incident light, and the vertical axis indicates the output signal level logarithmically. In the figure, UL indicates the high luminance side limit level, and LL indicates the low luminance side limit level.
[0004]
The high luminance side limit level UL is a level that substantially corresponds to the saturation level of the image sensor, while the low luminance side limit level LL is not the lowest noise level NL itself, but can be enjoyed even when coexisting with noise. It is set as a signal level having a predetermined limit S / N ratio.
[0005]
The effective luminance region is between the high luminance side limit level UL and the low luminance side limit level LL. The difference DR = UL−LL (on the logarithmic axis) is the imaging range (= dynamic range). It becomes. The dynamic range DR varies depending on the design and manufacture of the imaging device, but in many cases is about 5 to 6 EV (30 to 36 dB).
[0006]
On the other hand, a silver salt camera using a silver salt film that is already widely used has a difference between a color negative film, a monochrome film, and a color reversal film, but a color negative film that is more commonly used is about 10 EV. Dynamic range (= latitude).
[0007]
Therefore, when shooting with a digital camera with the expectation of a dynamic range comparable to that of a silver halide camera, the part of the resulting image that reaches the upper and lower limit levels of brightness is `` whiteout '' or `` blackout '' It is often disappointing as a result of lowering the overall image quality.
[0008]
However, many attempts have been made to expand the dynamic range with a digital camera using an image sensor. For example, a multi-plate image sensor that shoots images in different exposure states by branching the imaging optical path. A single-chip image sensor that has been subjected to dot-sequential coding of the density filter (that is, configured so that the sensitivity is different for each pixel), a field-sequential method using a moving image output in the field accumulation mode, and all-pixel readout ( And a special field sequential method using a sequential scanning image sensor.
[0009]
Here, a simple description will be given of a device using an all-pixel readout (sequential scanning) imaging device and a field sequential method using a moving image output in a field accumulation mode.
[0010]
FIG. 6 shows the drive timing of the image sensor using an image sensor for reading all pixels (sequential scanning). Prior to exposure, in the state where the mechanical shutter is open as shown in FIG. 6 (1), the horizontal / vertical is driven by the clocks φH and V for driving the horizontal / vertical transfer path of the image pickup device shown in FIG. 6 (4). The transfer path is driven to discharge at high speed, and unnecessary charges are wiped out.
[0011]
Thereafter, the transfer of the clocks φH and V is stopped, and at the same time, the exposure is started by outputting the final pulse of the charge discharge pulse VSUB shown in FIG. When the time T1 has elapsed, the exposure of the first frame is terminated by the charge transfer pulse TG (referred to as “1stTG” in the figure) of the first frame.
[0012]
Then, when the time T2 further elapses, the mechanical shutter is closed as shown in FIG. Thereafter, after the charge amount corresponding to all the pixels in the first frame is read out, a charge transfer pulse TG (referred to as “2ndTG” in the figure) in the second frame is output. Read the corresponding charge amount.
[0013]
Since the image of the first frame and the image of the second frame obtained in this way have different shooting ranges due to the difference between the exposure times T1 and T2, an image having a larger dynamic range based on these two image signals is obtained. I want to get it.
[0014]
FIG. 7 shows the drive timing of the image sensor in the field sequential method using the moving image output in the field accumulation mode that can be employed in a digital video (movie) camera.
[0015]
This figure shows an example in which charges are accumulated for each field by an interlaced image sensor. In the first field, exposure is started after the charge discharge pulse VSUB shown in FIG. When a charge transfer pulse TG (referred to as “1stTG” in the figure) of the first field shown in FIG. 7A is output when T1 has elapsed, the charge stored in each pixel is transferred to a light-shielded transfer path. Transport.
[0016]
On the other hand, in the second field, exposure is started after the charge discharge pulse VSUB shown in FIG. 7 (3) is output, and when the time T2 has elapsed, the charge transfer in the second field shown in FIG. 7 (2). When a pulse TG (referred to as “2ndTG” in the figure) is output, the charge stored in each pixel is transferred to a light-shielded transfer path.
[0017]
While performing exposure in the second field, the charge amount of each pixel transferred to the transfer path in the preceding first field is positioned directly below the pixel (A) on the odd-numbered line. Reading is performed by adding (A + B) the respective charge amounts of the pixels (B) of the even-numbered lines, and when the exposure in the first field is started again, the previous second field is in the meantime. Then, the charge amount of each pixel transferred to the transfer path is added (B + A) to the charge amount of the pixel (B) of the even-numbered line and the pixel (A) of the odd-numbered line located immediately below it. Read out by using interlaced driving in a so-called field accumulation mode in which the addition target is shifted by one pixel for each odd / even field. Depending on the image signal It is intended to obtain a image enlarged more dynamic range based on the two image signals.
[0018]
[Problems to be solved by the invention]
However, in the case of a multi-plate type imaging device that divides a photographing optical path into a plurality of images and shoots in different exposure states, the configuration of the apparatus becomes large and complicated, and the cost becomes high. Absent.
[0019]
In addition, in the case of using the all-pixel readout (sequential scanning) imaging device described in FIG. 6 above, since the first exposure and the second exposure are not performed at the same time but are performed with a time difference, they are strictly the same. In principle, it is impossible to obtain two optical images with different exposure conditions for a subject image, and it is not possible to deal with a subject image that moves particularly rapidly.
[0020]
Similarly, the field sequential method using the moving image output in the field accumulation mode described with reference to FIG. 7 does not perform two exposures at the same time, but causes a time difference. I can not cope.
[0021]
In addition, in the field sequential method using the moving image output in the field accumulation mode, since the components of two adjacent pixels are added and read out, the original number of pixels of the image sensor cannot be utilized. A decrease in vertical resolution is inevitable.
[0022]
Further, a single-plate image pickup device that has been subjected to dot-sequential coding of density filters has problems such as not only a decrease in versatility but also a decrease in resolution and generation of moire.
[0023]
As described above, many attempts have been made to expand the dynamic range with a digital camera. However, there has not yet been a practical method with a simple device configuration.
[0024]
The present invention has been made in view of the above circumstances, and its purpose is to capture a plurality of images with different exposure conditions at the same time without complicating the apparatus configuration and reducing the resolution. An object of the present invention is to provide an imaging apparatus capable of obtaining an image with a larger dynamic range.
[0025]
[Means for Solving the Problems]
  According to the first aspect of the present invention, the image pickup device, the driving unit capable of individually reading out the electric charge of each pixel of the image pickup device by interlace driving, and effective exposure for the image pickup device are started simultaneously for all the pixels, Exposure control means for giving an effective exposure time different from that of the other fields by performing effective exposure termination different from that of the other fields in at least one of the plurality of fields constituting one frame by the interlace driving; Regarding the pixel information of the subject luminance range where the effective imaging ranges of the plurality of fields generated by the different effective exposure times overlap each other, all the pixel information is used as pixel information about the pixel, and the subject luminance is For pixel information of fields that deviate from the effective imaging range, etc. ; And a pixel signal correction means for outputting what subject luminance is interpolated by the pixel information of the fields not deviate from the effective imaging range as the pixel information on the pixelsThe pixel signal correcting unit further relates to pixel information of a field in which subject luminance deviates from the effective imaging range, and pixel information in the vicinity of another field to be used for interpolation also deviates from the effective imaging range. In this case, the interpolation is prohibited and the original pixel information is output as pixel information related to the pixel.It is characterized by that.
[0026]
  With such a configuration, a plurality of fields constituting one frame are not completely identical in timing, but since one is included in the other, the exposure portion on the short time side is simultaneous, so there is no time difference, In addition, it is possible to take an image with an expanded dynamic range without reducing the resolution.In addition, it is possible to select and process only pixel portions that can be expanded in the dynamic range in the image, and it is possible to reliably prevent the image quality from being deteriorated due to excessive interpolation processing.
[0027]
According to a second aspect of the present invention, in the first aspect of the present invention, the pixel signal correcting means compensates for a signal level difference with respect to the same luminance subject that the pixel signals of the fields having different effective exposure times have each other. It has the means.
[0028]
With this configuration, in addition to the operation of the first aspect of the present invention, the subject image portion photographed within the common dynamic range of a plurality of fields is completely different from that captured by a conventionally known imaging device. Imaging signals having the same resolution can be obtained.
[0031]
  Claim 3The invention described is the above claim 1.Or 2In the described invention, it has an optical shutter means for blocking the input of the subject image to the imaging surface of the image sensor, and the exposure control means ends the effective exposure for at least one field among the plurality of fields. Controlling by transfer from the pixel portion, which is a photoelectric conversion storage portion of the image sensor, to a light-shielded transfer path, and controlling the end of effective exposure for at least one other field by opening and closing the optical shutter means. Features.
[0032]
  With such a configuration, the above-mentioned claim 1.Or 2In addition to the operation of the described invention, the exposure control means can be realized more easily by using a general optical shutter means.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment in which the present invention is applied to a digital still camera will be described with reference to the drawings. For ease of explanation, it is assumed here that a monochrome image is taken.
[0034]
FIG. 1 shows a circuit configuration of a digital camera 10 according to the embodiment. In the figure, a lens optical system 12 and a diaphragm 13 are provided in a lens barrel 11 of the digital camera 10.
[0035]
The optical image obtained through the lens barrel 11 is formed on the imaging surface of the CCD 15 which is an imaging element after passing through the mechanical shutter 14.
[0036]
The CCD 15 accumulates and outputs charges for each pixel during the exposure time, and the output is input to the preprocess circuit 16.
[0037]
The preprocess circuit 16 adjusts the gain according to the sensitivity appropriately set by the amplifier for each primary color component of RGB in the state of the analog value signal, and then performs A / D conversion to obtain a digital value image signal. 17 output.
[0038]
The digital process circuit 17 temporarily stores and holds the digital image signal in the buffer memory 18, reads the image signal stored and held in the buffer memory 18, and then performs various signal processing including pixel interpolation processing.
[0039]
The digital process circuit 18 finally performs gamma processing on the standard transmission signal for the image signal subjected to various signal processing in this way, and then sends it to the D / A converter 19 where it is converted into an analog value and then backed up. A monitor display is performed on the TFT-LCD panel 20 having a light.
[0040]
The image signal subjected to the gamma processing is also read out to the compression / decompression circuit 21 and used as a recording medium of the digital camera 10 after the data amount is appropriately compressed by a designated compression method such as JPEG. The data is recorded and stored in a removable memory card 22 composed of a flash memory.
[0041]
When the image signal stored in the memory card 22 is read out in the reproduction mode, it is decompressed by the compression / decompression circuit 21 by a method opposite to that used for recording and restored to a bitmap image signal. The obtained image signal is stored in the buffer memory 18 by the digital process circuit 17, and is displayed and output on the TFT-LCD panel 20 via the D / A converter 19.
[0042]
The system controller 23 controls the digital camera 10 as a whole. The AE processing circuit 24 performs an AE (automatic exposure) calculation at the time of shooting, and the AF at the time of shooting. An AF processing circuit 25 for performing (automatic focusing) calculation, a timing generator (TG) 26, and a synchronization signal generator (SG) 27 are connected.
[0043]
The synchronization signal generator 27 oscillates a vertical synchronization signal as a reference for driving the CCD 15 under the control of the system controller 23 and sends it to the timing generator 26.
[0044]
The timing generator 26 oscillates various timing signals based on the vertical synchronization signal and sends them to the CCD driver 28 that drives the preprocess circuit 16 and the CCD 15.
[0045]
The system controller 23 is also connected to first to third motor drivers 29 to 31 and a strobe controller 32.
The first motor driver 29 drives a first motor (M) 33 that opens and closes the mechanical shutter 14.
The second motor driver 30 drives a second motor 34 that rotates the diaphragm 13.
The third motor driver 31 drives a third motor 35 that moves the lens optical system 12.
The strobe control unit 32 performs switching control of charging and light emission in the strobe light emitting unit 36 in accordance with instructions from the system controller 23.
[0046]
The system controller 23 is directly input with operation signals from an operation switch (SW) unit 37 including a power switch, a release switch, a zoom switch, a strobe switch, a cursor switch, a menu switch and the like (not shown). The accompanying operation state, the storage state in the memory card 22 and the like are displayed and output by a liquid crystal display unit 38 constituted by a monochrome type liquid crystal display panel provided with a backlight. Are connected to an EEPROM 39 which stores a control program for performing the overall operation of all the circuits.
[0047]
Next, the operation of the above embodiment will be described.
[0048]
Incidentally, the CCD 15 is a general one similar to that used in the description of the above prior art, and the charge of each pixel is obtained by performing interlaced driving of the CCD driver 28 in a so-called frame accumulation mode. It is assumed that the pixel information of the frame can be read individually as two fields (without adding pixel charges).
[0049]
First, FIG. 2 shows the drive timing of the CCD 15, which is an image sensor. In the figure, first, prior to exposure, the clocks φH, V for driving the horizontal / vertical transfer paths of the CCD 15 shown in FIG. 2 (5) with the mechanical shutter 14 open as shown in FIG. 2 (1). As a result, the horizontal / vertical transfer path is driven to be discharged at high speed, and unnecessary charges are wiped out.
[0050]
Thereafter, the transfer of the clocks φH and V is stopped, and at the same time, the final pulse of the charge discharge pulse VSUB shown in FIG.
[0051]
When the time T1 elapses, the first field charge transfer pulse TG (referred to as “1stTG” in the figure) is output to end the exposure of the CCD 15 in the first field (odd field).
[0052]
This 1stTG is different from that of the conventional example (FIG. 7) in that only the charges stored in the pixels of the odd-numbered line (A) are transferred to the light-shielded transfer path. At this time, since the charge stored in the pixels of the even-numbered line (B) is not read out, this means that charge accumulation (exposure) continues, and at the start of exposure, charge is discharged as described above. One of the features of the present invention is that the time when the last pulse of the pulse VSUB is output is common to A (first field) and B (second field).
[0053]
Then, when the time T1 × 3 has elapsed and the time T2 (= T1 × 4) has elapsed for the second field, the mechanical shutter 14 is closed as shown in FIG. This completes the exposure.
[0054]
Thereafter, as shown in FIG. 2 (5), after the charge amount corresponding to the pixel in the first field is read out, the charge transfer pulse TG in the second field (even field) shown in FIG. In this case, the amount of charge corresponding to the pixel in the second field is read out.
[0055]
Unlike the conventional example (FIG. 7), the 2ndTG transfers only the charges stored in the pixels of the even-numbered lines (B) to the light-shielded transfer path. During this period, the pixels on the odd-numbered line (A) are exposed to charges after 1stTG, and thus charges are generated. However, these charges are not used but are discharged as unnecessary charges thereafter.
[0056]
The image signals for two images with different exposure times read out in two fields in this way are processed after the digital process circuit 17 once holds them in the buffer memory 18 under the control of the system controller 23.
[0057]
FIG. 3 shows the photoelectric conversion characteristics corresponding to these two image signals. The signal level obtained by the amount corresponding to the difference in exposure time is parallel to the left and right along the horizontal axis representing the luminance of the subject. It has been moved.
[0058]
For the two image signals obtained in this way, the digital process circuit 17 performs a pixel signal generation process for the values of individual pixel signals constituting the image signal as follows.
[0059]
(First field pixel):
(Condition 1) When the own pixel signal has a value larger than the low luminance side limit level LL, a value twice as large as the value of the own pixel signal is set as the pixel signal value.
(Condition 2) When the own pixel signal is lower than or equal to the low luminance side limit level LL → The result of determining the pixel signal values of two second field pixels adjacent above and below the self,
(Condition 2-a) When it is larger than the low-luminance side limit level LL and smaller than the high-luminance side limit level UL → the value of ½ of the value of the second field pixel (the average value if both are satisfied) Is a pixel signal value.
(Condition 2-b) When it is lower than the low luminance side limit level LL or higher than the high luminance side limit level UL → The pixel signal value is set to twice its own pixel signal value.
[0060]
(Second field pixel):
(Condition 1) When the own pixel signal has a value smaller than the high luminance side limit level UL → 1/2 of the own pixel information value is set as the pixel signal value.
(Condition 2) When the own pixel signal is equal to or higher than the high-luminance-side limit level UL → The result of determining the pixel signal values of two first field pixels adjacent above and below the self
(Condition 2-a) When it is larger than the low luminance side limit level LL and smaller than the high luminance side limit level UL, the pixel is set to a value twice the value of the first field pixel (the average value when both the upper and lower sides are satisfied) The signal value.
(Condition 2-b) When it is below the low luminance side limit level LL or above the high luminance side limit level UL → 1/2 of its own pixel signal value is set as the pixel signal value.
[0061]
In the pixel signal generation process as described above, the condition 1 basically means that if each pixel in the first and second fields is “within a predetermined imaging range (effective luminance range), information on the pixel is used as it is. In this case, each pixel is multiplied by a predetermined coefficient (that is, a digital value corresponding to the reference exposure amount (corresponding to the intermediate auxiliary line AS in FIG. 3) (ie, digital). Compensate by adjusting gain).
[0062]
Therefore, with respect to the subject image within the common shooting range of both the first and second fields, the individual subject information (pixel information) received by each pixel is generated as it is independently (apart from sensitivity compensation). Since it is used as information, the resolution does not decrease, and the resolution inherent in the imaging device (D range expansion imaging is not adopted, for example, the same as that captured by a general imaging device that performs progressive (non-interlaced) scanning, for example) Resolution) image signal.
[0063]
On the other hand, the condition 2-a is “if the pixel signal value of the self deviates from the shooting range, and if the pixel signals of other fields adjacent to the upper and lower sides do not deviate from the shooting range, the interpolation is performed by that”. It means that. That is, with respect to “a high-luminance or low-luminance subject portion that is covered only in the shooting range of one of the fields”, a signal in which the pixel density (vertical resolution) is halved is obtained.
[0064]
In this case, when the exposure amount indicated by the auxiliary line AS in FIG. 3 is used as a reference, the second field has twice the exposure amount and the first field has a half exposure amount. That is, the imaging range is shifted by 1 EV (6 dB) at a time, and the 2 EV (12 dB) imaging range is expanded.
[0065]
If the dynamic range DR = 6EV (36 dB) obtained when a general progressive scan CCD is used is the limit, an imaging device with a wide dynamic range of 8 EV (48 dB) can be obtained according to this embodiment. it can.
[0066]
In this case, the common range of the first and second fields, that is, the range in which high resolution can be obtained is 4 EV. Therefore, there is no decrease in resolution in normal shooting, and the resolution is reduced only in the highlight portion and the shadow portion. Just do it.
[0067]
Such overall characteristics are shown in FIG. In the figure, the two characteristics are vertically translated along the signal level on the vertical axis by the above-described digital gain adjustment, and are superimposed on the auxiliary line AS. EUL, ELL, etc. in the figure are the enlarged high and low luminance limit levels, respectively.
[0068]
As described above, since the dynamic range of the image signal obtained by the imaging is expanded, the reproduction range in the high luminance portion is expanded, and the S / N ratio in the low luminance portion is improved to reduce noise. .
[0069]
On the other hand, the condition 2-b is that “when both the imaging ranges of the first and second fields deviate from each other, the original pixel information is used as it is (after gain adjustment is performed)”. I mean.
[0070]
Therefore, the original high resolution can be obtained again for a subject that deviates from the expanded total range. This is to prevent a problem that the resolution of the obtained image signal is lowered when photographing a complete monochrome pattern, for example, a special pattern such as a resolution chart.
[0071]
In this way, an image signal having a greatly expanded dynamic range can be generated from the image signals for the first and second fields constituting one frame, and the digital process circuit 17 is controlled by the system controller 23. Based on the image signal generated in this way, the data is displayed on the TFT-LCD panel 20 via the D / A converter 19 or the data amount is compressed by the compression / expansion circuit 21 and then recorded and stored in the memory card 22.
[0072]
In this way, the first and second shooting fields constituting one frame are not completely identical in timing, but one (first field) is included in the other (second field), so the short time side. Since the exposed portion (T1) is simultaneously, it is possible to take an image with no time difference and with an expanded dynamic range without reducing the resolution.
[0073]
Further, the correction process for each pixel signal value executed by the digital process circuit 17 on the image signals having different exposure times obtained in the two fields is performed on the subject image having the same luminance included in each pixel signal value. This is realized by compensating the signal level difference.
[0074]
In this way, the subject image portion photographed within the dynamic range common to the two fields has the same resolution as that captured by a general non-interlaced all-pixel readout imaging device. Imaging signals can be obtained.
[0075]
In addition, in the pixel signal value correction processing, regarding the pixel signal value of the portion where the luminance of the subject image deviates from the common dynamic range between both fields, the neighboring pixel information of the other field to be used for interpolation is also obtained. Further, when the effective imaging range is deviated, the interpolation is prohibited and the original pixel information is output as pixel information related to the pixel.
[0076]
This makes it possible to select and process only pixel portions that can be expanded in the dynamic range in the image, and reliably avoid the unnecessary deterioration of the image quality of other portions due to excessive interpolation processing. Can do.
[0077]
The exposure in the second field is optically terminated by blocking the photographing optical path by the mechanical shutter 14, and the incident of the photographing light to the CCD 15 is optically blocked by the mechanical shutter 14. In this state, each pixel signal value in the first field is read out, and thereafter each pixel signal value in the second field is read out.
[0078]
Therefore, by using the mechanical shutter 14 that is also used in general silver halide cameras, exposure control can be realized more easily, and the readout timing of the image signal in each field should be relatively high. Can do.
[0079]
In the above-described embodiment, the second field exposure time T2 is 4 × T1 with respect to the first field exposure time T1, but the present invention is not limited to this, and a plurality of field times are used. It is assumed that the amount of exposure time shift can be set arbitrarily.
[0080]
In the above embodiment, the timing at which the exposure of the second field is completed is controlled by the timing at which the mechanical shutter 14 is closed. However, as compared with the error in the electronic shutter time accompanying the drive of the CCD 15. The time error included in the opening / closing operation of the mechanical shutter 14 is very large.
[0081]
Therefore, as one means for compensating for the error of the pixel signal value based on the operation error of the mechanical shutter 14, uniform light from the diffusion plate is applied to a part of the CCD, for example, a peripheral part adjacent to the OB (optical dark part) of the horizontal line An incident region may be provided, and the content of gain adjustment performed for each pixel signal of the analog value in the subsequent preprocess circuit 16 may be appropriately increased or decreased based on luminance information obtained in this region.
[0082]
In this embodiment, the CCD 15 is assumed to be a monochrome type that does not have a color filter and the monochrome image data of only the luminance signal is handled for the sake of easy explanation. Needless to say, the present invention can also be applied to an imaging apparatus that handles the above.
[0083]
Further, although it has been described that one frame has two fields according to a television system such as NTSC, which is general for interlace driving, the present invention is not limited to this, and any interlace in which one frame has three fields or four fields or more is possible. It can also be applied to driving, and by setting the exposure time of each field differently, it has a very wide dynamic range and has a high resolution with respect to an image of a luminance part that falls within a predetermined shooting range. Thus, it is possible to obtain a processed image signal.
[0084]
In addition, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention.
[0085]
Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, at least one of the problems described in the column of the problem to be solved by the invention can be solved, and described in the column of the effect of the invention. In a case where at least one of the obtained effects can be obtained, a configuration in which this configuration requirement is deleted can be extracted as an invention.
[0086]
【The invention's effect】
  According to the first aspect of the present invention, although a plurality of fields constituting one frame are not completely identical in timing, since one is included in the other, the exposure portion on the short time side is simultaneous, so that the time difference is And can capture images with an expanded dynamic range without reducing resolutionIn addition, it is possible to select and process only pixel portions that can be expanded in the dynamic range in the image, and it is possible to reliably prevent the image quality from being deteriorated due to excessive interpolation processing.
[0087]
According to the second aspect of the present invention, in addition to the effect of the first aspect, the subject image portion photographed within a common dynamic range of a plurality of fields is captured by a conventionally known imaging device. It is possible to obtain an imaging signal with exactly the same resolution.
[0089]
  Claim 3According to the described invention, the above-mentioned claim 1Or 2In addition to the effects of the described invention, the exposure control means can be more easily realized by using a general optical shutter means.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a circuit configuration of a digital camera according to an embodiment of the present invention.
FIG. 2 is a diagram showing drive timing of a CCD that is an image sensor according to the embodiment;
FIG. 3 is a view showing photoelectric conversion characteristics corresponding to image signals for two fields according to the embodiment;
FIG. 4 is a view showing overall characteristics of pixel signals obtained by pixel signal generation processing according to the embodiment;
FIG. 5 is a diagram showing photoelectric conversion characteristics of a general image sensor.
FIG. 6 is a diagram showing drive timing of an image sensor for all-pixel reading (sequential scanning), which is one method for expanding a conventional dynamic range.
FIG. 7 is a diagram showing drive timing of an image sensor in a field sequential method using a moving image output in a field accumulation mode, which is one method for expanding a conventional dynamic range.
[Explanation of symbols]
10. Digital camera
11 ... Lens barrel
12 ... Lens optical system
13 ... Aperture
14 ... Mechanical shutter
15 ... CCD
16: Preprocess circuit
17 ... Digital process circuit
18 ... Buffer memory
19 ... D / A converter
20 ... TFT-LCD panel
21 ... Compression / decompression circuit
22 ... Memory card
23 ... System controller
24 ... AE processing circuit
25. AF processing circuit
26 ... Timing generator (TG)
27. Synchronization signal generator (SG)
28 ... CCD driver
29 ... 1st motor driver
30 ... Second motor driver
31 ... Third motor driver
32 ... Strobe control unit
33 ... first motor
34 ... Second motor
35 ... Third motor
36 ... Strobe light emitting part
37. Operation switch part
38 ... Liquid crystal display
39… EEPROM

Claims (3)

撮像素子と、
上記撮像素子の有する各画素の電荷をインターレース駆動により個別的に読出し可能な駆動手段と、
上記撮像素子に対する実効的露光を全画素同時に開始するとともに、上記インターレース駆動により1フレームを構成する複数のフィールドのうち少なくとも1のフィールドには他のフィールドと異なる実効的露光終了を行なうことによって、他のフィールドと異なる実効的露光時間を与える露光制御手段と、
上記異なる実効的露光時間によって生じた上記複数の各フィールドが各々有する実効的撮像レンジが互いに重なる被写体輝度範囲の画素情報に関しては、各画素情報を全て当該画素に関する画素情報として使用し、被写体輝度が実効的撮像レンジを逸脱するフィールドの画素情報に関しては、他の被写体輝度が実効的撮像レンジを逸脱していないフィールドの画素情報によって補間したものを当該画素に関する画素情報として出力する画素信号補正手段とを具備し
上記画素信号補正手段は、さらに被写体輝度が実効的撮像レンジを逸脱するフィールドの画素情報に関して、補間に使用すべき他のフィールドの近隣の画素情報もまた実効的撮像レンジを逸脱している場合には、当該補間を禁止し、本来の画素情報を当該画素に関する画素情報として出力することを特徴とする撮像装置。
An image sensor;
Driving means capable of individually reading out the charge of each pixel of the imaging element by interlace driving;
The effective exposure of the image sensor is started at the same time for all pixels, and at least one of a plurality of fields constituting one frame by the interlace driving is performed by ending effective exposure different from other fields. Exposure control means for providing an effective exposure time different from the field of
Regarding the pixel information of the subject luminance range where the effective imaging ranges of the plurality of fields generated by the different effective exposure times overlap each other, all the pixel information is used as pixel information about the pixel, and the subject luminance is As for pixel information of a field that deviates from the effective imaging range, pixel signal correction means for outputting, as pixel information relating to the pixel, interpolated by pixel information of a field in which other subject luminance does not deviate from the effective imaging range; equipped with,
The pixel signal correcting means further relates to pixel information of a field in which subject luminance deviates from the effective imaging range, and pixel information in the vicinity of other fields to be used for interpolation also deviates from the effective imaging range. An image pickup apparatus that prohibits the interpolation and outputs original pixel information as pixel information related to the pixel .
上記画素信号補正手段は、上記実効的露光時間が異なるフィールドの画素信号が互いに有する同一輝度被写体に対する信号レベル差を補償するレベル補償手段を有することを特徴とする請求項1記載の撮像装置。  2. The image pickup apparatus according to claim 1, wherein the pixel signal correcting means includes level compensating means for compensating for a signal level difference with respect to the same luminance subject which the pixel signals of the fields having different effective exposure times have. 記撮像素子の撮像面への被写体像の入力を遮断する光学的シャッタ手段を有し、
上記露光制御手段は、上記複数のフィールドのうち少なくとも1のフィールドに関する実効的露光終了を上記撮像素子の光電変換蓄積部である画素部から遮光された転送路への移送によって制御し、他の少なくとも1のフィールドに関する実効的露光終了を、上記光学的シャッタ手段の開閉によって制御する
ことを特徴とする請求項1または2記載の撮像装置。
It has an optical shutter means for blocking the input of the object image on the imaging surface of the upper Symbol image pickup device,
The exposure control means controls the end of effective exposure for at least one of the plurality of fields by transfer from a pixel portion which is a photoelectric conversion accumulation portion of the imaging element to a light-shielded transfer path, and at least the other field 3. The image pickup apparatus according to claim 1, wherein the effective exposure end for one field is controlled by opening and closing the optical shutter means.
JP2001380384A 2001-12-13 2001-12-13 Imaging device Expired - Fee Related JP4282262B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001380384A JP4282262B2 (en) 2001-12-13 2001-12-13 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001380384A JP4282262B2 (en) 2001-12-13 2001-12-13 Imaging device

Publications (2)

Publication Number Publication Date
JP2003189193A JP2003189193A (en) 2003-07-04
JP4282262B2 true JP4282262B2 (en) 2009-06-17

Family

ID=27591459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001380384A Expired - Fee Related JP4282262B2 (en) 2001-12-13 2001-12-13 Imaging device

Country Status (1)

Country Link
JP (1) JP4282262B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318724A (en) * 2006-04-25 2007-12-06 Matsushita Electric Ind Co Ltd Solid-state image sensor and its driving method
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP5132125B2 (en) * 2006-11-07 2013-01-30 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4961982B2 (en) 2006-12-07 2012-06-27 ソニー株式会社 Solid-state imaging device, driving method of solid-state imaging device, and imaging device
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
EP3869793B1 (en) * 2020-02-19 2022-10-12 Sick IVP AB Method for reducing effects of laser speckles
CN113727499B (en) * 2020-05-26 2023-08-18 浙江大华技术股份有限公司 Light supplementing lamp control method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP2003189193A (en) 2003-07-04

Similar Documents

Publication Publication Date Title
US8305465B2 (en) Image pick-up apparatus with a shake reducing function
JP4622790B2 (en) Imaging device and imaging apparatus
JPH10210367A (en) Electronic image-pickup device
JP2006174404A (en) Solid state image sensor and solid state imaging apparatus
US20060109357A1 (en) Solid-state image pickup apparatus with high- and low-sensitivity photosensitive cells, and an image shooting method using the same
JP4616429B2 (en) Image processing device
JP2006261929A (en) Image pickup device
JP2007027845A (en) Imaging apparatus
JP2006129418A (en) Method for driving charge-transfer type solid-state image pick-up device and image pick-up method and apparatus
JP4282262B2 (en) Imaging device
JP4053858B2 (en) Signal readout method for solid-state imaging device
JP2007088842A (en) Imaging apparatus, and method of driving imaging device
JP4199381B2 (en) Solid-state imaging device and solid-state imaging device driving method
JP2001352483A (en) Moving image and static image image pickup device
JP2000013685A (en) Image pickup device
JP3627711B2 (en) Color imaging device
JP4563901B2 (en) Electronic camera
JP2000299810A (en) Image pickup device
JPH0119677B2 (en)
JP3907343B2 (en) Imaging device
JP2007088843A (en) Imaging apparatus, and method of driving imaging device
JP2007006071A (en) Image pickup apparatus and driving method of imaging device
JP2006148591A (en) Solid-state imaging apparatus and driving method of solid-state imaging element
JP2004363778A (en) Imaging apparatus
JP2005117250A (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090317

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140327

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees