JP2007329896A - 撮像素子及び撮像装置 - Google Patents

撮像素子及び撮像装置 Download PDF

Info

Publication number
JP2007329896A
JP2007329896A JP2007098182A JP2007098182A JP2007329896A JP 2007329896 A JP2007329896 A JP 2007329896A JP 2007098182 A JP2007098182 A JP 2007098182A JP 2007098182 A JP2007098182 A JP 2007098182A JP 2007329896 A JP2007329896 A JP 2007329896A
Authority
JP
Japan
Prior art keywords
pixel data
exposure
standard
standard exposure
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007098182A
Other languages
English (en)
Other versions
JP4998056B2 (ja
Inventor
Haruhisa Kurane
治久 倉根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007098182A priority Critical patent/JP4998056B2/ja
Priority to US11/747,408 priority patent/US7868938B2/en
Publication of JP2007329896A publication Critical patent/JP2007329896A/ja
Application granted granted Critical
Publication of JP4998056B2 publication Critical patent/JP4998056B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】標準露光時間よりも短い露光時間(非標準露光時間)で露光された各画素の画素データに基づき、当該各画素が標準露光時間の露光時に飽和するか否かを予測することが可能な撮像素子及び撮像装置、並びに前記予測結果に基づき標準露光時間の画素データと非標準露光時間の画素データとを合成してHDR画像を生成することが可能な撮像装置を提供する。
【解決手段】撮像装置1を、1回の標準露光期間に、センサセルアレイ56の露光領域に対する標準露光時間の露光による画像を撮像すると共に非標準露光時間の露光による画像を撮像する撮像処理系10と、非標準露光時間の画像データに基づき各画素が標準露光時間の露光で飽和するか否かを予測すると共に予測結果に基づき標準露光時間及び非標準露光時間の撮像画像データとを合成してHDR画像データを生成する映像処理系12とを含んだ構成とした。
【選択図】図1

Description

本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式を用いて行うことが可能な撮像素子及び撮像装置に関する。
デジタルスチルカメラに代表される固体撮像素子を用いた撮像装置の問題点の1つとして、ダイナミックレンジの狭さが挙げられる。このため、非常にコントラストの大きいシーンを撮影して得た画像には、高輝度領域での白とび(画素の飽和)や低輝度領域での黒つぶれが発生する。
現在、上記問題を解決するために多くの手法が提案されている。その1つとして、露光量が異なった2枚(あるいは複数枚)の画像を合成する手法があり、この手法を用いた公知例として、例えば、特許文献1に記載の撮像装置などが挙げられる。
この撮像装置は、露光量を変えて撮影できる露光量可変手段により適正な露光量の標準画像信号と標準画像信号より露光量が少ない非標準画像信号を得られる撮像装置であって、出力された標準画像信号の値が閾値(画素の飽和を判断)を超えたか否かを示す飽和判断信号(本発明では,マスク画像信号)を作成する手段と、この飽和判断信号をもとに2つの画像信号を切り替える手段(標準画像信号において飽和した画素を非標準画像信号の値で置換する)を特徴とするものである。これにより広ダイナミックレンジの画像を得る。
特開2004―32583号公報
しかしながら、上記特許文献1の従来技術においては、雑音が加わった標準画像信号から飽和判断信号(飽和画素を1、非飽和画素を0とする)を作成した場合に、この判断信号に基づき画像の合成を行うと合成画像の画質が低下する恐れがある。具体的には、撮像素子は時間経過とともに暗電流雑音が増加し、ノイズの影響を受ける。また、画素毎の感度ばらつき、飽和量ばらつきなども誤判定の原因である。例えば、図15に示すように、本来は、全ての画素が白画素になるはずのところ、前記画素のばらつきにより、所々黒画素が発生するためである。このような飽和判断信号を用いて画像を合成すると、標準画像信号と非標準画像信号とが不正に混在してしまう(本来は全て非標準画像信号)。この問題は、各画素の特性のばらつきに応じて閾値を変更することで解決できるが、各画素毎に閾値を設定するという大変な手間が必要となる。
一方、標準画像信号と非標準画像信号とを加算することで広ダイナミックレンジの画像を得る方法もある(図16)。この単純加算法を、ここではニー(Knee)方式と呼ぶ。ニー方式は、画素値のレベル判定を行わないので、上記特許文献1の従来技術のような問題は発生しない。また、ニー方式は、高輝度領域をレベル圧縮するため、広ダイナミックレンジが表示できる装置(例えば、10000:1等のコントラスト表示ができる装置)においては、高輝度領域の階調性が損なわれる、また線形性が無くなることから、忠実な色の再現ができない(カラーフィルタを搭載したセンサの場合)、といった問題が生じる。
また、別の課題として、標準露光画像と非標準露光画像とを別々のタイミングで2回撮影し、それを合成すると、ブレた画像になってしまう、という課題がある。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、標準露光時間よりも短い露光時間で露光された各画素の画素データに基づき、当該各画素が標準露光時間の露光時に飽和するか否かを予測することが可能な撮像素子及び撮像装置、並びに前記予測結果に基づき標準露光時間の画素データと標準露光時間より短い露光時間の画素データとを合成して広ダイナミックレンジ画像を生成することが可能な撮像装置を提供することを目的とする。
〔形態1〕 上記目的を達成するために、形態1の撮像素子は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間で露光時の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、を備えることを特徴としている。
このような構成であれば、第1読出手段によって、前記光電変換部の前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第2読出手段によって、前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出すことが可能であり、飽和予測手段によって、前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することが可能となる。
従って、例えば、注目被写体とその背景とからなる撮像対象に対して、当該撮像対象中の注目被写体に対して適正露出となる標準の露光時間(標準露光時間)を設定し、この標準露光時間で露光された光電変換部の各画素の電荷を第1読出手段によって読み出すことができるので、これにより、標準露光時間で露光された撮像対象画素データ(標準露光画素データ)を得ることができる。一方、前記標準露光時間による露光期間中において、前記標準露光時間よりも短い露光時間(短露光時間)で露光された、前記各画素の電荷を第2読出手段において非破壊読み出し方式で読み出すことができるので、これにより、標準露光時間で露光時の露光量(信号振幅)よりも少ない露光量(小さい信号振幅)の画素データ(非標準露光画素データ)を得ることができる。つまり、標準露光時間による1回の露光において、標準露光時間で露光時の画素データ(標準露光画素データ)と、非標準露光時間で露光時の画素データ(非標準露光画素データ)とを得ることが可能である。更に、前記読み出した非標準露光画素データに基づき、当該非標準露光画素データに対応する画素の標準露光時間で露光時の蓄積電荷量が飽和するか否かを予測するようにしたので、これにより、暗電流雑音が少なく、ノイズの影響を抑えた状態(短露光時間の電荷蓄積量)で飽和するか否かを判断することができるので、標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを判定する際に、ノイズによる飽和/非飽和の判断結果のばらつきを抑えることができるという効果が得られる。
以下、飽和/非飽和の判断結果のばらつきを抑える原理について説明する。直感的には、短露光時間の画素データの殆どは黒つぶれ領域となり、特定の高輝度領域(照射光量が大きい領域)のみ輝度信号が現れる。広ダイナミックレンジ撮影は、例えば光量比が暗部と明部で1:500以上あり、露光時間が同じ場合、暗部と明部の信号レベル比も1:500になり、暗部は黒つぶれする。また、前述の如く、時間の経過とともに増加する暗電流雑音等のノイズの影響を抑えられ、誤判定が抑えられる。更に、画素毎の飽和レベル、感度のばらつきに対しても、誤判定が抑えられる。すなわち、短露光画像で判定するので、判定レベルを飽和レベルの例えば1/10にすることが出来、飽和レベルのばらつきの影響を受け難い。感度ばらつきに関しては、信号レベルは電荷・電圧変換ゲイン(感度)と受光量の積で決まり、受光量が少なく信号レベルが低い状態で判定するので、感度ばらつきの影響を受け難い。以上のように、画素の特性のばらつきとノイズの影響とが小さいうちに、その信号出力のある領域のみを検出(判定)することで、判定のばらつきを抑えることができる。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。
ここで、上記「光電変換部」は、例えば、CMOS技術を用いて構成されており、CMOS技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子(例えば、VMIS(Threshold Voltage Modulation Image Sensor))などがある。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。
また、上記「破壊読み出し方式」は、光電変換素子から電荷(画素信号)を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。
また、上記「非破壊読み出し方式」は、光電変換素子から電荷(画素信号)を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。
また、上記「飽和」とは、光電変換素子に入力される光が、当該光電変換素子が蓄積できる最大電荷量(以下、最大蓄積電荷量と称す)を超える状態であり、この飽和となる輝度値(以下、飽和値と称す)の画素データを含む画像は、その部分の階調が無くなり白とびと呼ばれる現象が発生する。例えば、雪景色を背景に家屋を撮像するような場合に、注目被写体である家屋に露出を合わせて撮像を行うと、雪景色の部分の画素データの大部分が飽和値となり白とびが発生する。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。
〔形態2〕 一方、上記目的を達成するために、形態2の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR画像データ(High Dynamic Range)を生成するHDR画像データ生成手段と、を備えることを特徴としている。
このような構成であれば、第1読出手段によって、前記光電変換部の前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第2読出手段によって、前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出すことが可能であり、飽和予測手段によって、前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することが可能となる。
更に、HDR画像データ生成手段によって、前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR画像データを生成することが可能である。
従って、例えば、注目被写体とその背景とからなる撮像対象に対して、当該撮像対象中の注目被写体に対して適正露出となる標準の露光時間(標準露光時間)を設定し、この標準露光時間で露光された光電変換部の各画素の電荷を第1読出手段によって読み出すことができるので、これにより、標準露光時間で露光された撮像対象画素データ(標準露光画素データ)を得ることができる。一方、前記標準露光時間による露光期間中において、前記標準露光時間よりも短い露光時間(短露光時間)で露光された、前記各画素の電荷を第2読出手段において非破壊読み出し方式で読み出すことができるので、これにより、標準露光時間で露光時の露光量(信号振幅)よりも少ない露光量(小さい信号振幅)の画素データ(非標準露光画素データ)を得ることができる。つまり、標準露光時間による1回の露光において、標準露光時間で露光時の画素データ(標準露光画素データ)と、非標準露光時間で露光時の画素データ(非標準露光画素データ)とを得ることが可能である。よって、2つの画像を合成するときにブレを抑えた画像を生成できる。更に、例えば、飽和すると予測(判断)されたときは非標準露光画素データを選択し、飽和しないと予測(判断)されたときは標準露光画素データを選択し、これら選択した非標準露光画素データ及び標準露光画素データを合成して広ダイナミックレンジの画像データ(HDR画像データ)を生成することができるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
〔形態3〕 更に、形態3の撮像装置は、形態2の撮像装置において、
前記第2読出手段は、前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い複数種類の短露光時間で露光された電荷を非破壊読み出し方式で順次読み出し、
前記飽和予測手段は、前記第2読出手段で読み出された前記複数種類の短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することを特徴としている。
このような構成であれば、例えば、注目被写体とその背景とからなる撮像対象に対して、当該撮像対象中の注目被写体に対して適正露出となる標準の露光時間(標準露光時間)を設定した場合に、当該標準露光時間による露光期間中において、前記標準露光時間よりも短い複数種類の短露光時間(例えば、2種類)で露光された、前記各画素の電荷を第2読出手段において非破壊読み出し方式で読み出すことができるので、これにより、標準露光時間で露光時の露光量よりも少ない複数種類の露光量の画素データ(非標準露光画素データ)を得ることができる。更に、この複数種類の露光量の非標準露光画素データに基づき、当該非標準露光画素データに対応する画素の標準露光時間で露光時の蓄積電荷量が飽和するか否かを予測するようにしたので、これにより、各画素のばらつきによるノイズの影響が少ない状態(短露光時間の電荷蓄積量)で飽和するか否かをより正確に予測することができるという効果が得られる。更に、例えば、短露光時間t2では飽和せず、短露光時間t1(t2<t1)で飽和してしまうようなときに、短露光時間t2の非標準露光画素データを用いて広ダイナミックレンジの画像データ(HDR画像データ)を生成することができるので、より正確な階調表現のされた広ダイナミックレンジ画像を得ることができるという効果が得られる。
〔形態4〕 更に、形態4の撮像装置は、形態2又は3の撮像装置において、
前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行う演算処理手段を備え、
前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測し、
前記HDR画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成して前記HDR画像データを生成することを特徴としている。
このような構成であれば、演算手段によって、前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行うことが可能であり、前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測することが可能であり、前記HDR画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成してHDR画像データを生成することが可能である。
従って、非標準露光画素データに対して、例えば、輝度レベルの補正処理、ノイズ除去処理等の画素データを合成するのに適した演算処理を行うことが可能となり、更に、このような演算処理の施された非標準露光画素データを用いて広ダイナミックレンジの画像データ(HDR画像データ)を生成することが可能となるので、広ダイナミックレンジ画像の画質を向上することができるという効果が得られる。
〔形態5〕 更に、形態5の撮像装置は、形態4の撮像装置において、
前記光電変換素子の構成する各画素からリセット直後の電荷を読み出す第3読出手段を備え、
前記演算処理手段は、前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第3読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことを特徴としている。
このような構成であれば、第3読出手段によって、前記光電変換素子の構成する各画素からリセット直後の電荷を読み出すことが可能であり、前記演算処理手段は、前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第3読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことが可能である。
従って、第2読出手段で読み出された非標準露光画素データの示す輝度値からリセット(画素の蓄積電荷を空にする動作)直後の画素データの示す輝度値を減じる演算処理を行うことが可能となるので、非標準露光画素データから、光電変換部を構成する各光電変換素子(画素)の個々の特性のばらつきに起因して発生する固定パターンノイズを除去することが可能である。つまり、非破壊読み出し方式では、読み出した電荷から構成される非標準露光画素データに、雑音が多く混入されるので、前記差分演算処理を行うことによって、非標準露光画素データに混入された雑音成分を除去することができるので、より正確な輝度レベルの非標準露光画素データに基づき、飽和/非飽和の予測を行うことができるという効果が得られる。更に、より正確な輝度レベルの非標準露光画素データを用いて広ダイナミックレンジの画像データ(HDR画像データ)を生成することが可能となるので、広ダイナミックレンジ画像の画質を向上することができるという効果が得られる。
ここで、「固定パターンノイズ」には、例えば、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。
〔形態6〕 更に、形態6の撮像装置は、形態2乃至5のいずれか1の撮像装置において、
前記HDR画像データ生成手段は、前記第2読出手段で読み出された非標準露光画素データから、前記飽和予測手段で飽和すると予測された画素に対応する非標準露光画素データを選択し、前記第1読出手段で読み出された標準露光画素データから、前記飽和予測手段で飽和しないと予測された画素に対応する標準露光画素データを選択し、これら選択した標準露光画素データ及び非標準露光画素データを合成して前記HDR画像データを生成することを特徴としている。
このような構成であれば、飽和すると予測(判断)されたときは最大輝度値となる標準露光画素データを用いずに非標準露光画素データを用い、飽和しないと予測(判断)されたときは標準露光画素データを用いて広ダイナミックレンジの画像データ(HDR画像データ)を生成することができるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
〔形態7〕 更に、形態7の撮像装置は、形態6の撮像装置において、
前記HDR画像データ生成手段は、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、前記選択した非標準露光画素データと当該非標準露光画素データに対応する標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、前記選択した非標準露光画素データと、当該非標準露光画素データに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記HDR画素データと前記選択した標準露光画素データとを合成して前記HDR画像データを生成することを特徴としている。
例えば、非標準露光画素データの輝度レベルを単純に増加補正し、この増加補正された非標準露光画素データを用いて撮像画像データを生成するようなときに、増加補正によって、画素のばらつきによるノイズもそのままに増加されるため、増加補正後の非標準露光画素データに増幅されたノイズが混入した状態となる恐れがある。当然ながら、このようなノイズは画質低下の要因となる。
上記構成であれば、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、輝度レベルの補正において、当該選択された非標準露光画素データと、これに対応する標準露光画素データとを用いることが可能となるので、例えば、非標準露光画素データと標準露光画素データとを加算する処理を行うことで、増加補正時のノイズを低減することが可能である。また、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、輝度レベルの補正において、当該選択された非標準露光画素データと、これに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとを用いることが可能となるので、例えば、露光時間の異なる2種類の非標準露光画素データと標準露光画素データとを加算する処理を行うことで、増加補正時のノイズをより低減することが可能である。
そして、上記のようにノイズの低減された非標準露光画素データを用いてHDR画像データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
〔形態8〕 更に、形態8の撮像装置は、形態7の撮像装置において、
前記飽和予測手段は、前記非標準露光画素データに基づき予測した標準露光時間で露光時の各画素の蓄積電荷量の示す輝度値と、前記露光時間の種類毎に設定される飽和予測用輝度値とを比較し、当該比較結果に基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測し、
前記HDR画像データ生成手段は、前記選択された非標準露光画素データである第1非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第2非標準露光画素データが無いときに、前記第1非標準露光画素データの示す輝度値から当該第1非標準露光画素データ用の前記飽和予測用輝度値である第1飽和予測用輝度値を第1正規化係数で除算した結果を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果に、当該第1非標準露光画素データに対応する標準露光画素データを加算して前記HDR画素データを生成することを特徴としている。
このような構成であれば、前記選択された非標準露光画素データである第1非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第2非標準露光画素データが無いときに、前記第1非標準露光画素データの輝度レベルの補正において、第1非標準露光画素データから第1飽和予測用輝度値を減算した値に第1正規化係数を乗算した結果と、標準露光画素データの輝度値とを加算する処理を行うことが可能であり、この加算処理によって増加補正時のノイズを低減することが可能である。つまり、第1非標準露光画素データの輝度値を単に第1正規化係数で乗算するよりも、乗算時に増幅するノイズ量を低減でき、また、標準露光画素データとの加算処理も行うため更にノイズを低減することが可能である。
そして、このようなノイズの低減された第1非標準露光画素データを用いてHDR画素データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
なお、本形態におけるHDR画像生成は、前述のニー方式と異なり、画像信号の線形性を維持してダイナミックレンジ拡大を行う処理であり、これにより忠実な色の再現性を実現できる。以下、形態10の撮像装置において同じである。
〔形態9〕 更に、形態9の撮像装置は、形態8の撮像装置において、
前記標準露光時間と、前記撮像素子の生成に用いる非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記飽和予測用輝度値とし、
前記「a/b」を、前記撮像素子の生成に用いる非標準露光画素データ用の正規化係数としたことを特徴としている。
このような構成であれば、第1非標準露光画素データの輝度レベルの補正において、第1非標準露光画素データの輝度値を短露光時間と標準露光時間との比に応じた第1正規化係数で乗算することが可能となるので、より適切に輝度レベル補正を行うことができるという効果が得られる。
〔形態10〕 更に、形態10の撮像装置は、形態8の撮像装置において、
前記HDR画像データ生成手段は、前記第1非標準露光画素データよりも短い露光時間の前記第2非標準露光画素データがあるときに、前記第2非標準露光画素データの示す輝度値から当該第2非標準露光画素データ用の前記飽和予測用輝度値である第2飽和予測用輝度値を第2正規化係数で除算した結果を減算し、当該減算結果に前記第2正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データの示す輝度値とを加算し、当該加算結果から前記第1飽和予測用輝度値を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データに対応する標準露光画素データの示す輝度値とを加算して前記HDR画素データを生成することを特徴としている。
このような構成であれば、前記選択された非標準露光画素データである第1非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第2非標準露光画素データがあるときに、前記第1非標準露光画素データの輝度レベルの補正において、第2非標準露光画素データから第2飽和予測用輝度値を減算した値に第2正規化係数を乗算した結果と、第1標準露光画素データの示す輝度値とを加算し、当該加算結果に第1正規化係数を乗算した乗算結果と、標準露光画素データの輝度値とを加算する処理を行うことが可能であり、この加算処理によって増加補正時のノイズをより低減することが可能である。つまり、第1非標準露光画素データの輝度値を単に第1正規化係数で乗算するよりも、乗算時に増幅するノイズ量を低減でき、また、第2非標準露光画素データ及び標準露光画素データとの加算処理も行うため更にノイズを低減することが可能である。
そして、このようなノイズの低減された第1非標準露光画素データを用いてHDR画素データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
〔形態11〕 更に、形態11の撮像装置は、形態10の撮像装置において、
前記標準露光時間と、前記第1非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記第1飽和予測用輝度値とし、前記標準露光時間と、前記第2非標準露光画素データに対応する短露光時間との比が「a:c」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「(a・b)/(a・c)」で除算した結果を、前記第1飽和予測用輝度値とし、
前記「a/b」を前記第1正規化係数とし、前記「(a・b)/(a・c)」を前記第2正規化係数としたことを特徴としている。
このような構成であれば、第1非標準露光画素データの輝度レベルの補正において、第1非標準露光画素データの輝度値をその短露光時間と標準露光時間との比に応じた第1正規化係数で乗算することが可能となると共に、第2非標準露光画素データの輝度値をその短露光時間と標準露光時間との比に応じた第2正規化係数で乗算することが可能となるので、より適切に輝度レベル補正を行うことができるという効果が得られる。
〔形態12〕 一方、上記目的を達成するために、形態12の撮像システムは、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成手段と、を備えることを特徴としている。
これにより、形態2の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器(この場合は、形態2の撮像装置と同等)として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
〔形態13〕 また、上記目的を達成するために、形態13の撮像方法は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出ステップと、
前記第1読出ステップでの露光期間と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出ステップと、
前記第2読出ステップで読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測ステップと、
前記飽和予測ステップの予測結果に基づき、前記第1読出ステップで読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成ステップと、を含むことを特徴とする。
これにより、形態2の撮像装置と同等の作用及び効果が得られる。
〔第1の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第1の実施の形態を、図面に基づいて説明する。図1〜図13は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第1の実施の形態を示す図である。
以下、図1に基づき、本発明に係る撮像装置1の概略構成を説明する。ここで、図1は、本発明に係る撮像システム3の概略構成を示すブロック図である。
撮像システム3は、図1に示すように、撮像装置1と、ホストシステム2とを含んで構成される。
撮像装置1は、標準露光時間の露光期間(1フレーム期間)において、センサセルアレイ56(後述)の露光領域における標準露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、同じ1フレーム期間において、前記露光領域における短露光時間(前記標準露光時間よりも短い露光時間)及び超短露光時間(前記短露光時間よりも短い露光時間)でそれぞれ順次露光される各画素のラインから非破壊読み出し方式によって画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ(デジタルデータ)を順次出力する非破壊走査対応撮像処理系10(以下、撮像処理系10と称す)を含んで構成される。
更に、撮像装置1は、図1に示すように、撮像処理系10から出力された、短露光時間の露光に対応する画素データ(以下、短露光画素データと称す)と、超短露光時間の露光に対応する画素データ(以下、超短露光画素データと称す)とに基づき、短露光画素データ及び超短露光画素データに対応する画素が標準露光時間の露光時に飽和するか否かを予測し、当該予測結果に基づき標準露光時間の露光に対応する画素データ(以下、標準露光画素データと称す)と、前記短露光画素データ及び超短露光画素データとを合成して広ダイナミックレンジ画像データ(以下、HDR画像データと称す)を生成する映像処理系(DSP)12と、基準画像データ(後述)、前記超短露光画素データから構成される超短露光画像データ、前記短露光画素データから構成される短露光画像データ、HDR画像データなどの各種画像データを記憶するフレームメモリ14とを含んで構成される。
ホストシステム2は、撮像装置1に各種制御信号や各種データを与えて、その動作を制御したり、撮像装置1から取得したHDR画像データの画像を表示したりする機能を有している。
更に、図2〜図6に基づき、撮像処理系10の内部構成を説明する。ここで、図2は、撮像処理系10の内部構成及びホストシステム2の内部構成を示すブロック図である。また、図3は、第1のAFE(Analog Front End)102の内部構成を示す図である。また、図4は、非破壊走査対応型撮像素子100の内部構成を示すブロック図である。また、図5は、走査ラインスキャナ54の内部構成を示す図である。また、図6は、センサセルアレイ56の詳細構成を示す図である。
図2に示すように、撮像処理系10は、非破壊走査対応型撮像素子100と、第1のAFE102と、第2のAFE104と、第3のAFE106と、第4のAFE108とを含んで構成される。
非破壊走査対応型撮像素子100(以下、撮像素子100と称す)は、被写体からの光を撮像レンズ(不図示)でセンサセルアレイ56(後述)に集光し、その集光量に応じた電荷をセンサセルアレイ56の各画素に蓄積させる。また、撮像素子100は、映像処理系12のタイミング制御器12b(後述)から出力される駆動信号(ピクセルクロック、水平同期信号及び垂直同期信号0)に基づいて、センサセルアレイ56の各画素列に標準露光時間の露光で蓄積されている電荷群を電圧群に順次変換すると共に、リセット直後の各画素列の電荷群を電圧群に順次変換する。また、撮像素子100は、後述する走査ラインスキャナ54の生成する垂直同期信号1に基づいて、センサセルアレイ56の各画素列に超短露光時間の露光で蓄積されている電荷群を電圧群に順次変換し、後述する走査ラインスキャナ54の生成する垂直同期信号2に基づいて、センサセルアレイ56の各画素列に短露光時間の露光で蓄積されている電荷群を電圧群に順次変換する。なお、撮像素子100は、ホストシステム2(後述)から駆動制御信号を与えることによって、画素信号の読み出し処理を制御することが可能であり、上記露光時間の組み合わせの他に、標準露光時間と、短露光時間又は超短露光時間のいずれか一方との組み合わせで画素信号の読み出し処理を行わせることが可能となっている。つまり、前述した標準露光時間、超短露光時間及び短露光時間の組み合わせの他に、標準露光時間及び超短露光時間、並びに標準露光時間及び短露光時間の組み合わせも選択可能となっている。
撮像素子100は、リセット直前の標準露光時間で露光された電荷群を変換してなる電圧群(画素信号)は、水平転送部58(後述)の有する、第1ラインメモリを含んで構成される第1出力チャンネル58a(以下、CH1と称す)を介して第1のAFE102に順次出力させ、リセット直後の電荷群を変換してなる電圧群(画素信号)は、水平転送部58(後述)の有する、第2ラインメモリを含んで構成される第2出力チャンネル58b(以下、CH2と称す)を介して第2のAFE102に順次出力させる。また、撮像素子100は、短露光時間で露光された電荷群を変換してなる電圧群は、水平転送部58(後述)の有する、第3ラインメモリを含んで構成される第3出力チャンネル58c(以下、CH3と称す)を介して第3のAFE106に出力させ、超短露光時間で露光された電荷群を変換してなる電圧群は、水平転送部58(後述)の有する、第4ラインメモリを含んで構成される第4出力チャンネル58d(以下、CH4と称す)を介して第4のAFE108に出力させる。
本実施の形態において、撮像素子100は、センサセルアレイ56の露光領域に対して、CH1及びCH2を介して破壊読み出し方式で各画素からのリセット前後の電荷の読み出しをそれぞれ独立に行い、CH3及びCH4を介して非破壊読み出し方式で、短露光時間での電荷の読み出し及び超短露光時間での電荷の読み出しをそれぞれ独立に行うことによって、電子シャッタ機能による1回の露光期間(標準露光時間)において、標準露光時間での露光時の電荷群と、リセット直後の電荷群と、短露光時間及び超短露光時間での露光時の電荷群とをそれぞれ独立に読み出すようになっている。
ここで、破壊読み出しと非破壊読み出しの動作の違いを説明する。破壊読み出しは、読み出し後、直ちにリセット処理(センサセル内に蓄積された電荷を空にする処理)を行い、再び読み出し動作を行う。リセット前の読み出し信号(アナログデータ)は第1ラインメモリに、リセット後の読み出し信号は第2ラインメモリに格納される。そして、差動増幅器60(後述)において、対応する画素信号の減算処理を行って信号レベルの検出及びノイズの除去を行う。一方、非破壊読み出しは、読み出し後にリセット処理は行わない。読み出し後の信号(アナログデータ)は各々第3ラインメモリ及び第4ラインメモリにそれぞれ別々に格納される。第1〜第4ラインメモリにそれぞれ格納された画素信号はピクセルクロックに同期して、第1〜第4のAFE102〜108にそれぞれ出力される。
第1〜第4のAFE102〜108は、水平転送部58のCH1〜CH4を介して出力されるそれぞれ異なる露光時間に対応する画素信号(アナログデータ)を、デジタルデータ(以下、画素データと称す)に変換する。そして、第1〜第4のAFE102〜108は、その生成された画素データを映像処理系12の非標準画像データ生成部・飽和予測部12c(後述)及びHDR画像生成部12d(後述)にそれぞれ出力する。
更に、図3に基づき、第1のAFE102の内部構成を説明する。
第1のAFE102は、図3に示すように、クランプ回路102aと、増幅回路102bと、A/D変換回路102cとを含んで構成される。
クランプ回路102aは、撮像素子100からの画素信号を受信し、それが遮光領域の信号かを検出し、遮光領域と検出された場合はその信号レベルが黒(基準)レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路102bに出力する。
増幅回路102bは、クランプ後の画素信号を、A/D変換回路102cの入力レンジと整合するように増幅し、この増幅後の画素信号をA/D変換回路102cに出力する。
A/D変換回路102cは、増幅回路102bからの画素信号(アナログデータ)を、画素データ(デジタルデータ)に変換して映像処理系12へと出力する。
なお、第1〜第4のAFE102〜108は、同一の内部構成となるので、第2〜第4のAFE104〜108に対する内部構成の説明は省略する。
更に、図4に基づき、撮像素子100の内部構成を説明する。
撮像素子100は、図4に示すように、基準タイミング発生器50と、駆動パルス発生器52と、走査ラインスキャナ54と、センサセルアレイ56と、水平転送部58とを含んで構成される。
基準タイミング発生器50は、映像処理系12のタイミング制御器12b(後述)からの垂直同期信号0及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号と、走査ラインスキャナ54からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ56に供給する。
走査ラインスキャナ54は、映像処理系12の通信器・DSP動作制御部12a(後述)からの開始ライン番号を指定する駆動制御信号に基づき、露光領域に対するリセットラインの位置を選択してリセットライン選択信号を生成し、露光領域に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号を生成し、これら生成した選択信号を駆動パルス発生器52に出力する。
センサセルアレイ56は、CMOS技術を用いて各画素が構成されており、駆動パルス発生器52から供給される駆動パルスに基づき、露光領域における各画素を標準露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に破壊読み出し方式で読み出して水平転送部58に順次出力する。一方、この標準露光時間の露光期間において、短露光時間及び超短露光時間の露光によって各画素に蓄積された電荷を、各画素のライン毎且つ各露光時間の種類毎に順次非破壊読み出し方式で読み出して水平転送部58に順次出力する。
水平転送部58は、センサセルアレイ56の露光領域における標準露光時間に対応する画素信号データ及びリセット直後の画素信号データを、各画素のライン毎にCH1の第1ラインメモリ及びCH2の第2ラインメモリNにそれぞれ記憶し、当該記憶した標準露光時間及びリセット直後の画素信号データを、差動増幅器60(後述)に出力する。
水平転送部58は、更に、センサセルアレイ56の露光領域における短露光時間及び超短露光時間にそれぞれ対応する画素信号データ(選択した組み合わせ内容によっては、いずれか一方になる)を、各画素のライン毎にCH3の第3ラインメモリ及びCH4の第4ラインメモリにそれぞれ記憶し、当該記憶した短露光時間及び超短露光時間の画素信号データを第3のAFE106及び第4のAFE108にそれぞれ出力する。
更に、図5に基づき、走査ラインスキャナ54の内部構成を説明する。
走査ラインスキャナ54は、図5に示すように、通常走査カウンタ54aと、通常走査アドレスデコーダ54bと、第1非破壊走査カウンタ54cと、第1非破壊走査アドレスデコーダ54dと、第2非破壊走査カウンタ54eと、第2非破壊走査アドレスデコーダ54fと、ORロジック54gとを含んで構成される。
通常走査カウンタ54aは、基準タイミング発生器50からの垂直同期信号0及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、露光領域の画素のライン番号に対応しており、このライン番号は、通常走査アドレスデコーダ54bに出力される。
通常走査アドレスデコーダ54bは、通常走査カウンタ54aからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置(アドレス)を示す読み出しライン制御信号をORロジック54gに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器52に出力する。
第1非破壊走査カウンタ54cは、通信器・DSP動作制御部12aからの開始ライン番号を示す情報に基づき、通常走査カウンタ54aとは非同期にカウントアップ動作を繰り返す。ここで、カウンタの値は、露光領域の画素のライン番号に対応しており、このライン番号は、第1非破壊走査アドレスデコーダ54dに出力される。また、第1非破壊走査カウンタ54cは、短露光時間の露光による非破壊読み出しのための垂直同期信号である垂直同期信号1を生成し、当該生成した垂直同期信号1を映像処理系12のタイミング制御器12bに出力する。
第1非破壊走査アドレスデコーダ54dは、第1非破壊走査カウンタ54cからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置(アドレス)を示す読み出しライン制御信号をORロジック54gに出力する。
第2非破壊走査カウンタ54eは、第1非破壊走査カウンタ54cと同様の構成となっており、通常走査カウンタ54aとは非同期にカウントアップ動作を繰り返し、カウンタ値の示すライン番号を、第2非破壊走査アドレスデコーダ54dに出力する。また、第2非破壊走査カウンタ54eは、超短露光時間の露光による非破壊読み出しのための垂直同期信号である垂直同期信号2を生成し、当該生成した垂直同期信号2を映像処理系12のタイミング制御器12bに出力する。
第2非破壊走査アドレスデコーダ54fは、第1非破壊走査アドレスデコーダ54dと同様の構成となっており、第2非破壊走査カウンタ54eからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置(アドレス)を示す読み出しライン制御信号をORロジック54gに出力する。
ORロジック54gは、通常走査アドレスデコーダ54bからの読み出しライン制御信号と、第1及び第2非破壊走査アドレスデコーダ54d及び54fからの読み出しライン制御信号とに基づき、各ライン毎にOR演算を行い、露光領域に対する各露光時間毎の最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器52に出力される。
更に、図6に基づき、センサセルアレイ56の詳細構成を説明する。
図6に示すように、センサセルアレイ56は、CMOSを用いて構成された複数のセンサセル(画素)56aをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル56aに対して、アドレス線、リセット線及び読出し線が共通に接続され、この3本の制御線を介して各種駆動信号が各画素列を構成するセンサセル56aに送信される。そして、アドレス線及び読出し線が有効になると、図6に示す信号線を介して蓄積電荷を第1〜第4出力チャンネル58a〜58dのいずれかに転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に(選択)し、当該選択信号で選択した画素列の各センサセル56aに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。
更に、図7に基づき、撮像素子100の露光時間の制御方法、及びセンサセルアレイ56からの画素信号の読み出し方法について説明する。ここで、図7は、撮像素子100のセンサセルアレイ56における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
ここで、本発明の露光時間の制御は、センサセルアレイ56の露光領域に対して、各画素のラインの蓄積電荷のリセット及び標準露光時間の画素信号の読み出しを行う通常走査ライン(読み出しライン)L1を設定すると共に、センサセルアレイ56の露光領域に対して、短露光時間の画素信号の非破壊読み出しを行う高速走査ライン(読み出しライン)L2及び超短露光時間の画素信号の非破壊読み出しを行う高速走査ライン(読み出しライン)L3を設定する。そして、1回の露光期間(標準露光時間)において、標準露光時間で露光時の画素信号の読み出し及びリセット並びに短露光時間及び超短露光時間で露光時の画素信号の非破壊読み出しがそれぞれ独立に実行されるように行われる。つまり、通常走査ラインL1及び高速走査ラインL2及びL3は、図7に示すように、露光領域における画素のラインに順次標準露光時間分の電荷が蓄積されると、通常走査ラインL1が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間分の電荷が蓄積される期間中、超短露光時間及び短露光時間において各画素のラインの画素信号を非破壊で順次読み出すように高速走査ラインL2及びL3がそれぞれ設定される。
なお、本実施の形態においては、図7に示すように、標準露光時間で露光時の画素信号(アナログデータ)は、CH1の第1ラインメモリに読み出され、一方、リセット直後の画素信号は、CH2の第2ラインメモリに読み出される。そして、これら読み出された画素信号は、図7に示すように、水平転送部58の出力側に設けられた差動増幅器60に出力され、当該差動増幅器60において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第1のAFE102に出力されそこでデジタルデータ(画素データ)に変換される。一方、CH2の第2ラインメモリに読み出されたリセット直後の画素信号は、そのまま第2のAFEに出力されそこでデジタルデータ(画素データ)に変換される。
また、短露光時間で露光時の画素信号は、CH3の第3ラインメモリに読み出されて第3のAFE106に出力されそこでデジタルデータ(画素データ)に変換され、超短露光時間で露光時の画素信号は、CH4の第4ラインメモリに読み出されて第4のAFE108に出力されそこでデジタルデータ(画素データ)に変換される。
また、上記通常走査ラインL1並びに高速走査ラインL2及びL3の画素信号の読み出しタイミングの制御は、図7に示すように、各画素のライン毎に、通常走査ラインL1を順次走査し(図7では上方向)、当該通常走査ラインL1においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット前後に標準露光時間の露光が行われた画素の画素信号及びリセット直後の画素信号の読み出しを行う。そして、例えば、第1ラインにおいて画素信号の読み出し及びリセットを行い、画素信号がラインメモリから全て外部に読み出された後に、通常走査ラインL1の走査が順次行われ、通常走査ラインL1が再び第1ラインに到達したときに、丁度標準露光時間が経過するタイミングで通常走査ラインL1の走査が行われる。このような手順で、センサセルアレイ56の露光領域の画素のラインに対して、各画素のライン毎に、通常露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。一方、通常走査ラインL1によって蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、高速走査ラインL3において超短露光時間の露光が行われた画素の画素信号の非破壊読み出しを行い、引き続き、高速走査ラインL2において短露光時間の露光が行われた画素の画素信号の非破壊読み出しを行う。このような手順で、センサセルアレイ56の各画素のラインに対して、ライン毎に、超短露光時間及び短露光時間で露光時の画素信号の非破壊読み出しを順次行う。
更に、図8〜図11に基づき、映像処理系12の内部構成を説明する。ここで、図8は、映像処理系12の内部構成を示すブロック図である。また、図9は、非標準画像データ生成部・飽和予測部12cの内部構成を示す図である。また、図10(a)は、第1非標準画像生成部70の内部構成を示す図であり、(b)は、第1飽和予測部72の内部構成を示す図であり、(c)は、第1合成画像生成部73の内部構成を示す図である。また、図11は、破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。また、図12は、センサセルアレイ56の各画素の異なる照射光量に対する露光時間と信号レベル(輝度レベル)との推移の一例を示す図である。また、図13は、第1の実施の形態におけるHDR画像生成部12dの内部構成を示す図である。
映像処理系12は、図8に示すように、通信器・DSP動作制御部12aと、タイミング制御器12bと、非標準画像データ生成部・飽和予測部12cと、HDR画像生成部12dと、メモリアクセス調停器12eと、出力読出器12fとを含んで構成される。
通信器・DSP動作制御部12aは、システムコントローラ2a(後述)から、センサセルアレイ56の非破壊読み出しに対する開始ライン番号に関する情報を取得し、当該取得した開始ライン番号を示す駆動制御信号を、撮像処理系10の走査ラインスキャナ54に出力する。
タイミング制御器12bは、撮像素子100の駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を生成し、それを撮像素子100の基準タイミング発生器50に出力する。また、タイミング制御器12bは、水平同期信号、垂直同期信号0から、撮像処理系10のCH1から出力される全露光領域の標準露光時間で露光時の画素信号に対応する、撮像素子100のセンサセルアレイ56における画素位置(画素列(ライン)番号、画素番号)が分かるので、その画素列(ライン)番号(以下、「アドレス情報」とも呼ぶ。)を生成し、そのアドレス情報をHDR画像生成部12dに出力する。また、タイミング制御器12bは、撮像処理系10からの垂直同期信号1及び垂直同期信号2から、撮像処理系10のCH3及びCH4からそれぞれ出力される短露光時間及び超短露光時間で露光時の画素信号に対応する、撮像素子100のセンサセルアレイ56における画素位置が分かるので、そのアドレス情報を生成し、当該アドレス情報を非標準画像データ生成部・飽和予測部12cに出力する。
非標準画像データ生成部・飽和予測部12cは、図9に示すように、第1非標準画像生成部70と、第1飽和予測部72と、第1合成画像生成部73と、飽和予測結果格納メモリ74と、第2非標準画像生成部75と、第2飽和予測部76と、第2合成画像生成部77とを含んで構成される。
第1非標準画像生成部70は、図10(a)に示すように、減算器70aを含んで構成される。ここで、標準露光時間以外の露光時間に対応する画素データを非標準露光画素データと称す。つまり、超短露光時間及び短露光時間にそれぞれ対応する超短露光画素データ及び短露光画素データは非標準露光画素データとなる。
減算器70aは、撮像処理系10から入力された非標準露光画素データの一つである短露光画像データ(ライン単位の短露光画素データ)の示す各画素値から、当該各短露光画素データと同じ画素位置の、メモリアクセス調停器12eを介してフレームメモリ14から読み出したリセット直後の画素データである基準画素データの示す画素値を減算するようになっている。そして、第1非標準画像生成部70は、この差分値からなる短露光画像データを、第1飽和予測部72及び第1合成画像生成部73にそれぞれ出力する。
ここで、非標準画像データ生成部・飽和予測部12cは、撮像処理系10から入力される基準画素データを、タイミング制御器12bから入力されるアドレス情報に基づき、メモリアクセス調停器12eを介してフレームメモリ14に記憶し、以降はこの記憶された基準画素データを読み出して用いる。従って、基準画像データは、最初の1回(標準露光期間)のみ取得すれば良いことになる。
また、第1非標準画像生成部70の動作説明の為、図11に基づき、センサセルアレイ56の各画素における蓄積電荷量の推移について説明する。
図11に示すように、1フレーム(標準露光時間)の露光において、センサセルアレイ56の各画素に蓄積される電荷量は時間の経過と共に増加する。超短露光時間(図中T2)及び短露光時間(図中T1)においては、非破壊読み出し方式で各画素から電荷を読み出すので、露光中に電荷の読み出しを何度行っても各画素の蓄積電荷量が維持される。
なお、図11中のリセットタイミングは、センサセルアレイ56に蓄積された電荷を空にするタイミングであり、このタイミングが標準露光時間を決定する。また、例えば、図11に示す(1)〜(3)のタイミングで電荷を非破壊で読み出し、そして前述の如く、差分から画像を生成する。すなわち、(1)のタイミングで読み出したリセット直後の電荷量と、(2)及び(3)の各タイミングでそれぞれ読み出した電荷量とのそれぞれの差分から画像を生成する。
また、撮像処理系10から取得した非破壊読み出しされた画素データは、各画素のばらつきが要因の固定パターンノイズが混合してしまう。そのため、差分値を算出することで固定パターンノイズを除去する。
図9に戻って、第1飽和予測部72は、図10(b)に示すように、比較器72aを含んで構成される。
比較器72aは、第1非標準画像生成部70から入力された短露光画素データの示す輝度値V1と、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された短露光時間用の飽和予測用の輝度値である飽和予測レベルTHR1とを比較し、「V1>THR1」であれば飽和予測結果として「1」を出力し、「V1≦THR1」であれば飽和予測結果として「0」を出力するようになっている。つまり、飽和予測結果が「1」である場合は、その短露光画素データに対応する画素の蓄積電荷量は、標準露光時間の経過時において飽和すると予測されたこととなり、一方、飽和予測結果が「0」である場合は、その短露光画素データに対応する画素の蓄積電荷量は、標準露光時間の経過時において飽和しないと予測されたこととなる。そして、第1飽和予測部72は、この飽和予測結果を第1合成画像生成部73に出力すると共に、当該飽和予測結果を飽和予測結果格納メモリ74に出力する。
ここで、第1飽和予測部72の動作説明の為、図12に基づき、センサセルアレイ56の各画素の異なる照射光量に対する露光時間と信号レベル(輝度レベル)との推移について説明する。
図12に示すように、超短露光時間をT2、短露光時間をT1、標準露光時間をT0とし、T0において丁度飽和レベルVmax(これを越えると飽和する輝度値)に到達するような傾きで蓄積電荷量が増加する場合を考える。この場合の単位時間あたりの照射光量をS0とすると、T2、T1における蓄積電荷量から、これらの単位時間あたりの照射光量S2、S1が解れば、その画素がT0で飽和するか否かを予測することが可能である。ここで、センサセルアレイ56の飽和レベルVmaxは、予め測定可能であり、また、照射光量が一定であれば、露光時間と、出力輝度レベルとには相関関係(ほぼ比例関係)がある。つまり、標準露光時間の露光期間中に、撮像対象に急激な輝度変化が無い限りは、蓄積電荷量はほぼ線形に増加(ほぼ一定の増加量で増加)する。
従って、T0の時点でVmaxとなる単位時間当たりの増加量(照射光量)S0と、T2、T1の時点における単位時間あたりの照射光量とを比較して、これらがS0以下となる場合は、その画素はT2の時点で飽和しないと予測することができる。逆に、T2、T1の時点における照射光量の少なくとも一方がS0を越えるような場合は、その画素はT0の時点で飽和すると予測することができる。例えば、図12に示すように、T1の時点で蓄積電荷量がVmaxに到達するような推移をする場合は、T2、T1の時点における照射光量は両者ともS0を越えるので、第1飽和予測部72は、対象の画素が標準露光時間T0で飽和すると予測する。また、超短露光画素データ及び短露光画素データの両方を用いて予測を行う場合は、図12に示すように、T2における照射光量が、T1の時点でVmaxとなる単位時間当たりの増加量(照射光量)S1を越えるような場合に、その画素はT1の時点で飽和すると予測することができる。つまり、短露光時間で飽和してしまうような場合に、超短露光画素データを用いてHDR画素データを生成することができる。
図9に戻って、第1合成画像生成部73は、図10(c)に示すように、選択出力器73aを含んで構成される。
選択出力器73aは、第1飽和予測部72から入力された飽和予測結果に基づき、第1非標準画像生成部70から入力された短露光画素データと、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR1とのいずれか一方を選択し、当該選択したデータを出力する。具体的には、飽和予測結果が「1」であれば短露光画素データを出力し、飽和予測結果が「0」であれば飽和予測レベルTHR1を出力する。そして、第1合成画像生成部73は、選択出力された短露光画素データ又は飽和予測レベルTHR1を、合成出力用の短露光画素データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。
飽和予測結果格納メモリ74は、第1飽和予測部72及び第2飽和予測部76から入力される飽和予測結果を格納するメモリである。これは、超短露光画素データと、短露光画素データとに基づき飽和予測を行う際に、それぞれライン番号が異なる際の時間(位相)差を吸収する為に設けられたものである。つまり、先に超短露光画素データに基づく飽和予測が行われ、その所定時間後に短露光画素データに基づく飽和予測が行われるので、その時間差を吸収する。具体的には、超短露光画素データに基づく飽和予測結果を飽和予測結果格納メモリ74に格納し、次の短露光画素データに基づく飽和予測結果を、前記超短露光画素データによる予測結果に加えて格納する(この2つの予測結果が、最終的な予測結果となる)。但し、飽和予測結果格納メモリ74は、前述したように、読み出し処理において、標準露光時間、超短露光時間及び短露光時間の3種類の露光時間による読み出しを行う組み合わせが選択されている場合に上記時間差を吸収する機能を発揮する。
第2非標準画像生成部75は、取り扱うデータが超短露光画像データである点が異なるだけで、第1非標準画像生成部70と同様の構成となっており、超短露光画像データ(ライン単位の短露光画素データ)を構成する各超短露光画素データの示す各画素値から、当該各超短露光画素データと同じ画素位置の、フレームメモリ14に記憶されたリセット直後の画素データである基準画素データの示す画素値を減算するようになっている。そして、第2非標準画像生成部75は、この差分値からなる超短露光画像データを、第2飽和予測部76及び第2合成画像生成部77にそれぞれ出力する。
第2飽和予測部76は、第1の飽和予測部72と同様の構成となっており、内部の比較器76aにおいて、第2非標準画像生成部75から入力された超短露光画素データの示す輝度値V2と、システムコントローラ2aからの入力された超短露光時間用の飽和予測レベルTHR2とを比較し、「V2>THR2」であれば飽和予測結果として「1」を出力し、「V2≦THR2」であれば飽和予測結果として「0」を出力するようになっている。ここでの飽和予測は2つのパターンが考えられ、T2の時点で、T1において飽和となるか否かを予測するパターンと、T0において飽和となるか否かを予測するパターンとがある。本実施の形態においては、システムコントローラ2aから制御信号を与えることによって、これら2つのパターンを切り替えることができる。そして、第2飽和予測部76は、超短露光画素データ及び飽和予測レベルTHR2のいずれか選択された方を、第2合成画像生成部77に出力する。
第2合成画像生成部77は、第1合成画像生成部73と同様の構成となっており、内部の選択出力器77aにおいて、第2飽和予測部76から入力された飽和予測結果に基づき、飽和予測結果が「1」であれば超短露光画素データを出力し、飽和予測結果が「0」であれば飽和予測レベルTHR2を出力する。そして、第2合成画像生成部77は、超短露光画素データ及び飽和予測レベルTHR2のいずれか選択出力された方を、合成出力用の超短露光画素データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。
次に、図13に基づき、HDR画像生成部12dの内部構成を説明する。
ここで、内部構成を説明する前に、本実施の形態におけるHDR画像生成部12dの動作原理について説明する。
前述した短露光時間T1を標準露光時間T0の1/K1とする(T1=T0/K1)。また、T1において、S0で照射されている画素の信号出力レベルは、Vmax/K1(これを、上記THR1とする)と予測できる。つまり、リセット後、時間T1を経過後に全ての画素をサンプリングし(全ての画素から画素信号の読出しを行い)、各画素の信号出力レベルが判定閾値THR1を越える画素は、時間T0を経過後に飽和すると予測(判定)する。また、THR1以下の画素は時間T0を経過後に飽和しない(非飽和である)と予測(判定)する。
上記のことを前提として、以下、本実施の形態におけるHDR画像の生成方法について説明する。
ここで、本実施の形態においては、撮像処理系10において、非標準露光画素データとして、短露光時間で露光された短露光画素データのみを取得することとする。また、本実施の形態においては、広ダイナミックレンジで出力できる表示装置を前提とし、露光時間の正規化、具体的には標準露光時間T0で正規化する線形合成によってHDR画像を生成する。従って、T0の標準露光画素データの値が非飽和であると予測された場合は、当該標準露光画素データを使い、それ以外の場合は、T1で取得した短露光画素データを正規化したデータを使って合成出力を求める。
具体的には、短露光画素データに対して、これを仮想的にT0まで露光時間を伸ばしたときに、それが幾つになるかを予測し、短露光画素データをその予測した値に補正して用いる。つまり、T0で非飽和のときの標準露光画素データと、T0で飽和のときの輝度補正後の短露光画素データとを合成してHDR画像データを生成する。また、本実施の形態においては、補正後の短露光画素データを、単純な線形合成(K1×V1)として扱うことも可能だが、ノイズによる判定のばらつきをより抑えるために、通常の線形合成にニー方式の考え方を取り入れた合成を行う。つまり、下式(1)に従って、T1での短露光画素データの値V1と、T0での標準露光画素データの値V0とを用いた線形合成を行う。

合成出力=K1×V1
=K1×(V1−Vmax/K1+Vmax/K1)
=K1×(V1−Vmax/K1)+Vmax
=K1×(V1−THR1)+(T0における信号出力)・・・(1)

上式(1)において、標準露光時間T0と短露光時間T1との比(正規化係数)がK1(=T0/T1)となる。
以上のことを踏まえて、HDR画像生成部12dの内部構成を説明する。
HDR画像生成部12dは、図13に示すように、減算器80と、乗算器81と、加算器82とを含んで構成される。
減算器80は、メモリアクセス調停器12eを介してフレームメモリ14から、合成用の短露光画像データを読み出し、当該短露光画像データを構成する各短露光画素データ(V1)、又は飽和予測レベル(THR1)から、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力される飽和予測レベル(THR1)を減算し、当該減算結果を乗算器81に出力する。つまり、標準露光時間T0において飽和すると予測された画素の場合は短露光画素データが入力されるので、上式(2)における(V1−THR1)が0以外の値となり、標準露光時間T0において飽和しないと予測された画素の場合はV1として飽和予測レベル(THR1)が入力されるので、上式(1)における(V1−THR1)が0となる。
乗算器81は、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力される正規化係数K1と、減算器80から入力される(V1−THR1)の値とを乗算し、当該乗算結果を加算器82に出力する。このとき、標準露光時間T0において飽和しないと予測された場合は、前述したように(V1−THR1)の値は0となるので、正規化係数K1を乗算した結果も0となる。
加算器82は、乗算器81から入力される乗算結果と、撮像処理系10から入力される標準画像データ(ライン単位)を構成する前記乗算結果に対応する標準露光画素データとを加算し、当該加算結果を合成出力として出力する。そして、HDR画像生成部12dは、前記合成出力をHDR画像データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。
図8に戻って、メモリアクセス調停器12eは、非標準画像データ生成部・飽和予測部12c、HDR画像生成部12d及び出力読出器12fの3系統からのフレームメモリ14に対する読み込み・書き込み命令に応じて、これら3系統のフレームメモリ14の画像データへのアクセス要求を調停しアクセスを行う。
出力読出器12fは、システムコントローラ2aからの出力タイミング信号に同期して、メモリアクセス調停器12eを介してフレームメモリ14内のHDR画像データを読み出し、この読み出したHDR画像データをシステムコントローラ2aに出力する。
フレームメモリ14は、図8に示すように、基準画像データ、超短露光画像データ、短露光画像データ、HDR画像データ等の各種画像データを記憶するメモリであり、メモリアクセス調停器12eから読み出し要求があると、その要求が示す画素データを読み出させる。また、フレームメモリ14は、メモリアクセス調停器12eから書き込み要求があると、その書き込み要求が示す画素データを書き込ませる。
更に、図2に戻って、ホストシステム2の内部構成を説明する。
ホストシステム2は、システムコントローラ2aと、表示装置2bとを含んで構成される。
システムコントローラ2aは、映像処理系(DSP)12からHDR画像データを取得し、当該取得したHDR画像データに基づき表示装置2bに広ダイナミックレンジ画像を表示させたり、撮像装置1に各種制御信号や各種データを与えて、その動作を制御したりする。
表示装置2bは、液晶ディスプレイ等の表示デバイスから構成されており、広ダイナミックレンジ画像を表示できる機能を有している。そして、システムコントローラ2aからの指示に応じて、映像処理系12から取得したHDR画像データの画像を表示する。
次に、本実施の形態の実際の動作を説明する。
以下、非標準露光画素データとして短露光画素データの読み出しのみを行う場合の動作を説明する。また、本実施の形態においては、非破壊読み出しにおけるサンプリング時間(短露光時間)を、標準露光時間の1/10の時間とする。
撮像装置1は、電源が投入され、映像処理系12において、ホストシステム2から露光時間に関する情報と、非破壊読み出しに対する開始ライン番号に関する情報とを取得すると、通信器・DSP動作制御部12aによって、非破壊読み出しの開始ライン番号を指定する駆動制御信号を撮像処理系10に送信する。更に、タイミング制御器12bにおいて、露光領域に対する標準露光時間の画素信号が得られるように撮像素子100を駆動する駆動信号(ピクセルクロック、垂直同期信号0及び水平同期信号)を撮像処理系10に出力する。
撮像処理系10は、駆動制御信号を受信すると、走査ラインスキャナ54において、垂直同期信号0及び水平同期信号に同期してリセットライン選択信号と、標準露光時間の破壊読み出しに対する読み出しライン制御信号を生成する。また、開始ライン番号及び水平同期信号に基づき、短露光時間の非破壊読み出しに対する読み出しライン制御信号を生成する。更に、これら生成した読み出し制御信号をORロジック54gに入力し、各露光時間に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号(2種類)を駆動パルス発生器52に出力する。駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号及び走査ラインスキャナ54からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ56に供給する。
センサセルアレイ56は、駆動パルス発生器52からの駆動パルスに基づき、通常走査ラインL1及び高速走査ラインL2を走査して、露光領域の各画素のラインから標準露光時間の露光により蓄積した電荷の破壊読み出しを行い(読み出し後に蓄積電荷のリセットを行う)、この破壊読み出し動作とは独立に、露光領域の各画素のラインから短露光時間の露光により蓄積した電荷の非破壊読み出しを行う(読み出し後に蓄積電荷のリセットを行わない)。そして、通常走査ラインL1の走査によって読み出した電荷から構成されるリセット前後の画素信号を水平転送部58のCH1及びCH2を介して差動増幅器60に出力し、差動増幅器60においてこれらの差分値を算出しその算出結果を第1のAFE102に出力する。また、リセット直後の画素信号を水平転送部58のCH2を介して第2のAFE104に出力する。一方、高速走査ラインL2の走査によって読み出した電荷から構成される画素信号を水平転送部58のCH3を介して第3のAFE106に出力する。
第1のAFE102は、差動増幅器60を介して順次出力される標準露光時間の露光に対する画素信号(アナログデータ)をデジタルデータに変換してなる標準露光画素データを生成し映像処理系12に出力する。一方、第2のAFE104は、CH2を介して順次出力されるリセット直後の画素信号(アナログデータ)をデジタルデータに変換してなる基準画素データを生成し映像処理系12に出力する。また、第3のAFE106は、短露光時間の露光に対する画素信号(アナログデータ)をデジタルデータに変換してなる短露光画素データを生成し映像処理系12に出力する。
映像処理系12では、第1のAFE102から出力された標準露光画像データをHDR画像生成部12dに入力し、第2のAFE104から出力された基準画像データ及び第3のAFE106から出力された短露光画像データを非標準画像データ生成部・飽和予測部12cに入力する。
非標準画像データ生成部・飽和予測部12cは、撮像処理系10から基準画像データが入力され、且つタイミング制御器12bからアドレス情報が入力されると、当該アドレス情報に基づき、基準画像データを、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。次に、非標準画像データ生成部・飽和予測部12cは、撮像処理系10から引き続き短露光画像データが入力されると、第1非標準画像生成部70の減算器70aにおいて、短露光画像データを構成する各短露光画素データの画素値から、フレームメモリ14に記憶された、当該短露光画素データと同じ画素位置の基準画素データの画素値を減算して、固定パターンノイズを除去した短露光画素データを生成する。第1非標準画像生成部70は、短露光画像データ(ライン単位)が生成されると、これを、第1飽和予測部72及び第1合成画像生成部73にそれぞれ出力する。
第1飽和予測部72は、第1非標準画像生成部70から短露光画像データが入力され、通信器・DSP動作制御部12aから飽和予測レベルTHR1が入力されると、比較器72aにおいて、短露光画像データを構成する各短露光画素データの示す輝度値V1と、THR1とを比較する。前述したように、短露光時間T1を標準露光時間T0の1/10としたので、図13に示すように、T1において、前述したS0で照射されている画素の信号出力レベルは、Vmax/10になると予測できる。従って、ここでは、正規化係数K1を10とし、THR1を「Vmax/10」とする。従って、比較器72aは、「V1>Vmax/10」であれば、対象の画素は標準露光時間において飽和すると予測して飽和予測結果として「1」を出力する。一方、「V1≦Vmax/10」であれば、対象の画素は標準露光時間において飽和しないと予測して飽和予測結果として「0」を出力する。第1飽和予測部72は、この飽和予測結果を第1合成画像生成部73に出力すると共に、当該飽和予測結果を飽和予測結果格納メモリ74に出力する。
このように、短露光画素データに基づき飽和/非飽和の予測(判定)を行うようにし、且つ短露光画素データを基準画素データとの差分値により構成したので、混入するノイズレベルの低い画素データに基づき飽和/非飽和の予測(判定)を行うことができるので、精度の高い飽和/非飽和の予測(判定)を行うことが可能である。
第1合成画像生成部73は、第1非標準画像生成部70から短露光画像データが入力され、第1飽和予測部72から飽和予測結果が入力されると、選択出力器73aにおいて、各短露光画素データについて、飽和予測結果が「1」であれば短露光画素データ(V1)を、「0」であれば、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR1を選択して出力する。この選択出力は、合成用の短露光画素データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶される。
一方、HDR画像生成部12dは、非標準画像データ生成部・飽和予測部12cにおいて、短露光画像データが生成され、且つ撮像処理系10から標準露光画像データが入力されると、通常の線形合成とニー方式とを合わせた線形合成により、HDR画像データを生成する。
HDR画像生成部12dは、減算器80、乗算器81及び加算器82を用いて、上式(1)に従った処理を行いHDR画像データを生成する。
ここでは、短露光画素データの輝度値(差分処理後)=V1、K1=10、THR1=Vmax/10、標準露光画素データの値(T0における信号出力)=V0≒Vmaxとなるので、上式(1)は、下式(2)となる。

合成出力=10×(V1−Vmax/10)+V0 ・・・・・・・・・・(2)
つまり、HDR画像生成部12dは、まず、メモリアクセス調停器12eを介してフレームメモリ14から、合成用の短露光画像データを読み出し、これを減算器80に入力すると共に、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR1を減算器80に入力する。次に、減算器80において、入力された短露光画像データを構成する各短露光画素データの示す輝度値V1又はTHR1(Vmax/10)から、THR1(Vmax/10)を減算し、この減算結果を乗算器81に出力する。つまり、標準露光時間において飽和する画素の場合はV1とTHR1との差分値「V1−Vmax/10」が出力され、標準露光時間において飽和しない画素の場合は「0」が出力される。
乗算器81は、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された正規化係数K1(10)と、減算器80から入力された減算結果とを乗算し、当該乗算結果「10×(V1−Vmax/10)」又は「0」を、加算器82に出力する。
加算器82は、撮像処理系10から入力された標準露光画像データを構成する標準露光画素データの示す輝度値V0と、乗算器81から入力された乗算結果とを加算し、当該加算結果「10×(V1−Vmax/10)+V0」又は「V0」をHDR合成出力として出力する。つまり、標準露光時間T0において、飽和すると予測された画素については、その短露光画素データを正規化した「10×(V1−Vmax/10)+V0」がHDR画素データとして出力され、一方、標準露光時間T0において、飽和しないと予測された画素については、その標準露光画素データ「V0」そのものがHDR画素データとして出力される。つまり、HDR画像データは、前述したように精度良く飽和/非飽和が予測された予測結果に基づき選択された、短露光画素データを正規化した画素データと、標準露光画素データとが合成されたものとなる。そして、このHDR画像データは、メモリアクセス調停器12eを介してフレームメモリ14に記憶される。
一方、システムコントローラ2aは、撮像装置1に対して各種同期信号を出力してHDR画像データの読み出し要求を行う。
出力読出器12fは、システムコントローラ2aからの各種同期信号に同期して、フレームメモリ14内に記憶されたHDR画像データを、メモリアクセス調停器12eを介して読み出し、この読み出したHDR画像データをシステムコントローラ2aに出力する。システムコントローラ2aは、出力読出器12fから出力されたHDR画像データを取得し、当該取得したHDR画像データを表示装置2bに表示させる。
このように、本実施の形態の撮像システム3は、撮像対象を、1つの撮像素子(センサセルアレイ56)において、標準露光時間の露光で破壊読み出しにより撮像すると共に、この標準露光時間の露光期間において、短露光時間の露光で非破壊読み出しにより撮像することが可能であるので、HDR画像の生成に用いる標準露光画像データと、飽和/非飽和の判定及びHDR画像の生成に用いる非標準露光(短露光)画像データとを同時に取得することができる。
また、撮像システム3は、短露光画像データに基づき、短露光画像データに対応する画素が標準露光時間において飽和するか否かを予測することが可能であるので、時間経過とともに増加する暗電流雑音等のノイズの影響が少ない画素データから精度良く飽和/非飽和を判定することができる。また、標準露光画像で飽和判定する場合に比べ、画素毎の飽和レベル、感度のばらつきに対しても、誤判定が抑えられる。すなわち、短露光画像で判定する場合、判定レベルが低く設定されるので、飽和レベルのばらつき、感度のばらつきの影響を受け難い。また、この予測結果に基づき、HDR画像データの生成に用いる画素データを、標準露光画素データ及び短露光画素データのいずれかから選択することが可能であるので、標準露光時間において飽和しない標準露光画素データを正確に選択することができ、これにより、画質の安定した(誤選択の極めて少ない)HDR画像データを生成することができる。
また、撮像システム3は、通常の線形合成とニー方式とを合わせた手法によって、標準露光画素データ及び短露光画素データを用いて、T0で飽和する場合の短露光画素データを合成することが可能であるので、通常の線形合成と比較して合成用の短露光画素データ(HDR画素データ)に含まれるノイズ成分を積分効果(ローパスフィルタ)により低減することができる。また、万が一誤判定があっても、式(1)の(V1−THR1)の値が、単なるV1よりも小さくなり、K1倍増幅したときの影響を抑えることができる。
上記第1の実施の形態において、センサセルアレイ56は、形態1、2、12及び13のいずれか1の光電変換部に対応し、撮像処理系10の非破壊走査対応型撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52、水平転送部58によるセンサセルアレイ56の露光領域からの標準露光時間での電荷の破壊読み出し処理は、形態1、2、3、6及び12のいずれか1の第1読出手段又は形態13の第1読出ステップに対応し、撮像処理系10の非破壊走査対応型撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52、水平転送部58によるセンサセルアレイ56の露光領域からの超短露光時間及び短露光時間での電荷の非破壊読み出し処理は、形態1〜6及び12のいずれか1の第2読出手段又は形態13の第2読出ステップに対応する。
また、上記第1の実施の形態において、非標準画像データ生成部・飽和予測部12cにおける、飽和/非飽和の予測処理は、形態1、2、3、4、6及び12のいずれか1の飽和予測手段又は形態13の飽和予測ステップに対応し、HDR画像生成部12dは、形態2、4、6、7、8及び12のいずれか1のHDR画像データ生成手段又は形態13のHDR画像データ生成ステップに対応する。
〔第2の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第2の実施の形態を、図面に基づいて説明する。図14は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第2の実施の形態を示す図である。
本実施の形態は、非標準画素データとして、超短露光画素データ及び短露光画素データの両方を取得し、超短露光画素データ及び短露光画素データに基づき、飽和/非飽和の予測を行うと共に、対象の画素が短露光時間T1で飽和すると予測された場合は、基準画像データによって差分処理の施された、超短露光画素データ、短露光画素データ及び標準露光画素データの全てを用いて合成出力(HDR画素データ)を生成する点が上記第1の実施の形態と異なる。従って、本実施の形態は、上記第1の実施の形態における図8のHDR画像生成部12dの構成が一部異なるだけで、それ以外の構成及び動作は上記第1の実施の形態の撮像システム3と同じとなる。以下、上記第1の実施の形態と異なる部分のみ説明を行うこととする。
以下、図14に基づき、本実施の形態の撮像装置1におけるHDR画像生成部12dの内部構成を説明する。ここで、図14(a)は、本実施の形態のHDR画像生成部12dの内部構成を示すブロック図であり、(b)は、超短露光合成部91の内部構成を示すブロック図である。
まず、内部構成を説明する前に、本実施の形態におけるHDR画像生成部12dの動作原理について説明する。
上記第1の実施の形態と同様に、短露光時間T1を標準露光時間T0の1/K1(T1=T0/K1)とし、一方、本実施の形態において、超短露光時間T2を短露光時間T1の1/K2とする。また、上記第1の実施の形態と同様に、S0で照射されている画素のT1での信号出力レベルをVmax/K1(THR1)とし、一方、本実施の形態において、S1で照射されている画素のT2での信号出力レベルを、Vmax/K2(これを、超短露光時間用の飽和予測レベルTHR2とする)。つまり、リセット後、時間T2経過後に全ての画素をサンプリングし、各画素の信号出力レベルが判定閾値THR2を越える画素は、時間T1を経過後に飽和すると予測する。また、THR2以下の画素は時間T1を経過後に飽和しない(非飽和である)と予測する。一方、上記第1の実施の形態と同様に、リセット後、時間T1を経過後に全ての画素をサンプリングし、各画素の信号出力レベルが判定閾値THR1を越える画素は、時間T0を経過後に飽和すると予測(判定)する。また、THR1以下の画素は時間T0を経過後に飽和しない(非飽和である)と予測(判定)する。
上記のことを前提として、以下、本実施の形態におけるHDR画像の生成方法について説明する。
ここで、本実施の形態においては、撮像処理系10において、非標準露光画素データとして、超短露光時間及び短露光時間で露光された全画素の超短露光画素データ及び短露光画素データを取得することとする。また、本実施の形態においては、超短露光画素データ及び短露光画素データに対して、これを仮想的にT0まで露光時間を伸ばしたときに、それが幾つになるかを予測し、超短露光画素データ及び短露光画素データをその予測した値に補正して用いる。
つまり、T0で非飽和となるときの標準露光画素データと、T2で飽和せずT1で飽和するときの輝度補正後の超短露光画素データと、T1で飽和せずT0で飽和するときの輝度補正後の短露光画素データとを合成してHDR画像データを生成する。また、本実施の形態においても、上記第1の実施の形態と同様に、通常の線形合成にニー方式の考え方を取り入れた合成を行う。つまり、T1で飽和せずにT0で飽和すると予測された場合は、上式(1)に従って、T1での短露光画素データの値V1と、T0での標準露光画素データの値V0とを用いた線形合成を行う。更に、T2で飽和せずにT1で飽和すると予測された場合は、下式(4)及び(5)に従って、T0での超短露光画素データの値V2と、T1での短露光画素データの値V1と、T0での標準露光画素データの値V0とを用いた線形合成を行う。

「T1での予測値」=K2×V2
=K2×(V2−Vmax/K1+Vmax/K1)
=K2×(V2−Vmax/K1)+Vmax
=K2×(V2−THR2)+(T1の信号出力)・・(4)

但し、正規化係数K2=T1/T2とする。
また、上式(1)及び(4)より、T1で飽和する場合の合成出力は、下式(5)となる。

合成出力=K1×(T1での予測値)
=K1×(K2(V2−THR2)+(T1の信号出力)−THR1)+(T0の信号出力)
=K1×K2×(V2−THR2)+K1×((T1の信号出力)−THR1))+(T0の信号出力)・・・・・・・・・・・・・・・・・・・・・・(5)
以上のことを踏まえて、本実施の形態におけるHDR画像生成部12dの内部構成を説明する。
HDR画像生成部12dは、図14(a)に示すように、短露光合成部90と、超短露光合成部91とを含んで構成される。
短露光合成部90は、上記第1の実施の形態における図13に示す構成と同様の構成となっており、加算器82の加算結果(以下、高輝度画像データと称す)を、超短露光合成部91に出力する点のみが異なる。従って、詳細な説明を省略する。
超短露光合成部91は、減算器83と、乗算器84と、加算器85とを含んで構成される。
減算器83は、メモリアクセス調停器12eを介してフレームメモリ14から、合成用の超短露光画像データを読み出し、当該超短露光画像データを構成する各超短露光画素データ(V2)、又は飽和予測レベル(THR2)から、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力される飽和予測レベル(THR2)を減算し、当該減算結果を乗算器84に出力する。つまり、短露光時間T1において飽和すると予測された画素の場合は超短露光画素データが入力されるので、上式(5)における(V2−THR2)が「0」以外の値となり、短露光時間T1において飽和しないと予測された画素の場合はV2として飽和予測レベル(THR2)が入力されるので、上式(5)における(V2−THR2)が「0」となる。
乗算器84は、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力される正規化係数K1及びK2と、減算器83から入力される(V2−THR2)の値とを乗算し(K1×K2×(V2−THR2))、当該乗算結果を加算器85に出力する。このとき、短露光時間T1において飽和しないと予測された場合は、前述したように(V2−THR2)の値は「0」となるので、正規化係数K1及びK2を乗算した結果も「0」となる(K1×K2×0=0)。
加算器85は、乗算器84から入力される乗算結果と、短露光合成部90から入力される高輝度画像データを構成する前記乗算結果に対応する高輝度画素データ(K1×(V1−THR1)+(T0の信号出力))とを加算し、当該加算結果を合成出力として出力する。そして、HDR画像生成部12dは、前記合成出力をHDR画像データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。
次に、本実施の形態の実際の動作を説明する。
ここで、本実施の形態においては、非破壊読み出しにおけるサンプリング時間T2、T1を、T2は、短露光時間T1の1/10(T2=T1/10=T0/100)とし、T1は、標準露光時間T0の1/10(T1=T0/10)とする。
撮像装置1は、電源が投入され、映像処理系12において、ホストシステム2から露光時間に関する情報と、非破壊読み出し(超短露光時間及び短露光時間)に対する開始ライン番号に関する情報とを取得すると、通信器・DSP動作制御部12aによって、非破壊読み出しの開始ライン番号を指定する駆動制御信号を撮像処理系10に送信する。更に、タイミング制御器12bにおいて、露光領域に対する標準露光時間の画素信号が得られるように撮像素子100を駆動する駆動信号(ピクセルクロック、垂直同期信号0及び水平同期信号)を撮像処理系10に出力する。
撮像処理系10は、駆動制御信号を受信すると、走査ラインスキャナ54において、垂直同期信号0及び水平同期信号に同期してリセットライン選択信号と、標準露光時間の破壊読み出しに対する読み出しライン制御信号を生成する。また、開始ライン番号及び水平同期信号に基づき、超短露光時間及び短露光時間の非破壊読み出しに対する読み出しライン制御信号(2種類)を生成する。更に、これら生成した読み出し制御信号をORロジック54gに入力し、各露光時間に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号(3種類)を駆動パルス発生器52に出力する。駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号及び走査ラインスキャナ54からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ56に供給する。
センサセルアレイ56は、駆動パルス発生器52からの駆動パルスに基づき、通常走査ラインL1、高速走査ラインL2及び高速走査ラインL3を走査して、露光領域の各画素のラインから標準露光時間の露光により蓄積した電荷の破壊読み出しを行い(読み出し後に蓄積電荷のリセットを行う)、この破壊読み出し動作とは独立に、露光領域の各画素のラインから超短露光時間及び短露光時間の露光により蓄積した電荷の非破壊読み出しを行う(読み出し後に蓄積電荷のリセットを行わない)。そして、通常走査ラインL1の走査によって読み出した電荷から構成されるリセット前後の画素信号を水平転送部58のCH1及びCH2を介して差動増幅器60に出力し、差動増幅器60においてこれらの差分値を算出しその算出結果を第1のAFE102に出力する。また、リセット直後の画素信号を水平転送部58のCH2を介して第2のAFE104に出力する。一方、高速走査ラインL2の走査によって読み出した電荷から構成される画素信号を水平転送部58のCH3を介して第3のAFE106に出力し、高速走査ラインL3の走査によって読み出した電荷から構成される画素信号を水平転送部58のCH4を介して第4のAFE108に出力する。
第1のAFE102は、差動増幅器60を介して順次出力される標準露光時間の露光に対する画素信号(アナログデータ)をデジタルデータに変換してなる標準露光画素データを生成し映像処理系12に出力する。一方、第2のAFE104は、CH2を介して順次出力されるリセット直後の画素信号(アナログデータ)をデジタルデータに変換してなる基準画素データを生成し映像処理系12に出力する。また、第4のAFE108は、超短露光時間の露光に対する画素信号(アナログデータ)をデジタルデータに変換してなる超短露光画素データを生成し映像処理系12に出力し、第3のAFE106は、短露光時間の露光に対する画素信号(アナログデータ)をデジタルデータに変換してなる短露光画素データを生成し映像処理系12に出力する。
映像処理系12では、第1のAFE102から出力された標準露光画像データをHDR画像生成部12dに入力し、第2のAFE104から出力された基準画像データ、第3のAFE106から出力された短露光画像データ及び第4のAFE108から出力された超短露光画像データを非標準画像データ生成部・飽和予測部12cに入力する。
非標準画像データ生成部・飽和予測部12cは、撮像処理系10から基準画像データが入力され、且つタイミング制御器12bからアドレス情報が入力されると、当該アドレス情報に基づき、基準画像データを、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。
次に、非標準画像データ生成部・飽和予測部12cは、撮像処理系10から引き続き超短露光画像データが入力されると、第2非標準画像生成部75の減算器75aにおいて、超短露光画像データを構成する各超短露光画素データの画素値から、フレームメモリ14に記憶された、当該超短露光画素データと同じ画素位置の基準画素データの画素値を減算して、固定パターンノイズを除去した合成用の超短露光画素データを生成する。第2非標準画像生成部75は、超短露光画像データ(ライン単位)が生成されると、当該超短露光画像データを、第2飽和予測部76及び第2合成画像生成部77にそれぞれ出力する。
また、撮像処理系10から超短露光画像データに引き続き短露光画像データが入力されると、第1非標準画像生成部70の減算器70aにおいて、短露光画像データを構成する各短露光画素データの画素値から、フレームメモリ14に記憶された、当該短露光画素データと同じ画素位置の基準画素データの画素値を減算して、固定パターンノイズを除去した合成用の短露光画素データを生成する。第1非標準画像生成部70は、短露光画像データ(ライン単位)が生成されると、当該短露光画像データを、第1飽和予測部72及び第1合成画像生成部73にそれぞれ出力する。以下、第1飽和予測部72及び第1合成画像生成部73の動作は、上記第1の実施の形態と同様となるので記載を省略する。
第2飽和予測部76は、第2非標準画像生成部75から超短露光画像データが入力され、通信器・DSP動作制御部12aから飽和予測レベルTHR2が入力されると、比較器76aにおいて、超短露光画像データを構成する各超短露光画素データの示す輝度値V2と、THR2とを比較する。前述したように、超短露光時間T2を短露光時間T1の1/10としたので、図13に示すように、T2において、前述したS1で照射されている画素の信号出力レベルは、Vmax/10になると予測できる。従って、ここでは、正規化係数K2を10とし、THR2を「Vmax/10」とする。従って、比較器76aは、「V2>Vmax/10」であれば、対象の画素は短露光時間において飽和すると予測して飽和予測結果として「1」を出力する。一方、「V2≦Vmax/10」であれば、対象の画素は短露光時間において飽和しないと予測して飽和予測結果として「0」を出力する。そして、第2飽和予測部76は、この飽和予測結果を第2合成画像生成部77に出力すると共に、当該飽和予測結果を飽和予測結果格納メモリ74に出力する。
このように、超短露光画素データに基づき飽和/非飽和の予測(判定)を行うようにし、且つ合成用の超短露光画素データを基準画素データとの差分値により構成したので、混入するノイズレベルの低い画素データに基づき飽和/非飽和の予測(判定)を行うことができるので、精度の高い飽和/非飽和の予測(判定)を行うことが可能である。
第2合成画像生成部77は、第2非標準画像生成部75から短露光画像データが入力され、第2飽和予測部76から飽和予測結果が入力されると、選択出力器77aにおいて、各超短露光画素データについて、飽和予測結果が「1」であれば超短露光画素データ(V2)を、「0」であれば、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR2を選択して出力する。この選択出力は、合成用の超短露光画素データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶される。
一方、HDR画像生成部12dは、非標準画像データ生成部・飽和予測部12cにおいて、超短露光画像データ及び短露光画像データが生成され、且つ撮像処理系10から標準露光画像データが入力されると、通常の線形合成とニー方式とを合わせた線形合成により、HDR画像データを生成する。
HDR画像生成部12dは、まず、短露光合成部90の、減算器80、乗算器81及び加算器82を用いて、上式(1)に従った処理を行い高輝度画像データを生成する。
ここで、短露光画素データの輝度値(差分処理後)=V1、K1=10、THR1=Vmax/10、標準露光画素データの値(T0における信号出力)=V0≒Vmaxとなるので、上式(1)は、上記第1の実施の形態と同様に、上式(2)となる。
また、短露光合成部90の、減算器80、乗算器81及び加算器82の動作は、上記第1の実施の形態の減算器80、乗算器81及び加算器82の動作と同様となるので説明を省略する。但し、加算器82の加算結果(高輝度画像データ(10×(V1−Vmax/10)+V0)又は標準露光画像データ(V0))は、超短露光合成部91に出力される。
以下、超短露光合成部91の動作を説明する。
ここで、超短露光画素データの輝度値(差分処理後)はV2、正規化係数はK2=10、飽和予測レベルはTHR2=Vmax/10となるので、上式(5)は、下式(6)となる。

合成出力=10×10×(V2−Vmax/10)+10×(V1−Vmax/10))+V0 ・・・・・(6)
HDR画像生成部12dは、メモリアクセス調停器12eを介してフレームメモリ14から、合成用の超短露光画像データを読み出し、これを減算器83に入力すると共に、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR2を減算器83に入力する。次に、減算器83において、入力された超短露光画像データを構成する各超短露光画素データの示す輝度値V2又はTHR2(Vmax/10)から、THR2(Vmax/10)を減算し、この減算結果を乗算器84に出力する。つまり、短露光時間T1において飽和する画素の場合はV2とTHR2との差分値「V2−Vmax/10」が出力され、短露光時間T1において飽和しない画素の場合は「0」が出力される。
乗算器84は、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された正規化係数K1(10)及びK2(10)と、減算器83から入力された減算結果とを乗算し、当該乗算結果「10×10×(V2−Vmax/10)」又は「0」を、加算器85に出力する。
加算器85は、短露光合成部90から入力された高輝度画像データを構成する高輝度画素データの示す輝度値(10×(V1−Vmax/10)+V0)と、乗算器81から入力された乗算結果とを加算し、当該加算結果「10×10×(V2−Vmax/10)+10×(V1−Vmax/10)+V0」、「10×(V1−Vmax/10)+V0」及び「V0」のいずれか1つをHDR合成出力として出力する。つまり、短露光時間T1において飽和すると予測された画素については、その超短露光画素データを正規化した「10×10×(V2−Vmax/10)+10×(V1−Vmax/10)+V0」がHDR画素データとして出力される。また、標準露光時間T0において飽和すると予測された画素については、その短露光画素データを正規化した「10×(V1−Vmax/10)+V0」がHDR画素データとして出力される。また、標準露光時間T0において飽和しないと予測された画素については、その標準露光画素データ「V0」そのものがHDR画素データとして出力される。つまり、HDR画像データは、前述したように精度良く飽和/非飽和が予測された予測結果に基づき選択された、超短露光画素データを正規化した画素データと、短露光画素データを正規化した画素データと、標準露光画素データ「V0」とが合成されたものとなる。そして、このHDR画像データは、メモリアクセス調停器12eを介してフレームメモリ14に記憶される。
なお、理想的なセンサ(画素毎に特性ばらつきが無く、ノイズが0)の場合、短露光時間T1において飽和すると予測された画素は、V1=Vmax、V0=Vmaxとなり、「10×10×(V2−Vmax/10)+10×(Vmax−Vmax/10)+Vmax」=「100×V2」が出力される。また、短露光時間T0において飽和すると予測された画素は、V2出力はキャンセル、V1=Vmax、V0=Vmaxとなり、「10×(Vmax−Vmax/10)+Vmax」=「10×V1」が出力される。一方、通常のセンサは画素毎の特性ばらつきとノイズがあるが、3つの画素信号値から最終的な信号レベルを決めるので、積分効果によりノイズ抑圧効果が得られる。また、本発明のHDR画像生成(線形性を維持したダイナミック拡大)は、画素信号を直接増幅する事無く、信号の差分値を増幅することから、誤判定による画質劣化を抑圧することが出来る。
このように、本実施の形態の撮像システム3は、超短露光画像データ及び短露光画像データに基づき、これら画像データに対応する画素が標準露光時間において飽和するか否かを予測することが可能であるので、ノイズの影響が少ない画素データから精度良く飽和/非飽和を予測(判定)することができる。また、この予測結果に基づき、HDR画像データの生成に用いる画素データを、標準露光画素データ、短露光画素データ及び超短露光画素データのいずれかから選択することが可能であるので、標準露光時間において飽和しない標準露光画素データを正確に選択することができ、画質の安定した(誤選択の極めて少ない)HDR画像データを生成することができる。
また、撮像システム3は、通常の線形合成とニー方式とを合わせた手法によって、標準露光画素データ及び短露光画素データを用いて、T0で飽和する場合の短露光画素データを合成することが可能であると共に、標準露光画素データ、短露光画素データ及び超短露光画素データを用いて、T1で飽和する場合の超短露光画素データを合成することが可能であるので、通常の線形合成と比較して合成用の短露光画素データ(HDR画素データ)及び超短露光画素データ(HDR画素データ)に含まれるノイズ成分を低減することができる。
上記第2の実施の形態において、センサセルアレイ56は、形態1、2、12及び13のいずれか1の光電変換部に対応し、撮像処理系10の非破壊走査対応型撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52、水平転送部58によるセンサセルアレイ56の露光領域からの標準露光時間での電荷の破壊読み出し処理は、形態1、2、3、6及び12のいずれか1の第1読出手段又は形態13の第1読出ステップに対応し、撮像処理系10の非破壊走査対応型撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52、水平転送部58によるセンサセルアレイ56の露光領域からの超短露光時間及び短露光時間での電荷の非破壊読み出し処理は、形態1〜6及び12のいずれか1の第2読出手段又は形態13の第2読出ステップに対応する。
また、上記第2の実施の形態において、非標準画像データ生成部・飽和予測部12cにおける、飽和/非飽和の予測処理は、形態1、2、3、4、6及び12のいずれか1の飽和予測手段又は形態13の飽和予測ステップに対応し、HDR画像生成部12dは、形態2、4、6、9、10及び12のいずれか1のHDR画像データ生成手段又は形態13のHDR画像データ生成ステップに対応する。
なお、上記第1の実施の形態において、非標準露光画素データとして、短露光画素データのみを取得する例を説明したが、これに限らず、短露光画素データに代えて超短露光画素データを取得して、当該超短露光画素データ(V2)に基づき飽和/非飽和を予測するようにしても良い。この場合は、T0とT2との比が、例えば100:1となり、T2用の正規化係数K2が100となる。従って、上式(2)は、下式(3)のようになる。

合成出力=10×(V2−Vmax/100)+V0・・・・・・・・・・・・(3)

つまり、標準露光時間で飽和すると予測された場合は、超短露光画素データ(V2)と、標準露光画素データ(V0)とから合成出力(HDR画素データ)が生成される。
また、短露光画素データに加えて、超短露光画素データを取得し、これらに基づき飽和/非飽和を予測するようにしても良い。この場合は、超短露光時間T2における単位時間あたりの照射光量が、短露光時間T1の時点でVmaxとなる照射光量S1を越えるか否かを予測し、越える場合は、その画素は標準露光時間T0で飽和すると判定すると共に、超短露光画素データ及び標準露光画素データを用いて合成出力(HDR画素データ)を生成する。これにより、T1の時点で飽和してしまうような場合でも、非飽和のT2の時点の画素データを前述したニー方式を応用した線形合成方法を用いて線形合成して、画質の安定したHDR画像データを生成することが可能である。
また、上記実施の形態においては、撮像装置1と、ホストシステム2とから撮像システム3を構成したが、これに限らず、ホストシステム2の機能を撮像装置1に全て持たせた構成としても良いし、撮像装置1の映像処理系の機能をホストシステム2に持たせる構成としても良いし、撮像装置1の各構成要素を分離して、各構成要素間を、例えば、ネットワークを介して接続する構成など他の構成としても良い。例えば、撮像処理系と映像処理系とを分離してネットワークを介して接続し、遠隔地の映像を撮像し、それを処理する構成などが考えられる。
本発明に係る撮像装置1の概略構成を示すブロック図である。 撮像処理系10の内部構成及びホストシステム2の内部構成を示すブロック図である。 第1のAFE(Analog Front End)102の内部構成を示す図である。 非破壊走査対応型撮像素子100の内部構成を示すブロック図である。 走査ラインスキャナ54の内部構成を示す図である。 センサセルアレイ56の詳細構成を示す図である。 撮像素子100のセンサセルアレイ56における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 映像処理系12の内部構成を示すブロック図である。 非標準画像データ生成部・飽和予測部12cの内部構成を示す図である。 (a)は、第1非標準画像生成部70の内部構成を示す図であり、(b)は、第1飽和予測部72の内部構成を示す図であり、(c)は、第1合成画像生成部73の内部構成を示す図である。 破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。 センサセルアレイ56の各画素の異なる照射光量に対する露光時間と信号レベル(輝度レベル)との推移の一例を示す図である。 第1の実施の形態におけるHDR画像生成部12dの内部構成を示す図である。 第2の実施の形態におけるHDR画像生成部12dの内部構成を示す図である。 従来の画素値のバラツキによる飽和/非飽和の誤判断の一例を示す図である。 従来の合成方式被写体の照度と出力値との関係を示す図である。
符号の説明
1は撮像装置、2はホストシステム、3は撮像システム、2aはシステムコントローラ、2bは表示装置、2cは記録装置、3は撮像システム、10は撮像処理系、12は映像処理系(DSP)、14はフレームメモリ、100は領域別走査対応型撮像素子、102〜108は第1〜第4のAFE、50は基準タイミング発生器、52は駆動パルス発生器、54は走査ラインスキャナ、56はセンサセルアレイ、58は水平転送部、60は差動増幅器、54aは通常走査カウンタ、54bは通常走査アドレスデコーダ、54cは第1非破壊走査カウンタ、54dは第1非破壊走査アドレスデコーダ、54eは第2非破壊走査カウンタ、54fは第2非破壊走査アドレスデコーダ、54gはORロジック、12aは通信器、12bはタイミング制御器、12cは非標準画像データ生成部・飽和予測部、12dはHDR画像生成部、12eはメモリアクセス調停器、12fは出力読出器、70,75は第1,第2非標準画像生成部、72,76は第1,第2飽和予測部、73,77は第1,第2合成画像生成部、80,83は減算器、81,84は乗算器、82,85は加算器、90は短露光合成部、91は超短露光合成部

Claims (13)

  1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
    前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
    前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
    前記第2読出手段で読み出された前記短露光時間で露光時の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、を備えることを特徴とする撮像素子。
  2. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
    前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
    前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
    前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
    前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成手段と、を備えることを特徴とする撮像装置。
  3. 前記第2読出手段は、前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い複数種類の短露光時間で露光された電荷を非破壊読み出し方式で順次読み出し、
    前記飽和予測手段は、前記第2読出手段で読み出された前記複数種類の短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することを特徴とする請求項2記載の撮像装置。
  4. 前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行う演算処理手段を備え、
    前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測し、
    前記HDR画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成して前記HDR画像データを生成することを特徴とする請求項2又は請求項3記載の撮像装置。
  5. 前記光電変換素子の構成する各画素からリセット直後の電荷を読み出す第3読出手段を備え、
    前記演算処理手段は、前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第3読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことを特徴とする請求項4記載の撮像装置。
  6. 前記HDR画像データ生成手段は、前記第2読出手段で読み出された非標準露光画素データから、前記飽和予測手段で飽和すると予測された画素に対応する非標準露光画素データを選択し、前記第1読出手段で読み出された標準露光画素データから、前記飽和予測手段で飽和しないと予測された画素に対応する標準露光画素データを選択し、これら選択した標準露光画素データ及び非標準露光画素データを合成して前記HDR画像データを生成することを特徴とする請求項2乃至請求項5のいずれか1項に記載の撮像装置。
  7. 前記HDR画像データ生成手段は、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、前記選択した非標準露光画素データと当該非標準露光画素データに対応する標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、前記選択した非標準露光画素データと、当該非標準露光画素データに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記HDR画素データと前記選択した標準露光画素データとを合成して前記HDR画像データを生成することを特徴とする請求項6記載の撮像装置。
  8. 前記飽和予測手段は、前記非標準露光画素データに基づき予測した標準露光時間で露光時の各画素の蓄積電荷量の示す輝度値と、前記露光時間の種類毎に設定される飽和予測用輝度値とを比較し、当該比較結果に基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測し、
    前記HDR画像データ生成手段は、前記選択された非標準露光画素データである第1非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第2非標準露光画素データが無いときに、前記第1非標準露光画素データの示す輝度値から当該第1非標準露光画素データ用の前記飽和予測用輝度値である第1飽和予測用輝度値を第1正規化係数で除算した結果を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果に、当該第1非標準露光画素データに対応する標準露光画素データを加算して前記HDR画素データを生成することを特徴とする請求項7記載の撮像装置。
  9. 前記標準露光時間と、前記第1非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記第1飽和予測用輝度値とし、
    前記「a/b」を、前記第1正規化係数としたことを特徴とする請求項8又は請求項9記載の撮像装置。
  10. 前記HDR画像データ生成手段は、前記第1非標準露光画素データよりも短い露光時間の前記第2非標準露光画素データがあるときに、前記第2非標準露光画素データの示す輝度値から当該第2非標準露光画素データ用の前記飽和予測用輝度値である第2飽和予測用輝度値を第2正規化係数で除算した結果を減算し、当該減算結果に前記第2正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データの示す輝度値とを加算し、当該加算結果から前記第1飽和予測用輝度値を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データに対応する標準露光画素データの示す輝度値とを加算して前記HDR画素データを生成することを特徴とする請求項8記載の撮像装置。
  11. 前記標準露光時間と、前記第1非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記第1飽和予測用輝度値とし、前記標準露光時間と、前記第2非標準露光画素データに対応する短露光時間との比が「a:c」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「(a・b)/(a・c)」で除算した結果を、前記第1飽和予測用輝度値とし、
    前記「a/b」を前記第1正規化係数とし、前記「(a・b)/(a・c)」を前記第2正規化係数としたことを特徴とする請求項10記載の撮像装置。
  12. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
    前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
    前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
    前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
    前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成手段と、を備えることを特徴とする撮像システム。
  13. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
    前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出ステップと、
    前記第1読出ステップでの露光期間と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出ステップと、
    前記第2読出ステップで読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測ステップと、
    前記飽和予測ステップの予測結果に基づき、前記第1読出ステップで読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成ステップと、を含むことを特徴とする撮像方法。
JP2007098182A 2006-05-11 2007-04-04 撮像装置、撮像システム及び撮像方法 Expired - Fee Related JP4998056B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007098182A JP4998056B2 (ja) 2006-05-11 2007-04-04 撮像装置、撮像システム及び撮像方法
US11/747,408 US7868938B2 (en) 2006-05-11 2007-05-11 Image pickup device and image pickup apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006132106 2006-05-11
JP2006132106 2006-05-11
JP2007098182A JP4998056B2 (ja) 2006-05-11 2007-04-04 撮像装置、撮像システム及び撮像方法

Publications (2)

Publication Number Publication Date
JP2007329896A true JP2007329896A (ja) 2007-12-20
JP4998056B2 JP4998056B2 (ja) 2012-08-15

Family

ID=38711616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007098182A Expired - Fee Related JP4998056B2 (ja) 2006-05-11 2007-04-04 撮像装置、撮像システム及び撮像方法

Country Status (2)

Country Link
US (1) US7868938B2 (ja)
JP (1) JP4998056B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175408A (ja) * 2011-02-22 2012-09-10 Olympus Imaging Corp 撮像装置
JP2013062792A (ja) * 2011-08-22 2013-04-04 Canon Inc 制御装置、撮影装置および制御方法
US9076233B2 (en) 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP2015136087A (ja) * 2014-01-20 2015-07-27 オリンパス株式会社 撮像装置および撮像方法
JP2017200056A (ja) * 2016-04-27 2017-11-02 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2018124049A1 (ja) * 2016-12-27 2018-07-05 パナソニックIpマネジメント株式会社 撮像装置、カメラ及び撮像方法
KR20200002023A (ko) * 2017-01-17 2020-01-07 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성
JP2021040210A (ja) * 2019-09-02 2021-03-11 キヤノン株式会社 撮像装置及び信号処理装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934024B (zh) * 2010-06-30 2015-07-22 富士胶片株式会社 摄像装置及摄像方法
US8994843B2 (en) 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
GB201016773D0 (en) * 2010-10-06 2010-11-17 Univ Leuven Kath Dynamic range enhancement through prediction of pixel integration time
WO2012086127A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
KR101746499B1 (ko) * 2010-12-23 2017-06-14 한국전자통신연구원 다이내믹 레인지 삼차원 영상 시스템
JP6066593B2 (ja) * 2012-06-13 2017-01-25 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
JP2014060658A (ja) * 2012-09-19 2014-04-03 Sony Corp 固体撮像装置、固体撮像装置の駆動方法、及び電子機器
US9736388B2 (en) * 2013-12-13 2017-08-15 Bio-Rad Laboratories, Inc. Non-destructive read operations with dynamically growing images
US9521351B1 (en) 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US9965696B2 (en) * 2015-12-31 2018-05-08 James Alves Digital camera control system
US11448757B2 (en) * 2016-11-29 2022-09-20 Nuvoton Technology Corporation Japan Distance measuring device
US10242268B2 (en) * 2017-02-03 2019-03-26 Raytheon Company Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications
WO2021157261A1 (ja) * 2020-02-05 2021-08-12 パナソニックIpマネジメント株式会社 撮像装置および画像処理方法
CN111405205B (zh) * 2020-03-24 2023-02-24 维沃移动通信有限公司 图像处理方法和电子设备
CN112887571B (zh) * 2021-01-27 2022-06-10 维沃移动通信有限公司 图像传感器、摄像模组和电子设备
CN112887572A (zh) * 2021-01-27 2021-06-01 维沃移动通信有限公司 图像传感器、摄像模组和电子设备
FR3123734A1 (fr) 2021-06-02 2022-12-09 Université de Bourgogne Procédé de traitement de données de pixels, dispositif et programme correspondant
US20230134194A1 (en) * 2021-11-01 2023-05-04 Sri International Time centered high-dynamic-range readout

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583642A (ja) * 1991-09-19 1993-04-02 Sony Corp 固体撮像装置
JPH05122614A (ja) * 1991-10-28 1993-05-18 Olympus Optical Co Ltd 撮像装置
JPH08242408A (ja) * 1995-03-06 1996-09-17 Nikon Corp 撮像装置
JPH10155112A (ja) * 1996-11-21 1998-06-09 Olympus Optical Co Ltd 撮像装置
JP2001148805A (ja) * 1999-11-22 2001-05-29 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2002165137A (ja) * 2000-08-15 2002-06-07 Pixim Inc ディジタル画素センサ読出し情報内の画素の再配置のための回路及び方法
JP2005086407A (ja) * 2003-09-08 2005-03-31 Dainippon Printing Co Ltd 固体撮像装置およびその駆動方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP2004032583A (ja) 2002-06-28 2004-01-29 Victor Co Of Japan Ltd 撮像装置
US7492400B2 (en) * 2004-06-01 2009-02-17 The Board Of Trustees Of The Leland Stanford Junior University Adaptive pixel for high dynamic range and disturbance detection and correction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583642A (ja) * 1991-09-19 1993-04-02 Sony Corp 固体撮像装置
JPH05122614A (ja) * 1991-10-28 1993-05-18 Olympus Optical Co Ltd 撮像装置
JPH08242408A (ja) * 1995-03-06 1996-09-17 Nikon Corp 撮像装置
JPH10155112A (ja) * 1996-11-21 1998-06-09 Olympus Optical Co Ltd 撮像装置
JP2001148805A (ja) * 1999-11-22 2001-05-29 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2002165137A (ja) * 2000-08-15 2002-06-07 Pixim Inc ディジタル画素センサ読出し情報内の画素の再配置のための回路及び方法
JP2005086407A (ja) * 2003-09-08 2005-03-31 Dainippon Printing Co Ltd 固体撮像装置およびその駆動方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175408A (ja) * 2011-02-22 2012-09-10 Olympus Imaging Corp 撮像装置
JP2013062792A (ja) * 2011-08-22 2013-04-04 Canon Inc 制御装置、撮影装置および制御方法
US9076233B2 (en) 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP2015136087A (ja) * 2014-01-20 2015-07-27 オリンパス株式会社 撮像装置および撮像方法
JP2017200056A (ja) * 2016-04-27 2017-11-02 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2018124049A1 (ja) * 2016-12-27 2018-07-05 パナソニックIpマネジメント株式会社 撮像装置、カメラ及び撮像方法
KR20200002023A (ko) * 2017-01-17 2020-01-07 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성
JP2020506642A (ja) * 2017-01-17 2020-02-27 サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成
JP7030843B2 (ja) 2017-01-17 2022-03-07 サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成
KR102422075B1 (ko) * 2017-01-17 2022-07-18 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성
JP2021040210A (ja) * 2019-09-02 2021-03-11 キヤノン株式会社 撮像装置及び信号処理装置
JP7379024B2 (ja) 2019-09-02 2023-11-14 キヤノン株式会社 撮像装置及び信号処理装置

Also Published As

Publication number Publication date
US20070268396A1 (en) 2007-11-22
US7868938B2 (en) 2011-01-11
JP4998056B2 (ja) 2012-08-15

Similar Documents

Publication Publication Date Title
JP4998056B2 (ja) 撮像装置、撮像システム及び撮像方法
JP4649313B2 (ja) 固体撮像装置
EP1156673B1 (en) Image input apparatus
CN100539648C (zh) 摄像元件及摄像装置和方法
US10284796B2 (en) Image capture apparatus and control method thereof
JP6557455B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2007194687A (ja) 撮像装置
JP2007201985A (ja) 広ダイナミックレンジ撮像装置
JP4745735B2 (ja) 画像入力装置及びその制御方法
JP2008205530A (ja) 撮像装置、撮像システム及び撮像方法
JP5222068B2 (ja) 撮像装置
JP5207926B2 (ja) 撮像装置及びその制御方法
JP3682482B2 (ja) 撮像装置
CN116668822A (zh) 用于合成图像的图像处理设备及其控制方法和存储介质
JP2020115604A (ja) 撮像装置およびその制御方法
JP6160139B2 (ja) 撮像装置及び方法
JP2005080190A (ja) ホワイトバランス調整方法及び電子カメラ
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP4725052B2 (ja) 撮像装置
JP3603749B2 (ja) 撮像装置
JP2005086630A (ja) 撮像装置
JP2024071225A (ja) 撮像装置及びその制御方法
JP4188114B2 (ja) シェーディング補正回路
JP2005176173A (ja) 固体撮像装置
JP2006157341A (ja) 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees