JP2007329896A - 撮像素子及び撮像装置 - Google Patents
撮像素子及び撮像装置 Download PDFInfo
- Publication number
- JP2007329896A JP2007329896A JP2007098182A JP2007098182A JP2007329896A JP 2007329896 A JP2007329896 A JP 2007329896A JP 2007098182 A JP2007098182 A JP 2007098182A JP 2007098182 A JP2007098182 A JP 2007098182A JP 2007329896 A JP2007329896 A JP 2007329896A
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- exposure
- standard
- standard exposure
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 177
- 238000012545 processing Methods 0.000 claims abstract description 103
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims description 81
- 230000001066 destructive effect Effects 0.000 claims description 77
- 238000006243 chemical reaction Methods 0.000 claims description 70
- 238000010606 normalization Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000015654 memory Effects 0.000 description 79
- 239000002131 composite material Substances 0.000 description 32
- 238000010586 diagram Methods 0.000 description 27
- 230000015572 biosynthetic process Effects 0.000 description 24
- 238000003786 synthesis reaction Methods 0.000 description 24
- 238000012546 transfer Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 239000000203 mixture Substances 0.000 description 16
- 238000012937 correction Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 210000003127 knee Anatomy 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【解決手段】撮像装置1を、1回の標準露光期間に、センサセルアレイ56の露光領域に対する標準露光時間の露光による画像を撮像すると共に非標準露光時間の露光による画像を撮像する撮像処理系10と、非標準露光時間の画像データに基づき各画素が標準露光時間の露光で飽和するか否かを予測すると共に予測結果に基づき標準露光時間及び非標準露光時間の撮像画像データとを合成してHDR画像データを生成する映像処理系12とを含んだ構成とした。
【選択図】図1
Description
現在、上記問題を解決するために多くの手法が提案されている。その1つとして、露光量が異なった2枚(あるいは複数枚)の画像を合成する手法があり、この手法を用いた公知例として、例えば、特許文献1に記載の撮像装置などが挙げられる。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、標準露光時間よりも短い露光時間で露光された各画素の画素データに基づき、当該各画素が標準露光時間の露光時に飽和するか否かを予測することが可能な撮像素子及び撮像装置、並びに前記予測結果に基づき標準露光時間の画素データと標準露光時間より短い露光時間の画素データとを合成して広ダイナミックレンジ画像を生成することが可能な撮像装置を提供することを目的とする。
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間で露光時の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、を備えることを特徴としている。
また、上記「破壊読み出し方式」は、光電変換素子から電荷(画素信号)を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR画像データ(High Dynamic Range)を生成するHDR画像データ生成手段と、を備えることを特徴としている。
従って、例えば、注目被写体とその背景とからなる撮像対象に対して、当該撮像対象中の注目被写体に対して適正露出となる標準の露光時間(標準露光時間)を設定し、この標準露光時間で露光された光電変換部の各画素の電荷を第1読出手段によって読み出すことができるので、これにより、標準露光時間で露光された撮像対象画素データ(標準露光画素データ)を得ることができる。一方、前記標準露光時間による露光期間中において、前記標準露光時間よりも短い露光時間(短露光時間)で露光された、前記各画素の電荷を第2読出手段において非破壊読み出し方式で読み出すことができるので、これにより、標準露光時間で露光時の露光量(信号振幅)よりも少ない露光量(小さい信号振幅)の画素データ(非標準露光画素データ)を得ることができる。つまり、標準露光時間による1回の露光において、標準露光時間で露光時の画素データ(標準露光画素データ)と、非標準露光時間で露光時の画素データ(非標準露光画素データ)とを得ることが可能である。よって、2つの画像を合成するときにブレを抑えた画像を生成できる。更に、例えば、飽和すると予測(判断)されたときは非標準露光画素データを選択し、飽和しないと予測(判断)されたときは標準露光画素データを選択し、これら選択した非標準露光画素データ及び標準露光画素データを合成して広ダイナミックレンジの画像データ(HDR画像データ)を生成することができるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
前記第2読出手段は、前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い複数種類の短露光時間で露光された電荷を非破壊読み出し方式で順次読み出し、
前記飽和予測手段は、前記第2読出手段で読み出された前記複数種類の短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することを特徴としている。
前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行う演算処理手段を備え、
前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測し、
前記HDR画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成して前記HDR画像データを生成することを特徴としている。
前記光電変換素子の構成する各画素からリセット直後の電荷を読み出す第3読出手段を備え、
前記演算処理手段は、前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第3読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことを特徴としている。
ここで、「固定パターンノイズ」には、例えば、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。
前記HDR画像データ生成手段は、前記第2読出手段で読み出された非標準露光画素データから、前記飽和予測手段で飽和すると予測された画素に対応する非標準露光画素データを選択し、前記第1読出手段で読み出された標準露光画素データから、前記飽和予測手段で飽和しないと予測された画素に対応する標準露光画素データを選択し、これら選択した標準露光画素データ及び非標準露光画素データを合成して前記HDR画像データを生成することを特徴としている。
前記HDR画像データ生成手段は、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、前記選択した非標準露光画素データと当該非標準露光画素データに対応する標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、前記選択した非標準露光画素データと、当該非標準露光画素データに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記HDR画素データと前記選択した標準露光画素データとを合成して前記HDR画像データを生成することを特徴としている。
そして、上記のようにノイズの低減された非標準露光画素データを用いてHDR画像データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
前記飽和予測手段は、前記非標準露光画素データに基づき予測した標準露光時間で露光時の各画素の蓄積電荷量の示す輝度値と、前記露光時間の種類毎に設定される飽和予測用輝度値とを比較し、当該比較結果に基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測し、
前記HDR画像データ生成手段は、前記選択された非標準露光画素データである第1非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第2非標準露光画素データが無いときに、前記第1非標準露光画素データの示す輝度値から当該第1非標準露光画素データ用の前記飽和予測用輝度値である第1飽和予測用輝度値を第1正規化係数で除算した結果を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果に、当該第1非標準露光画素データに対応する標準露光画素データを加算して前記HDR画素データを生成することを特徴としている。
なお、本形態におけるHDR画像生成は、前述のニー方式と異なり、画像信号の線形性を維持してダイナミックレンジ拡大を行う処理であり、これにより忠実な色の再現性を実現できる。以下、形態10の撮像装置において同じである。
前記標準露光時間と、前記撮像素子の生成に用いる非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記飽和予測用輝度値とし、
前記「a/b」を、前記撮像素子の生成に用いる非標準露光画素データ用の正規化係数としたことを特徴としている。
このような構成であれば、第1非標準露光画素データの輝度レベルの補正において、第1非標準露光画素データの輝度値を短露光時間と標準露光時間との比に応じた第1正規化係数で乗算することが可能となるので、より適切に輝度レベル補正を行うことができるという効果が得られる。
前記HDR画像データ生成手段は、前記第1非標準露光画素データよりも短い露光時間の前記第2非標準露光画素データがあるときに、前記第2非標準露光画素データの示す輝度値から当該第2非標準露光画素データ用の前記飽和予測用輝度値である第2飽和予測用輝度値を第2正規化係数で除算した結果を減算し、当該減算結果に前記第2正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データの示す輝度値とを加算し、当該加算結果から前記第1飽和予測用輝度値を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データに対応する標準露光画素データの示す輝度値とを加算して前記HDR画素データを生成することを特徴としている。
そして、このようなノイズの低減された第1非標準露光画素データを用いてHDR画素データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
前記標準露光時間と、前記第1非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記第1飽和予測用輝度値とし、前記標準露光時間と、前記第2非標準露光画素データに対応する短露光時間との比が「a:c」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「(a・b)/(a・c)」で除算した結果を、前記第1飽和予測用輝度値とし、
前記「a/b」を前記第1正規化係数とし、前記「(a・b)/(a・c)」を前記第2正規化係数としたことを特徴としている。
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成手段と、を備えることを特徴としている。
ここで、本システムは、単一の装置、端末その他の機器(この場合は、形態2の撮像装置と同等)として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出ステップと、
前記第1読出ステップでの露光期間と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出ステップと、
前記第2読出ステップで読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測ステップと、
前記飽和予測ステップの予測結果に基づき、前記第1読出ステップで読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成ステップと、を含むことを特徴とする。
これにより、形態2の撮像装置と同等の作用及び効果が得られる。
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第1の実施の形態を、図面に基づいて説明する。図1〜図13は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第1の実施の形態を示す図である。
以下、図1に基づき、本発明に係る撮像装置1の概略構成を説明する。ここで、図1は、本発明に係る撮像システム3の概略構成を示すブロック図である。
撮像装置1は、標準露光時間の露光期間(1フレーム期間)において、センサセルアレイ56(後述)の露光領域における標準露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、同じ1フレーム期間において、前記露光領域における短露光時間(前記標準露光時間よりも短い露光時間)及び超短露光時間(前記短露光時間よりも短い露光時間)でそれぞれ順次露光される各画素のラインから非破壊読み出し方式によって画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ(デジタルデータ)を順次出力する非破壊走査対応撮像処理系10(以下、撮像処理系10と称す)を含んで構成される。
更に、図2〜図6に基づき、撮像処理系10の内部構成を説明する。ここで、図2は、撮像処理系10の内部構成及びホストシステム2の内部構成を示すブロック図である。また、図3は、第1のAFE(Analog Front End)102の内部構成を示す図である。また、図4は、非破壊走査対応型撮像素子100の内部構成を示すブロック図である。また、図5は、走査ラインスキャナ54の内部構成を示す図である。また、図6は、センサセルアレイ56の詳細構成を示す図である。
非破壊走査対応型撮像素子100(以下、撮像素子100と称す)は、被写体からの光を撮像レンズ(不図示)でセンサセルアレイ56(後述)に集光し、その集光量に応じた電荷をセンサセルアレイ56の各画素に蓄積させる。また、撮像素子100は、映像処理系12のタイミング制御器12b(後述)から出力される駆動信号(ピクセルクロック、水平同期信号及び垂直同期信号0)に基づいて、センサセルアレイ56の各画素列に標準露光時間の露光で蓄積されている電荷群を電圧群に順次変換すると共に、リセット直後の各画素列の電荷群を電圧群に順次変換する。また、撮像素子100は、後述する走査ラインスキャナ54の生成する垂直同期信号1に基づいて、センサセルアレイ56の各画素列に超短露光時間の露光で蓄積されている電荷群を電圧群に順次変換し、後述する走査ラインスキャナ54の生成する垂直同期信号2に基づいて、センサセルアレイ56の各画素列に短露光時間の露光で蓄積されている電荷群を電圧群に順次変換する。なお、撮像素子100は、ホストシステム2(後述)から駆動制御信号を与えることによって、画素信号の読み出し処理を制御することが可能であり、上記露光時間の組み合わせの他に、標準露光時間と、短露光時間又は超短露光時間のいずれか一方との組み合わせで画素信号の読み出し処理を行わせることが可能となっている。つまり、前述した標準露光時間、超短露光時間及び短露光時間の組み合わせの他に、標準露光時間及び超短露光時間、並びに標準露光時間及び短露光時間の組み合わせも選択可能となっている。
第1のAFE102は、図3に示すように、クランプ回路102aと、増幅回路102bと、A/D変換回路102cとを含んで構成される。
クランプ回路102aは、撮像素子100からの画素信号を受信し、それが遮光領域の信号かを検出し、遮光領域と検出された場合はその信号レベルが黒(基準)レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路102bに出力する。
A/D変換回路102cは、増幅回路102bからの画素信号(アナログデータ)を、画素データ(デジタルデータ)に変換して映像処理系12へと出力する。
なお、第1〜第4のAFE102〜108は、同一の内部構成となるので、第2〜第4のAFE104〜108に対する内部構成の説明は省略する。
撮像素子100は、図4に示すように、基準タイミング発生器50と、駆動パルス発生器52と、走査ラインスキャナ54と、センサセルアレイ56と、水平転送部58とを含んで構成される。
基準タイミング発生器50は、映像処理系12のタイミング制御器12b(後述)からの垂直同期信号0及び水平同期信号に基づき、基準タイミング信号を発生する。
走査ラインスキャナ54は、映像処理系12の通信器・DSP動作制御部12a(後述)からの開始ライン番号を指定する駆動制御信号に基づき、露光領域に対するリセットラインの位置を選択してリセットライン選択信号を生成し、露光領域に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号を生成し、これら生成した選択信号を駆動パルス発生器52に出力する。
水平転送部58は、更に、センサセルアレイ56の露光領域における短露光時間及び超短露光時間にそれぞれ対応する画素信号データ(選択した組み合わせ内容によっては、いずれか一方になる)を、各画素のライン毎にCH3の第3ラインメモリ及びCH4の第4ラインメモリにそれぞれ記憶し、当該記憶した短露光時間及び超短露光時間の画素信号データを第3のAFE106及び第4のAFE108にそれぞれ出力する。
走査ラインスキャナ54は、図5に示すように、通常走査カウンタ54aと、通常走査アドレスデコーダ54bと、第1非破壊走査カウンタ54cと、第1非破壊走査アドレスデコーダ54dと、第2非破壊走査カウンタ54eと、第2非破壊走査アドレスデコーダ54fと、ORロジック54gとを含んで構成される。
通常走査アドレスデコーダ54bは、通常走査カウンタ54aからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置(アドレス)を示す読み出しライン制御信号をORロジック54gに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器52に出力する。
第2非破壊走査カウンタ54eは、第1非破壊走査カウンタ54cと同様の構成となっており、通常走査カウンタ54aとは非同期にカウントアップ動作を繰り返し、カウンタ値の示すライン番号を、第2非破壊走査アドレスデコーダ54dに出力する。また、第2非破壊走査カウンタ54eは、超短露光時間の露光による非破壊読み出しのための垂直同期信号である垂直同期信号2を生成し、当該生成した垂直同期信号2を映像処理系12のタイミング制御器12bに出力する。
ORロジック54gは、通常走査アドレスデコーダ54bからの読み出しライン制御信号と、第1及び第2非破壊走査アドレスデコーダ54d及び54fからの読み出しライン制御信号とに基づき、各ライン毎にOR演算を行い、露光領域に対する各露光時間毎の最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器52に出力される。
図6に示すように、センサセルアレイ56は、CMOSを用いて構成された複数のセンサセル(画素)56aをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル56aに対して、アドレス線、リセット線及び読出し線が共通に接続され、この3本の制御線を介して各種駆動信号が各画素列を構成するセンサセル56aに送信される。そして、アドレス線及び読出し線が有効になると、図6に示す信号線を介して蓄積電荷を第1〜第4出力チャンネル58a〜58dのいずれかに転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に(選択)し、当該選択信号で選択した画素列の各センサセル56aに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。
ここで、本発明の露光時間の制御は、センサセルアレイ56の露光領域に対して、各画素のラインの蓄積電荷のリセット及び標準露光時間の画素信号の読み出しを行う通常走査ライン(読み出しライン)L1を設定すると共に、センサセルアレイ56の露光領域に対して、短露光時間の画素信号の非破壊読み出しを行う高速走査ライン(読み出しライン)L2及び超短露光時間の画素信号の非破壊読み出しを行う高速走査ライン(読み出しライン)L3を設定する。そして、1回の露光期間(標準露光時間)において、標準露光時間で露光時の画素信号の読み出し及びリセット並びに短露光時間及び超短露光時間で露光時の画素信号の非破壊読み出しがそれぞれ独立に実行されるように行われる。つまり、通常走査ラインL1及び高速走査ラインL2及びL3は、図7に示すように、露光領域における画素のラインに順次標準露光時間分の電荷が蓄積されると、通常走査ラインL1が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間分の電荷が蓄積される期間中、超短露光時間及び短露光時間において各画素のラインの画素信号を非破壊で順次読み出すように高速走査ラインL2及びL3がそれぞれ設定される。
また、上記通常走査ラインL1並びに高速走査ラインL2及びL3の画素信号の読み出しタイミングの制御は、図7に示すように、各画素のライン毎に、通常走査ラインL1を順次走査し(図7では上方向)、当該通常走査ラインL1においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット前後に標準露光時間の露光が行われた画素の画素信号及びリセット直後の画素信号の読み出しを行う。そして、例えば、第1ラインにおいて画素信号の読み出し及びリセットを行い、画素信号がラインメモリから全て外部に読み出された後に、通常走査ラインL1の走査が順次行われ、通常走査ラインL1が再び第1ラインに到達したときに、丁度標準露光時間が経過するタイミングで通常走査ラインL1の走査が行われる。このような手順で、センサセルアレイ56の露光領域の画素のラインに対して、各画素のライン毎に、通常露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。一方、通常走査ラインL1によって蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、高速走査ラインL3において超短露光時間の露光が行われた画素の画素信号の非破壊読み出しを行い、引き続き、高速走査ラインL2において短露光時間の露光が行われた画素の画素信号の非破壊読み出しを行う。このような手順で、センサセルアレイ56の各画素のラインに対して、ライン毎に、超短露光時間及び短露光時間で露光時の画素信号の非破壊読み出しを順次行う。
通信器・DSP動作制御部12aは、システムコントローラ2a(後述)から、センサセルアレイ56の非破壊読み出しに対する開始ライン番号に関する情報を取得し、当該取得した開始ライン番号を示す駆動制御信号を、撮像処理系10の走査ラインスキャナ54に出力する。
第1非標準画像生成部70は、図10(a)に示すように、減算器70aを含んで構成される。ここで、標準露光時間以外の露光時間に対応する画素データを非標準露光画素データと称す。つまり、超短露光時間及び短露光時間にそれぞれ対応する超短露光画素データ及び短露光画素データは非標準露光画素データとなる。
図11に示すように、1フレーム(標準露光時間)の露光において、センサセルアレイ56の各画素に蓄積される電荷量は時間の経過と共に増加する。超短露光時間(図中T2)及び短露光時間(図中T1)においては、非破壊読み出し方式で各画素から電荷を読み出すので、露光中に電荷の読み出しを何度行っても各画素の蓄積電荷量が維持される。
図9に戻って、第1飽和予測部72は、図10(b)に示すように、比較器72aを含んで構成される。
図12に示すように、超短露光時間をT2、短露光時間をT1、標準露光時間をT0とし、T0において丁度飽和レベルVmax(これを越えると飽和する輝度値)に到達するような傾きで蓄積電荷量が増加する場合を考える。この場合の単位時間あたりの照射光量をS0とすると、T2、T1における蓄積電荷量から、これらの単位時間あたりの照射光量S2、S1が解れば、その画素がT0で飽和するか否かを予測することが可能である。ここで、センサセルアレイ56の飽和レベルVmaxは、予め測定可能であり、また、照射光量が一定であれば、露光時間と、出力輝度レベルとには相関関係(ほぼ比例関係)がある。つまり、標準露光時間の露光期間中に、撮像対象に急激な輝度変化が無い限りは、蓄積電荷量はほぼ線形に増加(ほぼ一定の増加量で増加)する。
選択出力器73aは、第1飽和予測部72から入力された飽和予測結果に基づき、第1非標準画像生成部70から入力された短露光画素データと、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR1とのいずれか一方を選択し、当該選択したデータを出力する。具体的には、飽和予測結果が「1」であれば短露光画素データを出力し、飽和予測結果が「0」であれば飽和予測レベルTHR1を出力する。そして、第1合成画像生成部73は、選択出力された短露光画素データ又は飽和予測レベルTHR1を、合成出力用の短露光画素データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。
ここで、内部構成を説明する前に、本実施の形態におけるHDR画像生成部12dの動作原理について説明する。
前述した短露光時間T1を標準露光時間T0の1/K1とする(T1=T0/K1)。また、T1において、S0で照射されている画素の信号出力レベルは、Vmax/K1(これを、上記THR1とする)と予測できる。つまり、リセット後、時間T1を経過後に全ての画素をサンプリングし(全ての画素から画素信号の読出しを行い)、各画素の信号出力レベルが判定閾値THR1を越える画素は、時間T0を経過後に飽和すると予測(判定)する。また、THR1以下の画素は時間T0を経過後に飽和しない(非飽和である)と予測(判定)する。
ここで、本実施の形態においては、撮像処理系10において、非標準露光画素データとして、短露光時間で露光された短露光画素データのみを取得することとする。また、本実施の形態においては、広ダイナミックレンジで出力できる表示装置を前提とし、露光時間の正規化、具体的には標準露光時間T0で正規化する線形合成によってHDR画像を生成する。従って、T0の標準露光画素データの値が非飽和であると予測された場合は、当該標準露光画素データを使い、それ以外の場合は、T1で取得した短露光画素データを正規化したデータを使って合成出力を求める。
合成出力=K1×V1
=K1×(V1−Vmax/K1+Vmax/K1)
=K1×(V1−Vmax/K1)+Vmax
=K1×(V1−THR1)+(T0における信号出力)・・・(1)
上式(1)において、標準露光時間T0と短露光時間T1との比(正規化係数)がK1(=T0/T1)となる。
HDR画像生成部12dは、図13に示すように、減算器80と、乗算器81と、加算器82とを含んで構成される。
減算器80は、メモリアクセス調停器12eを介してフレームメモリ14から、合成用の短露光画像データを読み出し、当該短露光画像データを構成する各短露光画素データ(V1)、又は飽和予測レベル(THR1)から、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力される飽和予測レベル(THR1)を減算し、当該減算結果を乗算器81に出力する。つまり、標準露光時間T0において飽和すると予測された画素の場合は短露光画素データが入力されるので、上式(2)における(V1−THR1)が0以外の値となり、標準露光時間T0において飽和しないと予測された画素の場合はV1として飽和予測レベル(THR1)が入力されるので、上式(1)における(V1−THR1)が0となる。
出力読出器12fは、システムコントローラ2aからの出力タイミング信号に同期して、メモリアクセス調停器12eを介してフレームメモリ14内のHDR画像データを読み出し、この読み出したHDR画像データをシステムコントローラ2aに出力する。
ホストシステム2は、システムコントローラ2aと、表示装置2bとを含んで構成される。
システムコントローラ2aは、映像処理系(DSP)12からHDR画像データを取得し、当該取得したHDR画像データに基づき表示装置2bに広ダイナミックレンジ画像を表示させたり、撮像装置1に各種制御信号や各種データを与えて、その動作を制御したりする。
次に、本実施の形態の実際の動作を説明する。
以下、非標準露光画素データとして短露光画素データの読み出しのみを行う場合の動作を説明する。また、本実施の形態においては、非破壊読み出しにおけるサンプリング時間(短露光時間)を、標準露光時間の1/10の時間とする。
非標準画像データ生成部・飽和予測部12cは、撮像処理系10から基準画像データが入力され、且つタイミング制御器12bからアドレス情報が入力されると、当該アドレス情報に基づき、基準画像データを、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。次に、非標準画像データ生成部・飽和予測部12cは、撮像処理系10から引き続き短露光画像データが入力されると、第1非標準画像生成部70の減算器70aにおいて、短露光画像データを構成する各短露光画素データの画素値から、フレームメモリ14に記憶された、当該短露光画素データと同じ画素位置の基準画素データの画素値を減算して、固定パターンノイズを除去した短露光画素データを生成する。第1非標準画像生成部70は、短露光画像データ(ライン単位)が生成されると、これを、第1飽和予測部72及び第1合成画像生成部73にそれぞれ出力する。
第1合成画像生成部73は、第1非標準画像生成部70から短露光画像データが入力され、第1飽和予測部72から飽和予測結果が入力されると、選択出力器73aにおいて、各短露光画素データについて、飽和予測結果が「1」であれば短露光画素データ(V1)を、「0」であれば、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR1を選択して出力する。この選択出力は、合成用の短露光画素データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶される。
HDR画像生成部12dは、減算器80、乗算器81及び加算器82を用いて、上式(1)に従った処理を行いHDR画像データを生成する。
合成出力=10×(V1−Vmax/10)+V0 ・・・・・・・・・・(2)
加算器82は、撮像処理系10から入力された標準露光画像データを構成する標準露光画素データの示す輝度値V0と、乗算器81から入力された乗算結果とを加算し、当該加算結果「10×(V1−Vmax/10)+V0」又は「V0」をHDR合成出力として出力する。つまり、標準露光時間T0において、飽和すると予測された画素については、その短露光画素データを正規化した「10×(V1−Vmax/10)+V0」がHDR画素データとして出力され、一方、標準露光時間T0において、飽和しないと予測された画素については、その標準露光画素データ「V0」そのものがHDR画素データとして出力される。つまり、HDR画像データは、前述したように精度良く飽和/非飽和が予測された予測結果に基づき選択された、短露光画素データを正規化した画素データと、標準露光画素データとが合成されたものとなる。そして、このHDR画像データは、メモリアクセス調停器12eを介してフレームメモリ14に記憶される。
出力読出器12fは、システムコントローラ2aからの各種同期信号に同期して、フレームメモリ14内に記憶されたHDR画像データを、メモリアクセス調停器12eを介して読み出し、この読み出したHDR画像データをシステムコントローラ2aに出力する。システムコントローラ2aは、出力読出器12fから出力されたHDR画像データを取得し、当該取得したHDR画像データを表示装置2bに表示させる。
〔第2の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第2の実施の形態を、図面に基づいて説明する。図14は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第2の実施の形態を示す図である。
まず、内部構成を説明する前に、本実施の形態におけるHDR画像生成部12dの動作原理について説明する。
ここで、本実施の形態においては、撮像処理系10において、非標準露光画素データとして、超短露光時間及び短露光時間で露光された全画素の超短露光画素データ及び短露光画素データを取得することとする。また、本実施の形態においては、超短露光画素データ及び短露光画素データに対して、これを仮想的にT0まで露光時間を伸ばしたときに、それが幾つになるかを予測し、超短露光画素データ及び短露光画素データをその予測した値に補正して用いる。
「T1での予測値」=K2×V2
=K2×(V2−Vmax/K1+Vmax/K1)
=K2×(V2−Vmax/K1)+Vmax
=K2×(V2−THR2)+(T1の信号出力)・・(4)
但し、正規化係数K2=T1/T2とする。
合成出力=K1×(T1での予測値)
=K1×(K2(V2−THR2)+(T1の信号出力)−THR1)+(T0の信号出力)
=K1×K2×(V2−THR2)+K1×((T1の信号出力)−THR1))+(T0の信号出力)・・・・・・・・・・・・・・・・・・・・・・(5)
HDR画像生成部12dは、図14(a)に示すように、短露光合成部90と、超短露光合成部91とを含んで構成される。
短露光合成部90は、上記第1の実施の形態における図13に示す構成と同様の構成となっており、加算器82の加算結果(以下、高輝度画像データと称す)を、超短露光合成部91に出力する点のみが異なる。従って、詳細な説明を省略する。
減算器83は、メモリアクセス調停器12eを介してフレームメモリ14から、合成用の超短露光画像データを読み出し、当該超短露光画像データを構成する各超短露光画素データ(V2)、又は飽和予測レベル(THR2)から、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力される飽和予測レベル(THR2)を減算し、当該減算結果を乗算器84に出力する。つまり、短露光時間T1において飽和すると予測された画素の場合は超短露光画素データが入力されるので、上式(5)における(V2−THR2)が「0」以外の値となり、短露光時間T1において飽和しないと予測された画素の場合はV2として飽和予測レベル(THR2)が入力されるので、上式(5)における(V2−THR2)が「0」となる。
ここで、本実施の形態においては、非破壊読み出しにおけるサンプリング時間T2、T1を、T2は、短露光時間T1の1/10(T2=T1/10=T0/100)とし、T1は、標準露光時間T0の1/10(T1=T0/10)とする。
撮像装置1は、電源が投入され、映像処理系12において、ホストシステム2から露光時間に関する情報と、非破壊読み出し(超短露光時間及び短露光時間)に対する開始ライン番号に関する情報とを取得すると、通信器・DSP動作制御部12aによって、非破壊読み出しの開始ライン番号を指定する駆動制御信号を撮像処理系10に送信する。更に、タイミング制御器12bにおいて、露光領域に対する標準露光時間の画素信号が得られるように撮像素子100を駆動する駆動信号(ピクセルクロック、垂直同期信号0及び水平同期信号)を撮像処理系10に出力する。
非標準画像データ生成部・飽和予測部12cは、撮像処理系10から基準画像データが入力され、且つタイミング制御器12bからアドレス情報が入力されると、当該アドレス情報に基づき、基準画像データを、メモリアクセス調停器12eを介してフレームメモリ14に記憶する。
第2合成画像生成部77は、第2非標準画像生成部75から短露光画像データが入力され、第2飽和予測部76から飽和予測結果が入力されると、選択出力器77aにおいて、各超短露光画素データについて、飽和予測結果が「1」であれば超短露光画素データ(V2)を、「0」であれば、システムコントローラ2aから通信器・DSP動作制御部12aを介して入力された飽和予測レベルTHR2を選択して出力する。この選択出力は、合成用の超短露光画素データとして、メモリアクセス調停器12eを介してフレームメモリ14に記憶される。
HDR画像生成部12dは、まず、短露光合成部90の、減算器80、乗算器81及び加算器82を用いて、上式(1)に従った処理を行い高輝度画像データを生成する。
また、短露光合成部90の、減算器80、乗算器81及び加算器82の動作は、上記第1の実施の形態の減算器80、乗算器81及び加算器82の動作と同様となるので説明を省略する。但し、加算器82の加算結果(高輝度画像データ(10×(V1−Vmax/10)+V0)又は標準露光画像データ(V0))は、超短露光合成部91に出力される。
ここで、超短露光画素データの輝度値(差分処理後)はV2、正規化係数はK2=10、飽和予測レベルはTHR2=Vmax/10となるので、上式(5)は、下式(6)となる。
合成出力=10×10×(V2−Vmax/10)+10×(V1−Vmax/10))+V0 ・・・・・(6)
合成出力=10×(V2−Vmax/100)+V0・・・・・・・・・・・・(3)
つまり、標準露光時間で飽和すると予測された場合は、超短露光画素データ(V2)と、標準露光画素データ(V0)とから合成出力(HDR画素データ)が生成される。
Claims (13)
- 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間で露光時の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、を備えることを特徴とする撮像素子。 - 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成手段と、を備えることを特徴とする撮像装置。 - 前記第2読出手段は、前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い複数種類の短露光時間で露光された電荷を非破壊読み出し方式で順次読み出し、
前記飽和予測手段は、前記第2読出手段で読み出された前記複数種類の短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することを特徴とする請求項2記載の撮像装置。 - 前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行う演算処理手段を備え、
前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測し、
前記HDR画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成して前記HDR画像データを生成することを特徴とする請求項2又は請求項3記載の撮像装置。 - 前記光電変換素子の構成する各画素からリセット直後の電荷を読み出す第3読出手段を備え、
前記演算処理手段は、前記第2読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第3読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことを特徴とする請求項4記載の撮像装置。 - 前記HDR画像データ生成手段は、前記第2読出手段で読み出された非標準露光画素データから、前記飽和予測手段で飽和すると予測された画素に対応する非標準露光画素データを選択し、前記第1読出手段で読み出された標準露光画素データから、前記飽和予測手段で飽和しないと予測された画素に対応する標準露光画素データを選択し、これら選択した標準露光画素データ及び非標準露光画素データを合成して前記HDR画像データを生成することを特徴とする請求項2乃至請求項5のいずれか1項に記載の撮像装置。
- 前記HDR画像データ生成手段は、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、前記選択した非標準露光画素データと当該非標準露光画素データに対応する標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、前記選択した非標準露光画素データと、当該非標準露光画素データに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとに基づき前記選択された非標準露光画素データに対応するHDR画素データを生成し、前記HDR画素データと前記選択した標準露光画素データとを合成して前記HDR画像データを生成することを特徴とする請求項6記載の撮像装置。
- 前記飽和予測手段は、前記非標準露光画素データに基づき予測した標準露光時間で露光時の各画素の蓄積電荷量の示す輝度値と、前記露光時間の種類毎に設定される飽和予測用輝度値とを比較し、当該比較結果に基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測し、
前記HDR画像データ生成手段は、前記選択された非標準露光画素データである第1非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第2非標準露光画素データが無いときに、前記第1非標準露光画素データの示す輝度値から当該第1非標準露光画素データ用の前記飽和予測用輝度値である第1飽和予測用輝度値を第1正規化係数で除算した結果を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果に、当該第1非標準露光画素データに対応する標準露光画素データを加算して前記HDR画素データを生成することを特徴とする請求項7記載の撮像装置。 - 前記標準露光時間と、前記第1非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記第1飽和予測用輝度値とし、
前記「a/b」を、前記第1正規化係数としたことを特徴とする請求項8又は請求項9記載の撮像装置。 - 前記HDR画像データ生成手段は、前記第1非標準露光画素データよりも短い露光時間の前記第2非標準露光画素データがあるときに、前記第2非標準露光画素データの示す輝度値から当該第2非標準露光画素データ用の前記飽和予測用輝度値である第2飽和予測用輝度値を第2正規化係数で除算した結果を減算し、当該減算結果に前記第2正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データの示す輝度値とを加算し、当該加算結果から前記第1飽和予測用輝度値を減算し、当該減算結果に前記第1正規化係数を乗算し、当該乗算結果と前記第1非標準露光画素データに対応する標準露光画素データの示す輝度値とを加算して前記HDR画素データを生成することを特徴とする請求項8記載の撮像装置。
- 前記標準露光時間と、前記第1非標準露光画素データに対応する短露光時間との比が「a:b」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「a/b」で除算した結果を、前記第1飽和予測用輝度値とし、前記標準露光時間と、前記第2非標準露光画素データに対応する短露光時間との比が「a:c」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「(a・b)/(a・c)」で除算した結果を、前記第1飽和予測用輝度値とし、
前記「a/b」を前記第1正規化係数とし、前記「(a・b)/(a・c)」を前記第2正規化係数としたことを特徴とする請求項10記載の撮像装置。 - 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出手段と、
前記第1読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出手段と、
前記第2読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第1読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成手段と、を備えることを特徴とする撮像システム。 - 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第1読出ステップと、
前記第1読出ステップでの露光期間と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第2読出ステップと、
前記第2読出ステップで読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測ステップと、
前記飽和予測ステップの予測結果に基づき、前記第1読出ステップで読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してHDR(High Dynamic Range)画像データを生成するHDR画像データ生成ステップと、を含むことを特徴とする撮像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007098182A JP4998056B2 (ja) | 2006-05-11 | 2007-04-04 | 撮像装置、撮像システム及び撮像方法 |
US11/747,408 US7868938B2 (en) | 2006-05-11 | 2007-05-11 | Image pickup device and image pickup apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006132106 | 2006-05-11 | ||
JP2006132106 | 2006-05-11 | ||
JP2007098182A JP4998056B2 (ja) | 2006-05-11 | 2007-04-04 | 撮像装置、撮像システム及び撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007329896A true JP2007329896A (ja) | 2007-12-20 |
JP4998056B2 JP4998056B2 (ja) | 2012-08-15 |
Family
ID=38711616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007098182A Expired - Fee Related JP4998056B2 (ja) | 2006-05-11 | 2007-04-04 | 撮像装置、撮像システム及び撮像方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7868938B2 (ja) |
JP (1) | JP4998056B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012175408A (ja) * | 2011-02-22 | 2012-09-10 | Olympus Imaging Corp | 撮像装置 |
JP2013062792A (ja) * | 2011-08-22 | 2013-04-04 | Canon Inc | 制御装置、撮影装置および制御方法 |
US9076233B2 (en) | 2012-02-03 | 2015-07-07 | Seiko Epson Corporation | Image processing device and electronic apparatus using the same |
JP2015136087A (ja) * | 2014-01-20 | 2015-07-27 | オリンパス株式会社 | 撮像装置および撮像方法 |
JP2017200056A (ja) * | 2016-04-27 | 2017-11-02 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
WO2018124049A1 (ja) * | 2016-12-27 | 2018-07-05 | パナソニックIpマネジメント株式会社 | 撮像装置、カメラ及び撮像方法 |
KR20200002023A (ko) * | 2017-01-17 | 2020-01-07 | 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄 | 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성 |
JP2021040210A (ja) * | 2019-09-02 | 2021-03-11 | キヤノン株式会社 | 撮像装置及び信号処理装置 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102934024B (zh) * | 2010-06-30 | 2015-07-22 | 富士胶片株式会社 | 摄像装置及摄像方法 |
US8994843B2 (en) | 2010-09-01 | 2015-03-31 | Qualcomm Incorporated | High dynamic range image sensor |
GB201016773D0 (en) * | 2010-10-06 | 2010-11-17 | Univ Leuven Kath | Dynamic range enhancement through prediction of pixel integration time |
WO2012086127A1 (ja) * | 2010-12-20 | 2012-06-28 | パナソニック株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
KR101746499B1 (ko) * | 2010-12-23 | 2017-06-14 | 한국전자통신연구원 | 다이내믹 레인지 삼차원 영상 시스템 |
JP6066593B2 (ja) * | 2012-06-13 | 2017-01-25 | キヤノン株式会社 | 撮像システムおよび撮像システムの駆動方法 |
JP2014060658A (ja) * | 2012-09-19 | 2014-04-03 | Sony Corp | 固体撮像装置、固体撮像装置の駆動方法、及び電子機器 |
US9736388B2 (en) * | 2013-12-13 | 2017-08-15 | Bio-Rad Laboratories, Inc. | Non-destructive read operations with dynamically growing images |
US9521351B1 (en) | 2015-09-21 | 2016-12-13 | Rambus Inc. | Fractional-readout oversampled image sensor |
US9965696B2 (en) * | 2015-12-31 | 2018-05-08 | James Alves | Digital camera control system |
US11448757B2 (en) * | 2016-11-29 | 2022-09-20 | Nuvoton Technology Corporation Japan | Distance measuring device |
US10242268B2 (en) * | 2017-02-03 | 2019-03-26 | Raytheon Company | Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications |
WO2021157261A1 (ja) * | 2020-02-05 | 2021-08-12 | パナソニックIpマネジメント株式会社 | 撮像装置および画像処理方法 |
CN111405205B (zh) * | 2020-03-24 | 2023-02-24 | 维沃移动通信有限公司 | 图像处理方法和电子设备 |
CN112887571B (zh) * | 2021-01-27 | 2022-06-10 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
CN112887572A (zh) * | 2021-01-27 | 2021-06-01 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
FR3123734A1 (fr) | 2021-06-02 | 2022-12-09 | Université de Bourgogne | Procédé de traitement de données de pixels, dispositif et programme correspondant |
US20230134194A1 (en) * | 2021-11-01 | 2023-05-04 | Sri International | Time centered high-dynamic-range readout |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583642A (ja) * | 1991-09-19 | 1993-04-02 | Sony Corp | 固体撮像装置 |
JPH05122614A (ja) * | 1991-10-28 | 1993-05-18 | Olympus Optical Co Ltd | 撮像装置 |
JPH08242408A (ja) * | 1995-03-06 | 1996-09-17 | Nikon Corp | 撮像装置 |
JPH10155112A (ja) * | 1996-11-21 | 1998-06-09 | Olympus Optical Co Ltd | 撮像装置 |
JP2001148805A (ja) * | 1999-11-22 | 2001-05-29 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP2002165137A (ja) * | 2000-08-15 | 2002-06-07 | Pixim Inc | ディジタル画素センサ読出し情報内の画素の再配置のための回路及び方法 |
JP2005086407A (ja) * | 2003-09-08 | 2005-03-31 | Dainippon Printing Co Ltd | 固体撮像装置およびその駆動方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3074967B2 (ja) * | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
JP2004032583A (ja) | 2002-06-28 | 2004-01-29 | Victor Co Of Japan Ltd | 撮像装置 |
US7492400B2 (en) * | 2004-06-01 | 2009-02-17 | The Board Of Trustees Of The Leland Stanford Junior University | Adaptive pixel for high dynamic range and disturbance detection and correction |
-
2007
- 2007-04-04 JP JP2007098182A patent/JP4998056B2/ja not_active Expired - Fee Related
- 2007-05-11 US US11/747,408 patent/US7868938B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583642A (ja) * | 1991-09-19 | 1993-04-02 | Sony Corp | 固体撮像装置 |
JPH05122614A (ja) * | 1991-10-28 | 1993-05-18 | Olympus Optical Co Ltd | 撮像装置 |
JPH08242408A (ja) * | 1995-03-06 | 1996-09-17 | Nikon Corp | 撮像装置 |
JPH10155112A (ja) * | 1996-11-21 | 1998-06-09 | Olympus Optical Co Ltd | 撮像装置 |
JP2001148805A (ja) * | 1999-11-22 | 2001-05-29 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP2002165137A (ja) * | 2000-08-15 | 2002-06-07 | Pixim Inc | ディジタル画素センサ読出し情報内の画素の再配置のための回路及び方法 |
JP2005086407A (ja) * | 2003-09-08 | 2005-03-31 | Dainippon Printing Co Ltd | 固体撮像装置およびその駆動方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012175408A (ja) * | 2011-02-22 | 2012-09-10 | Olympus Imaging Corp | 撮像装置 |
JP2013062792A (ja) * | 2011-08-22 | 2013-04-04 | Canon Inc | 制御装置、撮影装置および制御方法 |
US9076233B2 (en) | 2012-02-03 | 2015-07-07 | Seiko Epson Corporation | Image processing device and electronic apparatus using the same |
JP2015136087A (ja) * | 2014-01-20 | 2015-07-27 | オリンパス株式会社 | 撮像装置および撮像方法 |
JP2017200056A (ja) * | 2016-04-27 | 2017-11-02 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
WO2018124049A1 (ja) * | 2016-12-27 | 2018-07-05 | パナソニックIpマネジメント株式会社 | 撮像装置、カメラ及び撮像方法 |
KR20200002023A (ko) * | 2017-01-17 | 2020-01-07 | 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄 | 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성 |
JP2020506642A (ja) * | 2017-01-17 | 2020-02-27 | サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック | 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成 |
JP7030843B2 (ja) | 2017-01-17 | 2022-03-07 | サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック | 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成 |
KR102422075B1 (ko) * | 2017-01-17 | 2022-07-18 | 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄 | 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성 |
JP2021040210A (ja) * | 2019-09-02 | 2021-03-11 | キヤノン株式会社 | 撮像装置及び信号処理装置 |
JP7379024B2 (ja) | 2019-09-02 | 2023-11-14 | キヤノン株式会社 | 撮像装置及び信号処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20070268396A1 (en) | 2007-11-22 |
US7868938B2 (en) | 2011-01-11 |
JP4998056B2 (ja) | 2012-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4998056B2 (ja) | 撮像装置、撮像システム及び撮像方法 | |
JP4649313B2 (ja) | 固体撮像装置 | |
EP1156673B1 (en) | Image input apparatus | |
CN100539648C (zh) | 摄像元件及摄像装置和方法 | |
US10284796B2 (en) | Image capture apparatus and control method thereof | |
JP6557455B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2007194687A (ja) | 撮像装置 | |
JP2007201985A (ja) | 広ダイナミックレンジ撮像装置 | |
JP4745735B2 (ja) | 画像入力装置及びその制御方法 | |
JP2008205530A (ja) | 撮像装置、撮像システム及び撮像方法 | |
JP5222068B2 (ja) | 撮像装置 | |
JP5207926B2 (ja) | 撮像装置及びその制御方法 | |
JP3682482B2 (ja) | 撮像装置 | |
CN116668822A (zh) | 用于合成图像的图像处理设备及其控制方法和存储介质 | |
JP2020115604A (ja) | 撮像装置およびその制御方法 | |
JP6160139B2 (ja) | 撮像装置及び方法 | |
JP2005080190A (ja) | ホワイトバランス調整方法及び電子カメラ | |
JP2018093301A (ja) | 撮像素子及び撮像素子の制御方法 | |
JP4725052B2 (ja) | 撮像装置 | |
JP3603749B2 (ja) | 撮像装置 | |
JP2005086630A (ja) | 撮像装置 | |
JP2024071225A (ja) | 撮像装置及びその制御方法 | |
JP4188114B2 (ja) | シェーディング補正回路 | |
JP2005176173A (ja) | 固体撮像装置 | |
JP2006157341A (ja) | 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120430 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |