JP2019062327A - 撮像装置、撮像処理論理素子及び撮像素子 - Google Patents

Abstract

【課題】画素単位で明るい映像と暗い映像の選択或いは合成を適切に行うことで、自動で広いダイナミックレンジの映像を得ることができる撮像装置を提供する。【解決手段】撮像装置２００は、画像合成部６、露光制御部７、閾値生成部８を有する。露光制御部７は、撮像部の露光をフィールド毎に制御する。そして、閾値生成部８は、短秒露光の暗い映像の黒近傍となる部分に対応する長秒露光の明るい映像の信号と、長秒露光の明るい映像の白近傍となる部分に対応する短秒露光の暗い映像の信号を検出し、この検出結果から第１閾値Ｔｈ１と第２閾値Ｔｈ２を生成する。また、画像合成部６は、該暗い映像と該明るい映像の平均信号から照明光成分を生成し、該二つの閾値と照明光成分を画素単位で比較することで該暗い映像と該明るい映像の合成を行う。【選択図】図１

Description

本発明は、撮像装置、撮像処理論理素子及び撮像素子に関する。

本技術分野の背景技術として、特開２００３-１７４５８２号公報（特許文献１）がある。該公報には、「広ダイナミックレンジの撮像映像を出力するための方法として、高輝度被写体用撮像と低輝度被写体用撮像の２回の撮像を行い、二つの映像を合成して出力する。そして、ＤＳＰの露光処理部には、長時間露光時と短時間露光時とで信号経路を切り換えるスイッチと、長時間露光時の信号処理を行う長時間露光信号処理部と、短時間露光時の信号処理を行う短時間露光信号処理部と、各露光信号処理部の信号を合成する合成部（ＭＩＸ）が設けられている。そして、各露光信号処理部にそれぞれ設けられたＯＰＤ（光学検波回路）により、長時間露光時と短時間露光時で、それぞれ独立して輝度分布を求め、最適な露光量制御を行う。」と記載されている。

特開２００３-１７４５８２号公報

前記特許文献１では、長時間露光時と短時間露光時でそれぞれ独立して輝度分布を求め、最適な露光量制御を行い、高輝度被写体用の撮像と低輝度被写体用の撮像とを行い、各撮像によって得られた２種類の映像信号を合成して広いダイナミックレンジの撮像映像を出力するカメラシステム及び自動露光制御に関して記載されている。しかしながら、長時間露光時と短時間露光時で得た映像をどのように合成するかの点に関しては十分考慮されていない。

本発明は、前記の課題を解決するための発明であって、画素単位で明るい映像と暗い映像の選択或いは合成を適切に行うことで、自動で広いダイナミックレンジの映像を得ることができる撮像装置、撮像処理論理素子及び撮像素子を提供することを目的とする。

前記目的を達成するため、本発明の撮像装置は、光を電気信号に変換する撮像部（例えば、撮像素子２）と、撮像部の露光時間をフィールド毎に制御する露光制御部と、撮像部により生成した長秒露光映像と短秒露光映像とのいずれかを画素ごとに選択または混合する画像合成部と、画像合成部での選択または混合を制御するための閾値生成部とを有し、閾値生成部は、短秒露光映像の黒近傍の領域に対応する長秒露光映像の照度に応じて第１閾値（例えば、第１閾値Ｔｈ１）を生成し、長秒露光映像の飽和近傍の領域に対応する短秒露光映像の照度に応じて第２閾値（例えば、第２閾値Ｔｈ２）を生成し、画像合成部は、画素の照度が第１閾値以下の場合、長秒露光映像を使用し、画素の照度が第１閾値を超え、かつ、第２閾値未満の場合、短秒露光映像と長秒露光映像を照度に応じた比率で混合して使用し、画素の照度が第２閾値以上の場合、短秒露光映像を使用することを特徴とする。本発明のその他の態様については、後記する実施形態において説明する。

本発明によれば、画素単位で明るい映像と暗い映像の選択或いは合成を適切に行うことで、自動で広いダイナミックレンジの映像を得ることができる。

第１実施形態に係る撮像装置の全体構成を示す図である。 露光制御部の処理を示すフローチャートである。 閾値生成部で生成される第１閾値及び第２閾値を示す図である。 混合係数生成部で生成される混合係数を示す図である。 混合係数の算出処理を示すフローチャートである。 第２実施形態に係る撮像処理論理素子の全体構成を示す図である。 撮像処理論理素子を追加する前の構成を示す図である。 第３実施形態に係るワイドダイナミックレンジ対応撮像素子の全体構成を示す図である。 実施形態の合成技術の必要性を説明するための図である。 野外部分に着目して最適露光にした例を示す図である。 室内部分に着目して最適露光にした例を示す図である。 室内の窓枠の大きさが大きい場合を示す図である。 室内の窓枠の大きさが小さい場合を示す図である。 短秒露光映像の例を示す図である。 長秒露光映像の例を示す図である。 図１に示す撮像装置を用いた露光映像の例を示す図である。

本発明を実施するための実施形態について、適宜図面を参照しながら詳細に説明する。
＜第１実施形態＞
（全体構成）
図１は、第１実施形態に係る撮像装置の全体構成を示す図である。撮像装置２００は、レンズ１、光を電気信号に変換する撮像素子２（撮像部）、メモリ３、長秒露光画像処理部４、短秒露光画像処理部５、撮像部により生成した長秒露光映像と短秒露光映像とのいずれかを画素ごとに選択または混合する画像合成部６、撮像部の露光をフィールド毎に制御する露光制御部７、画像合成部６での選択または混合を制御するための閾値生成部８を有する。

本実施形態の撮像装置２００は、レンズ１を介して入射した光を撮像素子２で光電変換を行い、該光電変換した信号を信号線９１を介して露光制御部７と、メモリ３とに供給し、メモリ３の出力を長秒露光画像処理部４と短秒露光画像処理部５に供給する。撮像装置２００は、長秒露光画像処理部４の長秒映像出力と短秒露光画像処理部５の短秒映像出力を画像合成部６と閾値生成部８に供給し、画像合成部６から画像合成結果を出力するように接続された構成になっている。また、露光制御部７での制御信号が、信号線９２を介して、撮像素子２に指令される。

以下、各部の概要を説明する。
（画像合成部）
画像合成部６は、混合・選択部６１、平均部６２、照明光成分生成部６３、混合係数生成部６４、比較部６５（第１の比較部）を有する。

画像合成部６は、長秒露光画像処理部４と短秒露光画像処理部５の出力が平均部６２と混合・選択部６１に供給され、平均部６２の出力が照明光成分生成部６３に供給される。照明光成分生成部６３の出力が混合係数生成部６４と比較部６５に供給され、比較部６５の出力が混合係数生成部６４に供給され、混合係数生成部６４の出力が混合・選択部６１に供給されるように接続された構成になっている。

（露光制御部）
露光制御部７は、短秒露光と長秒露光を選択する選択部７１、平均値生成部７２、ブロック分割部７３、比較部７４（第２の比較部、長秒用比較部）、平均値生成部７５を有する。

露光制御部７は、撮像素子２の出力から生成された信号をブロック分割部７３と比較部７４に供給し、ブロック分割部７３の出力は平均値生成部７２を介して選択部７１に供給され、比較部７４の出力は平均値生成部７５を介して選択部７１に供給され、選択部７１の選択した短秒露光または長秒露光の選択情報で撮像素子２の露光が制御されるように接続された構成になっている。

（閾値生成部）
閾値生成部８は、第１閾値Ｔｈ１を生成する閾値検波部８０１（第１閾値検波部）、第２閾値Ｔｈ２を生成する閾値検波部８０２（第２閾値検波部）、比較部８５（第３の比較部、第１閾値用比較部）、比較部８２（第４の比較部、第２閾値用比較部）を有する。閾値検波部８０１は、積算部８４、画素数カウント部８６、閾値生成部８８（第１閾値生成部）を有する。閾値検波部８０２は、積算部８１、画素数カウント部８３、閾値生成部８７（第２閾値生成部）を有する。

閾値生成部８は、短秒露光画像処理部５の出力（短秒映像）が閾値検波部８０２と比較部８５に供給され、比較部８５の出力が閾値検波部８０１に供給され、長秒露光画像処理部４の出力が比較部８２と閾値検波部８０１に供給され、比較部８２の出力が閾値検波部８０２に供給される。閾値検波部８０１と閾値検波部８０２の出力が画像合成部６の比較部６５のそれぞれ供給されるように接続された構成になっている。

閾値検波部８０１は、長秒露光画像処理部４の出力（長秒映像）が積算部８４に供給され、積算部８４の出力が閾値生成部８８に供給され、比較部８５からの信号が積算部８４と画素数カウント部８６に供給され、画素数カウント部８６からの信号が閾値生成部８８に供給された構成になっている。

閾値検波部８０２は、短秒露光画像処理部５の出力が積算部８１に供給され、積算部８１の出力が閾値生成部８７に供給され、比較部８２からの信号が積算部８１と画素数カウント部８３に供給され、画素数カウント部８３からの信号が閾値生成部８７に供給される構成になっている。

（露光制御部の詳細）
本実施形態は、フィールド毎に短秒露光と長秒露光を繰り返すように、露光制御部７で撮像素子の電子シャッタの制御を行っている。該制御は、撮像素子２から生成される映像信号で行う。

短秒露光側は、撮像素子２の画面を水平ｎ画素及び垂直ｍ画素単位で分割し、該分割領域毎に平均値を算出し、算出した該平均値のピーク値が一定のレベルになるよう撮像素子２の電子シャッタを制御している。

長秒露光側は、撮像素子２から生成される映像信号と白近傍の信号レベルが設定された指定値ＳＶ１とを比較し、指定値ＳＶ１以下の信号レベルとなる部分に関して信号の平均値が一定のレベルになるよう撮像素子２の電子シャッタを制御している。

図９から図１１を参照して、映像例について説明する。
図９は、実施形態の合成技術の必要性を説明するための図である。図１０は、野外部分に着目して最適露光にした例を示す図である。図１１は、室内部分に着目して最適露光にした例を示す図である。

図９に示したように窓から外が見える室内で撮影した場合、例えば、室内が１０００Ｌｕｘの明るさで窓から見える野外が１０万Ｌｕｘと仮に仮定すると室内と野外とで１００倍の差が生じる。このように一画面内で一定以上の照度差が生じると、撮像素子のダイナミックレンジを超えるため、白飛びや黒つぶれを発生することなく撮影することができない。

図１０は、野外部分に着目して最適露光にした例であり、短秒露光映像に当たる。図１１は、室内部分に着目して最適露光にした例であり、長秒露光映像に当たる。図１０では、野外部分が最適露光になるものの室内部分が黒くつぶれ、図１１では室内部分が最適露光になるものの野外部分が白飛びしている。図１０と図１１の最適露光部分を活用して広いダイナミックレンジを実現している。

本実施形態では、図１に示すブロック分割部７３でブロック分割したブロック毎の信号平均値のピーク値が白レベルになるように短秒露光側の露光を制御することで野外の明るさで最適な露光を実現している。また、該ブロック分割の大きさを変えることで、スポット状の小さな高照度部分に露光が合わないように対象となる映像分割のサイズを指定することで誤動作を防止している。

なお、ブロック分割部７３は、撮像装置の外部、或いは、撮影した映像から、平均値生成部７２（短秒用評価値生成部）で使用するブロックのサイズを制御してもよい。

さらに、本実施形態の長秒露光側では、比較部７４により明るい部分を除外するために指定値ＳＶ１以下の信号部分を求め、該当部分の信号平均値が一定レベルになるように長秒露光側の露光を制御している。

なお、比較部７４（長秒用比較部）は、指定した信号値（例えば、指定値ＳＶ１）)以下に限定されず、指定した信号値未満の画素を検出してもよい。

図２は、露光制御部の処理を示すフローチャートである。図２に示す処理フローにおいて、露光制御部７は、入力された信号から、注目される被写体の大きさを判別するシーン判定を行い、ブロック分割用の該ｎ画素値、ｍ画素値を算出しておく（処理Ｓ７１１）。そして、次に、露光制御部７は、入力された映像が短秒か長秒かの露光条件を判定する（処理Ｓ７１０）。

露光制御部７は、露光条件が短秒露光側の場合（処理Ｓ７１０，短秒）、事前に用意した該ｎ画素値該ｍ画素値と別途入力されたｎ及びｍ値をモードで切り替え（処理Ｓ７１２、選択）、該切り替え結果で得られたｎ画素値及びｍ画素値により、水平ｎ画素垂直ｍ画素単位で画面を領域分割し（処理Ｓ７１３）、分割領域毎に信号の平均値を算出し（処理Ｓ７１４）、一画面内で該平均の最大値（Ａ値）を求め（処理Ｓ７１５）、該Ａ値が別途与えられた第二の露光用白レベルと同じになるように（Ａ値＝白レベル）、露光時間制御を行う（処理Ｓ７１６）。該モードは、事前に注目される被写体の大きさが固定、ないしは、予め決まっている場合、別途入力されたｎ及びｍ値を選択するために切り替える。

露光制御部７は、露光条件が長秒露光側の場合（処理Ｓ７１０、長秒）、外部から第一の露光用白レベルとして与えられた指定値ＳＶ１以下の画素を抽出し（処理Ｓ７２１）、抽出した画素から信号の平均値（Ｂ値）を算出し（処理Ｓ７２２）、該Ｂ値が別途与えられた平均レベル値と同じになるように（Ｂ値＝平均レベル）、露光時間制御を行う（処理Ｓ７２３）。

図２に示す露光制御を行うことにより、短秒露光及び長秒露光における最適な露光を行うことができる。

なお、図２の制御フローでは、処理Ｓ７１４において、分割領域毎に信号の平均値を算出しているが、これに限定されるわけではない。例えば、分割領域毎に信号の合計値を算出してもよい。また、処理Ｓ７２２において、抽出した画素の信号の平均値を算出しているがこれに限定されるわけではない。例えば、抽出した信号の合計値と加算画素数（抽出した画素数）を算出してもよい。

本実施形態の露光制御部７は、撮像部（例えば、撮像素子２）から得た信号からブロック毎の信号レベルの平均値、或いは、信号レベルの合計値を得る短秒用評価値生成部（例えば、平均値生成部７２）と、撮像部から得た信号を指定した信号値（指定値ＳＶ１）と比較する長秒用比較部（例えば、比較部７４）と、長秒用比較部の結果により信号レベルの平均値、或いは、信号レベルの合計値と加算画素数を得る長秒用評価値生成部（例えば、平均値生成部７５）とを有し、短秒用評価値生成部の結果に応じて短秒露光制御を行うとともに、長秒用評価値生成部の結果に応じて長秒露光制御を行う。

＜閾値生成部の詳細＞
図３は、閾値生成部で生成される第１閾値及び第２閾値を示す図である。図３は、横軸が被写体の明るさ（照度）であり、縦軸は撮像素子２の信号レベルである。第１閾値Ｔｈ１及び第２閾値Ｔｈ２は、短秒露光と長秒露光の映像から生成される。

第１閾値Ｔｈ１は、暗い側の短秒露光で明るさが黒に近い暗い部分（あるいは、信号レベルが所定の小さい値以下）に対応する長秒露光映像側の画素あたりの信号レベルの平均値を求め、該平均値から照明光成分の明るさに合わせ算出している。すなわち、図１０に示す黒つぶれしている領域の画素数を算出し、黒つぶれしている領域に対応する図１１の画素の信号レベルの積算値を算出し、算出した積算値を画素数で除算して平均値を算出し、その算出した平均値を第１閾値Ｔｈ１としている。

第２閾値Ｔｈ２は、明るい側の長秒露光で明るさが白近傍以上となる明るい部分（あるいは、信号レベルが所定の大きい値以上）に対応する短秒露光映像側の画素あたりの信号平均値を求め、該平均値から照明光成分の信号レベルに合わせ算出している。すなわち、図１１に示す野外の白飛びしている領域の画素数を算出し、白飛びしている領域に対応する図１０の画素の信号レベルを積算値を算出し、算出した積算値を画素数で除算して平均値を算出し、その算出した平均値を第２閾値Ｔｈ２としている。

図３を用いてさらに説明すると、第１閾値Ｔｈ１を算出する際に、短秒露光の特性７０２において、信号が黒レベル近傍の条件Ａの明るさの部分で長秒露光側の信号の平均を求めている。一方、第２閾値Ｔｈ２を算出する際に、長秒露光特性７０１において、信号が白或いは飽和近傍の条件Ｃの明るさの部分で短秒露光側の平均を求めている。

図３に記載の条件Ｂは、条件Ａと条件Ｃの間で長秒露光と短秒露光の両者で映像が映る明るさである。条件Ａと条件Ｂの境界である境界Ｄ１から境界Ｄ１より一定の割合分だけ暗い位置の間に第１閾値Ｔｈ１を設定し、条件Ｂと条件Ｃの境界である境界Ｄ２から境界Ｄ２より一定の割合分だけ明るい位置の間に第２閾値Ｔｈ２を設定するように動作している。

本実施形態の閾値生成部８は、短秒露光映像の画素の照度と該画素が黒近傍の指定値ＳＶ３とを比較する比較部８５（第３の比較部、第１閾値用比較部）と、長秒露光映像の画素の照度と該画素が飽和近傍の指定値ＳＶ２とを比較する比較部８２（第４の比較部、第２閾値用比較部）と、第１閾値用比較部による黒近傍の画素に対応する長秒露光映像の画素の信号レベルの積算を行う閾値検波部８０１（第１閾値検波部）と、第２閾値用比較部による飽和近傍の画素に対応する短秒露光映像の画素の信号レベルの積算を行う閾値検波部８０２（第２閾値検波部）とを有し、第１閾値検波部と第２閾値検波部からの値により第１閾値及び第２閾値を生成する。

第１閾値用比較部は、短秒露光映像が黒近傍の指定した指定値ＳＶ３以下、或いは、黒近傍の指定した指定値ＳＶ３未満の信号の画素を検出してもよい。また、第２閾値用比較部は、長秒露光映像が飽和近傍の指定した指定値ＳＶ２以上、或いは、該指定した指定値ＳＶ２より大きい信号の画素を検出してもよい。

＜画像合成部の詳細＞
画像合成部６では、閾値生成部８で生成された第１閾値Ｔｈ１と第２閾値Ｔｈ２の二つの閾値で処理を変えている。平均部６２において、短秒露光と長秒露光とで得た信号の平均値を求め、照明光成分生成部６３において、該平均値の低周波成分を抽出し照明光成分を求めている。比較部６５において、該照明光成分と第１閾値Ｔｈ１及び第２閾値Ｔｈ２の比較を行い、混合係数生成部６４において、第１閾値Ｔｈ１以下なら長秒露光側の映像を使い、第１閾値Ｔｈ１から第２閾値Ｔｈ２の間なら短秒露光と長秒露光を照明光成分の信号量に応じた比率（混合係数α）で混合して使い、第２閾値Ｔｈ２以上なら短秒露光側の映像を使い広いダイナミックレンジの信号を生成するように動作する。なお、該平均値は、短秒露光と長秒露光の成分を含むため、短秒露光成分のみから、又は、長秒露光成分のみから求めた照明光より正しい照明光を得ることができる。

図４は、混合係数生成部で生成される混合係数を示す図である。図４の横軸は照明光の明るさ（照度）であり、縦軸は混合係数αである。第１閾値Ｔｈ１においての混合係数α（α_Th1）が０（零）近傍になるように設定され、第２閾値Ｔｈ２においての混合係数α（α_Th2）が１になるように設定されている。

図５は、混合係数の算出処理を示すフローチャートである。混合係数生成部６４は、照明光成分生成部６３からの入力があると、α_Th1≒０となるレベルＬの減算処理をし（処理Ｓ６０１）、照度が負にならないように負値リミットをかける（処理Ｓ６０２）。そして、混合係数生成部６４は、α_Th2≒１となる係数ｋを照度に乗算し（処理Ｓ６０３）、照度が１以上とならないようにして、混合係数αを出力する（処理Ｓ６０４）。なお、混合係数αは、短秒露光映像側の係数であり、長秒露光映像側では、係数は１−αとなる。

以上をまとめると、第１実施形態の撮像装置は、光を電気信号に変換する撮像素子２（撮像部）と、撮像部の露光をフィールド毎に制御する露光制御部７と、撮像部により生成した長秒露光映像と短秒露光映像とのいずれかを画素ごとに選択または混合する画像合成部６と、画像合成部６での選択または混合を制御するための閾値生成部８とを有している。

そして、閾値生成部８は、短秒露光映像が黒近傍の領域に対応する長秒露光映像の照度に応じて第１閾値Ｔｈ１を生成し、長秒露光映像が飽和近傍の領域に対応する短秒露光映像の照度に応じて第２閾値Ｔｈ２を生成し、画像合成部６は、画素の照度が第１閾値Ｔｈ１以下の場合、長秒露光映像を使用し、画素の照度が第１閾値Ｔｈ１を超え、かつ、第２閾値Ｔｈ２未満の場合、短秒露光映像と長秒露光映像を照度に応じた比率（混合係数α）で混合して使用し、画素の照度が第２閾値Ｔｈ２以上の場合、短秒露光映像を使用する。

本実施形態は、図３に記載の条件Ａに該当する明るさの被写体に対しては、長秒露光側の映像が使われ、かつ、該長秒露光側の映像が最適な露光になるように動作し、条件Ｃに該当する明るさの被写体に対しては、短秒露光側の映像が使われ、かつ、該短秒露光側の映像が最適な露光になるように動作しているため、広いダイナミックレンジの映像を最適な条件で合成することができる。

図１２は、室内の窓枠の大きさが大きい場合を示す図である。図１３は、室内の窓枠の大きさが小さい場合を示す図である。図１２及び図１３に示すように窓枠の大きさが変わった場合、室内や野外に明るさに変化が無くてもヒストグラムの分布が変わるため、通常行われるヒストグラムによる制御では露光ずれが生じる場合がある。

しかしながら、本実施形態では、窓枠の大きさに依存することなく室内と野外に合った露光をすることができ、合成時に使われる部分で常に最適な露光となる。そのため、そこから得た信号で広いダイナミックレンジの信号を得ることができ誤動作することがない。

また、撮影した映像自身から第１閾値Ｔｈ１及び第２閾値Ｔｈ２を決めているため、常に最適な条件で映像の合成を行うことができる。ブロック分割のサイズを映像のシーンや用途に応じて変えることで着目していないスポット状の高照度部分に露光が合うことも回避することができる。

＜第２実施形態＞
図６は、第２実施形態に係る撮像処理論理素子（撮像処理ＩＰ）の全体構成を示す図である。図７は、撮像処理論理素子（撮像処理ＩＰ）を追加する前の構成を示す図である。これらの図を用いて説明する。図１と重複する部分は、同一の番号を付け説明を省略する。なお、ＩＰは、ＩＰコア（Intellectual Property core)を意味し、ＬＳＩ(Large-Scale Integrated circuit)を構成するための部分的な回路情報で、特に機能単位でまとめられているものを指す。撮像処理論理素子１０１は、ＦＰＧＡ（field-programmable gate array）等で実現することができる。

図６に示す本実施形態は、レンズ１、撮像素子２、撮像処理論理素子１０１、カメラ処理ＬＳＩ１１を含んで構成されている。撮像処理論理素子１０１は、メモリ３、長秒露光画像処理部４、短秒露光画像処理部５、画像合成部６、露光制御部７、閾値生成部８、モザイキング部９、メモリ１０を有する。

本実施形態は、レンズ１を介して入射した光を撮像処理論理素子１０１に供給し、撮像処理論理素子１０１には、外部から分割値、指定値ＳＶ１、指定値ＳＶ２、指定値ＳＶ３、モードが供給され、撮像処理論理素子１０１の出力がカメラ処理ＬＳＩ１１に接続された構成になっており、図１の実施例と同等の回路構成になっている。

本実施形態の動作は、図１の実施例と同一であり、図５記載の標準的な撮像装置に広いダイナミックレンジを実現する処理を追加できるように撮像処理論理素子（撮像処理ＩＰ）を実現した場合の例である。撮像処理論理素子１０１の入力映像フォーマットと出力映像フォーマットをセンサ出力フォーマットにし、モザイキング部９で撮像素子２と同じカラーサンプリングを実現し、出力段に撮像素子２と同じタイミングで出力するためのメモリ１０を追加することで、図７の撮像素子２とセンサからのＲＡＷデータを現像するカメラ処理ＬＳＩ１１の間に挿入することを可能にしている。

本実施形態は、撮像処理論理素子１０１の入出力の映像フォーマット（仕様）を撮像素子の出力フォーマット（仕様）にしているため、既存のカメラシステムに追加するだけで、簡単に広いダイナミックレンジの映像を得ることができる。本実施形態は、第１実施形態と本質的に等しく同等の効果を得ることができる。

＜第３実施形態＞
図８は、第３実施形態に係るワイドダイナミックレンジ対応撮像素子の全体構成を示す図である。図８を用いて、ワイドダイナミックレンジ対応撮像素子１００の全体構成を説明する。図１と重複する部分は、同一の番号を付け説明を省略する。

第３実施形態のワイドダイナミックレンジ対応撮像素子１００は、第１実施形態に説明した撮像装置２００（レンズ１を除く）を構成する各部を集積し、ワンパッケージに納めた素子である。

本実施形態は、レンズ１、マイコン１３、ワイドダイナミックレンジ対応撮像素子１００を含んで構成されている。ワイドダイナミックレンジ対応撮像素子１００は、メモリ３、長秒露光画像処理部４、短秒露光画像処理部５、画像合成部６、露光制御部７、閾値生成部８、選択部１２、撮像部２０を有している。

本実施形態は、レンズ１を介して入射した光をワイドダイナミックレンジ対応撮像素子１００に供給し、ワイドダイナミックレンジ対応撮像素子１００にはマイコン１３から分割値、指定値ＳＶ１、指定値ＳＶ２、指定値ＳＶ３、モードが供給され、マイコン１３には外部から高照度部分の有効画像サイズ値が供給されるように接続された構成になっている。

本実施形態は、撮像素子の中に広いダイナミックレンジを実現する機能を入れた例である。基本的な構成と動作は、第１実施形態と同等であり、撮像素子の外部に設けたマイコン１３から処理上必要となる設定を行う機能を設け、また、処理の最終段に広ダイナミックレンジ処理を行わない撮像部２０からの出力と撮像部２０からの出力信号のタイミングを変えた信号出力と広ダイナミックレンジ処理後の信号出力の選択を行う選択部１２を追加した例である。

本実施形態では、撮像素子の中に広いダイナミッレンジを実現する機能を集積することで、カメラ全体で見たとき、高速のデータインターフェースを減らすことができるため電力の削減ができ、また、ＬＳＩ等の部品数を増やすことなく低コストで広いダイナミックレンジの映像を作ることができる。本実施形態は、第１実施形態と本質的に等しく同等の効果を得ることができる。

本実施形態の撮像装置２００は、画像合成部６、露光制御部７、閾値生成部８を有する。露光制御部７は、撮像部の露光をフィールド毎に制御する。そして、閾値生成部８は、短秒露光の暗い映像の黒近傍となる部分に対応する長秒露光の明るい映像の信号と、長秒露光の明るい映像の白近傍となる部分に対応する短秒露光の暗い映像の信号を検出し、この検出結果から第１閾値Ｔｈ１と第２閾値Ｔｈ２を生成する。また、画像合成部６は、該暗い映像と該明るい映像の平均信号から照明光成分を生成し、該二つの閾値と照明光成分を画素単位で比較することで該暗い映像と該明るい映像の合成を行う。

本実施形態の撮像装置は、明るい映像と暗い映像から画像合成する際に、第１閾値及び第２閾値を算出し、その算出された閾値に応じて画像を合成することができる。このため、画像合成を行うための合成モード指定やシーン毎のチューニングを行うことなく、自動で広いダイナミックレンジの映像を得ることができる。

本実施形態の適用例として、図９に示す室内の様子と窓の風景の例を示したが、これに限定されるわけではない。例えば、
（１）トンネル内から出口方向を見た際のトンネル内と出口の照度差がある風景、
（２）夜間、照明がある街灯と照明が当りづらい暗い被写体がある風景
（３）夜間、自動車内から前方へライトを照らして走行しナンバープレートが白く見えにくくなっている、且つ、歩行者は暗く写っている風景
に適用すれば、鮮明な映像または画像を得ることができる。以下、前記（１）を例として、図１４〜図１６の実映像を示す。

図１４は、短秒露光映像の例を示す図である。図１５は、長秒露光映像の例を示す図である。図１６は、図１に示す撮像装置を用いた露光映像の例を示す図である。図１４は、、トンネル出口に着目して最適露光にした例を示す図である。この場合、トンネル出口は鮮明な映像を得ることができるが、トンネル内部は、黒つぶれとなっている。図１５は、トンネル内に着目して最適露光した例を示す図である。この場合、トンネル内は、鮮明な映像を得ることができるが、トンネル出口は、白飛びが発生している。これに対し、図１６に示す撮像装置２００を用いた露光映像は、トンネル内及びトンネル出口ともに、鮮明な映像を得ることができる。

１ レンズ
２ 撮像素子（撮像部）
３ メモリ
４ 長秒露光画像処理部
５ 短秒露光画像処理部
６ 画像合成部
７ 露光制御部
８ 閾値生成部
９ モザイキング部
１０ メモリ
１１ カメラ処理ＬＳＩ
１２ 選択部
１３ マイコン
２０ 撮像部
６１ 混合・選択部
６２ 平均部
６３ 照明光成分生成部
６４ 混合係数生成部
６５ 比較部（第１の比較部）
７１ 選択部
７２ 平均値生成部（第１の評価値生成部、短秒用評価値生成部）
７３ ブロック分割部
７４ 比較部（第２の比較部、長秒用比較部）
７５ 平均値生成部（第２の評価値生成部、長秒用評価値生成部）
８１ 積算部
８２ 比較部（第４の比較部、第２閾値用比較部）
８３ 画素数カウント部
８４ 積算部
８５ 比較部（第３の比較部、第１閾値用比較部）
８６ 画素数カウント部
８７ 閾値生成部（第２閾値生成部）
８８ 閾値生成部（第１閾値生成部）
１００ ワイドダイナミックレンジ対応撮像素子
１０１ 撮像処理論理素子（撮像処理ＩＰ）
２００ 撮像装置
７０１ 長秒露光時の光電変換特性
７０２ 短秒露光時の光電変換特性
８０１ 閾値検波部（第１閾値検波部）
８０２ 閾値検波部（第２閾値検波部）
Ｔｈ１ 第１閾値
Ｔｈ２ 第２閾値
α 混合係数（比率）

Claims (9)

1. 光を電気信号に変換する撮像部と、
   前記撮像部の露光時間をフィールド毎に制御する露光制御部と、
   前記撮像部により生成した長秒露光映像と短秒露光映像とのいずれかを画素ごとに選択または混合する画像合成部と、
   前記画像合成部での選択または混合を制御するための閾値生成部とを有し、
   前記閾値生成部は、前記短秒露光映像の黒近傍の領域に対応する前記長秒露光映像の照度に応じて第１閾値を生成し、前記長秒露光映像の飽和近傍の領域に対応する前記短秒露光映像の照度に応じて第２閾値を生成し、
   前記画像合成部は、
   前記画素の照度が前記第１閾値以下の場合、前記長秒露光映像を使用し、
   前記画素の照度が前記第１閾値を超え、かつ、前記第２閾値未満の場合、前記短秒露光映像と長秒露光映像を照度に応じた比率で混合して使用し、
   前記画素の照度が前記第２閾値以上の場合、前記短秒露光映像を使用する
   ことを特徴とする撮像装置。
2. 前記閾値生成部は、
   前記短秒露光映像の画素の照度と該画素が黒近傍の指定値とを比較する第１閾値用比較部と、
   前記長秒露光映像の画素の照度と該画素が飽和近傍の指定値とを比較する第２閾値用比較部と、
   前記第１閾値用比較部による黒近傍の画素に対応する前記長秒露光映像の画素の信号レベルの積算を行う第１閾値検波部と、
   前記第２閾値用比較部による飽和近傍の画素に対応する前記短秒露光映像の画素の信号レベルの積算を行う第２閾値検波部とを有し、
   前記第１閾値検波部と前記第２閾値検波部からの値により前記第１閾値及び前記第２閾値を生成する
   ことを特徴とする請求項1に記載の撮像装置。
3. 前記露光制御部は、
   前記撮像部から得た信号からブロック毎の信号レベルの平均値、或いは、信号レベルの合計値を得る短秒用評価値生成部と、
   前記撮像部から得た信号を指定した信号値と比較する長秒用比較部と、
   前記長秒用比較部の結果により信号レベルの平均値、或いは、信号レベルの合計値と加算画素数を得る長秒用評価値生成部とを有し、
   前記短秒用評価値生成部の結果に応じて短秒露光制御を行うとともに、前記長秒用評価値生成部の結果に応じて長秒露光制御を行う
   ことを特徴とする請求項1または２に記載の撮像装置。
4. 前記露光制御部は、さらに、前記短秒用評価値生成部で使用する前記ブロックのサイズを制御するブロック分割部を有し、
   前記ブロック分割部は、前記撮像装置の外部、或いは、撮影した映像から前記サイズを制御する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記長秒用比較部は、指定した信号値以下、或いは、該指定した信号値未満の画素を検出する
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記第１閾値用比較部は、前記短秒露光映像が黒近傍の指定した指定値以下、或いは、前記黒近傍の指定した指定値未満の信号の画素を検出し、
   前記第２閾値用比較部は、前記長秒露光映像が飽和近傍の指定した指定値以上、或いは、該指定した指定値より大きい信号の画素を検出する
   ことを特徴とする請求項２に記載の撮像装置。
7. 前記画像合成部は、前記露光制御部により露光量を決めた少なくとも二種類の明るさの映像から生成した照明光信号と前記閾値生成部で生成した第１閾値及び第２閾値に基づき、前記短秒露光映像と長秒露光映像とを混合する混合係数を算出する混合係数生成部を有する
   ことを特徴とする請求項２に記載の撮像装置。
8. 請求項１から７のいずれか１項に記載の撮像装置において、
   前記撮像装置の映像入力と映像出力の仕様を同一にした
   ことを特徴とする撮像処理論理素子。
9. 請求項１から７のいずれか１項に記載の撮像装置において、
   前記撮像装置を構成する各部を集積し、ワンパッケージに納めた
   ことを特徴とする撮像素子。