JP2004254151A - Imaging unit and imaging method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging unit having a high quality and wide dynamic range. <P>SOLUTION: The imaging unit has an imaging means for imaging an object with large light exposure and small light exposure and for outputting a first image signal by imaging with the large light exposure and a second image signal by imaging with the small light exposure at the same pixel position as the first image signal, a decision means for deciding a moving object region and the saturation region of the first image signal on the basis of the first and second image signals and for outputting a decision signal, and an image compositing means for performing image composition by varying ratio occupied by the first and second image signals on the basis of the decision signal. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

ただし、Ｓ_Ｃ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における合成画像信号Ｓ_Ｃ、Ｓ_Ｌ（ｘ，ｙ）は、画素位置（ｘ，ｙ）におけるロングシャッタの画像信号Ｓ_Ｌ、Ｓ_Ｓ（ｘ，ｙ）は、画素位置（ｘ，ｙ）におけるショートシャッタの画像信号Ｓ_Ｓ、Ｓ_ＳＡＴは、ＣＣＤイメージセンサ５２の飽和信号レベル、Ｋは、ロングシャッタとショートシャッタの感度比（ロングシャッタ／ショートシャッタ）である。
【０００９】
上記の式（Ａ）から、明らかなように、ショートシャッタの画像信号Ｓ_Ｓは、感度比Ｋを乗算することにより、ロングシャッタの画像信号Ｓ_Ｌと同様の信号レベルにしている。
【００１０】
この画像合成部５６では、上記の式（Ａ）により、画素位置（ｘ，ｙ）におけるロングシャッタの画像信号Ｓ_Ｌ（ｘ，ｙ）が、飽和信号レベルＳ_ＳＡＴ未満である時には、画素位置（ｘ，ｙ）における合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、画像信号Ｓ_Ｌ（ｘ，ｙ）を用い、飽和信号レベルＳ_ＳＡＴ以上である時には、画像信号Ｓ_Ｓ（ｘ，ｙ）を用いている。すなわち、ロングシャッタの画像信号Ｓ_Ｌの飽和信号レベルＳ_ＳＡＴを境界にして、ロングシャッタの画像信号Ｓ_Ｌとショートシャッタの画像信号Ｓ_Ｓとを切り替えて用いるように構成されている。
【００１１】
【発明が解決しようとする課題】
従来の撮像装置５１では、被写体が動いている場合に、暗い部分と明るい部分の境界付近で、不自然な画像となる場合がある。これは、主に暗い部分を撮影するための大きい露光量（ロングシャッタ）のシャッタ期間と、主に明るい部分を撮影するための小さい露光量（ショートシャッタ）のシャッタ期間の時間がずれている為と考えられる。
【００１２】
図１０は、白いストライプをロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。図１０（Ａ）は、ロングシャッタの画像信号Ｓ_Ｌを表し、図１０（Ｂ）は、ショートシャッタの画像信号Ｓ_Ｓを表し、図１０（Ｃ）は、図１０（Ａ）と図１０（Ｂ）の上述の式（Ａ）を用いて画像信号を合成することにより得られる合成画像信号Ｓ_Ｃを表す。なお、図中、縦軸は、信号レベルを表し、横軸は、水平方向の画素位置を表す。
【００１３】
ロングシャッタの画像信号Ｓ_Ｌは、シャッタ期間が長いので、移動する被写体を撮像する場合は、図に示すように、白いストライプと背景の境界線が、斜めになる。また、点線で示す飽和信号レベルＳ_ＳＡＴ以上の部分は、出力されないので、実線で示したような形となる。
【００１４】
ショートシャッタは、ロングシャッタの後に撮像されるので、ショートシャッタの画像信号Ｓ_Ｓは、ロングシャッタの画像信号Ｓ_Ｌよりも、水平方向に移動する。これは、シャッタ期間開始時の時間差分だけ、白いストライプが横方向に移動しているからである。
【００１５】
以上の、２つの画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを上述の式（Ａ）を用いて合成して得られる画像信号が、合成画像信号Ｓ_Ｃである。この時、上述したように、ロングシャッタの画像信号Ｓ_Ｌの飽和信号レベルＳ_ＳＡＴを境界にして、ロングシャッタの画像信号Ｓ_Ｌとショートシャッタの画像信号Ｓ_Ｓとを切り替えるので、図１０（Ｃ）に示すように、本来の白いストライプから離れた場所に、濃く太い白線が現れる。これは、被写体が移動しているので、ロングシャッタの画像信号Ｓ_Ｌが飽和信号レベルＳ_ＳＡＴになる水平ライン上の位置とショートシャッタの画像信号Ｓ_Ｓの水平ライン上の最端部の位置にずれが生じるためである。
【００１６】
本発明の目的は、良質で広いダイナミックレンジを持つ撮像装置を提供することである。
【００１７】
【課題を解決するための手段】
本発明の一観点によれば、撮像装置は、大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像手段と、前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域と前記第１の画像信号の飽和領域とを判定し判定信号を出力する判定手段と、前記判定信号に基づき、前記第１の画像信号と前記第２の画像信号との占める比率を変化させて画像合成を行う画像合成手段とを有する。
【００１８】
【発明の実施の形態】
図１は、本発明の第１の実施例による撮像装置１の構成例を示すブロック図である。本実施例の撮像装置１は、白黒のエリアセンサを使用している。
【００１９】
撮像装置１は、少なくとも、ＣＣＤイメージセンサ２、アナログデジタルコンバータ（ＡＤＣ）３、スイッチ４、メモリ５、画像合成部６及び判定部７を含んで構成される。
【００２０】
ＣＣＤイメージセンサ２は、例えば、水平（ｘ）及び垂直（ｙ）方向に配列される多数の光電変換素子（画素）及び垂直電荷転送路（ＶＣＣＤ）を含む受光領域、水平電荷転送路（ＨＣＣＤ）等を含んで構成されるＣＣＤ型固体撮像素子である。ＣＣＤイメージセンサ２は、大きい露光量（ロングシャッタ）と小さい露光量（ショートシャッタ）による撮像を順次行い、ロングシャッタによる１枚分（１フレーム分）の画像信号Ｓ_Ｌとショートシャッタによる１枚分（１フレーム分）の画像信号Ｓ_Ｓを、順番に出力する。
【００２１】
ＡＤＣ３は、ＣＣＤイメージセンサ２から出力されるアナログ形式の画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを、デジタル形式の画像信号にそれぞれ変換する。デジタル形式に変換された画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓは、スイッチ４により、振り分けられる。先に撮像される画像信号Ｓ_Ｌは、メモリ５に一時的に記憶され、その後、メモリ５を介ささない画像信号Ｓ_Ｓと同時に、後段の画像合成部６に送られる。
【００２２】
判定部７は、被写体の移動及び露光量の飽和を検出して、判定信号を画像合成部６に供給する。被写体の移動の検出は、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓとの比Ｒと感度比Ｋを比較することにより行われる。
【００２３】
画像合成部６は、判定部７から供給される判定信号に基づき、画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを合成（若しくはいずれか一方を選択的に使用）して、合成画像信号Ｓ_Ｃを生成して出力する。なお、画像合成部６及び判定部７における処理の詳細は、図２及び図３を参照して後述する。
【００２４】
図２は、本発明の実施例による固体撮像処理の撮像処理を表すフローチャートである。
【００２５】
ステップＳＡ１では、ユーザによる撮像処理の開始指示（例えば、シャッタ操作）により、撮像処理を開始する。
【００２６】
ステップＳＡ２では、図１のＣＣＤセンサー２において、大きい露光量による撮像を行い、該大きい露光量による撮像で得られた画像信号Ｓ_Ｌを、ＡＤＣ３に出力する。
【００２７】
ステップＳＡ３では、図１のＡＤＣ３において、画像信号Ｓ_Ｌをアナログ形式の信号電荷から、デジタル形式の画像データに変換する。
【００２８】
ステップＳＡ４では、図１のスイッチ４をメモリ５側に切り替え、画像信号Ｓ_ＬをＡＤＣ３から、メモリ５に転送して、一時的に記憶する。
【００２９】
ステップＳＡ５では、図１のＣＣＤセンサー２において、小さい露光量による撮像を行い、該小さい露光量による撮像で得られた画像信号Ｓ_Ｓを、ＡＤＣ３に出力する。
【００３０】
ステップＳＡ６では、図１のＡＤＣ３において、画像信号Ｓ_Ｓをアナログ形式の信号電荷から、デジタル形式の画像データに変換する。
【００３１】
ステップＳＡ７では、スイッチ４を画像合成部６側に切り替え、画像信号Ｓ_Ｓを判定部７と画像合成部６に供給すると同時に、メモリ５に一時記憶された画像信号Ｓ_Ｌを判定部７と画像合成部６に供給する。
【００３２】
ステップＳＡ８では、後述する判定・合成処理を行う。判定・合成処理では、判定部７から供給される判定信号に基づき、画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを合成（若しくはいずれか一方を選択的に使用）して、合成画像信号Ｓ_Ｃを生成して出力する。
【００３３】
ステップＳＡ９では、合成画像信号Ｓ_Ｃを出力して、ステップＳＡ１０で撮像処理を終了する。
【００３４】
図３は、本発明の第１の実施例による判定・合成処理を表すフローチャートである。判定・合成処理は、被写体の移動及び露光量の飽和を検出して、該検出結果に基づき、合成画像信号Ｓ_Ｃを生成する。なお、この判定・合成処理は、全ての画素位置の画像信号に対して行われる。
【００３５】
ステップＳＢ１では、判定・合成処理を開始する。
【００３６】
ステップＳＢ２では、画素位置（ｘ，ｙ）が飽和領域であるか否かを判定する。ここでは、以下の式（Ａ−１）又は（Ａ−２）のいずれかを満たす場合に、画像信号が飽和信号レベルを超えていると判定される。
【００３７】
Ｓ_Ｌ（ｘ，ｙ）≧Ｓ_ＳＡＴ …（Ａ−１）
ＫＳ_Ｓ（ｘ，ｙ）≧Ｓ_ＳＡＴ …（Ａ−２）
ただし、Ｓ_ＳＡＴは、ＣＣＤセンサー２の飽和信号レベル、Ｋは、大きい露光量（長いシャッタ時間）／小さい露光量（短いシャッタ時間）から求められる感度比である。なお、小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）を感度比Ｋで乗算するのは、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と信号レベルのスケールを合わせるためである。
【００３８】
画素位置（ｘ，ｙ）の画像信号が飽和レベルを超えている場合は、画素位置（ｘ，ｙ）が飽和領域であると判定して、ＹＥＳの矢印で示すステップＳＢ５に進む。飽和信号レベルを超えていない場合は、飽和領域ではないと判定して、ＮＯの矢印で示すステップＳＢ３に進む。
【００３９】
ステップＳＢ３では、下記式（Ｂ）に基づき、画素位置（ｘ，ｙ）における画像信号Ｓ_Ｌ（ｘ，ｙ）及び画像信号Ｓ_Ｓ（ｘ，ｙ）の信号比Ｒ（ｘ，ｙ）を求める。
【００４０】
Ｒ（ｘ，ｙ）＝Ｓ_Ｌ（ｘ，ｙ）／Ｓ_Ｓ（ｘ，ｙ） …（Ｂ）
ステップＳＢ４では、画素位置（ｘ，ｙ）が、移動被写体領域であるか否かを判定する。具体的には、ステップＳＢ３で求めた信号比Ｒ（ｘ，ｙ）を下記式（Ｃ１）及び（Ｃ２）を用いて、予め設定される上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮと比較する。信号比Ｒ（ｘ，ｙ）が、上限感度比Ｋ_ＭＡＸより大きい（式（Ｃ−１）を満たす）場合、若しくは、下限感度比Ｋ_ＭＩＮより小さい（式（Ｃ−２）を満たす）場合は、画素位置（ｘ，ｙ）が、移動被写体領域である（移動被写体である）と判定して、ＹＥＳの矢印で示すステップＳＢ５に進む。それ以外の場合は、移動被写体領域でない（移動被写体ではない）と判断して、ＮＯの矢印で示すステップＳＢ６に進む。
【００４１】
Ｒ（ｘ，ｙ）＞Ｋ_ＭＡＸ …（Ｃ−１）
Ｒ（ｘ，ｙ）＜Ｋ_ＭＩＮ …（Ｃ−２）
上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮは、感度比Ｋに応じて、予め設定される値である。例えば、感度比Ｋが、「８」である場合は、上限感度比Ｋ_ＭＡＸを「１０」とし、下限感度比Ｋ_ＭＩＮを「６」と設定する等、感度比Ｋの上下に任意に設定できる。上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋに近い値に設定すれば、後述の図４に示す合成信号に現れる白線は、薄く、細い白線となり、より目立たなくなる。
【００４２】
ステップＳＢ５では、画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、感度比Ｋで乗算した画素位置（ｘ，ｙ）の小さい露光量の画像信号ＫＳ_Ｓ（ｘ，ｙ）を採用する。その後、ステップＳＢ７に進み、判定・合成処理を終了する。つまり、ステップＳＢ２で画像信号の露光量が飽和に達したと判断された場合と、ステップＳＢ４で、被写体が移動していると判断された場合は、小さい露光量の画像信号ＫＳ_Ｓを採用する。こうすることにより、例えば、露光量は飽和していないものの、移動被写体領域では、即座に小さい露光量の画像信号ＫＳ_Ｓに切り替えることができるので、大きい露光量の画像信号から小さい露光量の画像信号に切り替わる際の時間差による画像の破綻（例えば、明るい被写体と暗い被写体の境界部分に出る白線）を小さく（細く）することができる。
【００４３】
ステップＳＢ６では、画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）を採用する。その後、ステップＳＢ７に進み、判定・合成処理を終了する。つまり、ステップＳＢ２で画像信号の露光量が飽和に達していないと判断され、且つ、ステップＳＢ４で、被写体が移動していない判断された場合は、小さい露光量の画像信号Ｓ_Ｌを採用する。このようにすることで、移動被写体領域及び飽和領域以外では、よりＳ／Ｎ比が高い大きい露光量の画像信号Ｓ_Ｌを用いて画像信号を生成することができる。
【００４４】
以上のように、本発明の第１の実施例による判定・合成処理では、被写体の移動を検出して、大きい露光量の画像信号Ｓ_Ｌが飽和露光量に達するのを待たずに、小さい露光量の画像信号Ｓ_Ｓに切り替えることができる。よって、被写体が移動している場合でも、画像の破綻を抑えることができる。
【００４５】
図４は、白いストライプを、本実施例による撮像装置１において、ロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。図４（Ａ）は、ロングシャッタの画像信号Ｓ_Ｌを表し、図４（Ｂ）は、ショートシャッタの画像信号Ｓ_Ｓを表し、図４（Ｃ）は、図４（Ａ）と図４（Ｂ）を、図３に示す判定・合成処理により合成することにより得られる合成画像信号Ｓ_Ｃを表す。なお、図中、縦軸は、信号レベルを表し、横軸は、水平（ｘ）方向の画素位置を表す。
【００４６】
ロングシャッタの画像信号Ｓ_Ｌは、シャッタ期間が長いので、移動する被写体を撮像する場合は、図に示すように、白いストライプと背景の境界線が、斜めになる。また、点線で示す飽和信号レベルＳ_ＳＡＴ以上の部分は、出力されないので、実線で示したような形となる。
【００４７】
ショートシャッタは、ロングシャッタの後に撮像されるので、ショートシャッタの画像信号Ｓ_Ｓは、ロングシャッタの画像信号Ｓ_Ｌよりも、水平方向に移動する。これは、シャッタ期間開始時の時間差分だけ、白いストライプが横方向に移動しているからである。
【００４８】
以上の、２つの画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを、図３に示す判定・合成処理により合成することにより得られる画像信号が、図４（Ｃ）に示す合成画像信号Ｓ_Ｃである。本実施例による画像合成を行った場合には、図１０（Ｃ）に示したような濃く太い白線ではなく、薄く細い白線となる。
【００４９】
この薄く細い白線は、実際には動いている被写体であっても、上限感度比Ｋ_{ＭＡ Ｘ}及び下限感度比Ｋ_ＭＩＮの設定（感度比Ｋから比較的遠い値に設定）により移動被写体ではないと判定され領域に現れるものであり、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋに近づければ、さらに、薄く、細くなる。なお、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋと同一値にすれば、この白線は現れなくなるが、その場合は、常に、露光量の小さい映像信号が使用されることになるので、好ましくは、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋから少し離れた値に設定する。
【００５０】
図５は、本発明の第２の実施例による判定・合成処理を表すフローチャートである。この第２の実施例の撮像装置１のシステム構成及び撮像処理は、上述の第１の実施例と同様である。
【００５１】
上述の第１の実施例では、大きい露光量の画像信号Ｓ_Ｌの飽和点で大きい露光量の画像信号Ｓ_Ｌから小さい露光量の画像信号Ｓ_Ｓに急峻に切り替わるため、この部分で合成画像に不自然な画像が現れることがある。例えば、感度比Ｋの設定値と実際の値とに差が生じた場合にこのような不自然な合成画像が発生する。この点につき第１の実施例を改良したものが、この第２の実施例である。
【００５２】
ステップＳＣ１からステップＳＣ５までの処理は、図３に示す第１の実施例と同様なので、説明を省略する。
【００５３】
ステップＳＣ６では、画素位置（ｘ，ｙ）における大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）が、予め設定される定数Ａ_Ｌよりも大きいか否かが判定される。画像信号Ｓ_Ｌ（ｘ，ｙ）が、定数Ａ_Ｌよりも大きい場合は、ＹＥＳの矢印で示すステップＳＣ７に進み、画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）を採用する。その後、ステップＳＣ１０に進み、判定・合成処理を終了する。画像信号Ｓ_Ｌ（ｘ，ｙ）が、定数Ａ_Ｌよりも小さい場合は、ＮＯの矢印で示すステップＳＣ８に進む。
【００５４】
なお、定数Ａ_Ｌは、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）の飽和信号レベルＳ_ＳＡＴよりも小さい値に設定される。
【００５５】
ステップＳＣ８では、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）の合成比率αを求める。合成比率αは、以下の式（Ｄ）により求められる。その後、ステップＳＣ９に進む。
【００５６】
α＝（Ｓ_ＳＡＴ−Ｓ_Ｌ（ｘ，ｙ））／（Ｓ_ＳＡＴ−Ａ_Ｌ） …（Ｄ）
なお、上記式（Ｅ）より、合成比率αは、Ｓ_Ｌ（ｘ，ｙ）＝Ａ_Ｌの時は、「１」であり、Ｓ_Ｌ（ｘ，ｙ）＝Ｓ_ＳＡＴの時は、「０」であることが分かる。すなわち、予め設定する定数Ａ_Ｌから飽和レベルＳ_ＳＡＴにかけて徐々に
ステップＳＣ９では、ステップＳＣ８で求めた合成比率αに基づき、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）とを合成して画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃを生成する（式（Ｅ）参照）。その後、ステップＳＣ１０に進み、判定・合成処理を終了する。
【００５７】
Ｓ_Ｃ（ｘ，ｙ）＝αＳ_Ｌ（ｘ，ｙ）＋（１−α）ＫＳ_Ｓ（ｘ，ｙ） …（Ｅ）
なお、上記式（Ｅ）より、合成比率αは、Ｓ_Ｌ（ｘ，ｙ）＝Ａ_Ｌの時は、「１」であり、Ｓ_Ｌ（ｘ，ｙ）＝Ｓ_ＳＡＴの時は、「０」であることが分かる。よって、予め設定する定数Ａ_Ｌから飽和レベルＳ_ＳＡＴにかけて徐々に大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）の合成比率が下がっていくことが分かる。
【００５８】
以上のように、本発明の第２の実施例によれば、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）が飽和レベルＳ_ＳＡＴに達する前の段階から、小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）との合成比率αを徐々に変えることで、飽和点付近の合成画像の繋がりを良くする事ができる。従って、飽和点付近での不自然な画像を抑制することができる。
【００５９】
図６は、本発明の第３の実施例による判定・合成処理を表すフローチャートである。この第３の実施例の撮像装置１のシステム構成及び撮像処理は、上述の第１の実施例と同様である。
【００６０】
上述の第１の実施例では、実際には被写体が動いている場合でも、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮの設定（感度比Ｋから比較的遠い値に設定）により移動被写体ではないと判定される場合がある。この場合、図４に示したように、薄く、細い白線が現れることがある。この点につき第１の実施例を改良したものが、この第３の実施例である。
【００６１】
この第３の実施例では、被写体が動いていないと判定された領域では、合成画像信号Ｓ_Ｃが、小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致するように、小さい露光量の画像信号Ｓ_Ｓと大きい露光量の画像信号Ｓ_Ｌを、図６に示すフローチャートに従い加重加算する。このようにすると、実際には動いている被写体領域であるが、判定範囲（上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮ）の設定により、動いていないと判定された場合でも、合成画像信号Ｓ_Ｃが小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致する。よって、図４に示したような、薄く、細い白線を無くすことができる。
【００６２】
ステップＳＤ１からステップＳＤ５までの処理は、図３に示す第１の実施例と同様なので、説明を省略する。
【００６３】
ステップＳＤ６では、ステップＳＤ３で求める画素位置（ｘ，ｙ）における画像信号Ｓ_Ｌ（ｘ，ｙ）及び画像信号Ｓ_Ｓ（ｘ，ｙ）の信号比Ｒ（ｘ，ｙ）が、感度比Ｋ以上か否かを判定する。感度比Ｋ以上である場合は、ＹＥＳの矢印で示すステップＳＤ７に進み、感度比Ｋ以下である場合は、ＮＯの矢印で示すステップＳＤ８に進む。
【００６４】
ステップＳＤ７では、以下の式（Ｆ）に従い、Ｒ（ｘ，ｙ）≧Ｋの場合の、加重平均βを求める。その後、ステップＳＤ９に進む。
【００６５】
β＝（Ｋ_ＭＡＸ−Ｒ（ｘ，ｙ））／（Ｋ_ＭＡＸ−Ｋ） …（Ｆ）
ステップＳＤ８では、以下の式（Ｇ）に従い、Ｒ（ｘ，ｙ）＜Ｋの場合の、加重平均βを求める。その後、ステップＳＤ９に進む。
【００６６】
β＝（Ｒ（ｘ，ｙ）−Ｋ_ＭＩＮ）／（Ｋ−Ｋ_ＭＩＮ） …（Ｇ）
なお、上記のステップＳＤ７及びステップＳＤ８で求める加重平均βは、画像信号Ｓ_Ｌ（ｘ，ｙ）及び画像信号Ｓ_Ｓ（ｘ，ｙ）の合成比率を決定するために用いられる。
【００６７】
ステップＳＤ９では、ステップＳＤ７又はステップＳＤ８で求めた加重平均βを用いて、以下の式（Ｈ）に従い、合成画像信号Ｓ_Ｃを小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致させるための調整利得Ｇを求める。その後、ステップＳＤ１０に進む。
【００６８】
Ｇ＝１＋β（Ｓ_Ｌ（ｘ，ｙ）／ＫＳ_Ｓ（ｘ，ｙ）−１） …（Ｈ）
ステップＳＤ１０では、ステップＳＤ７又はステップＳＤ８で求めた加重平均β及びステップＳＤ９で求めた調整利得Ｇを用いて、以下の式（Ｉ）に従い、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）とを合成して画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）を生成する。その後、ステップＳＤ１１に進み、判定・合成処理を終了する。
【００６９】
Ｓ_Ｃ（ｘ，ｙ）＝（βＳ_Ｌ（ｘ，ｙ）＋（１−β）ＫＳ_Ｓ（ｘ，ｙ））／Ｇ …（Ｉ）
なお、信号比Ｒ（ｘ，ｙ）＝感度比Ｋの場合は、加重平均β＝１、調整利得Ｇ＝１となり、上記式（Ｉ）により、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）のみが、合成画像信号Ｓ_Ｃ（ｘ，ｙ）として用いられることがわかる。また、信号比Ｒ（ｘ，ｙ）＝判定範囲（上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮ）である場合は、加重平均β＝０、調整利得Ｇ＝１となり、上記式（Ｉ）により、小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）のみが、合成画像信号Ｓ_Ｃ（ｘ，ｙ）として用いられることがわかる。
【００７０】
以上のように、本発明の第３の実施例によれば、実際には動いている被写体領域であるが、判定範囲（上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮ）の設定により、動いていないと判定された場合でも、合成画像信号Ｓ_Ｃを小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致させて、細い白線を無くすことができる。
【００７１】
図７は、本発明の第４の実施例による撮像装置１１の構成例を示すブロック図である。
【００７２】
撮像装置１１のＣＣＤイメージセンサ１２、及びホワイトバランス部８以外の構成は、第１の実施例による撮像装置１の構成とほぼ同様であるので、その説明を省略する。
【００７３】
ＣＣＤイメージセンサ１２は、単板カラーセンサであり、例えば、水平（ｘ）及び垂直（ｙ）方向に配列される多数の光電変換素子（画素）、画素上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク色フィルタ及び垂直電荷転送路（ＶＣＣＤ）を含む受光領域、水平電荷転送路（ＨＣＣＤ）等を含んで構成されるＣＣＤ型固体撮像素子である。ＣＣＤイメージセンサ２は、大きい露光量（ロングシャッタ）と小さい露光量（ショートシャッタ）による撮像を順次行い、ロングシャッタによる１枚分（１フレーム分）の画像信号Ｃ_Ｌとショートシャッタによる１枚分（１フレーム分）の画像信号Ｃ_Ｓを、順番に出力する。なお、画像信号Ｃ_Ｌと画像信号Ｃ_Ｓは、画素位置ごとに色が異なる。
【００７４】
ホワイトバランス部８は、ＣＣＤイメージセンサ１２から出力されるＲＧＢ各色の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓがホワイトバランスを得られるように、信号レベルを調整する。
【００７５】
この第４の実施例においても、上述の第１の実施例による撮像処理及び第１〜第３の実施例のいずれかによる判定・合成処理を行う。上述の第１〜第３の実施例との違いは、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓの代わりに、ホワイトバランス部８から出力されるホワイトバランス後の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓを用いることである。また、ＣＣＤセンサー２の飽和信号レベルＳ_ＳＡＴの代わりに、ホワイトバランス後のＣＣＤセンサー１２の飽和信号レベルＣ_ＳＡＴを用いる。その他の処理は、上述の第１〜第３の実施例と同様である。
【００７６】
単板カラーセンサであるＣＣＤセンサー１２に、上述の第１〜第３の実施例を単に適用した第４の実施例では、各映像信号の色の違いにかかわらず、各画素単独で、判定・合成処理を行っている。そのため、例えば、緑色に近い被写体の場合、緑の画素に対応する画像信号Ｓ_Ｌは、飽和信号レベルＣ_ＳＡＴに達しているが、隣の赤の画素に対応する画像信号Ｓ_Ｌは、飽和信号レベルＣ_ＳＡＴに達していないことが考えられる。このように、各画素でその色信号から飽和判定や動いている被写体の判定を行うと、色相が狂う場合がある。この点につき第４の実施例を改良したものが、第５の実施例である。
【００７７】
図８は、本発明の第５の実施例による判定・合成処理を表すフローチャートである。この第５の実施例による判定・合成処理は、上述の第４の実施例と同様に、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓの代わりに、ホワイトバランス部８から出力されるホワイトバランス後の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓを用いるとともに、ＣＣＤセンサー２の飽和信号レベルＳ_ＳＡＴの代わりに、ホワイトバランス後のＣＣＤセンサー１２の飽和信号レベルＣ_ＳＡＴを用いる点で第１の実施例と異なる。また、上述の第１の実施例及び第４の実施例との相違点は、ステップＳＥ２〜ステップＳＥ４において、画素位置（ｘ，ｙ）の代わりに、判定画素位置（ｘ，ｙ）を含む複数の周辺画素位置（ｘ’，ｙ’）を用いる。それ以外の点については、第１の実施例による判定・合成処理と同様であるので、詳しい説明は省略する。なお、この第５の実施例の撮像装置１１のシステム構成及び撮像処理は、上述の第４の実施例と同様である。
【００７８】
なお、この第５の実施例も、第４の実施例と同様に、第２及び第３の実施例に適用することができる。その場合には、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓの代わりに、ホワイトバランス部８から出力されるホワイトバランス後の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓを用いるとともに、ＣＣＤセンサー２の飽和信号レベルＳ_ＳＡＴの代わりに、ホワイトバランス後のＣＣＤセンサー１２の飽和信号レベルＣ_ＳＡＴを用いることとし、図５のステップＳＣ２〜ステップＳＣ４又は図６のステップＳＤ２〜ステップＳＤ４の処理の代わりにステップＳＥ２〜ステップＳＥ４の処理を行うようにする。
【００７９】
また、複数の周辺画素位置（ｘ’，ｙ’）は、判定画素位置（ｘ，ｙ）に近接する全ての色（例えば、赤、緑、青）に対応する画素を含むことが望ましい。
【００８０】
以上のように、本発明の第５の実施例によれば、判定画素位置（ｘ，ｙ）を含む複数の周辺画素位置（ｘ’，ｙ’）を参照して、飽和判定や動いている被写体の判定を行うので、合成画像信号の色相の狂いを無くすことができる。
【００８１】
なお、以上の第１〜第５の実施例では、リニアな画像信号で合成し、その後にガンマ補正等の処理を行うが、ガンマ補正後の画像信号に対しても、本発明を適用することができる。その場合は、ガンマ補正後の小さい露光量の画像信号Ｖ_Ｓと、ガンマ補正後の大きい露光量の画像信号Ｖ_Ｌは、感度比に一致しないため、予め感度比から計算した変換テーブル（Ｖ_Ｌ＝ＬＵＴ［Ｖ_Ｓ］）を使用する。実際のＶ_Ｌ値と実際のＶ_Ｓ値のＬＵＴ換算値から飽和判定と移動体の判定を行い、この判定信号に基づき画像合成を行う。
【００８２】
また、以上の第１〜第５の実施例では、大きい露光量の画像信号のみを一旦メモリに記憶し、小さい露光量の画像信号をＣＣＤイメージセンサからリアルタイムに読み出すと同時に、大きい露光量の画像信号をメモリから読み出し、両方の画像信号を画像合成部と判定部に同時に供給しているが、小さい露光量の画像信号をメモリに記憶し、大きい露光量の画像信号をＣＣＤイメージセンサからリアルタイムで読み出すようにしてもよい。また、両方の画像信号をメモリに記憶し、同時に読み出すようにしてもよい。
【００８３】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組合せ等が可能なことは当業者に自明であろう。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、良質で広いダイナミックレンジを持つ撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例による撮像装置１の構成例を示すブロック図である。
【図２】本発明の第１の実施例による固体撮像処理の撮像処理を表すフローチャートである。
【図３】本発明の第１の実施例による判定・合成処理を表すフローチャートである。
【図４】白いストライプを、本実施例による撮像装置１において、ロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。
【図５】本発明の第２の実施例による判定・合成処理を表すフローチャートである。
【図６】本発明の第３の実施例による判定・合成処理を表すフローチャートである。
【図７】本発明の第４の実施例による撮像装置１１の構成例を示すブロック図である。
【図８】本発明の第５の実施例による判定・合成処理を表すフローチャートである。
【図９】従来の撮像装置５１の構成例を示すブロック図である。
【図１０】従来の撮像装置５１において白いストライプをロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。
【符号の説明】
１、１１、５１…固体撮像装置、２、１２、５２…ＣＣＤイメージセンサ、３、５３…ＡＤＣ、４、５４…スイッチ、５、５５…メモリ、６、５６…画像合成部、７…判定部、８…ホワイトバランス部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus capable of obtaining an image with a wide dynamic range.
[0002]
[Prior art]
Conventionally, in a digital still camera or a video camera, an image having a wide dynamic range is obtained by imaging twice with different exposure amounts and performing signal processing on two types of image signals obtained from the two times of imaging. It has been known. The above-described imaging with different exposure amounts means, for example, that imaging is performed twice at a short time interval, that is, a long shutter time (long shutter) and a short shutter time (short shutter). The switching of the shutter time is performed, for example, using an electronic shutter alone or a mechanical shutter. (For example, refer to Patent Document 1.)
[0003]
[Patent Document 1] JP-A-11-75118
FIG. 9 is a block diagram illustrating a configuration example of a conventional imaging device 51. The imaging device 51 uses a black and white area sensor for convenience of explanation.
[0004]
The imaging device 51 includes at least a CCD image sensor 52, an analog / digital converter (ADC) 53, a switch 54, a memory 55, and an image composition unit 56.
[0005]
The CCD image sensor 52 sequentially performs imaging with a long shutter and a short shutter, and an image signal S by the long shutter._LAnd image signal S by short shutter_SAre output in order.
[0006]
The ADC 53 is an analog image signal S output from the CCD image sensor 52._LAnd image signal S_SAre converted into digital image signals, respectively. Image signal S converted to digital format_LAnd image signal S_SAre distributed by the switch 54. Image signal S captured first_LIs temporarily stored in the memory 55, and thereafter the image signal S not via the memory 55._SAt the same time, it is sent to the subsequent image composition unit 56.
[0007]
In the image compositing unit 56, the input image signal S according to the following equation (A)._LAnd image signal S_SAre combined into a composite image signal S_COutput as.
[0008]

However, S_C(X, y) is the composite image signal S at the pixel position (x, y)._C, S_L(X, y) is the image signal S of the long shutter at the pixel position (x, y)._L, S_S(X, y) is the image signal S of the short shutter at the pixel position (x, y)._S, S_SATIs the saturation signal level of the CCD image sensor 52, and K is the sensitivity ratio of the long shutter to the short shutter (long shutter / short shutter).
[0009]
As apparent from the above formula (A), the image signal S of the short shutter is shown._SIs multiplied by the sensitivity ratio K to obtain a long shutter image signal S._LThe signal level is the same.
[0010]
In the image composition unit 56, the image signal S of the long shutter at the pixel position (x, y) is obtained by the above equation (A)._L(X, y) is the saturation signal level S_SATIs less than the composite image signal S at the pixel position (x, y)._CAs (x, y), the image signal S_LUsing (x, y), the saturation signal level S_SATWhen this is the case, the image signal S_S(X, y) is used. That is, the image signal S of the long shutter_LSaturation signal level S_SATIs the long shutter image signal S._LAnd short shutter image signal S_SAnd are used by switching.
[0011]
[Problems to be solved by the invention]
In the conventional imaging device 51, when the subject is moving, an unnatural image may be formed near the boundary between the dark part and the bright part. This is because the shutter time of a large exposure amount (long shutter) mainly for photographing a dark part and the shutter period of a small exposure amount (short shutter) mainly for photographing a bright part are shifted. it is conceivable that.
[0012]
FIG. 10 is a diagram illustrating an image signal of one horizontal line when a white stripe is imaged in the order of a long shutter and a short shutter. FIG. 10A shows a long shutter image signal S._LFIG. 10B shows a short shutter image signal S._SFIG. 10C shows a synthesized image signal S obtained by synthesizing the image signal using the above-described equation (A) in FIGS. 10A and 10B._CRepresents. In the figure, the vertical axis represents the signal level, and the horizontal axis represents the pixel position in the horizontal direction.
[0013]
Long shutter image signal S_LSince the shutter period is long, when the moving subject is imaged, the boundary between the white stripe and the background is slanted as shown in the figure. Further, the saturation signal level S indicated by the dotted line_SATSince the above portion is not output, the shape is as shown by the solid line.
[0014]
Since the short shutter is imaged after the long shutter, the image signal S of the short shutter is obtained._SIs the image signal S of the long shutter_LThan move horizontally. This is because the white stripe moves in the horizontal direction by the time difference at the start of the shutter period.
[0015]
The above two image signals S_LAnd image signal S_SIs synthesized using the above-described equation (A) to obtain a synthesized image signal S_CIt is. At this time, as described above, the image signal S of the long shutter_LSaturation signal level S_SATIs the long shutter image signal S._LAnd short shutter image signal S_SAs shown in FIG. 10C, a thick and thick white line appears at a location away from the original white stripe. This is because the subject is moving, so the image signal S of the long shutter_LIs the saturation signal level S_SATThe position on the horizontal line to become and the image signal S of the short shutter_SThis is because there is a shift in the position of the end on the horizontal line.
[0016]
An object of the present invention is to provide an imaging apparatus having a high quality and a wide dynamic range.
[0017]
[Means for Solving the Problems]
According to an aspect of the present invention, an imaging device captures an image of a subject with a large exposure amount and a small exposure amount, and a first image signal obtained by imaging with a large exposure amount and the same pixel position as the first image signal. An imaging means for outputting a second image signal obtained by imaging with a small exposure amount, a moving subject area and a saturation area of the first image signal based on the first image signal and the second image signal Determination means for determining whether or not the image signal is output, and image composition means for performing image composition by changing a ratio of the first image signal and the second image signal based on the determination signal.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus 1 according to the first embodiment of the present invention. The imaging apparatus 1 of the present embodiment uses a monochrome area sensor.
[0019]
The imaging device 1 includes at least a CCD image sensor 2, an analog / digital converter (ADC) 3, a switch 4, a memory 5, an image composition unit 6, and a determination unit 7.
[0020]
The CCD image sensor 2 includes, for example, a light receiving region including a large number of photoelectric conversion elements (pixels) and a vertical charge transfer path (VCCD) arranged in the horizontal (x) and vertical (y) directions, a horizontal charge transfer path (HCCD). It is a CCD type solid-state imaging device comprised including the above. The CCD image sensor 2 sequentially performs imaging with a large exposure amount (long shutter) and a small exposure amount (short shutter), and the image signal S for one sheet (one frame) by the long shutter._LAnd the image signal S for one frame (one frame) by the short shutter_SAre output in order.
[0021]
The ADC 3 is an analog image signal S output from the CCD image sensor 2._LAnd image signal S_SAre converted into digital image signals, respectively. Image signal S converted to digital format_LAnd image signal S_SAre distributed by the switch 4. Image signal S captured first_LIs temporarily stored in the memory 5 and thereafter the image signal S not passing through the memory 5._SAt the same time, it is sent to the subsequent image composition unit 6.
[0022]
The determination unit 7 detects the movement of the subject and saturation of the exposure amount, and supplies a determination signal to the image composition unit 6. The movement of the subject is detected by the image signal S_LAnd image signal S_SThe ratio R is compared with the sensitivity ratio K.
[0023]
The image composition unit 6 is based on the determination signal supplied from the determination unit 7, and the image signal S_LAnd image signal S_SAre synthesized (or one of them is selectively used) to produce a synthesized image signal S_CIs generated and output. Details of processing in the image composition unit 6 and the determination unit 7 will be described later with reference to FIGS.
[0024]
FIG. 2 is a flowchart showing the imaging process of the solid-state imaging process according to the embodiment of the present invention.
[0025]
In step SA1, the imaging process is started in response to a user's instruction to start the imaging process (for example, a shutter operation).
[0026]
In step SA2, the CCD sensor 2 in FIG. 1 performs imaging with a large exposure amount, and an image signal S obtained by imaging with the large exposure amount._LIs output to the ADC 3.
[0027]
In step SA3, the image signal S in the ADC 3 of FIG._LAre converted from analog signal charges into digital image data.
[0028]
In step SA4, the switch 4 in FIG._LIs transferred from the ADC 3 to the memory 5 and temporarily stored.
[0029]
In step SA5, the CCD sensor 2 in FIG. 1 performs imaging with a small exposure amount, and an image signal S obtained by imaging with the small exposure amount._SIs output to the ADC 3.
[0030]
In step SA6, the image signal S in the ADC 3 of FIG._SAre converted from analog signal charges into digital image data.
[0031]
In step SA7, the switch 4 is switched to the image composition unit 6 side, and the image signal S_SAt the same time as the image signal S temporarily stored in the memory 5._LIs supplied to the determination unit 7 and the image composition unit 6.
[0032]
In step SA8, a determination / combination process described later is performed. In the determination / combination processing, the image signal S is based on the determination signal supplied from the determination unit 7._LAnd image signal S_SAre synthesized (or one of them is selectively used) to produce a synthesized image signal S_CIs generated and output.
[0033]
In step SA9, the composite image signal S_CIs output and the imaging process is terminated in step SA10.
[0034]
FIG. 3 is a flowchart showing the determination / combination processing according to the first embodiment of the present invention. The determination / combination processing detects the movement of the subject and the saturation of the exposure amount, and based on the detection result, the composite image signal S_CIs generated. This determination / combination process is performed on the image signals at all pixel positions.
[0035]
In step SB1, determination / combination processing is started.
[0036]
In step SB2, it is determined whether or not the pixel position (x, y) is a saturated region. Here, when either of the following expressions (A-1) or (A-2) is satisfied, it is determined that the image signal exceeds the saturation signal level.
[0037]
S_L(X, y) ≧ S_SAT  ... (A-1)
KS_S(X, y) ≧ S_SAT  ... (A-2)
However, S_SATIs a saturation signal level of the CCD sensor 2, and K is a sensitivity ratio obtained from a large exposure amount (long shutter time) / small exposure amount (short shutter time). The image signal S with a small exposure amount_SMultiplying (x, y) by the sensitivity ratio K is the reason why the image signal S having a large exposure amount is multiplied._LThis is because (x, y) and the scale of the signal level are matched.
[0038]
If the image signal at the pixel position (x, y) exceeds the saturation level, it is determined that the pixel position (x, y) is in the saturation region, and the process proceeds to step SB5 indicated by the YES arrow. If it does not exceed the saturation signal level, it is determined that it is not the saturation region, and the process proceeds to Step SB3 indicated by a NO arrow.
[0039]
In step SB3, the image signal S at the pixel position (x, y) is based on the following equation (B)._L(X, y) and image signal S_SA signal ratio R (x, y) of (x, y) is obtained.
[0040]
R (x, y) = S_L(X, y) / S_S(X, y) (B)
In step SB4, it is determined whether or not the pixel position (x, y) is a moving subject area. Specifically, the upper limit sensitivity ratio K set in advance using the following equations (C1) and (C2) for the signal ratio R (x, y) obtained in step SB3._MAXAnd lower sensitivity ratio K_MINCompare with The signal ratio R (x, y) is the upper limit sensitivity ratio K_MAXGreater than (satisfies equation (C-1)) or lower limit sensitivity ratio K_MINIf it is smaller (Equation (C-2) is satisfied), it is determined that the pixel position (x, y) is a moving subject area (moving subject), and the process proceeds to Step SB5 indicated by an arrow of YES. In other cases, it is determined that it is not a moving subject area (not a moving subject), and the process proceeds to Step SB6 indicated by a NO arrow.
[0041]
R (x, y)> K_MAX  ... (C-1)
R (x, y) <K_MIN  ... (C-2)
Upper sensitivity ratio K_MAXAnd lower sensitivity ratio K_MINIs a value set in advance according to the sensitivity ratio K. For example, when the sensitivity ratio K is “8”, the upper limit sensitivity ratio K_MAXIs “10”, and the lower limit sensitivity ratio K_MINCan be arbitrarily set above and below the sensitivity ratio K, such as “6”. Upper sensitivity ratio K_MAXAnd lower sensitivity ratio K_MINIs set to a value close to the sensitivity ratio K, a white line appearing in a composite signal shown in FIG. 4 to be described later becomes a thin and thin white line and becomes less conspicuous.
[0042]
In step SB5, the composite image signal S at the pixel position (x, y)._CAs (x, y), an image signal KS having a small exposure amount at the pixel position (x, y) multiplied by the sensitivity ratio K._S(X, y) is adopted. Thereafter, the process proceeds to step SB7, and the determination / combination process is terminated. That is, if it is determined in step SB2 that the exposure amount of the image signal has reached saturation, or if it is determined in step SB4 that the subject is moving, the image signal KS having a small exposure amount._SIs adopted. In this way, for example, although the exposure amount is not saturated, in the moving subject area, the image signal KS with a small exposure amount is immediately generated._STherefore, it is possible to reduce (thinner) an image breakdown (for example, a white line appearing at a boundary between a bright subject and a dark subject) due to a time difference when switching from a large exposure amount image signal to a small exposure amount image signal. be able to.
[0043]
In Step SB6, the composite image signal S at the pixel position (x, y)._CAs (x, y), an image signal S having a large exposure amount at the pixel position (x, y)._L(X, y) is adopted. Thereafter, the process proceeds to step SB7, and the determination / combination process is terminated. That is, if it is determined in step SB2 that the exposure amount of the image signal has not reached saturation, and it is determined in step SB4 that the subject has not moved, the image signal S having a small exposure amount._LIs adopted. By doing so, the image signal S of a large exposure amount with a higher S / N ratio is obtained outside the moving subject area and the saturated area._LCan be used to generate an image signal.
[0044]
As described above, in the determination / combination processing according to the first embodiment of the present invention, the movement of the subject is detected, and the image signal S having a large exposure amount is detected._LImage signal S with a small exposure amount without waiting for the saturation exposure amount to be reached._SYou can switch to Therefore, even when the subject is moving, the failure of the image can be suppressed.
[0045]
FIG. 4 is a diagram illustrating an image signal of one horizontal line when a white stripe is imaged in the order of a long shutter and a short shutter in the imaging apparatus 1 according to the present embodiment. FIG. 4A shows a long shutter image signal S._LFIG. 4B shows a short shutter image signal S._S4C shows a composite image signal S obtained by combining FIG. 4A and FIG. 4B by the determination / combination processing shown in FIG._CRepresents. In the figure, the vertical axis represents the signal level, and the horizontal axis represents the pixel position in the horizontal (x) direction.
[0046]
Long shutter image signal S_LSince the shutter period is long, when the moving subject is imaged, the boundary between the white stripe and the background is slanted as shown in the figure. Further, the saturation signal level S indicated by the dotted line_SATSince the above portion is not output, the shape is as shown by the solid line.
[0047]
Since the short shutter is imaged after the long shutter, the image signal S of the short shutter is obtained._SIs the image signal S of the long shutter_LThan move horizontally. This is because the white stripe moves in the horizontal direction by the time difference at the start of the shutter period.
[0048]
The above two image signals S_LAnd image signal S_SIs obtained by combining the determination and combination processing shown in FIG. 3 into a combined image signal S shown in FIG._CIt is. When the image composition according to the present embodiment is performed, the thin white line is not a thick and thick white line as shown in FIG.
[0049]
This thin and thin white line indicates the upper limit sensitivity ratio K even if the subject is actually moving._{MA X}And lower sensitivity ratio K_MIN(Set to a relatively far value from the sensitivity ratio K), it is determined that the subject is not a moving subject and appears in the area._MAXAnd lower sensitivity ratio K_MINIs closer to the sensitivity ratio K, it becomes thinner and thinner. The upper limit sensitivity ratio K_MAXAnd lower sensitivity ratio K_MINIf the value is equal to the sensitivity ratio K, this white line will not appear. In this case, however, a video signal with a small exposure amount is always used._MAXAnd lower sensitivity ratio K_MINIs set to a value slightly away from the sensitivity ratio K.
[0050]
FIG. 5 is a flowchart showing the determination / combination processing according to the second embodiment of the present invention. The system configuration and imaging process of the imaging apparatus 1 of the second embodiment are the same as those of the first embodiment described above.
[0051]
In the first embodiment described above, the image signal S having a large exposure amount._LImage signal S with a large exposure at the saturation point_LTo image signal S with a small exposure amount_STherefore, an unnatural image may appear in the composite image at this portion. For example, when there is a difference between the set value of the sensitivity ratio K and the actual value, such an unnatural composite image is generated. In this respect, the second embodiment is an improvement of the first embodiment.
[0052]
The processing from step SC1 to step SC5 is the same as that of the first embodiment shown in FIG.
[0053]
In step SC6, the image signal S having a large exposure amount at the pixel position (x, y)._L(X, y) is a preset constant A_LIt is determined whether or not the value is greater than. Image signal S_L(X, y) is the constant A_LIf larger, the process proceeds to step SC7 indicated by a YES arrow, and the composite image signal S at the pixel position (x, y)_CAs (x, y), an image signal S having a large exposure amount at the pixel position (x, y)._L(X, y) is adopted. Thereafter, the process proceeds to step SC10, and the determination / combination process is terminated. Image signal S_L(X, y) is the constant A_LIf not, the process proceeds to step SC8 indicated by a NO arrow.
[0054]
Constant A_LIs a large exposure image signal S_LSaturation signal level S of (x, y)_SATIs set to a smaller value.
[0055]
In step SC8, the image signal S having a large exposure amount at the pixel position (x, y)._LImage signal S with a small exposure amount (x, y)_SA composite ratio α of (x, y) is obtained. The synthesis ratio α is obtained by the following formula (D). Thereafter, the process proceeds to Step SC9.
[0056]
α = (S_SAT-S_L(X, y)) / (S_SAT-A_L(D)
From the above formula (E), the composition ratio α is S_L(X, y) = A_LIn case of, it is “1” and S_L(X, y) = S_SATIn the case of, it is understood that it is “0”. That is, a preset constant A_LTo saturation level S_SATGradually
In step SC9, the image signal S having a large exposure amount is based on the composition ratio α obtained in step SC8._LImage signal S with a small exposure amount (x, y)_S(X, y) and the synthesized image signal S at the pixel position (x, y)_C(See equation (E)). Thereafter, the process proceeds to step SC10, and the determination / combination process is terminated.
[0057]
S_C(X, y) = αS_L(X, y) + (1-α) KS_S(X, y) (E)
From the above formula (E), the composition ratio α is S_L(X, y) = A_LIn case of, it is “1” and S_L(X, y) = S_SATIn the case of, it is understood that it is “0”. Therefore, the preset constant A_LTo saturation level S_SATThe image signal S with a gradually increasing exposure amount_LIt can be seen that the synthesis ratio of (x, y) decreases.
[0058]
As described above, according to the second embodiment of the present invention, the image signal S having a large exposure amount._L(X, y) is the saturation level S_SATImage signal S with a small exposure amount from the stage before reaching_SBy gradually changing the composition ratio α with (x, y), it is possible to improve the connection of the composite image near the saturation point. Therefore, an unnatural image near the saturation point can be suppressed.
[0059]
FIG. 6 is a flowchart showing the determination / combination processing according to the third embodiment of the present invention. The system configuration and imaging process of the imaging apparatus 1 of the third embodiment are the same as those of the first embodiment described above.
[0060]
In the first embodiment described above, even when the subject is actually moving, the upper limit sensitivity ratio K_MAXAnd lower sensitivity ratio K_MINMay be determined as not being a moving subject. In this case, as shown in FIG. 4, a thin and thin white line may appear. In this respect, the third embodiment is an improvement of the first embodiment.
[0061]
In the third embodiment, in the region where it is determined that the subject is not moving, the composite image signal S_CIs a small exposure image signal S_SX Image signal S with a small exposure amount so as to substantially match the value of sensitivity ratio K_SAnd large exposure image signal S_LAre weighted and added according to the flowchart shown in FIG. In this way, although the subject area is actually moving, the determination range (upper limit sensitivity ratio K_MAXAnd lower sensitivity ratio K_MIN), Even if it is determined not to move, the composite image signal S_CImage signal S with a small exposure amount_SX It almost coincides with the value of sensitivity ratio K. Therefore, a thin and thin white line as shown in FIG. 4 can be eliminated.
[0062]
The processing from step SD1 to step SD5 is the same as that of the first embodiment shown in FIG.
[0063]
In step SD6, the image signal S at the pixel position (x, y) obtained in step SD3._L(X, y) and image signal S_SIt is determined whether the signal ratio R (x, y) of (x, y) is equal to or greater than the sensitivity ratio K. When the sensitivity ratio is equal to or greater than K, the process proceeds to step SD7 indicated by an arrow of YES, and when the sensitivity ratio is equal to or less than K, the process proceeds to step SD8 indicated by an arrow of NO.
[0064]
In step SD7, the weighted average β in the case of R (x, y) ≧ K is obtained according to the following equation (F). Thereafter, the process proceeds to step SD9.
[0065]
β = (K_MAX-R (x, y)) / (K_MAX-K) ... (F)
In step SD8, a weighted average β is obtained when R (x, y) <K, according to the following equation (G). Thereafter, the process proceeds to step SD9.
[0066]
β = (R (x, y) −K_MIN) / (KK_MIN(G)
Note that the weighted average β obtained in step SD7 and step SD8 is the image signal S._L(X, y) and image signal S_SUsed to determine the composite ratio of (x, y).
[0067]
In step SD9, using the weighted average β obtained in step SD7 or step SD8, the composite image signal S is expressed according to the following equation (H)._CImage signal S with a small exposure amount_SX An adjustment gain G for substantially matching the value of the sensitivity ratio K is obtained. Thereafter, the process proceeds to step SD10.
[0068]
G = 1 + β (S_L(X, y) / KS_S(X, y) -1) (H)
In step SD10, using the weighted average β obtained in step SD7 or step SD8 and the adjustment gain G obtained in step SD9, an image signal having a large exposure amount with a pixel position (x, y) according to the following equation (I): S_LImage signal S with a small exposure amount (x, y)_S(X, y) and the synthesized image signal S at the pixel position (x, y)_C(X, y) is generated. Thereafter, the process proceeds to step SD11, and the determination / combination process ends.
[0069]
S_C(X, y) = (βS_L(X, y) + (1-β) KS_S(X, y)) / G (I)
When the signal ratio R (x, y) = sensitivity ratio K, the weighted average β = 1 and the adjustment gain G = 1, and the image signal S having a large exposure amount is obtained by the above equation (I)._LOnly (x, y) is the composite image signal S_CIt can be seen that it is used as (x, y). Further, signal ratio R (x, y) = determination range (upper limit sensitivity ratio K_MAXAnd lower sensitivity ratio K_MIN), The weighted average β = 0 and the adjustment gain G = 1, and the image signal S having a small exposure amount is obtained by the above equation (I)._SOnly (x, y) is the composite image signal S_CIt can be seen that it is used as (x, y).
[0070]
As described above, according to the third embodiment of the present invention, although the subject area is actually moving, the determination range (upper sensitivity ratio K_MAXAnd lower sensitivity ratio K_MIN), Even if it is determined not to move, the composite image signal S_CImage signal S with a small exposure amount_SX A thin white line can be eliminated by substantially matching the value of the sensitivity ratio K.
[0071]
FIG. 7 is a block diagram illustrating a configuration example of the imaging apparatus 11 according to the fourth embodiment of the present invention.
[0072]
Since the configuration other than the CCD image sensor 12 and the white balance unit 8 of the imaging device 11 is substantially the same as the configuration of the imaging device 1 according to the first embodiment, the description thereof is omitted.
[0073]
The CCD image sensor 12 is a single plate color sensor, for example, a large number of photoelectric conversion elements (pixels) arranged in the horizontal (x) and vertical (y) directions, and red (R) and green (G) on the pixels. , A CCD solid-state imaging device including a blue (B) mosaic color filter, a light receiving region including a vertical charge transfer path (VCCD), a horizontal charge transfer path (HCCD), and the like. The CCD image sensor 2 sequentially performs imaging with a large exposure amount (long shutter) and a small exposure amount (short shutter), and the image signal C for one sheet (one frame) by the long shutter._LAnd image signal C for one frame (one frame) by the short shutter_SAre output in order. The image signal C_LAnd image signal C_SHave different colors for each pixel position.
[0074]
The white balance unit 8 outputs RGB image signals C output from the CCD image sensor 12._LAnd image signal C_SAdjusts the signal level so that can achieve white balance.
[0075]
Also in the fourth embodiment, the imaging process according to the first embodiment and the determination / combination process according to any one of the first to third embodiments are performed. The difference from the first to third embodiments described above is that the image signal S_LAnd image signal S_SInstead of the white balance image signal C output from the white balance unit 8_LAnd image signal C_SIs to use. Also, the saturation signal level S of the CCD sensor 2_SATInstead of the saturation signal level C of the CCD sensor 12 after white balance._SATIs used. Other processes are the same as those in the first to third embodiments.
[0076]
In the fourth embodiment in which the above-described first to third embodiments are simply applied to the CCD sensor 12 which is a single-plate color sensor, each pixel is determined and determined regardless of the color difference of each video signal. Synthetic processing is performed. Therefore, for example, in the case of a subject close to green, the image signal S corresponding to the green pixel_LIs the saturation signal level C_SAT, But the image signal S corresponding to the adjacent red pixel_LIs the saturation signal level C_SATIt is thought that it has not reached. As described above, when saturation determination or determination of a moving subject is performed from the color signal in each pixel, the hue may be out of order. In this regard, the fifth embodiment is an improvement of the fourth embodiment.
[0077]
FIG. 8 is a flowchart showing the determination / combination processing according to the fifth embodiment of the present invention. The determination / combination processing according to the fifth embodiment is similar to the fourth embodiment described above in that the image signal S_LAnd image signal S_SInstead of the white balance image signal C output from the white balance unit 8_LAnd image signal C_SAnd the saturation signal level S of the CCD sensor 2_SATInstead of the saturation signal level C of the CCD sensor 12 after white balance._SATIs different from the first embodiment in that The difference between the first embodiment and the fourth embodiment described above is that a plurality of determination pixel positions (x, y) are included in step SE2 to step SE4 instead of the pixel position (x, y). Peripheral pixel position (x ′, y ′). Since the other points are the same as the determination / combination processing according to the first embodiment, detailed description thereof is omitted. Note that the system configuration and imaging processing of the imaging apparatus 11 of the fifth embodiment are the same as those of the above-described fourth embodiment.
[0078]
The fifth embodiment can also be applied to the second and third embodiments, similarly to the fourth embodiment. In that case, the image signal S_LAnd image signal S_SInstead of the white balance image signal C output from the white balance unit 8_LAnd image signal C_SAnd the saturation signal level S of the CCD sensor 2_SATInstead of the saturation signal level C of the CCD sensor 12 after white balance._SATIs used, and the processing of step SE2 to step SE4 is performed instead of the processing of step SC2 to step SC4 of FIG. 5 or the processing of step SD2 to step SD4 of FIG.
[0079]
Further, it is desirable that the plurality of peripheral pixel positions (x ′, y ′) include pixels corresponding to all colors (for example, red, green, and blue) close to the determination pixel position (x, y).
[0080]
As described above, according to the fifth embodiment of the present invention, saturation determination and movement are performed with reference to a plurality of peripheral pixel positions (x ′, y ′) including the determination pixel position (x, y). Since the subject is determined, the hue of the composite image signal can be eliminated.
[0081]
In the first to fifth embodiments described above, synthesis is performed using a linear image signal, and thereafter processing such as gamma correction is performed. However, the present invention is also applied to an image signal after gamma correction. Can do. In that case, the image signal V with a small exposure after gamma correction is applied._SAnd a large exposure image signal V after gamma correction._LDoes not match the sensitivity ratio, so the conversion table (V_L= LUT [V_S]). Actual V_LValue and actual V_SSaturation determination and moving body determination are performed from the LUT converted value, and image synthesis is performed based on the determination signal.
[0082]
In the first to fifth embodiments described above, only the image signal having a large exposure amount is temporarily stored in the memory, and the image signal having a small exposure amount is read out in real time from the CCD image sensor. The signal is read from the memory, and both image signals are supplied to the image composition unit and the determination unit simultaneously. However, the image signal with a small exposure amount is stored in the memory, and the image signal with a large exposure amount is received from the CCD image sensor in real time. You may make it read. Alternatively, both image signals may be stored in a memory and read out simultaneously.
[0083]
Although the present invention has been described with reference to the embodiments, the present invention is not limited thereto. It will be apparent to those skilled in the art that various modifications, improvements, combinations, and the like can be made.
[0084]
【The invention's effect】
As described above, according to the present invention, it is possible to provide an imaging apparatus having a high quality and a wide dynamic range.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus 1 according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing imaging processing of solid-state imaging processing according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing determination / combination processing according to the first embodiment of the present invention;
FIG. 4 is a diagram illustrating an image signal of one horizontal line when a white stripe is imaged in the order of a long shutter and a short shutter in the imaging apparatus 1 according to the present embodiment.
FIG. 5 is a flowchart showing a determination / combination process according to the second embodiment of the present invention.
FIG. 6 is a flowchart showing a determination / combination process according to the third embodiment of the present invention.
FIG. 7 is a block diagram illustrating a configuration example of an imaging apparatus 11 according to a fourth embodiment of the present invention.
FIG. 8 is a flowchart showing a determination / combination process according to a fifth embodiment of the present invention.
FIG. 9 is a block diagram illustrating a configuration example of a conventional imaging device 51.
10 is a diagram illustrating an image signal of one horizontal line when a white stripe is imaged in the order of a long shutter and a short shutter in the conventional imaging device 51. FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1, 11, 51 ... Solid-state imaging device 2, 12, 52 ... CCD image sensor 3, 53 ... ADC 4, 54 ... Switch 5, 55 ... Memory, 6, 56 ... Image composition part, 7 ... Determination part 8 ... White balance section

Claims (20)

The subject is imaged with a large exposure amount and a small exposure amount, and a first image signal based on the large exposure amount and a second image signal based on the small exposure amount at the same pixel position as the first image signal are output. Imaging means to perform,
Determination means for determining a moving subject area and a saturation area of the first image signal based on the first image signal and the second image signal and outputting a determination signal;
An image pickup apparatus comprising: an image composition unit configured to perform image composition by changing a ratio of the first image signal and the second image signal based on the determination signal. 2. The imaging apparatus according to claim 1, wherein the image composition unit performs image composition using only the second image signal in the saturated region and the moving subject region determined by the determination unit. 3. The imaging apparatus according to claim 1, wherein the image composition unit performs image composition using only the first image signal except for the saturated region and the moving subject region determined by the determination unit. . The image synthesizing unit gradually changes a ratio of the first image signal and the second image signal except for the saturated region and the moving subject region determined by the determining unit. The imaging apparatus according to claim 1, wherein image synthesis is performed. The imaging apparatus according to claim 4, wherein a ratio occupied by the second image signal increases as the saturation level of the first image signal approaches. The imaging apparatus according to claim 4, wherein the image synthesizing unit further causes the synthesized image to substantially match a level of the second image signal. The image synthesizing means changes a synthesis ratio of the first image signal and the second image signal based on at least one of the determination signal, the first image signal, and the second image signal. The imaging apparatus according to claim 1, wherein image synthesis is performed. The determination unit determines a moving subject area when a ratio between the first image signal and the second image signal at the same pixel position is within a predetermined range, and the first image signal at the same pixel position is determined. The saturated region of the first image signal is determined based on the image signal and the second image signal multiplied by the ratio of the large exposure amount and the small exposure amount. The imaging device according to item. The determination means is a subject that moves when a ratio of the first image signal and the second image signal in the peripheral pixels is within a predetermined range with respect to a plurality of peripheral pixels including the determination target pixel. Determining a region and saturating the first image signal based on the first image signal at the surrounding pixels and the second image signal multiplied by the ratio of the large exposure amount to the small exposure amount. The imaging apparatus according to claim 1, wherein the area is determined. The imaging device according to claim 8 or 9, wherein the predetermined range changes in accordance with the first image signal and the second image signal. The subject is imaged with a large exposure amount and a small exposure amount, and a first image signal based on the large exposure amount and a second image signal based on the small exposure amount at the same pixel position as the first image signal are output. An imaging process to
A determination step of determining a moving subject area and a saturation area of the first image signal based on the first image signal and the second image signal and outputting a determination signal;
An image pickup method comprising: an image composition step of performing image composition by changing a ratio of the first image signal and the second image signal based on the determination signal. The imaging method according to claim 11, wherein the image composition step performs image composition using only the second image signal in the saturated region and the moving subject region determined in the determination step. The imaging method according to claim 11 or 12, wherein the image composition step performs image composition using only the first image signal except for the saturated region and the moving subject region determined in the determination step. . In the image composition step, the ratio of the first image signal and the second image signal is gradually changed except in the saturated region and the moving subject region determined in the determination step. The imaging method according to claim 11 or 12, wherein image synthesis is performed. The imaging method according to claim 14, wherein a ratio occupied by the second image signal increases as the saturation level of the first image signal approaches. The imaging method according to claim 14 or 15, wherein the image synthesizing step further makes the synthesized image substantially coincide with a level of the second image signal. The image synthesis step changes a synthesis ratio of the first image signal and the second image signal based on at least one of the determination signal, the first image signal, and the second image signal. The imaging method according to claim 11, wherein image synthesis is performed. The determination step determines a moving subject area when a ratio of the first image signal and the second image signal at the same pixel position is within a predetermined range, and the first image signal at the same pixel position is determined. The saturated region of the first image signal is determined based on an image signal and the second image signal multiplied by the ratio of the large exposure amount and the small exposure amount. The imaging method according to item. In the determination step, for a plurality of peripheral pixels including the determination target pixel, a subject moving when a ratio between the first image signal and the second image signal in the peripheral pixel is within a predetermined range. Determining a region and saturating the first image signal based on the first image signal at the surrounding pixels and the second image signal multiplied by the ratio of the large exposure amount to the small exposure amount. The imaging method according to claim 11, wherein the region is determined. The imaging method according to claim 18 or 19, wherein the predetermined range changes according to the first image signal and the second image signal.

Images