JP2003319269A - 固体撮像装置および撮像方法 - Google Patents

Abstract

(57)【要約】 【課題】 有効ダイナミックレンジが広く、画像ずれや
ノイズを抑えた画像を容易に得ることが可能な固体撮像
装置および撮像方法を提供する。 【解決手段】 単位画像２１は全て、所定の単位露光時
間ｔで撮像される。連続する単位画像２１のｍ枚（ｍ＝
１〜ｎ）を加算することによって、露光時間が単位露光
時間ｔのｍ倍で、撮像期間が、加算した単位画像２１の
撮像期間の合計となる合成用画像２２が得られる。この
ｎ枚の合成用画像２２から、１枚の画像を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、有効ダイナミック
レンジが拡張された画像信号を生成する撮像方法およ
び、この方法を用いたビデオカメラ等の固体撮像装置に
関する。

【０００２】

【従来の技術】撮像装置は、撮像管あるいはＣＣＤ（Ch
arge Coupled Device ）等の固体撮像素子によって構成
されており、デジタルカメラ，スキャナーあるいはビデ
オカメラ等の撮像部に広く使用されている。こうした撮
像装置は、旧来の銀塩写真システムと比較するとダイナ
ミックレンジが狭く、逆光時などに、被写体の明るい部
分では、輝度レベルが著しく高いために像が白くなり過
ぎたり（白とび）、被写体の暗い部分では、輝度レベル
が著しく低いために像が黒くなり過ぎたり（黒つぶれ）
することがあった。そこで、従来より、このような現象
を解消して画質低下を防ぐために、同一被写体から得ら
れた露光量の異なる複数の画像から１つの画像を合成す
る手法が採られている。

【０００３】例えば、特開平２−１７４４７０号公報
や、特開平５−７３３６号公報には、画像合成を行う際
に問題となっていた手ぶれ等による画像のずれを補正す
る技術が記載されている。そこに採用されている画像合
成方法は、一般的なものである。上記特開平５−７３３
６号公報によれば、図１１のように、１フレーム期間中
に1/1000秒と1/60秒の２種類の露光時間で撮像素子から
の信号を出力させ、１フレームを構成する奇（ＯＤＤ）
フィールド，偶（ＥＶＥＮ）フィールドにそれぞれ、露
光時間が1/1000秒および1/60秒で撮影された画像をそれ
ぞれ割り当てるようになっている。これらの画像は露出
が異なるので、一方のフィールドに「白とび」もしくは
「黒つぶれ」が生じていても他方のフィールドには生じ
ていない。こうして、２つの画像の互いに利用可能な部
分を融通しあうことによりダイナミックレンジが拡張さ
れ、画質が改善される。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
方法では、各画像を順に撮像していくことから、大きく
２つの問題点があった。１つ目の問題は、露光時間の異
なる画像が２枚程度しか得られないため、合成が困難で
ある点である。むろん、原理的には２枚以上の画像の合
成は可能であるが、画像数が増えるに従って撮像期間全
体が長くなってしまう。そのため、画像間の経時変化を
抑えたり、総撮像期間を１フィールドまたは１フレーム
内に収め、合成後の画像信号をＮＴＳＣ方式などの規格
に対応させたりするには、画像を２〜３枚以上とするこ
とは難しい。よって、実用上は合成には２枚の画像を用
いることになるが、その場合、合成画像の有効ダイナミ
ックレンジを拡張するため、互いの露光時間は比較的大
きく異なるように選ばれる。またその場合には、両者の
境界部分で不自然なコントラスト変化が生じるのを防ぐ
ために、互いの画像信号の入射光量に対する特性を調整
する必要が生じる。すなわち、露光時間が短い方の特性
を増幅するなどしてゲイン調整を行うが、今度は、この
操作に伴って画像同士の境界にノイズがしばしば発生す
るという問題が生じていた。

【０００５】２つ目の問題は、露出時間の異なる画像
が、それぞれ別の期間に撮られる点である。このため、
撮像対象に動きのある場合などでは、合成の際、対象の
境界部に情報の欠落が生じてしまう。前述した技術は、
主な被写体に合わせて画像同士をずらすような座標変換
を行うことによって、画像間の経時的な位置ずれを解消
するようにしている。ただし、各画像のずれた周辺部分
は切り捨てられ、２画像共通のエリアが元の画像サイズ
に拡大されるようになっている。

【０００６】このように、従来では、合成の際にコント
ラストや位置ずれに対しても何らかの策を講じなければ
ならず、しかも、その結果、合成によって得ようとして
いた撮像対象を忠実に再現する画像ではなくなってい
た。

【０００７】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、有効ダイナミックレンジが広く、画
像ずれやノイズを抑えた画像を容易に得ることが可能な
固体撮像装置および撮像方法を提供する。

【０００８】

【課題を解決するための手段】本発明の固体撮像装置
は、所定時間内に複数回の撮像を連続して行い、順次撮
像された複数の単位画像を生成する撮像手段と、単位画
像を加算して、撮像期間が部分的に重複し、かつ、互い
に露光時間の異なる複数の合成用画像を生成する合成用
画像生成手段と、合成用画像を合成して、ダイナミック
レンジが拡張された合成画像を作成する合成手段とを備
えたものである。

【０００９】本発明の撮像方法は、所定時間内に複数回
の撮像を連続して行い、順次撮像された複数の単位画像
を生成し、単位画像を加算して、撮像期間が部分的に重
複し、かつ、互いに露光時間の異なる複数の合成用画像
を生成し、さらに、合成用画像を合成して、ダイナミッ
クレンジが拡張された合成画像を作成するものである。

【００１０】本発明の固体撮像装置および撮像方法で
は、単位画像が、その数と経時的位置とを考慮して加算
され、露光時間の異なる複数の合成用画像が部分的に撮
像期間を重複させるように生成される。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１２】図１は、本発明の一実施の形態に係る固体
撮像装置の構成を示すブロック図である。図２は、単位
画像から合成用画像を生成する様子を概念的に表してお
り、図３は、単位画像と合成用画像の間の撮像期間およ
び露光時間における関係を示したタイムチャートであ
る。この固体撮像装置では、実際に撮像して得た単位画
像２１から、撮像期間が部分的に重複し、かつ、互いに
露光時間の異なる複数の合成用画像２２が生成され、さ
らに、これを用いて合成画像２３が生成される。なお、
「撮像期間」は時間軸上の撮像されている期間を指し、
「露光時間」は露光して撮像を行った時間の長さを指す
ものとして、以下の明細書においてはそれぞれを使い分
けるものとする。

【００１３】光学系１１は、入射した光線を撮像素子１
２に結像するものであり、撮像素子１２は、ＣＭＯＳセ
ンサやＣＣＤセンサ等の固体撮像素子で構成され、結像
された画像の情報を電圧信号Ｓ_V に変換してカメラ信号
前段処理回路１３に出力するものである。

【００１４】この撮像素子１２は、所定時間内に撮像を
連続して複数回（ｎ回）行い、ｎ枚の単位画像２１を順
次撮像するように（図３）、駆動回路１６により制御さ
れている。その際の撮像条件、すなわち撮像期間全体の
長さ（総露光時間）や、単位画像の数、それぞれの露光
時間は、後述する合成用画像２２の各露光時間や枚数と
の関係によって設定される。

【００１５】例えば、一連の撮像は１フレームまたは１
フィールド期間内に行われ、さらには、そのうちの所定
期間にて行われる。また、ここでは、単位画像２１は全
て、所定の単位露光時間ｔで撮像されるようになってい
る。単位露光時間ｔは適宜に設定可能であるが、例え
ば、従来の合成用画像の露光時間(1/1000 秒）と同程度
以下としてよい。一例を挙げると、撮像期間の長さが1/
60秒、単位露光時間1/6000秒、単位画像２１を１０枚な
どと設定することができる。こうした高速撮像は、一部
のＣＭＯＳセンサにおいては現時点でも充分に実現可能
である。

【００１６】カメラ信号前段処理回路（前段処理回路）
１３は、撮像素子１２からの各単位画像２１に相当する
電圧信号Ｓ_V を、ｎ枚の単位画像２１に相当する画像デ
ータＤu に変換する機能を有している。すなわち、前段
処理回路１３では、電圧信号Ｓ_V に対し、Ａ／Ｄ変換を
始めとする通常のビデオカメラにおける信号処理と同様
の周知の処理が行なわれる。なお、ここで生成された単
位画像２１の画像データＤu は、画像メモリ１４に出力
されるようになっている。

【００１７】画像メモリ１４は、前段処理回路１３から
入力された単位画像データＤu を格納すると共に、カメ
ラ信号後段処理回路（後段処理回路）１５からの読み出
し／書き込み要求に応じて単位画像データＤu を出力し
たり、後段処理回路１５から入力される合成用画像デー
タＤs を格納したりする機能を有する。また、後段処理
回路１５に対しては、画像合成に伴う作業領域を提供す
る。画像メモリ１４は、複数のデータを同時にリードラ
イト可能な装置であり、具体的にはハードディスク，半
導体メモリなどの記憶装置として構成されている。

【００１８】後段処理回路１５は、ｎ枚の単位画像２１
を撮像順に加算して、撮像期間が部分的に重複し、か
つ、互いに露光時間の異なる複数の合成用画像２２を生
成する機能を有している。すなわち、連続する単位画像
２１のｍ枚（ｍ＝１〜ｎ）を加算することによって、露
光時間が単位露光時間ｔのｍ倍で、撮像期間が、加算し
た単位画像２１の撮像期間の合計となる合成用画像２２
が得られる。この操作は、画像メモリ１４からｎ枚の単
位画像２１の画像データＤu を読み出し、これら画像デ
ータＤu を露光時間および撮像期間に応じて画素単位に
加算し、合成用画像２２に相当する画像データＤs を生
成することで行われる。得られた画像データＤs は、画
像メモリ１４に格納される。

【００１９】合成用画像２２の生成に用いる単位画像２
１の選び方は種々考えられる。簡単な一例としては、図
２，図３に示したように、最後に撮られたものから１
枚，２枚，・・・，ｎ枚をそれぞれ加算し、ｎ枚の合成
用画像２２とする方法が挙げられる。この場合の合成用
画像２２は、少なくとも最後の単位画像２１に相当する
撮像期間を共有しており、露光時間がそれぞれｔ，２
ｔ，・・・，ｎｔとなる。こうした合成用画像２２は、
画像の合成に必要となる任意の数だけ生成されればよ
く、各合成用画像２２の露光時間，撮像期間も、必要に
応じて適宜に設定可能である。ただし、最終的に滑らか
に合成された画像を得るには、ここで合成用画像２２を
３枚以上得ておくことが望ましい。また、合成の際の被
写体の位置ずれ等を抑制するため、合成用画像２２の撮
像期間は、互いの重複部分ができるだけ大きくなるよう
に設定するのが望ましい。

【００２０】図４は、画像データＤs の入射光量に対す
る特性を示している。このように、合成用画像２２（以
下では画像２２と略記）は、その露光時間に応じて、得
られる信号値すなわち画像データＤs の値の特性が異な
っている。露光時間ｔである画像２２のデータ特性４３
に対し、露光時間２ｔの場合の特性４２は傾きが２倍で
あり、露光時間ｎｔの場合の特性４１は傾きがｎ倍であ
る。つまり、入射光量が少なく被写体が暗いときには、
特性４１のように露光時間を長くし、得られるデータ信
号値を十分に大きくすると、暗くとも階調が保たれるよ
うになる。逆に、入射光量が多く明るい被写体には、特
性４３のように露光時間を短くすると、大きな入射光量
においてもデータ信号が飽和点に達しないために明るく
とも階調が保たれるようになる。

【００２１】このように、各画像２２は、露光時間すな
わちデータ特性が互いに異なることから、全体として、
広範な入射光量に対して適正な階調（特性の傾き）を与
えることが可能である。なお、これら画像データＤs の
値は全て、ある上限値で飽和するようになっている。

【００２２】さらに、後段処理回路１５は、これら画像
２２を用いて合成を行ない、有効ダイナミックレンジが
拡張された合成画像２３を作成する機能を有する。その
合成方法はどのようなものであってもよいが、通常よく
用いられているように、不連続な特性を有する画像同士
の境界において一方の信号値を増幅して画像のつなぎ目
をなくすようにする方法では、この操作がうまくいかな
い場合に、接合される画像の信号値の大きさが相対的に
入れ替わるなどして不自然にしずんだ領域が生じること
がある。そこで、本実施の形態では、こうした問題点を
回避すべく以下のような方法を採用している。

【００２３】すなわち、後段処理回路１５は、各画像２
２の画像データＤs から入射光量に適したものを画素単
位に選択して、合成に用いるようになっている。まず、
露光時間が最も長い画像２２において、画像データＤs
が設定上限値より小さい値であれば、そのまま採用され
る。ここで、設定上限値は、例えば画像データＤs の飽
和点の値とされるが、飽和点より低い値に設定して画質
を保証するようにしてもよい。この露光時間ｎｔの画像
２２が採用されなかった画素に対しては、露光時間（ｎ
ー１）ｔの画像２２を用いて同様の操作が行われる。同
様の操作は、全ての画素に対して採用する画像データＤ
s が決定されるまで繰り返し行われる。最後に残った画
素に対しては、露光時間ｔの画像２２の画像データＤs
が採用される。

【００２４】その際に、本実施の形態では、入射光量に
対するデータ特性が連続した一つの特性となるように、
各画像２２の画像データＤs の値に補正が行われる。詳
細は後述するが、画像２２のうち露光時間がｍ番目に長
いもの（ｍは２以上の整数）の画像データＤs は、同じ
画像における信号下限値からの自身の変位に、露光時間
が１番長いものからｍ−１番目に長いものまでの画像２
２各々における画像データＤs の下限値から設定上限値
までの変位を全て積算した値に変換してから、合成され
る（図６を参照）。このように、各画像２２のデータ信
号値の大きさは相対化され、切れ目なくつなぎ合わせら
れて、ダイナミックレンジの拡張が適正に行われる。

【００２５】なお、後段処理回路１５は、以上のような
画像の合成を、画像２２を順に重ねるようにして行うほ
か、各画像２２の画像データＤs に施す処理は予めわか
っているので、各画像２２それぞれの画像データＤs の
処理を並列して行い、処理後の画像データＤw を元の画
像データＤs の画素位置にあてはめることで一枚の合成
画像２３を作成するように構成されていてもよい。

【００２６】また、この後段処理回路１５では、そのほ
かに、ガンマ補正や、そのほか通常のビデオカメラの信
号処理と同様の周知の処理が行なわれるようになってい
る。なお、本実施の形態では、後段処理回路１５が本発
明の「合成用画像生成手段」および「合成手段」に対応
している。

【００２７】駆動回路１６は、撮像素子１２を駆動する
ための回路である。ＡＥ制御部１７は、後段処理回路１
５から入力される露光状態の情報に基づき、光学系１１
の絞り調整，駆動回路１６の電子シャッタ制御，前段処
理回路１３のゲイン調整などを行う機能を有し、画像２
１〜２３の露光条件を調節するようになっている。

【００２８】次に、この固体撮像装置の動作、および、
本実施の形態に係る撮像方法について説明する。

【００２９】なお、以下ではより具体的な例として、図
５のように単位露光時間ｔで撮られた８枚の単位画像２
１から、最後の単位画像２１Ｌに相当する撮像期間を共
有すると共に、露光時間がそれぞれｔ，２ｔ，４ｔ，８
ｔ、つまり単位露光時間ｔの２ⁿ 倍（ｎは０以上の整
数）であるような４枚の画像２２Ａ，２２Ｂ，２２Ｃ，
２２Ｄを生成し、画像合成に用いる場合の説明を行う。

【００３０】まず、光学系１１および撮像素子１２は、
８枚の単位画像２１を単位露光時間ｔで順次撮像する。
撮像素子１２は、各単位画像２１に相当する電圧信号Ｓ
_V を、前段処理回路１３に出力する。前段処理回路１３
は、入力された電圧信号Ｓ_Vを、８枚の単位画像２１に
相当する画像データＤu に変換し、画像データＤu を画
像メモリ１４に格納する。

【００３１】次に、後段処理回路１５は、画像メモリ１
４から８枚の単位画像２１の画像データＤu を読み出
し、画像データＤu を画素単位に加算することにより、
最後の単位画像２１Ｌに相当する撮像期間を共有すると
共に露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔであるよ
うな４枚の画像２２Ａ，２２Ｂ，２２Ｃ，２２Ｄに相当
する画像データＤs を生成する（図５）。これらの画像
２２Ａ〜２２Ｄは、少なくとも１つの単位画像２１（最
後の単位画像２１Ｌ）の撮像期間を共有しているため、
その間に被写体の経時的な位置ずれが発生し難く、画像
の欠落が回避される。なお、得られた画像データＤs
は、画像メモリ１４に格納される。

【００３２】さらに、後段処理回路１５は、画像２２Ａ
〜２２Ｄを合成して合成画像２３を作成する。図６は、
この具体例に即したデータ信号の入射光量に対する特性
図であり、（Ａ）が合成前、（Ｂ）が合成後に対応して
いる。なお、同図（Ａ）の各特性は、対応する画像２２
Ａ〜２２Ｄの末尾の符号によって区別をしている。

【００３３】まず、露光時間が最も長い画像２２Ｄにお
いて、画像データＤs が画像データＤs の飽和点の値ｍ
より小さい値であれば、そのまま合成後の画像データＤ
w として採用する。よって、画像データＤw における０
からｍまでの範囲は、露光時間が最長である画像２２Ｄ
の画像データＤs で構成される。これは、入射光量の範
囲ＬＤに対応している。

【００３４】画像２２Ｄの画像データＤs が採用されな
かった画素に対しては、次に、露光時間４ｔである画像
２２Ｃを参照し、画像データＤs が飽和値ｍより小さい
値であれば、画像データＤw として用いる。よって、画
像２２Ｃの画像データＤs で用いられるのは、画像２２
Ｄだと飽和しているが画像２２Ｃでは飽和していない入
射光量の範囲ＬＣをカバーするものである。ここでは、
画像２２Ｄと画像２２Ｃの特性の傾きは２：１であるか
ら、用いられる画像データＤs の範囲はｍ／２からｍま
でである。

【００３５】この範囲ＬＣに対応する画像データＤs
は、合成に際し、画像２２Ｃにおける下限値ｍ／２から
の自身の変位値（０〜ｍ／２）に、範囲ＬＤにおける画
像データＤw の最高値ｍを足し合わせた値に変換して画
像データＤw とする。これにより、図６（Ｂ）に示した
ように、合成後の画像データＤw は、２つの異なる特性
Ｄ，Ｃが連続的に結合された特性を有するものとなる。
なお、画像２２Ｃについては、ｍ／２未満の低域の画像
データＤs を使用しないので、画像データＤw のノイズ
は低減される。

【００３６】以下、用いる画像データＤs が決定されて
ない画素がなくなるまで、画像２２Ｂ，２２Ａを順に参
照して同様の操作を行う。画像２２Ｂでは、画像データ
Ｄsのうち、入射光量の範囲ＬＢに対応するｍ／２〜ｍ
の部分を用いる。合成に際しては、画像２２Ｂにおける
下限値ｍ／２からの自身の変位値（０〜ｍ／２）に、範
囲ＬＣまでの画像データＤw の最高値３ｍ／２を足し合
わせた値に変換して画像データＤw とする。

【００３７】画像２２Ａでは、画像データＤs のうち、
入射光量の範囲ＬＡに対応するｍ／２〜ｍの部分を用い
る。合成に際しては、画像２２Ａにおける下限値ｍ／２
からの自身の変位値（０〜ｍ／２）に、範囲ＬＢまでの
画像データＤw の最高値２ｍを足し合わせた値に変換し
て画像データＤw とする。

【００３８】こうして合成が行われ、図６（Ｂ）に示し
たデータ信号特性を有する合成画像２３が作成される。
なお、この合成方法では、各画像２２Ａ〜２２Ｄの画像
データＤs に施す処理は予めわかっているので、実際に
は各画像２２Ａ〜２２Ｄそれぞれに対し、利用範囲（ｍ
／２〜ｍ）の画像データＤs の処理を並列して行い、処
理後の画像データＤw を画素にあてはめることで一枚の
合成画像２３を作成するようにしてもよい。

【００３９】この合成画像２３では、各画像２２Ａ〜２
２Ｄの入射光量に対するデータ特性が連続してつなぎ合
わせられ、有効ダイナミックレンジが拡張される。ま
た、画像２２Ｄを除く画像２２Ａ〜２２Ｃについては、
ｍ／２未満の低域の画像データＤs を使用しないので、
画像データＤw のノイズは全体として低減される。な
お、合成画像２３は、後段処理回路１５から画像データ
Ｄw として出力される。

【００４０】このように本実施の形態では、単位画像２
１から互いに露光時間が異なる合成用画像２２を生成す
るようにしたので、通常より多い３枚以上の合成用画像
２２を容易に得ることができる。これら複数の合成用画
像２２から得られる合成画像２３では、より滑らかな中
間調を表現することができる。また、一連の合成用画像
２２を少なくとも１つの単位画像２１を共有するように
生成したので、合成用画像２２の間の経時変化を軽減す
ることができ、被写体の位置ずれ等による画像の欠落を
回避することができる。

【００４１】また、これら合成用画像２２の枚数やそれ
ぞれの露光時間，撮像期間は、自在に変更可能である。
合成用画像２２の各々の露光時間は、単位画像２１の露
光時間の設定に基づいて互いに関数で表現されるような
一定の相関を与えることができるので、複数枚の合成用
画像２２の露光時間（特性）を互いに関連付けて選択す
ることができる。また、そのような操作によって、例え
ば画像データＤs の合成に用いる範囲が決まる。ここで
は、合成用画像２２の露光時間を、単位露光時間ｔの２
ⁿ 倍としたので、各合成用画像２２の使用可能なデータ
値を全てｍ／２〜ｍの一定範囲内に収めることができ
る。したがって、合成の際に各合成用画像２２の低域成
分（０〜ｍ／２）は使用しないので、画像２３における
ノイズを低減することができる。また２ⁿ 倍とすること
で、ビットデータとして画像データ処理を行う場合に取
り扱いが簡単になる。

【００４２】なお、本実施の形態では、合成用画像２２
の露光時間を単位露光時間ｔのｎ倍または２ⁿ 倍（ｎは
共に０以上の整数）としたが、合成用画像相互の関係は
そのほかの関数で表されるものであってもよい。例え
ば、各合成用画像の露光時間を、単位露光時間ｔの３^k
倍（１，３，９，・・・）などのｎ^k 倍（ｎは固定値で
あり２以上の整数，ｋは変数であり０以上の整数）とし
てもよい。この場合には、２ⁿ 倍の場合と同じく合成へ
の適用範囲（上限値と下限値）が全ての合成用画像で一
致するために、合成手法として取り扱いやすい。

【００４３】撮像期間の設定については、ここでは、合
成用画像２２に共有される撮像期間を最後に撮像された
単位画像２１の撮像期間であるようにしたが、本発明の
合成用画像は、その撮像期間の少なくとも一部が重複し
ていればよいので、例えば、図７に示したように共有期
間を全撮像期間の最初に設定してもよい。また、図８に
示したように、共有期間を全撮像期間の中央に設定して
もよい。この場合には、合成用画像間の時間差をほとん
ど考慮する必要がなくなり、撮像対象の経時的な位置ず
れを軽減する効果が高い。さらに、図９に示したよう
に、合成用画像が互いのうちいずれかに対し撮像期間が
部分的に重複するようにしてもよい。

【００４４】

【実施例】次に、本発明の具体的な実施例について説明
する。なお、以下の実施例では、固体撮像装置全体の構
成、作用動作は、基本的に実施の形態と同様である。

【００４５】図１０は、本発明の実施例に係るデータ信
号の入射光量に対する特性図であり、（Ａ）が合成前、
（Ｂ）が合成後である。本実施例では、単位露光時間ｔ
で単位画像を順次撮像し、これら単位画像から、少なく
とも１枚の単位画像に相当する撮像期間を共有すると共
に露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔ，１６ｔで
あるような５枚の合成用画像を生成した。

【００４６】次に、これら合成用画像を合成するが、実
施の形態のように画像データをそのままの値で用いる
と、特に合成後のデータ長が大きくなってしまい、画像
メモリ内に大きな領域が必要になる。そこで、合成後の
データ信号特性が図７（Ｂ）のように正規化されたかた
ちで得られるように、各合成用画像の画像データを予め
一定の比率で縮小し、これらを用いて合成を行った。図
７（Ｂ）の実線部分が、合成後のデータ信号特性であ
る。同図から、ダイナミックレンジが１６倍に拡張され
ていることが確認できる。

【００４７】なお、合成後の画像データの特性は折れ線
となるため、対数曲線に補正する処理が有効である。こ
こでは、補正後の曲線を図７（Ｂ）に点線で示してい
る。この曲線は、（データ信号値）＝log ｛５０×（入
射光量）＋１｝｝／log ５１で表される対数曲線であ
る。これにより、合成後のデータ信号特性を平滑化する
ことができ、画質改善の効果が期待される。なお、一般
的に知られていることとして、人間は、目に入ってくる
光量を対数的特性でもって処理し、明るさとして感じて
いるので、対数補正は、合成画像を生理的な見え方に近
いものにするということができる。

【００４８】なお、本発明は、上記実施の形態に限定さ
れず種々の変形実施が可能である。例えば、上記実施の
形態では、単位画像２１は全て単位露光時間ｔで撮像さ
れるようにしたが、各単位画像の露光時間は任意に選ぶ
ことができ、同一の値でなくともよい。ただし、実施の
形態のように、単位画像の露光時間を一定としておく
と、合成用画像の露光時間が、加算する単位画像の数に
比例するために制御しやすくなる。

【００４９】また、単位画像の撮像条件および合成用画
像の生成に用いる単位画像の選び方は、固定条件として
予め定めておいてよいが、被写体の状況に応じて変化さ
せるようにすることも可能である。

【００５０】さらに、上記実施の形態では、後段処理回
路１５におけるデータ処理により合成用画像２２を生成
するものとしたが、予め加算する単位画像がわかってい
る場合には、前段処理回路において、入力信号を画像デ
ータに変換するなり演算処理を行い、所定の単位画像が
加算された時点で、その値を合成用画像として画像メモ
リに格納してゆく方法をとることも可能である。

【００５１】

【発明の効果】以上説明したように、本発明の固体撮像
装置および本発明の撮像方法によれば、所定時間内に複
数回の撮像を連続して行い、順次撮像された複数の単位
画像を生成し、単位画像を加算して、撮像期間が部分的
に重複し、かつ、互いに露光時間の異なる複数の合成用
画像を生成し、合成用画像を合成して、ダイナミックレ
ンジが拡張された画像を作成するようにしたので、複数
で、しかも互いの撮像期間が部分的に重複した合成用画
像が極めて平易な方法で得られる。従って、得られる画
像は、複数の合成用画像から合成されるので、単にダイ
ナミックレンジが拡張されているだけでなく、より滑ら
かな中間調を表現することが可能となる。また、複数の
合成用画像が用いられることにより、各合成用画像の信
号の低域成分は合成に使用されないので、得られる画像
のノイズを低減することが可能となる。同時に、合成用
画像の撮像期間は互いに部分的に重複しているので、互
いの経時変化が軽減され、被写体の位置ずれ等による画
像の欠落を回避することが可能となる。さらに、こうし
た合成用画像は、単位画像の露光時間等の撮像条件を変
えなくとも、その生成に用いる単位画像の数や経時的位
置を変更するだけで枚数や露光時間，撮像期間の設定を
変えることができる。このように、画像の合成における
条件設定の自由度が極めて高く、また容易に条件設定を
行うことが可能である。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る固体撮像装置の構
成を示すブロック図である。

【図２】図１に示した固体撮像装置における合成用画像
の生成手順を説明するための概念図である。

【図３】図１に示した固体撮像装置において生成される
合成用画像と単位画像との撮像期間および露光時間にお
ける関係を示すタイムチャートである。

【図４】図１に示した固体撮像装置にて生成される合成
用画像のデータ信号の特性図である。

【図５】図１に示した固体撮像装置にて生成される合成
用画像の具体例と単位画像との撮像期間および露光時間
における関係を示すタイムチャートである。

【図６】図５に示した合成用画像を用いた画像の合成方
法を説明するための図であり、（Ａ）は合成前の特性
図、（Ｂ）は合成後の特性図である。

【図７】図３に示した合成用画像と単位画像との撮像期
間および露光時間における関係の第１の変形例を示すタ
イムチャートである。

【図８】図３に示した合成用画像と単位画像との撮像期
間および露光時間における関係の第２の変形例を示すタ
イムチャートである。

【図９】図３に示した合成用画像と単位画像との撮像期
間および露光時間における関係の第３の変形例を示すタ
イムチャートである。

【図１０】本発明の実施例に係る固体撮像装置における
画像の合成方法を説明するための図であり、（Ａ）は合
成前の特性図、（Ｂ）は合成後の特性図である。

【図１１】従来の固体撮像装置における画像合成方法を
説明するためのタイムチャートである。

【符号の説明】

１１…光学系、１２…撮像素子、１３…カメラ信号前段
処理回路、１４…画像メモリ、１５…カメラ信号後段処
理回路、１６…駆動回路、１７…ＡＥ制御部、２１…単
位画像、２２，２２Ａ〜２２Ｄ…合成用画像、２３…合
成画像、４１，４２，４３…合成用画像のデータ信号特
性、Ｓv …電圧信号、ｔ…単位露光時間、Ｄu …単位画
像の画像データ、Ｄs …合成用画像の画像データ、Ｄw
…合成画像の画像データ、ＬＡ〜ＬＤ…入射光量の範
囲。

Claims (29)

【特許請求の範囲】
1. 【請求項１】 所定時間内に複数回の撮像を連続して行
   い、順次撮像された複数の単位画像を生成する撮像手段
   と、 前記単位画像を加算して、撮像期間が部分的に重複し、
   かつ、互いに露光時間の異なる複数の合成用画像を生成
   する合成用画像生成手段と、 前記合成用画像を合成して、ダイナミックレンジが拡張
   された合成画像を作成する合成手段とを備えたことを特
   徴とする固体撮像装置。
2. 【請求項２】 前記合成用画像生成手段は、前記合成用
   画像の各々を、互いの少なくともいずれかと撮像期間が
   部分的に重複するように生成することを特徴とする請求
   項１記載の固体撮像装置。
3. 【請求項３】 前記合成用画像生成手段は、前記合成用
   画像の全てを、撮像期間に共通の重複部分があるように
   生成することを特徴とする請求項２記載の固体撮像装
   置。
4. 【請求項４】 前記共通の重複部分は、最初に撮像され
   た単位画像を含むことを特徴とする請求項３記載の固体
   撮像装置。
5. 【請求項５】 前記共通の重複部分は、最後に撮像され
   た単位画像を含むことを特徴とする請求項３記載の固体
   撮像装置。
6. 【請求項６】 前記共通の重複部分は、撮像順が中央に
   位置する単位画像を含むことを特徴とする請求項３記載
   の固体撮像装置。
7. 【請求項７】 前記合成用画像生成手段は、前記合成用
   画像を３枚以上生成することを特徴とする請求項１記載
   の固体撮像装置。
8. 【請求項８】 前記単位画像を全て同一の所定露光時間
   で撮像することを特徴とする請求項１記載の固体撮像装
   置。
9. 【請求項９】 前記合成用画像の各々の露光時間を、前
   記所定露光時間のｎ ^k 倍（ｎは固定値であり２以上の整
   数，ｋは変数であり０以上の整数）とすることを特徴と
   する請求項８記載の固体撮像装置。
10. 【請求項１０】 前記合成用画像の各々の露光時間を、
    前記所定露光時間の２^k 倍（ｋは変数であり０以上の整
    数）とすることを特徴とする請求項９記載の固体撮像装
    置。
11. 【請求項１１】 前記合成手段は、前記合成用画像の各
    々から、設定上限値より小さく、露光時間が最も長い画
    像に属する信号を画素ごとに抽出し、合成に用いること
    を特徴とする請求項１記載の固体撮像装置。
12. 【請求項１２】 前記合成用画像のうち露光時間がｍ番
    目に長いもの（ｍは２以上の整数）の信号値は、同じ画
    像における信号下限値からの自身の変位に、前記合成用
    画像のうちの露光時間が１番長いものからｍ−１番目に
    長いものまでの各々における信号の下限値から設定上限
    値までの変位を全て積算した値に変換され、合成に用い
    られることを特徴とする請求項１１記載の固体撮像装
    置。
13. 【請求項１３】 前記画像信号の設定上限値は、入射光
    量に対する飽和点での信号値であることを特徴とする請
    求項１１記載の固体撮像装置。
14. 【請求項１４】 前記合成手段は、前記合成用画像を合
    成する前に、前記合成画像のダイナミックレンジが正規
    化されたものとなるように前記合成用画像の各々の画像
    信号を縮小することを特徴とする請求項１１記載の固体
    撮像装置。
15. 【請求項１５】 前記撮像手段としてＣＣＤセンサまた
    はＣＭＯＳセンサが用いられていることを特徴とする請
    求項１記載の固体撮像装置。
16. 【請求項１６】 被写体を撮像して得られる画像の画質
    補正を行う撮像方法であって、 所定時間内に複数回の撮像を連続して行い、順次撮像さ
    れた複数の単位画像を生成し、 前記単位画像を加算して、撮像期間が部分的に重複し、
    かつ、互いに露光時間の異なる複数の合成用画像を生成
    し、 さらに、前記合成用画像を合成して、ダイナミックレン
    ジが拡張された合成画像を作成することを特徴とする撮
    像方法。
17. 【請求項１７】 前記合成用画像の各々を、互いの少な
    くともいずれかと撮像期間が部分的に重複するように生
    成することを特徴とする請求項１６記載の撮像方法。
18. 【請求項１８】 前記合成用画像の全てを、撮像期間に
    共通の重複部分を有するように生成することを特徴とす
    る請求項１７記載の撮像方法。
19. 【請求項１９】 前記共通の重複部分は、最初に撮像さ
    れた単位画像を含むことを特徴とする請求項１８記載の
    撮像方法。
20. 【請求項２０】 前記共通の重複部分は、最後に撮像さ
    れた単位画像を含むことを特徴とする請求項１８記載の
    固体撮像装置。
21. 【請求項２１】 前記共通の重複部分は、撮像順が中央
    に位置する単位画像を含むことを特徴とする請求項１８
    記載の撮像方法。
22. 【請求項２２】 前記合成用画像を３枚以上生成するこ
    とを特徴とする請求項１６記載の撮像方法。
23. 【請求項２３】 前記単位画像を全て同一の所定露光時
    間で撮像することを特徴とする請求項１６記載の撮像方
    法。
24. 【請求項２４】 前記合成用画像の各々の露光時間を、
    前記所定露光時間のｎ^k 倍（ｎは固定値であり２以上の
    整数，ｋは変数であり０以上の整数）とすることを特徴
    とする請求項２３記載の撮像方法。
25. 【請求項２５】 前記合成用画像の各々の露光時間を、
    前記所定露光時間の２^k 倍（ｋは変数であり０以上の整
    数）とすることを特徴とする請求項２４記載の撮像方
    法。
26. 【請求項２６】 前記合成用画像の各々から、設定上限
    値より小さく、露光時間が最も長い画像に属する信号を
    画素ごとに抽出し、合成に用いることを特徴とする請求
    項１６記載の撮像方法。
27. 【請求項２７】 前記合成用画像のうち露光時間がｍ番
    目に長いもの（ｍは２以上の整数）の信号値を、同じ画
    像における信号下限値からの自身の変位に、前記合成用
    画像のうちの露光時間が１番長いものからｍ−１番目に
    長いものまでの各々における信号の下限値から設定上限
    値までの変位を全て積算した値に変換して、合成に用い
    ることを特徴とする請求項２６記載の撮像方法。
28. 【請求項２８】 前記画像信号の設定上限値を、入射光
    量に対する飽和点での信号値とすることを特徴とする請
    求項２６記載の撮像方法。
29. 【請求項２９】 前記合成用画像を合成する前に、前記
    合成画像のダイナミックレンジが正規化されたものとな
    るように前記合成用画像の各々の画像信号を縮小するこ
    とを特徴とする請求項２６記載の撮像方法。