JP2003009006A - 撮像方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 時分割方式によって得られた露光量の異なる
複数の画像間に動きずれがあったとしても、それによっ
て生ずるＳＮの劣化を回避し、主観的に好ましい合成画
像を生成することができるようにする。 【解決手段】 動きずれ係数Ｍ（ｘ，ｙ）を算出して、
露光量の異なる画像間で動きずれの生じている位置を検
出する。その検出結果に基づいて、動きずれが生じてい
ると思われる画素領域では、平滑化された短時間露光画
像ｘＳ''（ｘ，ｙ）をより多く用いて、ダイナミックレ
ンジの広い単一の画像を生成する。すなわち、長時間露
光画像ｘＬ（ｘ，ｙ）が飽和して短時間露光画像ｘＳ
（ｘ，ｙ）が選択されるべき部分において、動きずれが
生じ、短時間露光画像ｘＳ（ｘ，ｙ）のレベルが低くな
っている場合に、その領域のみにおいて短時間露光画像
ｘＳ（ｘ，ｙ）を平滑化し、動きずれ部分のＳＮ劣化を
回避する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラ、ス
チルカメラ、監視カメラおよび車載カメラなどの画像入
力装置などに好適に利用可能なものであり、特に、異な
る露光条件で撮像した複数の画像を合成することによ
り、１つの露光条件で撮像された画像よりもダイナミッ
クレンジの広い単一の画像を生成するための撮像方法お
よび装置に関する。

【０００２】

【従来の技術】従来、露光量の異なる複数の画像を撮像
するための方法としては、例えば撮像素子としてＣＣＤ
（Charge Coupled Device）を用い、電子シャッターに
よって露光時間を変化させ、時分割的に複数の画像を撮
像するものが知られている。

【０００３】図１２は、この時分割的な撮像方法の原理
を示している。図１２において、横軸は時間方向を示
し、縦軸は撮像素子における蓄積電荷量を示す。図１２
の例では、あるフィールド期間において、通常の撮像と
同様に電荷の蓄積、読み出しが行われた後、垂直ブラン
キング期間Ｔblkを利用して、再度蓄積、および読み出
しの動作が行われ、これにより、１フィールド期間Ｔf
に対応して露光時間の異なる２枚画像が得られる。図１
２において、符号１０１，１０２を付した部分が、それ
ぞれ、異なる露光時間の画像として読み出される電荷を
示している。

【０００４】また、別の方法としては、図１３に示すよ
うに１つの撮像素子上の各画素１１１の上に、例えば１
ラインごとにＮＤ（Neutral Density）フィルタ１１２
を配列し、空間分割的に露光量の異なる画像を撮像する
方法もある。ＮＤフィルタ１１２が設置された画素とそ
れ以外の部分とでは、光の透過率が異なるので、これに
より、露光量の異なる画像を撮像することができる。さ
らに、複数の撮像素子を用意し、各撮像素子の全面にそ
れぞれ透過率の異なるＮＤフィルタを設置し、空間解像
度を落とすことなく、複数の画像を撮像する方法もあ
る。図１４は、この方法による撮像装置の例であり、２
つの撮像素子１２１，１２２の一方に対してＮＤフィル
タ１２４を設置している。この例では、入射光が、ハー
フミラー１２３によって２分割され、各撮像素子１２
１，１２２に入射する。一方の撮像素子１２２にはＮＤ
フィルタ１２４が設置されているので、他方の撮像素子
１２１とは露光量の異なる画像を撮像することができ
る。

【０００５】また、以上のようにして得られた露光量の
異なる複数の画像を合成する方法としては、撮像された
ときの露光量の比に応じた係数を各画像に積算したの
ち、しきい値処理により各画像を切り替える方法が知ら
れている。図１５は、この方法の原理を示したものであ
り、横軸が撮像素子への入射光量を、縦軸は撮像素子か
らの出力信号のレベル、すなわち撮像された画像の画素
レベルを表わしている。図１５では、例えば相対的に長
い露光時間で撮像された画像ｙＬについては、入射光量
と出力信号のレベルとの関係が、入射光量があるレベル
ＴＨ未満では傾きが大きい直線で表わされ、あるレベル
ＴＨ以上では、撮像素子の飽和により出力信号は一定の
値となる。また相対的に短い露光時間によって撮像され
た画像ｙＳについては、画像ｙＬに比べて、直線の傾き
は小さく、出力信号はより高い入射光量で飽和する。画
像の合成は、図中、符号ｙＳ'で示した直線のように、
はじめに短時間露光に対応する出力信号に対し係数ｇが
積算されて直線部分の傾きが長時間露光のものと合わせ
られた後、長時間露光に対応する出力信号を参照し、入
射光量のレベルがあるしきい値ＴＨ以下である場合には
長時間露光による出力信号を、しきい値ＴＨより大きい
場合には短時露光による出力信号を選択することで行わ
れる。これを式で表すと、以下の（１）式のようにな
る。

【０００６】

【数１】

【０００７】ここで、短時間露光に対応する信号ｙＳに
積算される係数ｇは、各露光時間の比であり、以下の
（２）式によって与えられる。

【０００８】

【数２】

【０００９】（２）式におけるＴlong，Ｔshortは、そ
れぞれ長時間露光、短時間露光の露光時間である。従っ
て、露光時間の比がＮ倍である場合、合成画像のダイナ
ミックレンジはＮ倍に拡大されたことになる。露光時間
が３種類以上ある場合には、露光時間の長いものから順
に（１）式の合成処理を繰り返し適用すれば良い。

【００１０】なお、ここでは露光時間によって露光量を
制御する撮像方式、すなわち時分割的な撮像法を前提と
して説明したが、実際には上述したどの撮像方式を用い
ても、同じ合成方法を用いることができる。

【００１１】このように生成されたダイナミックレンジ
の広い画像を、出力すべき伝送系、表示装置などの能力
に合わせて圧縮する方法としては、入力画像の各画素に
対し、そのレベルを図１６の実線で示すような入出力関
係を持つ関数（以下、「レベル変換関数」と記す。）で
変換する方法（以下、「レベル変換」と記す。）があ
る。図１６において、横軸は入力画像の画素レベル（入
力レベル）ｌを、縦軸はレベル変換処理による出力画像
の画素レベル（出力レベル）Ｔ（ｌ）を表す。Ｌin・max
は、入力画像の各画素が取り得る最大レベルを、Ｌout・
maxは、出力画像の各画素が取り得る最大レベルを表
す。レベル変換後の画像のコントラストは、レベル変換
関数の傾きが大きいほど高いことになる。図１６の例で
は、入力レベルｌｋを境にして、高レベル側におけるレ
ベル変換関数を示す直線の傾きが、低レベル、中間レベ
ルでの傾きに比べて小さくなっている。従って、図１６
に示したレベル変換では、高レベルでのコントラストを
犠牲にすることで、低レベル、中間レベルでのコントラ
ストを確保したまま全体のダイナミックレンジを圧縮し
ている。

【００１２】また別の圧縮方法としては、入力画像の画
素レベルの頻度分布に応じて、レベル変換関数を適応的
に変化させるものがあり、その代表例としてはヒストグ
ラムイコライゼーションと呼ばれる方法が挙げられる。
図１７（Ａ），（Ｂ）に、このヒストグラムイコライゼ
ーションの原理を示す。図１７（Ａ）において、横軸は
入力画像の画素レベル（入力レベル）ｌを、縦軸は度数
（頻度または累積頻度）を表す。Ｆmaxは、累積頻度の
最大値であり、頻度を算出するために用いる画素の総数
である。この方法では、図１７（Ａ）に示したように、
はじめに入力画像の画素レベルｌに関する頻度分布Ｈ
（ｌ）が生成され、次に以下の（３）式を用いて累積頻
度分布Ｃ（ｌ）が生成される。

【００１３】

【数３】

【００１４】この累積頻度分布Ｃ（ｌ）の縦軸を、以下
の（４）式を用いて出力画像が取り得るレベル範囲に正
規化することにより、レベル変換関数Ｔ（ｌ）が生成さ
れる（図１７（Ｂ））。この関数Ｔ（ｌ）を用いること
により、出現頻度の高いレベルによって構成される領域
（面積が大きい領域）のコントラストを確保して、全体
のダイナミックレンジを圧縮することが可能となる。

【００１５】

【数４】

【００１６】ところで、撮像素子の前面に、各画素に対
応して所定のパターンの色フィルタを配置することによ
り、単一の撮像素子のみでカラー画像を撮像するように
なされた、いわゆる単板式のカラー撮像装置がある。図
１８は、その色フィルタの一例であり、Ｙｅ（イエロ
ー）、Ｃｙ（シアン）、Ｍｇ（マゼンタ）およびＧ（グ
リーン）の補色系のフィルタが所定順序で配列されてい
る。単板式のカラー撮像装置における出力信号は、図１
９に示したように、輝度情報を表す輝度信号ｙに色情報
を表す周波数変調された色信号ｃが重畳された形のもの
となる。次に、このような単板式のカラー撮像装置によ
って得られた複数のカラー画像信号を合成し、さらに圧
縮するための従来法について説明する。

【００１７】はじめに、各露光量で撮像された画像信号
は、次の（５）式（（５Ａ），（５Ｂ），（５Ｃ））に
より輝度信号および色信号に分離される。

【００１８】

【数５】

【００１９】ここで、式中、ｘは輝度信号と色信号とが
混合された画像信号を、ｙは分離された輝度信号を、ま
たｃは分離された色信号を表す。ＬＰＦｙ（），ＬＰＦ
ｃ（）は、それぞれ、輝度分離用、色分離用のローパス
フィルタである。

【００２０】（５）式によって分離された輝度信号ｙ
は、上述した方法（図１５〜図１７参照）によって合
成、圧縮が施される。これに対し色信号ｃは、多くの露
光量（長時間露光）で得られた輝度信号の大きさを参照
して、次の（６）式のような処理によって合成される。

【００２１】

【数６】

【００２２】（６）式において、ｙＬ，ｃＬは多くの露
光量で得られた輝度信号、および色信号であり、ｃＳは
少ない露光量（短時間露光）で得られた色信号である。
また、ｇは（２）式で示したような露光量の比である。

【００２３】この合成された色信号ｃ'は、輝度信号に
対する比率が変化しないように、次の（７）式によって
圧縮される。（７）式において、ｙ'は、（１）式のよ
うなダイナミックレンジの拡大された輝度信号を表し、
ｙ''は、ダイナミックレンジの圧縮された輝度信号を表
している。

【００２４】

【数７】

【００２５】

【発明が解決しようとする課題】ところで、時分割的に
露光量を変えて複数の画像を撮像、合成する方式におい
ては、不可避的に撮像時刻に差が存在するため、撮像さ
れた画像間にカメラや撮像対象の動きによる“動きず
れ”が生じる可能性がある。

【００２６】図２０（Ａ）〜（Ｃ）を参照して、まず、
撮像対象が移動する場合を例にこの動きずれによって生
じる問題点を説明する。ここでは、輝度のレベルの低い
静止背景の前方を、輝度のレベルの高い物体が移動して
いる情景を撮像するものとする。図２０（Ａ），（Ｂ）
は、それぞれ、この情景を長時間露光、および短時間露
光で撮像して得られた画像を表すものであり、簡単のた
めに１次元信号として表してある。横軸ｘは画像上の位
置座標を表す。

【００２７】各画像上において、Ｆは対象物体に対応す
る領域であるが、露光時刻の時間間隔における運動によ
り、その画像上の位置には距離Ｄ＝ｘ３−ｘ２＝ｘ１−
ｘ０だけのずれが生じている。Ｆ０〜Ｆ２は物体領域内
における相対位置を表しており、Ｆ０は物体の左端、Ｆ
１は物体の右端、Ｆ２は物体上でＦ１から左にＤの距離
にある位置を表している。また、Ｂ０〜Ｂ３は背景上の
相対位置であり、Ｂ０は長時間露光撮像時刻において物
体の左端Ｆ０と接する背景位置を、Ｂ１は同時刻におい
て物体の右端Ｆ１と接する背景位置を、Ｂ２は短時間露
光撮像時において物体の左端Ｆ０に接する背景位置を、
Ｂ３は同時刻において物体の右端Ｆ１に接する背景の位
置をそれぞれ表している。ただし、ここでは物体の運動
による動きずれのみを考えるため、背景は静止している
ものとする。従って、背景領域上の相対位置Ｂ０，Ｂ
１，Ｂ２，Ｂ３は、それぞれ画像上の座標ｘ０，ｘ２，
ｘ１，ｘ３に１対１で対応している。短時間露光画像
（図２０（Ｂ））の物体領域Ｆにおける信号レベルの勾
配が長時間露光画像（図２０（Ａ））の物体領域には存
在していないが、これは長時間露光により物体領域にお
ける信号レベルが飽和したことを示している。

【００２８】図２０（Ｃ）は、これら図２０（Ａ），
（Ｂ）の２つの画像を上述の（１）式により合成した画
像を表している。この合成画像では、長時露光画像（図
２０（Ａ））が飽和している画像位置ｘ０〜ｘ２の部分
では短時間露光画像（図２０（Ｂ））に露光比ｇを積算
したものが、それ以外の部分（長時露光画像が飽和して
いない部分）では長時間露光画像（図２０（Ａ））その
ものが現れている。ここで、この合成画像において、画
像位置ｘ２は見かけ上、背景領域と物体領域の境界点に
なっているが，画像位置ｘ２の左側近傍は、物体領域の
右端Ｆ１ではなく、物体領域内の点Ｆ２に対応してい
る。すなわち、図中、破線で示したように物体領域上の
Ｆ２〜Ｆ１の部分が欠落していることになる。

【００２９】一方、図２０（Ｃ）の合成画像上の位置ｘ
０から左側の部分、および位置ｘ０〜ｘ１の部分はいず
れも背景領域を表しており、画像の内容も連続してい
る。しかしながら、前者（位置ｘ０から左側）が長時間
露光画像であるのに対して、後者（位置ｘ０〜ｘ１）は
短時間露光画像に露光比ｇを積算したものであり、それ
らの間ではＳＮ比（signal-to-noise ratio，以下、単
にＳＮと記す。）が異なることになる。通常ダイナミッ
クレンジを圧縮する場合には、信号レベルが大きいほど
圧縮率も大きくなるため、信号レベルの高い部分で短時
間画像が用いられる場合にはノイズも圧縮されて大きな
問題とはならない。実際、画像を合成するときには、短
時間露光画像は長時間露光画像が飽和している部分で用
いられるため、動きずれがなく正確に短時間露光画像と
長時間露光画像が対応している場合には、合成画像に表
れる短時間露光画像のレベルも非常に高い。しかしなが
ら、動きずれが生じている場合には、図２０（Ａ）〜
（Ｃ）で示したとおり、長時間露光画像が飽和していて
も、それに対応する短時間露光画像上の領域ではレベル
が低い可能性があり、このような領域（位置ｘ０〜ｘ１
の部分）では他の領域に比べて十分な圧縮がなされずに
ＳＮが大きく劣化することになる。

【００３０】次に、図２１（Ａ）〜（Ｃ）を参照して、
撮像対象は静止しているが、撮像カメラ自体が手ぶれな
どによって移動した場合の動きずれによって生じる問題
点を説明する。図２１（Ａ）〜（Ｃ）は、それぞれ、カ
メラ自体が移動した場合の、長時間露光画像、短時間露
光画像および合成画像の関係を示している。この場合、
物体自体は静止しており、物体領域と背景領域の相対的
な位置関係に変化はないため、物体の左端Ｆ０、または
右端Ｆ１に接する背景上の相対位置は常にＢ０，Ｂ１で
あり、撮像時刻によって変化することはない。またこの
場合のＢ２は、背景上のＢ０よりずれ量Ｄだけ左に存在
する背景上の位置とする。ただし、背景自体の画像上に
おける位置が変化するため、これら背景上の相対位置Ｂ
０，Ｂ１，Ｂ２と画像上の位置座標の間には１対１の関
係は成立しない。

【００３１】この場合にも、物体が運動している場合と
同様、図２１（Ｃ）に示したように、物体領域Ｆ２〜Ｆ
１の欠落、および画像位置ｘ０〜ｘ１におけるＳＮの劣
化が生じるが、さらに合成画像上の位置ｘ０において画
像内容の不連続が生じる。すなわち、合成画像における
位置ｘ０〜ｘ１の画像内容は、短時間露光画像（図２１
（Ｂ））に由来しており、短時間露光画像における背景
の位置Ｂ２〜Ｂ０の部分に対応する。その一方、長時間
露光画像（図２１（Ａ））に由来する位置ｘ０より左側
の部分においては、位置ｘ０は長時間露光画像における
背景上のＢ０に対応しており、位置ｘ０より左側におい
ても長時間露光画像における背景Ｂ２〜Ｂ０が重複して
表現されていることになる。すなわち、合成画像では、
長時間露光画像で得られた背景Ｂ２〜Ｂ０の次に、さら
に短時間露光画像で得られた背景Ｂ２〜Ｂ０が重複して
現れることになる。

【００３２】以上の動きずれに起因する種々の問題のう
ち、物体領域の欠落、および背景領域の重複は、異なる
手段によりさらに多くの画像情報を入力しない限りは本
質的には解決できないが、それらは視覚的に感度が低く
なる動領域の近傍に発生するため、主観的にはそれほど
大きな画質劣化にはならない。これに対し、レベルの低
い領域において短時間露光画像を用いることによるＳＮ
の劣化は、経験的にも大きな画質劣化の要因となるの
で、特に、この問題を解決することが望まれる。

【００３３】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、時分割方式によって得られた露光量
の異なる複数の画像間に動きずれがあったとしても、そ
れによって生ずるＳＮの劣化を回避し、主観的に好まし
い合成画像を生成することができる撮像方法および装置
を提供することにある。

【００３４】

【課題を解決するための手段】本発明による撮像方法
は、露光条件の異なる複数の画像を異なる時刻において
撮像する撮像過程と、複数の画像の少なくとも１つに対
して撮像時の露光量を補正して少なくとも１つの補正画
像を生成する露光量補正過程と、補正画像を含む複数の
画像から、複数の画像間で動きずれの生じている位置を
検出する動きずれ検出過程と、動きずれ検出過程での検
出結果に基づいて、複数の画像を合成し、ダイナミック
レンジの広い単一の画像を生成する合成過程とを含むも
のである。

【００３５】本発明による撮像装置は、露光条件の異な
る複数の画像を異なる時刻において撮像する撮像手段
と、複数の画像の少なくとも１つに対して撮像時の露光
量を補正して少なくとも１つの補正画像を生成する露光
量補正手段と、補正画像を含む複数の画像から、複数の
画像間で動きずれの生じている位置を検出する動きずれ
検出手段と、動きずれ検出手段の検出結果に基づいて、
複数の画像を合成し、ダイナミックレンジの広い単一の
画像を生成する合成手段とを備えたものである。

【００３６】本発明による撮像方法および装置では、露
光条件の異なる複数の画像が、異なる時刻において撮像
されると共に、複数の画像の少なくとも１つに対して、
撮像時の露光量を補正して少なくとも１つの補正画像が
生成される。そして、補正画像を含む複数の画像から、
複数の画像間で動きずれの生じている位置が検出され、
その検出結果に基づいて、複数の画像が合成され、ダイ
ナミックレンジの広い単一の画像が生成される。動きず
れに応じて複数の画像を合成するので、動きずれがあっ
たとしても、主観的に好ましい合成画像が得られる。

【００３７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００３８】［第１の実施の形態］図１に示したよう
に、本実施の形態に係る撮像装置は、撮像器１０と、ゲ
イン補正器１１と、合成係数算出器１２と、差分係数算
出器１３と、乗算器１４と、平滑化器１５と、合成器１
６とを備えている。

【００３９】なお、本撮像装置において処理される画像
信号は、２次元ディジタル画像を図２に示すように水平
方向、垂直方向の順に走査して得られた時系列な画素値
の信号である。以下では、２次元画像上の任意の位置
（ｘ，ｙ）に対応する画素値を、例えばＩ（ｘ，ｙ）と
表す。

【００４０】撮像器１０は、露光条件の異なる複数の画
像を異なる時刻において撮像する機能を有しており、例
えばＣＣＤを含んで構成されている。本実施の形態で
は、撮像器１０が、露光時間の異なる２つの画像を時分
割的に撮像するものとし、そのうち、相対的に露光時間
が長い画像（露光量が大きい画像）を長時間露光画像ｘ
Ｌ（ｘ，ｙ）、相対的に露光時間が短い画像（露光量が
小さい画像）を短時間露光画像ｘＳ（ｘ，ｙ）と表現す
る。撮像器１０によって撮像された長時間露光画像ｘＬ
（ｘ，ｙ）は、合成係数算出器１２、差分係数算出器１
３および合成器１６に送られる。また短時間露光画像ｘ
Ｓ（ｘ，ｙ）は、ゲイン補正器１１に送られる。

【００４１】ゲイン補正器１１は、撮像器１０によって
撮像された露光時間の異なる２つの画像のうち、短時間
露光画像ｘＳ（ｘ，ｙ）に対して撮像時の露光量を補正
する機能を有している。ゲイン補正器１１によって行わ
れる露光量の補正は、例えば、短時間露光画像ｘＳ
（ｘ，ｙ）の各画素値に対して、上述の（２）式に示す
露光時間の比を表す係数ｇを積算することにより行われ
る。ゲイン補正器１１によって露光量を補正することに
より得られた補正短時間露光画像ｘＳ'（ｘ，ｙ）は、
差分係数算出器１３、平滑化器１５、および合成器１６
に送られる。

【００４２】合成係数算出器１２は、図３に示したよう
に、例えば、減算器２０、除算器２１およびリミッタ２
２を有して構成されている。この合成係数算出器１２
は、長時間露光画像ｘＬ（ｘ，ｙ）に基づいて、合成器
１６において露光時間の異なる画像を合成するための合
成係数Ｃ（ｘ，ｙ）を算出する機能を有している。合成
係数算出器１２によって算出された合成係数Ｃ（ｘ，
ｙ）は、乗算器１４と合成器１６とに送られる。

【００４３】差分係数検出器１３は、図４に示したよう
に、例えば、第１の減算器３０、第２の減算器３１、除
算器３２およびリミッタ３３を有して構成されている。
この差分係数検出器１３は、長時間露光画像ｘＬ（ｘ，
ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との差分の
大きさを表す差分係数Ｄ（ｘ，ｙ）を算出する機能を有
している。差分係数検出器１３によって算出された差分
係数Ｄ（ｘ，ｙ）は、乗算器１４に送られる。

【００４４】乗算器１４は、以下の（８）式で表される
ように、合成係数Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）
との積から、動きずれ係数Ｍ（ｘ，ｙ）を算出するよう
になっている。乗算器１４によって算出された動きずれ
係数Ｍ（ｘ，ｙ）は、合成器１６に送られる。動きずれ
係数Ｍ（ｘ，ｙ）は、動きずれの度合いを示すものであ
り、後述するように、長時間露光画像ｘＬ（ｘ，ｙ）の
信号レベル（画素レベル）が高く（飽和レベルに近
く）、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と補正短
時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほど大き
な値となるように設定されている。すなわち、この動き
ずれ係数Ｍ（ｘ，ｙ）の値が大きい画素位置が、長時間
露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ（ｘ，
ｙ）との間で動きずれが生じている可能性が高いとみな
される。

【００４５】

【数８】

【００４６】平滑化器１５は、補正短時間露光画像ｘ
Ｓ'（ｘ，ｙ）に対して平滑化処理を行う機能を有して
いる。平滑化器１５における平滑化処理には、ノイズ低
減を目的として一般的に使われる線形ローパスフィル
タ、またはメディアンフィルタを始めとする非線形フィ
ルタを用いることができる。平滑化器１５によって平滑
化された後の短時間露光画像ｘＳ''（ｘ，ｙ）は、合成
器１６に送られる。

【００４７】合成器１６は、図５に示したように、例え
ば、短時間露光画像合成器４０と長短露光画像合成器４
１とを有して構成されている。この合成器１６は、撮像
器１０によって撮像された長時間露光画像ｘＬ（ｘ，
ｙ）、ゲイン補正器１１によって補正された補正短時間
露光画像ｘＳ'（ｘ，ｙ）、および平滑化器１５によっ
て平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）を、乗
算器１４によって算出された動きずれ係数Ｍ（ｘ，ｙ）
をもとに合成し、ダイナミックレンジの広い画像Ｘ
（ｘ，ｙ）を生成する機能を有している。合成器１６に
よって生成されたダイナミックレンジの広い画像Ｘ
（ｘ，ｙ）は、図示しない画像表示装置、画像蓄積装置
または画像伝送装置などに出力される。

【００４８】なお、本実施の形態において、ゲイン補正
器１１が、本発明における「露光量補正手段」の一具体
例に対応する。また、主として合成係数算出器１２、差
分係数算出器１３および乗算器１４が、本発明における
「動きずれ検出手段」の一具体例に対応する。

【００４９】次に、以上のように構成された本実施の形
態に係る撮像装置の作用、動作を説明する。なお、以下
の説明は、本実施の形態に係る撮像方法の説明を兼ねて
いる。

【００５０】まず、撮像器１０によって、露光時間の異
なる２つの画像が時分割的に撮像される。撮像器１０
は、撮像した２つの画像のうち、相対的に露光量が大き
い長時間露光画像ｘＬ（ｘ，ｙ）を、合成係数算出器１
２、差分係数算出器１３および合成器１６に出力する。
一方、露光量の小さい短時間露光画像ｘＳ（ｘ，ｙ）
は、ゲイン補正器１１に出力される。

【００５１】ゲイン補正器１１は、例えば上述した
（２）式に示す露光時間の比を表す係数ｇを、短時間露
光画像ｘＳ（ｘ，ｙ）の各画素値に対して積算すること
により、短時間露光画像ｘＳ（ｘ，ｙ）の撮像時の露光
量を補正する。ゲイン補正器１１は、補正することによ
って得られた補正短時間露光画像ｘＳ'（ｘ，ｙ）を、
差分係数算出器１３、平滑化器１５、および合成器１６
に出力する。

【００５２】合成係数算出器１２は、撮像器１０から出
力された長時間露光画像ｘＬ（ｘ，ｙ）に基づいて、合
成係数Ｃ（ｘ，ｙ）を算出し、それを乗算器１４と合成
器１６とに出力する。

【００５３】合成係数算出器１２における合成係数Ｃ
（ｘ，ｙ）の算出は、より詳しくは、例えば図３に示し
たように行われる。合成係数算出器１２において、長時
間露光画像ｘＬ（ｘ，ｙ）は、まず減算器２０に入力さ
れる。減算器２０は、入力された長時間露光画像ｘＬ
（ｘ，ｙ）の各画素値から、あらかじめ設定された定数
ＭＩＮＬを減算する。減算後の長時間露光画像ｘＬ
（ｘ，ｙ）は、次に除算器２１に出力され、そこで、あ
らかじめ設定された定数ＲＮＧＬによって除算され、係
数Ｃ（ｘ，ｙ）が算出される。減算器２０および除算器
２１によるこれらの処理は、長時間露光画像ｘＬ（ｘ，
ｙ）に対する正規化処理であり、数学的には以下の
（９）式のように表される。

【００５４】

【数９】

【００５５】このように算出された係数Ｃ（ｘ，ｙ）
は、リミッタ２２に送られ、そこで、以下の（１０）式
で表される値の制限がなされる。このリミッタ２２によ
る値の制限のなされたものが、改めて合成係数Ｃ（ｘ，
ｙ）として出力される。

【００５６】

【数１０】

【００５７】一方、差分係数検出器１３は、長時間露光
画像ｘＬ（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，
ｙ）との差分の大きさを表す差分係数Ｄ（ｘ，ｙ）の算
出を行い、それを乗算器１４に出力する。

【００５８】差分係数検出器１３における差分係数Ｄ
（ｘ，ｙ）の算出は、より詳しくは、例えば図４に示し
たように行われる。差分係数検出器１３において、長時
間露光画像ｘＬ（ｘ，ｙ）および補正短時間露光画像ｘ
Ｓ'（ｘ，ｙ）は、第１の減算器３０に入力される。第
１の減算器３０は、入力された長時間露光画像ｘＬ
（ｘ，ｙ）の各画素値から、補正短時間露光画像ｘＳ'
（ｘ，ｙ）の対応する画素値を減算し、値ＬＳdifを算
出する。算出された値ＬＳdifを示す信号は、第２の減
算器３１に出力される。

【００５９】第２の減算器３１は、第１の減算器３０に
よって算出された値ＬＳdifから、あらかじめ設定され
た定数ＭＩＮdifを減算し、その結果を除算器３２に出
力する。除算器３２は、除算器３２からの出力に対し
て、あらかじめ設定された定数ＲＮＧdifによる除算を
施し、係数Ｄ（ｘ，ｙ）を算出する。第２の減算器３１
および除算器３２による処理は、長時間露光画像ｘＬ
（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との
差分である値ＬＳdifに対する正規化処理であり、数学
的には上述の（９）式と同様の処理となる。

【００６０】除算器３２によって算出された係数Ｄ
（ｘ，ｙ）は、リミッタ３３に送られ、そこで、上述の
（１０）式と実質的に同様にして、値の制限がなされ
る。このリミッタ３３による値の制限のなされたもの
が、改めて差分係数Ｄ（ｘ，ｙ）として乗算器１４に出
力される。

【００６１】以上のようにして合成係数算出器１２と差
分係数算出器１３とで算出された合成係数Ｃ（ｘ，ｙ）
と差分係数Ｄ（ｘ，ｙ）は、乗算器１４によって乗算さ
れ、動きずれ係数Ｍ（ｘ，ｙ）として合成器１６に出力
される。

【００６２】ところで、動きずれ係数Ｍ（ｘ，ｙ）は、
上述の（８）式にも示したように合成係数Ｃ（ｘ，ｙ）
と差分係数Ｄ（ｘ，ｙ）との積である。一方、合成係数
Ｃ（ｘ，ｙ）と差分係数Ｄ（ｘ，ｙ）の値は、合成係数
算出器１２と差分係数算出器１３とにおいて、上述した
正規化処理および値の制限が行われることにより、それ
ぞれ０．０以上１．０以下となっている。従って、それ
らの積である動きずれ係数Ｍ（ｘ，ｙ）も、０．０以上
１．０以下の値を取る。また、（９）式から分かるよう
に、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルが高い
とき（飽和レベルに近いとき）には、合成係数Ｃ（ｘ，
ｙ）の値が大きくなる。また、長時間露光画像ｘＬ
（ｘ，ｙ）と補正短時間露光画像ｘＳ'（ｘ，ｙ）との
差が大きいほど、それらの差分である差分係数Ｄ（ｘ，
ｙ）の値は大きくなる。従って、合成係数Ｃ（ｘ，ｙ）
と差分係数Ｄ（ｘ，ｙ）との積である動きずれ係数Ｍ
（ｘ，ｙ）は、長時間露光画像ｘＬ（ｘ，ｙ）の信号レ
ベルが高く、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と
補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きいほ
ど大きな値となる。

【００６３】このように、本実施の形態では、合成係数
算出器１２および差分係数算出器１３において、長時間
露光画像ｘＬ（ｘ，ｙ）および補正短時間露光画像ｘ
Ｓ'（ｘ，ｙ）に基づいて、合成係数Ｃ（ｘ，ｙ）およ
び差分係数Ｄ（ｘ，ｙ）が算出される。さらに、これら
２つの係数に基づいて、乗算器１４において動きずれ係
数Ｍ（ｘ，ｙ）を算出することにより、露光量の異なる
複数の画像間において動きずれの生じている位置が検出
される。

【００６４】なお、動きずれ係数Ｍ（ｘ，ｙ）が大き
く、２つの画像間に動きずれが存在すると判定される場
合、すなわち、長時間露光画像ｘＬ（ｘ，ｙ）の信号レ
ベルが高く、なおかつ長時間露光画像ｘＬ（ｘ，ｙ）と
補正短時間露光画像ｘＳ'（ｘ，ｙ）との差が大きい場
合には、補正短時間露光画像ｘＳ'（ｘ，ｙ）の信号レ
ベルが、長時間露光画像ｘＬ（ｘ，ｙ）の信号レベルに
比べてかなり小さくなっていることを意味する。

【００６５】ところで、平滑化器１５では、ゲイン補正
器１１による補正のなされた補正短時間露光画像ｘＳ'
（ｘ，ｙ）に対してノイズ低減のための平滑化処理が行
われ、その平滑化された後の短時間露光画像ｘＳ''
（ｘ，ｙ）が、合成器１６に出力される。

【００６６】合成器１６には、長時間露光画像ｘＬ
（ｘ，ｙ）、補正短時間露光画像ｘＳ'（ｘ，ｙ）、お
よび短時間露光画像ｘＳ''（ｘ，ｙ）と共に、動きずれ
係数Ｍ（ｘ，ｙ）および合成係数Ｃ（ｘ，ｙ）が入力さ
れる。合成器１６は、これらの入力信号に基づいて、ダ
イナミックレンジの広い合成画像Ｘ（ｘ，ｙ）を生成
し、それを、図示しない画像表示装置、画像蓄積装置ま
たは画像伝送装置などに出力する。

【００６７】合成器１６における画像の合成処理は、例
えば図５に示したように行われる。合成器１６におい
て、補正短時間露光画像ｘＳ'（ｘ，ｙ）および平滑化
された短時間露光画像ｘＳ''（ｘ，ｙ）は、短時間露光
画像合成器４０に入力される。短時間露光画像合成器４
０は、入力された補正短時間露光画像ｘＳ'（ｘ，ｙ）
と短時間露光画像ｘＳ''（ｘ，ｙ）とを、動きずれ係数
Ｍ（ｘ，ｙ）に応じて以下の（１１）式のように合成す
る。

【００６８】

【数１１】

【００６９】すなわち、（１１）式から分かるように、
短時間露光画像合成器４０は、短時間露光画像ｘＳ
（ｘ，ｙ）に関して、動きずれ係数Ｍ（ｘ，ｙ）が大き
く、動きずれの生じている可能性の高い位置では、より
平滑化された信号（ｘＳ''（ｘ，ｙ））が出力されるよ
うにする。平滑化がなされることにより、動きずれ係数
Ｍ（ｘ，ｙ）が生じることによるＳＮの劣化が防止され
る。短時間露光画像合成器４０は、このように合成する
ことによって得られた合成短時間露光画像ｘＳ'''
（ｘ，ｙ）を、長短露光画像合成器４１に出力する。

【００７０】長短露光画像合成器４１は、合成係数Ｃ
（ｘ，ｙ）に応じて、長時間露光画像ｘＬ（ｘ，ｙ）と
合成短時間露光画像ｘＳ'''（ｘ，ｙ）とを以下の（１
２）式により合成する。

【００７１】

【数１２】

【００７２】すなわち、（１２）式から分かるように、
長短露光画像合成器４１は、合成係数Ｃ（ｘ，ｙ）が大
きく、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに近
づくほど、合成短時間露光画像ｘＳ'''（ｘ，ｙ）の割
合が大きくなるように合成する。このとき、動きずれが
生じていたとしても、その画素領域では、（１１）式で
示したように、合成短時間露光画像ｘＳ'''（ｘ，ｙ）
には平滑化された短時間露光画像ｘＳ''（ｘ，ｙ）の割
合が多く含まれているので、動きずれによるＳＮの劣化
が防止される。一方、合成係数Ｃ（ｘ，ｙ）が小さく、
長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに達してい
ない場合には、長時間露光画像ｘＬ（ｘ，ｙ）の割合が
大きくなるように合成される。このようにして合成され
た画像Ｘ（ｘ，ｙ）が、広ダイナミックレンジ画像とし
て出力される。なお、動きずれが存在しない領域におい
ては、長時間露光画像ｘＬ（ｘ，ｙ）と補正短時間露光
画像ｘＳ'（ｘ，ｙ）とのうち、画素レベルの飽和が発
生しておらず、かつ撮像時の露光量が大きな方の画像の
割合が多くなるよう合成される。

【００７３】以上説明したように、本実施の形態によれ
ば、動きずれ係数Ｍ（ｘ，ｙ）を算出して、露光量の異
なる画像間で動きずれの生じている位置を検出し、その
検出結果に基づいて、動きずれが生じていると思われる
画素領域では、平滑化された短時間露光画像ｘＳ''
（ｘ，ｙ）をより多く用いて、ダイナミックレンジの広
い単一の画像を生成するようにしたので、動きずれがあ
ったとしても、主観的に好ましい合成画像Ｘ（ｘ，ｙ）
を得ることができる。すなわち、長時間露光画像ｘＬ
（ｘ，ｙ）が飽和して短時間露光画像ｘＳ（ｘ，ｙ）が
選択されるべき部分において、動きずれが生じ、短時間
露光画像ｘＳ（ｘ，ｙ）のレベルが低くなっている場合
（図２０参照）に、その領域のみにおいて短時間露光画
像ｘＳ（ｘ，ｙ）が平滑化されることになり、合成画像
上の高レベル領域における解像度の低下を伴うことな
く、動きずれ部分のＳＮ劣化を回避することができる。

【００７４】なお、本実施の形態では、合成器１６から
ダイナミックレンジの拡大された画像Ｘ（ｘ，ｙ）を出
力するようにしているが、通常の画像表示装置、画像伝
送装置および画像蓄積装置などでは、このように広いダ
イナミックレンジを持つ画像を扱うことは困難である。
このような場合には、合成器１６の後段に、例えば図１
６および図１７に示されるようなレベル変換関数を用い
たレベル変換処理を行う手段を設け、ダイナミックレン
ジを圧縮するようにすれば良い。

【００７５】また、本実施の形態では、平滑化器１５に
おいて、ゲイン補正の施された補正短時間露光画像ｘ
Ｓ'（ｘ，ｙ）に対して平滑化処理を行っているが、こ
の場合、平滑処理を施す画像のダイナミックレンジが既
に広がっているために、演算量が多くなる。これを回避
するために、例えば、撮像器１０によって得られた短時
間露光画像ｘＳ（ｘ，ｙ）を直接平滑化すると共に、そ
の後段にゲイン補正器１１とは別に第２のゲイン補正手
段を設置するようにしても良い。

【００７６】さらに、本実施の形態では、露光時間の異
なる画像を合成するための合成係数Ｃ（ｘ，ｙ）を、動
きずれ係数Ｍ（ｘ，ｙ）の算出にも用いているが、
（８）式において差分係数Ｄ（ｘ，ｙ）に積算する係数
を別の演算によって求めることも可能である。例えば、
（１０）式の正規化処理においてＭＩＮＬ，ＲＮＧＬと
は異なる定数を用いて算出した別の係数Ｃ'（ｘ，ｙ）
を、動きずれ係数Ｍ（ｘ，ｙ）の算出に用いるようにし
ても良い。

【００７７】［第２の実施の形態］次に、本発明の第２
の実施の形態について説明する。なお、以下の説明で
は、上記第１の実施の形態における構成要素と実質的に
同一の機能を有する部分には同一の符号を付し、適宜説
明を省略する。

【００７８】図６は，本発明の第２の実施の形態に係る
撮像装置の構成を示している。本実施の形態と第１の実
施の形態との違いは、合成器１６における各露光画像の
合成方法にある。ダイナミックレンジを拡大するよう、
長時間露光画像ｘＬ（ｘ，ｙ）と短時間露光画像ｘＳ
（ｘ，ｙ）とを合成するためには、短時間露光画像ｘＳ
（ｘ，ｙ）について、あらかじめ撮像時の露光量の差を
補正してやる必要がある。第１の実施の形態では、これ
を撮像器１０の後段に設けられたゲイン補正器１１で行
い、その結果（補正短時間露光画像ｘＳ'（ｘ，ｙ））
を、動きずれ係数Ｍ（ｘ，ｙ）の算出と、合成器１６に
おける画像合成処理の両方で用いていた。

【００７９】本実施の形態では、動きずれ係数Ｍ（ｘ，
ｙ）の算出は、第１の実施の形態と同様に行うが、合成
器１６における画像合成処理には異なる方法を用いてい
る。これに伴い、本実施の形態における合成器１６Ａに
は、ゲイン補正器１１によって補正された補正短時間露
光画像ｘＳ'（ｘ，ｙ）ではなく、撮像器１０から出力
された短時間露光画像ｘＳ（ｘ，ｙ）が直接入力されて
いる。また、平滑化器１５においても、短時間露光画像
ｘＳ（ｘ，ｙ）が撮像器１０から直接入力され、短時間
露光画像ｘＳ（ｘ，ｙ）が直接平滑化される構成になっ
ている。合成器１６Ａ以外の各部における処理は、上記
第１の実施の形態と同じである。

【００８０】図７は、本実施の形態における合成器１６
Ａの構成を示している。合成器１６Ａの構成は、第１の
実施の形態における合成器１６（図５）の構成とほぼ同
じであるが、短時間露光画像合成器４０の後段に、ゲイ
ンオフセット補正器４２が設置されている点が異なる。
また、上記第１の実施の形態では、短時間露光画像合成
器４０に、補正短時間露光画像ｘＳ'（ｘ，ｙ）と平滑
化された短時間露光画像ｘＳ''（ｘ，ｙ）とが入力され
たが、本実施の形態では、補正短時間露光画像ｘＳ'
（ｘ，ｙ）に代えて、撮像器１０からの短時間露光画像
ｘＳ（ｘ，ｙ）が直接入力される。短時間露光画像合成
器４０は、撮像器１０から直接入力された短時間露光画
像ｘＳ（ｘ，ｙ）と平滑化された短時間露光画像ｘＳ''
（ｘ，ｙ）とを、動きずれ係数Ｍ（ｘ，ｙ）に応じて上
述の（１１）式と同様にして合成し、その結果である合
成短時間露光画像ｘＳ'''（ｘ，ｙ）を、ゲインオフセ
ット補正器４２に出力する。

【００８１】ゲインオフセット補正器４２では、短時間
露光画像合成器４０から出力された合成短時間露光画像
ｘＳ'''（ｘ，ｙ）に対して、以下の（１３）式に示す
ように、ゲインの積算と所定量のオフセットとを施して
露光量を補正する。（１３）式において、ｇ'はゲイン
を表し、Offsetは、オフセット量を表す。

【００８２】

【数１３】

【００８３】ゲインオフセット補正器４２は、このよう
に露光量を補正することによって得られた短時間露光画
像ｘＳ''''（ｘ，ｙ）を、長短露光画像合成器４１に出
力する。長短露光画像合成器４１は、露光量の補正され
た短時間露光画像ｘＳ''''（ｘ，ｙ）と長時間露光画像
ｘＬ（ｘ，ｙ）とを、上記第１の実施の形態と同様に、
合成係数Ｃ（ｘ，ｙ）に応じて合成する。

【００８４】ここで、上記第１の実施の形態における各
露光画像の合成は、図１５に示した合成法に基づいて行
われるものであるが、本実施の形態では、図８に示すよ
うな合成がなされることになる。

【００８５】図８に示した合成法では、出力信号レベル
がＭＩＮＬまでは、長時間露光画像ｘＬ（ｘ，ｙ）が用
いられ、長時間露光画像ｘＬ（ｘ，ｙ）が飽和レベルに
達した後は、露光量の補正された短時間露光画像ｘ
Ｓ''''（ｘ，ｙ）が、合成画像として用いられる。ここ
で、上述の（９）式で算出される合成係数Ｃ（ｘ，ｙ）
を用いる場合、長時間露光画像ｘＬ（ｘ，ｙ）から短時
間露光画像ｘＳ''''（ｘ，ｙ）への切り換えは、長時間
露光画像ｘＬ（ｘ，ｙ）のレベルがＭＩＮＬからＭＩＮ
Ｌ＋ＲＮＧＬである間において行われる。ＭＩＮＬから
ＭＩＮＬ＋ＲＮＧＬの間では、長時間露光画像ｘＬ
（ｘ，ｙ）と短時間露光画像ｘＳ''''（ｘ，ｙ）とに適
当な重み付けをすることにより得られた画像が合成画像
として出力される。

【００８６】ところで、ＭＩＮＬからＭＩＮＬ＋ＲＮＧ
Ｌの間において切り替えを行うためには、この範囲の中
で、図８に示したように、長時間露光画像ｘＬ（ｘ，
ｙ）を示す直線と補正された短時間露光画像ｘＳ''''
（ｘ，ｙ）を示す直線とが交差している必要がある。す
なわち（１３）式のゲインｇ'とオフセット量offset
は、以下の（１４）式の関係を満足する必要がある。ｇ
は上述の（２）式で表される露光時間の比である。

【００８７】

【数１４】

【００８８】本実施の形態においても、動きずれ係数Ｍ
（ｘ，ｙ）に基づいて、平滑化された短時間露光画像ｘ
Ｓ''（ｘ，ｙ）を適宜用いて合成画像を生成しているこ
とに変わりはないので、上記第１の実施の形態と同様
に、各露光画像間に動きずれがあったとしても、それに
よって生ずるＳＮの劣化を回避し、主観的に好ましい合
成画像を生成することができる。

【００８９】［第３の実施の形態］次に、本発明の第３
の実施の形態について説明する。なお、以下の説明で
は、上記第１の実施の形態または上記第２の実施の形態
における構成要素と実質的に同一の機能を有する部分に
は同一の符号を付し、適宜説明を省略する。

【００９０】図９は、本発明の第３の実施の形態に係る
撮像装置の構成を示している。本実施の形態に係る撮像
装置の構成は、上記第２の実施の形態における構成（図
６）と類似しているが、平滑化器１５が除去されている
点が異なる。これに伴い、本実施の形態における合成器
１６Ｂでは、平滑化された短時間露光画像ｘＳ''（ｘ，
ｙ）は用いられずに、長時間露光画像ｘＬ（ｘ，ｙ）と
短時間露光画像ｘＳ（ｘ，ｙ）とから合成画像Ｘ（ｘ，
ｙ）が生成される。

【００９１】図１０は、本実施の形態における合成器１
６Ｂの構成を示している。合成器１６Ｂは、上記第２の
実施の形態における合成器１６Ａ（図７）と比べると、
短時間露光画像合成器４０が除去されており、撮像器１
０からの短時間露光画像ｘＳ（ｘ，ｙ）が直接ゲインオ
フセット補正器４２に入力されている。ゲインオフセッ
ト補正器４２は、上記第２の実施の形態における合成短
時間露光画像ｘＳ'''（ｘ，ｙ）に代えて、撮像器１０
からの短時間露光画像ｘＳ（ｘ，ｙ）に対して、上述の
（１３）式と実質的に同様にして露光量を補正する。ゲ
インオフセット補正器４２は、このように露光量を補正
することによって得られた短時間露光画像ｘＳ''''
（ｘ，ｙ）を、長短露光画像合成器４１Ｂに出力する。

【００９２】長短露光画像合成器４１Ｂには、上記第２
の実施の形態における長短露光画像合成器４１（図７）
と比べると、長時間露光画像ｘＬ（ｘ，ｙ）、短時間露
光画像ｘＳ''''（ｘ，ｙ）および合成係数Ｃ（ｘ，ｙ）
に加えて、さらに動きずれ係数Ｍ（ｘ，ｙ）が入力され
る。長短露光画像合成器４１Ｂでは、合成係数Ｃ（ｘ，
ｙ）および動きずれ係数Ｍ（ｘ，ｙ）を用いて、長時間
露光画像ｘＬ（ｘ，ｙ）と露光量の補正された短時間露
光画像ｘＳ''''（ｘ，ｙ）とを、以下の（１５）式によ
って合成する。

【００９３】

【数１５】

【００９４】すなわち、（１５）式から分かるように、
長短露光画像合成器４１Ｂは、長時間露光画像ｘＬ
（ｘ，ｙ）のレベルに対応する合成係数Ｃ（ｘ，ｙ）が
小さいか、または合成係数Ｃ（ｘ，ｙ）が大きい場合で
あっても動きずれ係数Ｍ（ｘ，ｙ）が大きい場合には、
長時間露光画像ｘＬ（ｘ，ｙ）が最終的な合成画像Ｘ
（ｘ，ｙ）として出現するよう、合成処理を行うことに
なる。つまり、本実施の形態では、動きずれが存在する
領域においては、露光量の大きい画像が合成画像として
選択される。

【００９５】上記第１および第２の実施の形態では、動
きずれが存在する領域においては、平滑化された短時間
露光画像ｘＳ''（ｘ，ｙ）を用いることによりＳＮ劣化
を回避していたが、本実施の形態においては、露光量の
大きい画像を選択することにより、ＳＮ劣化を回避して
いる。これは、合成画像Ｘ（ｘ，ｙ）を、出力画像表示
装置、画像伝送装置および画像蓄積装置などに出力する
場合に行われるダイナミックレンジの圧縮特性を考慮し
たものである。通常、ダイナミックレンジをレベル変換
処理して圧縮する場合には、信号レベルが大きいほど圧
縮率が大きくなり、ノイズ成分も同様に大きく圧縮され
る。このため、動きずれが存在し、短時間露光画像のレ
ベルが低くなっている場合には、その領域において短時
間露光画像に代えて長時間露光画像を用いることで、結
果的にノイズ成分が圧縮されることになり、ＳＮ劣化を
回避することができる。

【００９６】以上説明したように、本実施の形態によれ
ば、長時間露光画像ｘＬ（ｘ，ｙ）が飽和して短時間露
光画像ｘＳ（ｘ，ｙ）が選択されるべき部分において、
動きずれが生じ、短時間露光画像ｘＳ（ｘ，ｙ）のレベ
ルが低くなっている場合（図２０参照）に、その領域に
おいて長時間露光画像ｘＬ（ｘ，ｙ）を用いることで、
結果的に、動きずれ部分のＳＮ劣化を回避し、主観的に
好ましい合成画像を生成することができる。

【００９７】［第４の実施の形態］次に、本発明の第４
の実施の形態について説明する。なお、以下の説明で
は、上記第１〜第３の実施の形態における構成要素と実
質的に同一の機能を有する部分には同一の符号を付し、
適宜説明を省略する。

【００９８】本実施の形態では、上記第３の実施の形態
による信号処理を、単板式のカラー撮像装置で撮像する
ことによって得られたカラー画像に対して適用した例を
説明する。なお、上記第１および第２の実施の形態によ
る信号処理についても同様に、単板式のカラー撮像装置
に適用することが可能である。

【００９９】図１１は、本実施の形態に係る単板式のカ
ラー撮像装置の構成を示している。単板式のカラー撮像
装置は、既に［従来の技術］の項において説明したよう
に、撮像素子の前面に、例えば図１８に示したパターン
の色フィルタを配置して構成されている。単板式のカラ
ー撮像装置から出力される撮像信号は、図１９に示した
ように、輝度信号ｙに周波数変調された色信号ｃが重畳
された形となっている。すなわち、本実施の形態におい
て、撮像器１０から出力される長時間露光画像ｘＬ
（ｘ，ｙ）および短時間露光画像ｘＳ（ｘ，ｙ）は、周
波数変調された色信号が輝度信号に重畳された複合画像
信号である。このため、図１１に示した構成では、各露
光画像の複合画像信号から輝度信号（Ｙ）と色信号
（Ｃ）とをＹＣ分離するためのＹＣ分離器１７Ｓ，１７
Ｌを備えている。

【０１００】ＹＣ分離器１７Ｌは、撮像器１０からの長
時間露光画像ｘＬ（ｘ，ｙ）に対して、上述の（５Ａ）
〜（５Ｃ）式に示すようなＹＣ分離処理を施し、輝度成
分ｙＬ（ｘ，ｙ）と色成分ｃＬ（ｘ，ｙ）とに分離す
る。ＹＣ分離器１７Ｓも同様に、撮像器１０からの短時
間露光画像ｘＳ（ｘ，ｙ）に対して、上述の（５Ａ）〜
（５Ｃ）式に示したＹＣ分離処理を施し、輝度成分ｙＳ
（ｘ，ｙ）と色成分ｃＳ（ｘ，ｙ）とに分離する。

【０１０１】ゲイン補正器１１、合成係数算出器１２、
差分係数算出器１３および乗算器１４によって算出され
る合成係数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，
ｙ）は、各露光画像の輝度成分ｙＬ（ｘ，ｙ），ｙＳ
（ｘ，ｙ）から、上記第３の実施の形態と同様に算出さ
れる。算出された合成係数Ｃ（ｘ，ｙ）および動きずれ
係数Ｍ（ｘ，ｙ）は、長時間露光画像ｘＬ（ｘ，ｙ）の
輝度成分ｙＬ（ｘ，ｙ）および色成分ｃＬ（ｘ，ｙ）
と、短時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ
（ｘ，ｙ）および色成分ｃＳ（ｘ，ｙ）と共に、合成器
１６Ｂに入力される。

【０１０２】合成器１６Ｂにおいて、ゲインオフセット
補正器４２（図１０）には、短時間露光画像ｘＳ（ｘ，
ｙ）の輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ（ｘ，
ｙ）が入力される。ゲインオフセット補正器４２は、入
力された輝度成分ｙＳ（ｘ，ｙ）および色成分ｃＳ
（ｘ，ｙ）に対して、露光量の補正を行う。このとき、
ゲインオフセット補正器４２は、輝度成分ｙＳ（ｘ，
ｙ）に対しては、上述の（１３）式によって、上記第２
の実施の形態および上記第３の実施の形態とまったく同
様の処理を行い、露光量の補正された輝度成分ｙＳ''''
（ｘ，ｙ）を生成する。一方、色成分ｃＳ（ｘ，ｙ）に
対しては、次の（１６）式によって補正を施す。

【０１０３】

【数１６】

【０１０４】ここで、ｃＳ''''（ｘ，ｙ）が、露光量の
補正された色成分である。また、ｇ'は色成分の露光量
を補正するためのゲインであるが、この値は、輝度成分
に対するゲインと異なる値を用いることも可能である。

【０１０５】ゲインオフセット補正器４２は、以上のよ
うに露光量を補正して得られた短時間露光画像ｘＳ
（ｘ，ｙ）の輝度成分ｙＳ''''（ｘ，ｙ）および色成分
ｃＳ''''（ｘ，ｙ）を、長短露光画像合成器４１（図１
０）に出力する。

【０１０６】長短露光画像合成器４１には、合成係数Ｃ
（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）、ならびに
長時間露光画像ｘＬ（ｘ，ｙ）の輝度成分ｙＬ（ｘ，
ｙ）および色成分ｃＬ（ｘ，ｙ）と、露光量補正後の短
時間露光画像ｘＳ（ｘ，ｙ）の輝度成分ｙＳ''''（ｘ，
ｙ）および色成分ｃＳ''''（ｘ，ｙ）とが入力される。
長短露光画像合成器４１は、入力された信号のうち、輝
度成分ｙＬ（ｘ，ｙ），ｙＳ''''（ｘ，ｙ）を、合成係
数Ｃ（ｘ，ｙ）および動きずれ係数Ｍ（ｘ，ｙ）を用い
て、上述の（１５）式と実質的に同様にして合成する。
また、色成分ｃＬ（ｘ，ｙ），ｃＳ''''（ｘ，ｙ）につ
いても同様にして合成される。このように合成された輝
度成分と色成分とが、さらにＹＣ合成され、これにより
広いダイナミックレンジを有する合成カラー画像Ｘ
（ｘ，ｙ）が生成される。

【０１０７】以上説明したように、本実施の形態によれ
ば、単板式のカラー撮像装置によって得られたカラー画
像に対しても、上記各実施の形態と同様に、動きずれに
起因するＳＮの劣化を回避し、主観的に好ましい合成画
像を生成することができる。

【０１０８】なお、本発明は、上記各実施の形態に限定
されず種々の変形実施が可能である。例えば、上記各実
施の形態では、短時間露光画像の露光量を長時間露光画
像を基準にして補正する場合について説明したが、長時
間露光画像の露光量を短時間露光画像を基準にして補正
するようにしても良い。また、各露光画像の双方の露光
量を補正するようにしても良い。

【０１０９】

【発明の効果】以上説明したように、請求項１ないし５
のいずれか１項に記載の撮像方法または請求項６ないし
１０のいずれか１項に記載の撮像装置によれば、複数の
画像間で動きずれの生じている位置を検出し、その検出
結果に基づいて、複数の画像を合成し、ダイナミックレ
ンジの広い単一の画像を生成するようにしたので、動き
ずれがあったとしても、主観的に好ましい合成画像が得
られる。すなわち、時分割方式によって得られた露光量
の異なる複数の画像間に動きずれがあったとしても、そ
れによって生ずるＳＮの劣化を回避し、主観的に好まし
い合成画像を生成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る撮像装置の構
成を示すブロック図である。

【図２】画像の走査方向を示す説明図である。

【図３】図１に示した撮像装置における合成係数算出器
の構成を示すブロック図である。

【図４】図１に示した撮像装置における差分係数算出器
の構成を示すブロック図である。

【図５】図１に示した撮像装置における合成器の構成を
示すブロック図である。

【図６】本発明の第２の実施の形態に係る撮像装置の構
成を示すブロック図である。

【図７】図６に示した撮像装置における合成器の構成を
示すブロック図である。

【図８】図６に示した撮像装置における画像の合成法に
ついて示す説明図である。

【図９】本発明の第３の実施の形態に係る撮像装置の構
成を示すブロック図である。

【図１０】図９に示した撮像装置における合成器の構成
を示すブロック図である。

【図１１】本発明の第４の実施の形態に係る撮像装置の
構成を示すブロック図である。

【図１２】時間分割による露光制御の例を示す説明図で
ある。

【図１３】空間分割による露光制御の例を示す構成図で
ある。

【図１４】複数の撮像素子を用いた露光制御の例を示す
構成図である。

【図１５】従来の画像合成法の一例を示す説明図であ
る。

【図１６】レベル変換関数の例について示す説明図であ
る。

【図１７】ヒストグラムイコライゼーションの原理につ
いて示す説明図である。

【図１８】単板式カラー撮像装置の色フィルタの配列を
示す構成図である。

【図１９】単板式カラー撮像装置の出力信号の例を示す
信号波形図である。

【図２０】対象物体の移動による動きずれの影響につい
て示す説明図である。

【図２１】カメラの移動による動きずれの影響について
示す説明図である。

【符号の説明】

１０…撮像器、１１…ゲイン補正器、１２…合成係数算
出器、１３…差分係数算出器、１４…乗算器、１５…平
滑化器、１６，１６Ａ，１６Ｂ…合成器、１７Ｓ，１７
Ｌ…ＹＣ分離器、２０，３０，３１…減算器、２１，３
２…除算器、２２，３３…リミッタ、４０…短時間露光
画像合成器、４１…長時間露光画像合成器、４２…ゲイ
ンオフセット補正器。

フロントページの続き Ｆターム(参考） 2H002 EB00 GA04 JA07 JA08 5C022 AB17 AB55 AB68 AC42 5C024 CX47 CX54 GY01 HX28

Claims (10)

【特許請求の範囲】
1. 【請求項１】 異なる露光条件により撮像した複数の画
   像から、１つの露光条件で撮像された画像よりもダイナ
   ミックレンジの広い単一の画像を生成する撮像方法であ
   って、 露光条件の異なる複数の画像を異なる時刻において撮像
   する撮像過程と、 前記複数の画像の少なくとも１つに対して撮像時の露光
   量を補正して少なくとも１つの補正画像を生成する露光
   量補正過程と、 前記補正画像を含む複数の画像から、前記複数の画像間
   で動きずれの生じている位置を検出する動きずれ検出過
   程と、 前記動きずれ検出過程での検出結果に基づいて、前記複
   数の画像を合成し、ダイナミックレンジの広い単一の画
   像を生成する合成過程とを含むことを特徴とする撮像方
   法。
2. 【請求項２】 前記動きずれ検出過程では、前記複数の
   画像のうち２つの画像に関して、露光量が大きい画像の
   画素レベルに飽和が発生し、なおかつ小さい露光量に対
   応する前記補正画像上の画素レベルが、露光量が大きい
   画像の画素レベルよりも小さい場合に、前記２つの画像
   の間に前記動きずれが存在すると判定することを特徴と
   する請求項１記載の撮像方法。
3. 【請求項３】 前記合成過程では、前記複数の画像のう
   ち２つの画像に関して、前記動きずれが存在しない領域
   においては、画素レベルの飽和が発生しておらず、かつ
   撮像時の露光量が最も大きなものを選択して合成するこ
   とを特徴とする請求項１記載の撮像方法。
4. 【請求項４】 前記合成過程では、前記複数の画像のう
   ち２つの画像に関して、前記動きずれが存在する領域に
   おいては、露光量の小さい画像に対して平滑化処理を施
   した後に合成することを特徴とする請求項１記載の撮像
   方法。
5. 【請求項５】 前記合成過程では、前記複数の画像のう
   ち２つの画像に関して、前記動きずれが存在する領域に
   おいては、露光量の大きい画像を選択して合成すること
   を特徴とする請求項１記載の撮像方法。
6. 【請求項６】 異なる露光条件により撮像した複数の画
   像から、１つの露光条件で撮像された画像よりもダイナ
   ミックレンジの広い単一の画像を生成する撮像装置であ
   って、 露光条件の異なる複数の画像を異なる時刻において撮像
   する撮像手段と、 前記複数の画像の少なくとも１つに対して撮像時の露光
   量を補正して少なくとも１つの補正画像を生成する露光
   量補正手段と、 前記補正画像を含む複数の画像から、前記複数の画像間
   で動きずれの生じている位置を検出する動きずれ検出手
   段と、 前記動きずれ検出手段の検出結果に基づいて、前記複数
   の画像を合成し、ダイナミックレンジの広い単一の画像
   を生成する合成手段とを備えたことを特徴とする撮像装
   置。
7. 【請求項７】 前記動きずれ検出手段は、前記複数の画
   像のうち２つの画像に関して、露光量が大きい画像の画
   素レベルに飽和が発生し、なおかつ小さい露光量に対応
   する前記補正画像上の画素レベルが、露光量が大きい画
   像の画素レベルよりも小さい場合に、前記２つの画像の
   間に前記動きずれが存在すると判定することを特徴とす
   る請求項６記載の撮像装置。
8. 【請求項８】 前記合成手段は、前記複数の画像のうち
   ２つの画像に関して、前記動きずれが存在しない領域に
   おいては、画素レベルの飽和が発生しておらず、かつ撮
   像時の露光量が最も大きなものを選択して合成すること
   を特徴とする請求項６記載の撮像装置。
9. 【請求項９】 前記合成手段は、前記複数の画像のうち
   ２つの画像に関して、前記動きずれが存在する領域にお
   いては、露光量の小さい画像に対して平滑化処理を施し
   た後に合成することを特徴とする請求項６記載の撮像装
   置。
10. 【請求項１０】 前記合成手段は、前記複数の画像のう
    ち２つの画像に関して、前記動きずれが存在する領域に
    おいては、露光量の大きい画像を選択して合成すること
    を特徴とする請求項６記載の撮像装置。