JP2001309204A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】同じ対象について、暗めの画像Ａと明るめの画
像Ｂとを撮影する。暗めの画像Ａは、対象の明るい部分
を比較的忠実に再現している。明るめの画像Ｂは、対象
の暗い部分を比較的忠実に再現している。画像Ａの明る
い部分と画像Ｂの暗い部分とを合成したら、自然な画像
が得られることに着目した。 【解決手段】同じ対象を、カメラの撮像条件を変えて撮
影して暗めの画像Ａ（ｘ）と、明るめの画像Ｂ（ｘ）と
を得る。対象の明るい部分では大きな値をとり、対象の
暗い部分では小さな値をとる関数ｗ（ｘ）を、Ａ（ｘ）
とＢ（ｘ）との平均をとることにより決定する。ｗ
（ｘ）を重み関数として、Ａ（ｘ）とＢ（ｘ）との合成
画像Ｃ（ｘ）を得る。 Ｃ（ｘ）＝ｗ（ｘ）Ａ（ｘ）＋（１−ｗ（ｘ））Ｂ
（ｘ）

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２枚の画像に基づ
いて、１枚の画像を合成する画像処理方法に関するもの
である。

【０００２】

【従来の技術】カメラで撮影しようとする対象に、非常
に明るい部分と非常に暗い部分が混在している場合があ
る（例えば逆光の強い場所で撮影した画像）。シャッタ
ー開口時間を短く、あるいは開口絞りの開口径を小さく
して暗めの画像を得ると、対象の暗い部分が黒くなりす
ぎ、シャッター開口時間を長く、あるいは開口絞りの開
口径を大きくして明るめの画像を得ると、対象の明るい
部分が白くなりすぎて、いずれも自然なトーンの画像と
ならない。

【０００３】

【発明が解決しようとする課題】このような画像を補正
する方法として、従来、画素から一定の距離内にある周
辺画素の輝度値に基づいて、補正後の輝度値を決定する
方法が採用されている。しかし、１枚の画像情報から、
人間の目のレベルに近いダイナミックレンジを再現する
ことは、困難である。

【０００４】そこで、本発明者は、同じ対象について、
暗めの画像Ａと明るめの画像Ｂとを撮影して、これら輝
度レベルの異なる２枚の画像を用いて、１枚の画像を合
成する方法を開発した。

【０００５】

【課題を解決するための手段】画像Ａは暗めの画像であ
って、対象の明るい部分を比較的忠実に再現している。
画像Ｂは明るめの画像であって、対象の暗い部分を比較
的忠実に再現している。画像Ａの明るい部分と画像Ｂの
暗い部分とを合成したら、自然な画像が得られることに
着目した。本発明の画像処理方法は、次の(1)から(3)ま
での処理を含んでいる。

【０００６】(1)同じ対象を、カメラの撮像条件を変え
て撮影して暗めの画像Ａと、明るめの画像Ｂとを得る。 (2)対象の明るい部分では大きな値をとり、対象の暗い
部分では小さな値をとる関数ｗを決定する。 (3)ｗを重み関数として、ＡとＢとの合成画像Ｃを得
る。 Ｃ＝ｗＡ＋（１−ｗ）Ｂ 前記の画像処理方法によれば、次のような作用が得られ
る。

【０００７】重み関数ｗは、対象の明るい部分では大き
な値をとり、対象の暗い部分では小さな値をとる。これ
とは逆に、関数（１−ｗ）は、対象の明るい部分では小
さな値をとり、対象の暗い部分では大きな値をとる。そ
こで、画像Ａにｗをかけて、画像Ｂに（１−ｗ）をかけ
て足し算すれば、対象の明るい部分では暗めの画像Ａが
主になり、対象の暗い部分では明るめの画像Ｂが主にな
る合成画像Ｃが得られる。

【０００８】前記重み関数ｗを作るには、対象の明るい
部分はどこか、対象の暗い部分はどこか分かっている必
要がある。そこで、原画像Ａ若しくは原画像Ｂ又はこれ
らの両方を使って作ることが最も簡便である。そこで、
重み関数ｗを次の(2-1)、(2-2)の処理により作ることが
好ましい。 (2-1)予め定められた数ｍ（０≦ｍ≦１）に基づいて、
暗めの画像Ａと、明るめの画像Ｂとの重み付き平均Ｍを
とる。

【０００９】Ｍ＝ｍＡ＋（１−ｍ）Ｂ (2-2)Ｍを正規化する。この正規化された分布をｗとす
る。 ここで、数ｍは、重み関数ｗを作るのに、原画像Ａ、原
画像Ｂのいずれを重視するのかを決めるものである。数
ｍが０に近ければ、原画像Ｂを重視し、合成画像は暗い
部分がより暗くなる。数ｍが１に近ければ、原画像Ａを
重視し、合成画像は明るい部分がより明るくなる。

【００１０】ｍ＝１／２であれば、原画像Ａ、原画像Ｂ
を均等に扱うので、合成画像としては最適な画像が得ら
れる。なお、同じ対象を撮影する場合、特に対象が動く
場合、画像Ａと、画像Ｂとの間にブレが生じる。そこ
で、このブレを補正することが好ましい。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を、添
付図面を参照しながら詳細に説明する。図１は、カメラ
１及び画像処理装置２の構成を示す概念図である。カメ
ラ１は、レンズ１１、開口絞り１２、機械式シャッター
１３及びＣＣＤ撮像素子１４(1600画素×1200画素)を備
えたものである。前記機械式シャッター１３に代えて、
ＣＣＤ撮像素子１４のオンオフによる電子式シャッター
を用いてもよい。

【００１２】ＣＣＤ撮像素子１４の撮像した画像信号
は、画像処理装置２に入力される。画像処理装置２は、
ＣＣＤ撮像素子１４からのアナログ画像信号をディジタ
ル画像信号に変換するＡ／Ｄ変換器２１、シャッター１
３スピードの制御、開口絞り１２の制御等を行うＣＣＤ
コントローラ２２、明るさの異なる２枚の画像を用いて
１枚の画素を合成する輝度補正処理を行う制御部２３、
画像データを記憶する外部メモリ２４（ハードディスク
など）を備えている。

【００１３】以下、制御部２３の行う画像合成処理を説
明する。図２は、撮像の対象となる風景あるいはモチー
フ（以下「対象」という）の輝度分布図である。対象
は、通常３次元立体である。対象画像は２次元（ｘｙ座
標）平面を構成しているが、説明を簡単にするため、１
次元に沿った輝度を考える。横軸に位置座標（ｘ座標）
をとり、縦軸に輝度をとる。対象の輝度分布は、ｘ軸に
沿って単調に増加するものを想定する。図２に示すよう
に、ｘの値が小さい部分は、輝度が小さい暗い画像にな
り、ｘの値が大きな部分は、輝度が大きな明るい画像に
なる。

【００１４】なお、対象画像の輝度分布図は、対象の輝
度そのものを示す分布図であり、実際にカメラ１の撮像
により得られるものではないことを断っておく。カメラ
１で撮像すると、カメラ１の特性が重畳されて、対象画
像そのものの輝度分布は得られない。制御部２３は、こ
の対象を、２度撮影し、それぞれ画像に取り込む。１つ
は、シャッター１３開口時間を短く、あるいは開口絞り
１２の開口径を小さくして撮った画像（以下「暗い画
像」という）、他の１つは、シャッター１３開口時間を
長く、あるいは開口絞り１２の開口径を大きくしてとっ
た画像（以下「明るい画像」という）である。

【００１５】図３は、カメラ１で撮影した暗い画像及び
明るい画像の輝度分布図である。縦軸に、Ａ／Ｄ変換器
２１の変換レベル０から２５５までをとっている。暗い
画像の輝度分布をＡ（ｘ）で表し、明るい画像の輝度分
布Ｂ（ｘ）で表す。任意のｘで、 Ａ（ｘ）＜Ｂ（ｘ） となっている。暗い画像の輝度分布Ａ（ｘ）は、ｘの大
きな明るい領域では、対象の明るいトーンを忠実に再現
できるが、ｘの小さな暗い領域では、暗くなりすぎて忠
実に再現できていない。明るい画像の輝度分布Ｂ（ｘ）
は、ｘの大きな明るい領域では、明るくなりすぎて対象
を忠実に再現できないが、ｘの小さな暗い領域では、対
象の暗いトーンを忠実に再現している。

【００１６】いいかえると、暗い画像は、対象の明るい
部分を適度に暗く再現するので、目で見ても自然に見
え、明るい画像は、対象の暗い部分を適度に明るく再現
するので、目で見ても自然に見える。しかし、暗い画像
は、対象の暗い部分を過度に暗く再現するので、目で見
てもほとんどベタ黒に見え、明るい画像は、対象の暗い
部分を過度に明るく再現するので、目で見てもほとんと
ベタ白に見える。そこで、制御部２３は、輝度分布Ａ
（ｘ）とＢ（ｘ）との平均Ｍ（ｘ）を算出し（図３の一
点鎖線参照）、 Ｍ（ｘ）＝［Ａ（ｘ）＋Ｂ（ｘ）］／２ このＭ（ｘ）を最大変換レベル２５５で正規化する。こ
の正規化された分布をｗ（ｘ）で表す。

【００１７】ｗ（ｘ）＝Ｍ（ｘ）／２５５． ０＜ｗ（ｘ）＜１ である。図４にｗ（ｘ）の形を示す。さらに、１からｗ
（ｘ）を引いたもの １−ｗ（ｘ） を算出する。図５に１−ｗ（ｘ）の形を示す。

【００１８】そして、次の演算を行う。 Ｃ（ｘ）＝ｗ（ｘ）Ａ（ｘ）＋（１−ｗ（ｘ））Ｂ
（ｘ） この演算は、暗い画像の輝度分布Ａ（ｘ）に重みｗ
（ｘ）をかけ、明るい画像の輝度分布Ｂ（ｘ）に重み
（１−ｗ（ｘ））をかけて平均をとることを示してい
る。このようにして得られたＣ（ｘ）に基づいて画像を
再現すると、ｘの小さな暗い領域では（１−ｗ（ｘ））
のほうが大きいので、明るい画像の輝度分布Ｂ（ｘ）が
主となる。ｘの大きな明るい領域ではｗ（ｘ）のほうが
大きいので、暗い画像の輝度分布Ａ（ｘ）が主となる。

【００１９】したがって、ｘの小さな暗い領域では、対
象の暗い部分を過度に明るく忠実なトーンで再現するこ
とができ、ｘの大きな明るい領域では、対象の明るい部
分を過度に暗く忠実なトーンで再現することができる。
見かけ上、ＣＣＤ撮像素子１４のダイナミックレンジが
広がったように見える。以上の説明では、撮像の対象が
動くことを考慮していなかった。撮像の対象が動く場合
は、対象を２度撮影し、それぞれ画像に取り込むと、画
像間にブレが生じる。これは、ＣＣＤ撮像素子１４の電
荷転送時間を０にすることができないので、避けられな
いことである。

【００２０】そこで、ブレ補正をする必要があるが、ブ
レ補正方法は、公知の方法を採用することができる。例
えば、(a)輝度の差分絶対値和を検出する方法、(b)エッ
ジ強調後の輝度の差分絶対値和を検出する方法−４近傍
ラプラシアンフィルタ、−Forsenフィルタ、(c)勾配
法、等がある。ここでは、(a) 輝度の差分絶対値和を検
出する方法を、簡単に紹介する。一方の画像の中に長方
形（正方形でもよい）のブロックを設定し、ブロックの
左からi番目、上からj番目の画素の輝度値をａijとす
る。他方の画像の中に同じ形、同じ大きさのブロックを
設定し、ブロックの左からi番目、上からj番目の画素の
輝度値をｂijとする。輝度の絶対値和ABS（ａij−ｂi
j）を求める。この絶対値和を、ブロックの存在する範
囲において、足したものをＳＡＤと書く。

【００２１】ＳＡＤ＝Σ_iΣ_jABS（ａij−ｂij） 前記他方の画像の中のブロックを上下左右に動かしなが
ら、ＳＡＤが最も小さくなるブロックを求める。前記一
方の画像のブロックから、前記他方の画像のＳＡＤが最
も小さくなるブロックへのベクトルが、画像のブレとな
るので、このブレを補正すればよい。以上で、本発明の
実施の形態を説明したが、本発明の実施は、前記の形態
に限定されるものではない。例えば、分布ｗ（ｘ）を求
めるのに、輝度分布Ａ（ｘ）とＢ（ｘ）との単純平均を
とるのでなく、輝度分布Ａ（ｘ）またはＢ（ｘ）のいず
れかに重みをつけた重み付き平均をとってもよい。

【００２２】 Ｍ（ｘ）＝ｍＡ（ｘ）＋（１−ｍ）Ｂ（ｘ） 特に、ｍ＝１，すなわち輝度分布Ａ（ｘ）そのものを正
規化してｗ（ｘ）とおいてもよい。こうすると、画像
は、ｍ＝１／２としたものより明るめの画像となり、明
るい部分がさらに明るく見える。また、ｍ＝０，輝度分
布Ｂ（ｘ）のみに基づいて、それを正規化してｗ（ｘ）
とおいてもよい。こうすると、画像は、ｍ＝１／２とし
たものより暗めの画像となり、暗い部分がより暗くな
る。

【００２３】つまり、ｍを０から１まで調整することに
より、最適の明るさの画像を得ることができる。

【００２４】

【発明の効果】以上のように本発明の画像処理方法によ
れば、同じ対象を、カメラ１の撮像条件を変えて撮影し
て暗めの画像Ａと明るめの画像Ｂとを得、画像Ａの明る
い部分と画像Ｂの暗い部分とを、一画素単位で合成する
ので、自然な画像を得ることができる。

【図面の簡単な説明】

【図１】カメラ１及び画像処理装置２の構成を示す概念
図である。

【図２】撮像の対象となる対象の輝度分布図である。

【図３】カメラ１で撮影した暗い画像及び明るい画像の
輝度分布図である。

【図４】ｗ（ｘ）の形を示すグラフである。

【図５】１−ｗ（ｘ）の形を示すグラフである。

【符号の説明】

１ カメラ ２ 画像処理装置 １１ レンズ １２ 開口絞り １３ 機械式シャッター １４ ＣＣＤ撮像素子 ２１ Ａ／Ｄ変換器 ２２ ＣＣＤコントローラ ２３ 制御部 ２４ 外部メモリ

Claims (7)

【特許請求の範囲】
1. 【請求項１】次の(1)から(3)までの処理を実行すること
   を特徴とする画像処理方法。 (1)同じ対象を、カメラの撮像条件を変えて撮影して暗
   めの画像Ａと、明るめの画像Ｂとを得る。 (2)対象の明るい部分では大きな値をとり、対象の暗い
   部分では小さな値をとる関数ｗを決定する。 (3)ｗを重み関数として、ＡとＢとの合成画像Ｃを得
   る。 Ｃ＝ｗＡ＋（１−ｗ）Ｂ
2. 【請求項２】前記重み関数ｗを、次の(2-1)、(2-2)の処
   理により得ることを特徴とする請求項１記載の画像処理
   方法。 (2-1)予め定められた数ｍ（０≦ｍ≦１）に基づいて、
   暗めの画像Ａと、明るめの画像Ｂとの重み付き平均Ｍを
   とる。 Ｍ＝ｍＡ＋（１−ｍ）Ｂ (2-2)Ｍを正規化する。この正規化された分布をｗとす
   る。
3. 【請求項３】ｍ＝１／２である請求項２記載の画像処理
   方法。
4. 【請求項４】Ｍを正規化は、最大値が１になるようにし
   て行う請求項２記載の画像処理方法。
5. 【請求項５】前記カメラの撮像条件は、シャッター開口
   時間により定められる請求項１記載の画像処理方法。
6. 【請求項６】前記カメラの撮像条件は、開口絞りの開口
   径により定められる請求項１記載の画像処理方法。
7. 【請求項７】同じ対象を撮影する場合、画像Ａと、画像
   Ｂとの間のブレを補正することを特徴とする請求項１記
   載の画像処理方法。