JP2005142953A - デジタル画像撮像装置 - Google Patents

Abstract

【課題】 違和感が少なくダイナミックレンジが見かけ上広がった画像を作成することができるデジタル画像撮像装置を提供する。
【解決手段】 撮影画像は背景判別処理部２０に送られ、距離測定用画像である場合には距離計算をおこない、通常の撮影画像である場合には輝度計算をおこない、距離と輝度により被写体か背景かの判別をおこなう。そして被写体および背景それぞれに適した露出および焦点調節で撮影をおこない、合成処理部１６は画素毎に被写体か背景かの情報を受け取って被写体および背景画像の合成をおこなう。
【選択図】 図１

Description

本発明は、撮影画像をデジタルデータで処理する画像撮像装置に関し、特にデジタルスチルカメラ等のデジタル画像撮像装置において撮影画像のダイナミックレンジを拡大する技術に関する。

デジタルスチルカメラ等で使用されているＣＣＤ等の固体撮像素子は、ダイナミックレンジが非常に狭く、銀塩写真システムによる撮影画像に比べ、被写体の暗い部分は黒つぶれが発生し、逆に被写体の明るい部分は白飛びが発生するため画像品質が低下する。このような固体素子によるダイナミックレンジ拡大方法として、高輝度部にニー特性を持たせたり、複数枚の画像を撮影し合成することで、見かけ上のダイナミックレンジを広げようとしている。
例えば、同一被写体を露光量を異ならせて複数枚撮影し、この複数枚の画像信号を加算してダイナミックレンジが拡大された画像に合成する手法が提案されている（特許文献１）。図４は露光量の異なる撮影画像の入力画像信号特性図、図５は露光量の異なる撮影画像の入力画像信号を合成した入出力画像信号特性図である。図４、図５においての横軸の入力画像信号は、撮影装置に入力される輝度値（ＥＶ値）を示す信号であり、縦軸の出力画像信号は撮影画像装置で信号処理された輝度レベルを示す信号値を示している。例えば出力信号が８ビットのデジタル信号で表す場合図４で説明すると、被写体画像は０〜ｂまでの明るさの入力信号を０〜２５５のデジタル信号で表し、背景画像では０〜ｃまでの明るさを０〜２５５の出力信号であらわすことを示している。
図４の場合は、被写体画像での露出撮影においてはｂ〜ｃの部分が全て２５５の信号に変換されてしまい白飛びをおこす。また、逆に背景画像での露出の撮影においては０〜ｂの被写体画像部分が輝度の低い値に変換されてしまい重要な被写体部分が黒つぶれをおこしてしまう。そこで以下に示すような画像合成をおこなう。
図５において、０〜ａまでの領域１においては図４の被写体画像の出力信号をそのまま用い、ａ〜ｂの領域２においては（ａ，ｋ１）と（ｂ，ｋ２）とを結ぶ直線上にくるような直線上に被写体画像と背景画像の重みを変えて加算した画像を作成し、入力画像信号がｂ以上のときは背景画像が（ｂ，ｋ２）と（ｃ，ｋ３）とを結ぶ直線にくるように変換する。図５からもわかるように、合成後の背景画像部分は出力差がｋ３−ｋ２と小さくなるため、彩度の低下が生じてしまう。閾値ｓを予めさだめておき、入力信号がｓ以上の時には、彩度補正をおこない彩度低下を防ぐようにする。以上のような合成をおこなうことで白飛びや黒つぶれが少ない見かけ上ダイナミックレンジが拡大された画像が得られる。
このように、図４の露光量の異なる撮影画像を合成することにより、１枚の撮影画像では得られなかった低輝度画像と高輝度画像が含まれた図５のようなダイナミックレンジの拡大された画像にすることが可能となる。
特開昭６０−５２１７１号公報

しかしながら、この様な処理をおこなった場合には、高輝度情報がつぶれてしまい情報を失われてしまう。そのため、一度撮影された画像の露光状態を大きく変化させることができず、変化させても高輝度部で彩度低下をおこして再現性が悪くなり、画像品質の低下を招いてしまう。
特に輝度差が激しい図６の様な、室内に被写体がいて、背景が明るい室外の画像を撮る時などには、ダイナミックレンジが狭い影響が大きく出る。被写体に露出を合わせると図７の様に背景の明るい部分が白飛びをおこし、逆に背景に露出を合わせると図８の様に被写体が暗くなってしまう。また図６の様な場合には、室内と室外とで明るさが違うため、単に明るさだけで背景を分離して合成をおこなうと、実際には図９（図６での輝度ヒストグラム）の様に室外にも暗い部分があるため、うまく分離することができず、室外の暗い部分が明るく再現されてしまいうまく合成ができないという問題がある。
本発明は、上述した課題を解決するためになされたものであって、図１０で示すように、被写体と背景との分離を距離情報と輝度情報とによりおこない、分離した被写体と背景それぞれに適した露出で撮影をおこなった画像を分離情報に基づいて合成することにより、違和感が少なくダイナミックレンジが見かけ上広がった画像を作成することができるデジタル画像撮像装置を提供することを目的とする。

上記の課題を解決するために、請求項１に記載のデジタル画像撮像装置は、撮影画像をデジタルデータとして取得し保持するデジタル画像撮像装置において、前記撮影画像の被写体画像と背景画像とを画素単位で分離する背景分離手段と、前記被写体および背景ごとに撮像露出を決定する露出決定手段と、該露出決定手段が決定した露出で撮影した被写体および背景それぞれの画像を合成する合成手段とを備えたことを特徴とする。
また、請求項２に記載の発明は、請求項１記載のデジタル画像撮像装置において、前記背景分離手段は、背景画像の抽出を撮影画像の各画素に対応する被写体までの距離と、各画素の輝度によっておこない、前記合成手段は、被写体と背景との輝度差が所定の閾値よりも大きい時に画像の合成をおこなうことを特徴とする。
また、請求項３に記載の発明は、請求項１または２記載のデジタル画像撮像装置において、前記合成手段は、合成をおこなう際に背景部分の彩度を下げて合成をおこなうことを特徴とする。
また、請求項４に記載の発明は、請求項１または２記載のデジタル画像撮像装置において、前記合成手段は、合成をおこなう際に被写体部と背景部とで異なったγ変換をおこなった後に合成することを特徴とする。
また、請求項５に記載の発明は、請求項１または２記載のデジタル画像撮像装置において、請求項１または２記載のデジタル画像撮像装置において、前記露出決定手段が決定した露出で撮影した被写体および背景画像のそれぞれに対してＡＷＢ（オートホワイトバランス）補正処理をおこなう画像補正手段を更に備えたことを特徴とする。
また、請求項６に記載の発明は、請求項２記載のデジタル画像撮像装置において、前記被写体画像と背景画像とを分離するために使用した距離情報を用いて、被写体および背景のそれぞれに合った焦点調節（ＡＦ：オートフォーカス）をおこなう焦点調節手段を更に備えたことを特徴とする。

本発明によれば、測距手段を使って被写体と背景とを的確に分離することで、被写体および背景それぞれに露出があった画像を作成することができる。
また、ダイナミックレンジが広い撮影対象に対しても、白飛びや黒つぶれのない見かけ上ダイナミックレンジが広い画像を得ることができる。
また、合成時に被写体と背景部とに若干の彩度差をつけることで距離感をだすことができる。
また、被写体および背景部それぞれでＡＷＢをおこなうことで、屋内は白熱灯、屋外は太陽光など、光源の種類が異なっている場合でも、それぞれに合ったＡＷＢ補正をおこなうことができる。
さらに、被写体および背景部それぞれに合った露出で撮影をおこなう際に、被写体と背景部とを分離するために使用した距離情報を用いることで、ＡＦ（自動焦点調節）をおこなうための時間を短縮することができる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１は本発明の一実施例を示すデジタル画像撮像装置要部のブロック図である。同図において、撮影レンズ１と絞り２を通過した被写体像は、結像された光量を電気信号に変換するＣＣＤ３により画像信号が出力される。出力された画像信号はＣＤＳ４によりＣＣＤ３のノイズ等を除去しプロセス処理部５にてゲインコントロールされた後、Ａ／Ｄ変換器６にてアナログ信号をデジタル信号に変換される。ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）は、ＣＣＤ出力信号に含まれるノイズのうち支配的であるリセットノイズを除去する回路で、ＣＣＤ出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去するものである。絞り２には絞り駆動部７が接続されており、ＣＣＤ３にはＣＣＤ駆動部８が接続されている。システム制御部９には撮影された画像から測光をおこなうための測光処理回路（図示せず）が接続されており、被写体像の測光により、絞り制御部７はシステム制御部９により制御され、撮像レンズ１から入射してＣＣＤ３に至る光線束の径を変化させるように絞り２の孔径を開閉する。また、ＣＣＤ駆動部８はシステム駆動部９により、撮影光像により変換された電気信号の蓄積及び取り出しが行えるようにＣＣＤ３の動作を制御する。よって、ＣＣＤ３はＣＣＤ駆動部８の制御によってシャッタ動作が実行され、ＣＣＤ３上の一画像分の画像情報はＣＤＳ４へ送り出され、プロセス処理部５を通過して、Ａ／Ｄ変換器６へ送られる。Ａ／Ｄ変換器６でデジタル化された画像情報はデジタル信号処理部１２にて輝度信号やＲＧＢ信号に変換される。デジタル信号処理部１２で変換された画像が撮影画像である場合は、画像表示処理部２３に渡されγ処理などの画像表示に必要な処理をおこなったのちに画像表示装置２４にて画像表示される。画像表示装置２４は撮像装置本体に取り付けられたＬＣＤモニタでも良いし、外部ディスプレイでも良い。

デジタル信号処理部１２で処理された画像は背景判別処理部２０に送られ、距離測定用画像である場合には距離計算をおこない、普通の撮影画像である場合には輝度計算をおこない、距離と輝度により被写体か背景かの判別をおこない、その結果をシステム制御部９に送る。また被写体と背景それぞれの輝度情報もシステム制御部９に送る。システム制御部９は送られた被写体および背景それぞれに適した露出で撮影ができるように絞り制御部７、ＣＣＤ駆動部８を制御する。切替器１３は現在撮影されている画像が被写体か背景かの情報をシステム制御部から受け取り、それぞれ別のメモリに蓄えるようにする。２つの露出の違う画像がメモリに蓄えられた後、合成処理部１６はシステム制御部９から画素毎に被写体か背景かの情報を受け取って合成をおこなう。合成処理部１６で合成された合成画像信号および合成がおこなわれず切替器１３から直接送られた画像信号は画像データ処理部１７にて圧縮等の画像処理を受けた後、メモリカードなどの画像保存部１８に出力され保存される。また、図１では省略してあるが、逆に画像保存部１８に保存された画像データをデジタル信号処理部１２に送ることにより、保存されたデータを画像表示装置２４にて確認することができる。

次に本発明のデジタル画像撮像装置の動作を説明する。図２は本発明のデジタル画像撮像装置における処理の手順を示すフロー図である。
まず、距離測定用のスリット光などの光パターンを被写体全体に照射し（ステップ１０１）、光パターンを含んだ画像を撮影する（ステップ１０２）。本フロー図では１回しか光パターンの撮影をおこなっていないが、光パターンの種類により、この処理を必要回数繰り返す。次に撮影された光パターン画像から距離情報を計算する（ステップ１０３）。そして、同じ被写体画像を今度は光パターン抜きで撮影し（ステップ１０４）、各画素毎の輝度情報を得る。なお、被写体に対しある角度を持ったスリット光を照射し、そのスリット光を含めて画像を撮影することにより距離を測定する方法の詳細については、特開２００３−４４２５公報（光学的形状測定装置）に記載されている。
次に、得られた距離情報と輝度情報とで背景を分離する（ステップ１０５）。背景画像との分離方法としては、画像中央付近にある物体を主たる被写体と考え（フォーカスロック時も含む）、主被写体までの距離＋α（αは任意に設定可）までの距離にある物体を被写体とし、それ以上遠い部分を背景として分離する。また、距離ヒストグラムを併用しヒストグラムのピーク位置から分離をおこなっても良い。実際、図６の様な画像であれば距離のヒストグラムは図３の様になり、容易に分離できるはずである。また図６に示すような画像であれば距離測定の測定精度はそれほど高くなくても良い。なお、図３は、画素に対応する被写体の撮像装置までの距離をヒストグラムにしたものである。同図によれば、２つのピークを含む群は離れていて、容易に室内の被写体と背景とを分離することができる。
分離された背景画像部分と被写体画像部分との輝度差を計算し輝度差がある場合には（ステップ１０６でＹＥＳ）、被写体および背景それぞれの輝度値から求められる露出で画像を撮影し、輝度差が無い場合には（ステップ１０６でＮＯ）、被写体に合わせた画像撮影のみをおこなう（ステップ１０７）。これは輝度差が大きい、つまり撮影画像のダイナミックレンジが広い場合にのみ、本発明の処理をおこなわせるためである。被写体と背景との輝度差は２ＥＶ以上ある時に処理をおこなわせるのが良いことがわかっている。

輝度差がある場合には（ステップ１０６でＹＥＳ）、被写体部分に合った露出で画像を撮影する（ステップ１０７）。そして、撮影された画像を基に被写体部分でのＡＷＢ補正をおこなう。そして、背景部分に合った露出で画像を撮影し（ステップ１０８）、撮影された画像を基に背景部分でのＡＷＢ補正をおこなう。ステップ１０７およびステップ１０８で撮影された画像をそのまま合成しても良いが、そのまま合成すると単なるはめ込み画像になり、奥行き間がない画像となってしまう場合もある。そこで、背景撮影（ステップ１０８）で撮影された背景画像に彩度補正を軽くかけて彩度を下げて、背景部に紗（しゃ）がかかった様な画像にすることで距離感をだす処理をおこなう（ステップ１０９）。
ここで彩度補正方法の一例を示す。まず、ここで彩度の定義を表すと、ある画素における赤、青、緑の成分が大きい方（明るい方）からＬ、Ｍ、Ｓとした時に、彩度Ｓａは以下のように表される。
Ｓａ＝｛（Ｌ−Ｓ）＋（Ｍ−Ｓ）｝／（Ｌ＋Ｍ＋Ｓ）＊ｔ
ここでｔは彩度Ｓａを表すための変換定数で、８ビットで表す場合は２５５となる。
輝度については一般に以下の様に表す。
Ｙ＝ａ＊Ｒ＋ｂ＊Ｇ＋ｃ＊Ｂ
ａ＋ｂ＋ｃ＝１
Ｙは輝度値で、Ｒ、Ｇ、Ｂは、ある画素での赤、緑、青の成分を表し、ａ、ｂ、ｃは重みを示す。一般的にはＮＴＳＣで用いられ、ａ＝０．３、ｂ＝０．５９、ｃ＝０．１１であるが、ここでは明度とも呼ばれる。
ａ＝ｂ＝ｃ＝１／３とする。
このような時に彩度補正前と後とで輝度値（明度）を変えないで補正するには、
Ｒ´＝（（２ｋ−１）＊Ｒ＋（１−ｋ）＊Ｇ＋（１−ｋ）＊Ｂ）／３
Ｇ´＝（（１−ｋ）＊Ｒ＋（２ｋ−１）＊Ｇ＋（１−ｋ）＊Ｂ）／３
Ｂ´＝（（１−ｋ）＊Ｒ＋（１−ｋ）＊Ｇ＋（２ｋ−１）＊Ｂ）／３
とすればよい。ここでＲ´、Ｇ´、Ｂ´は彩度補正後の赤、緑、青の成分を表す。ｋは補正量を表しｋ＝０でモノクロ画像、ｋ＝１で彩度補正なし、ｋ＞１で彩度強化、ｋ＜１で彩度低下となる。
今回の場合あまり彩度補正をかけると、本発明の意味がなくなるため、０．９＜ｋ＜１程度が適している。また、上記のような彩度補正の代わりに背景画像にγ処理を施すことで彩度低下を計っても良い。

次に被写体画像及びステップ１０９で処理された背景画像をステップ１０５でおこなった際の分離情報を基に画素毎にどちらかの画像を読み出して合成画像を作成する（ステップ１１０）。
また上記ステップ１０３で得られた距離情報を基にＡＦ（オートフォーカス）時の時間を短縮することができる。一般にＡＦ時には被写体領域と思われる部分に関して、レンズ位置を広範囲に動かしながら焦点位置を求めるため時間がかかってしまうが、ステップ１０３に於いて距離情報がある程度わかっているため、被写体部分に相当する部分の距離情報（被写体部分に相当する各画素毎の距離情報の平均値等）を用いて、その付近だけをスキャンして焦点位置をもとめることができるようになり、焦点を合わせる時間を短縮できる。また、被写体画像と背景画像それぞれで異なった焦点位置を同様にして求め合成しても良い。

本発明の一実施例を示すデジタル画像撮像装置要部のブロック図。 本発明のデジタル画像撮像装置の処理手順を示すフロー図。 各画素の対応する被写体までの距離の分布を示すヒストグラムを示す図。 露光量の異なる撮影画像の入力画像信号特性を示す図。 露光量の異なる撮影画像の入力画像信号を合成した入出力画像信号特性を示す図。 撮影時の被写体の状態を示す図。 被写体に露出を合わせて撮影した時の撮影画像の例を示す図。 背景に露出を合わせて撮影した時の撮影画像の例を示す図。 各画素の対応する被写体の輝度の分布を示すヒストグラムを示す図。 被写体と背景との分離状態の例を示す図。

符号の説明

１ レンズ
２ 絞り
３ ＣＣＤ
４ ＣＤＳ
５ プロセス処理部
６ Ａ／Ｄ変換器
７ 絞り制御部
８ ＣＣＤ制御部
９ システム制御部
１２ デジタル信号処理部
１３ 切替器
１４ 第１メモリ
１５ 第２メモリ
１６ 合成処理部
１７ 画像データ処理部
１８ 画像保存部（メモリカード）
２０ 背景部判別処理部
２３ 画像表示処理部
２４ 画像表示装置（モニタ）
３０ 窓
３１ 背景
３２ 被写体
３３ 室内

Claims (6)

1. 撮影画像をデジタルデータとして取得し保持するデジタル画像撮像装置において、前記撮影画像の被写体画像と背景画像とを画素単位で分離する背景分離手段と、前記被写体および背景ごとに撮像露出を決定する露出決定手段と、該露出決定手段が決定した露出で撮影した被写体および背景それぞれの画像を合成する合成手段とを備えたことを特徴とするデジタル画像撮像装置。
2. 前記背景分離手段は、背景画像の抽出を撮影画像の各画素に対応する被写体までの距離と各画素の輝度によっておこない、前記合成手段は、被写体と背景との輝度差が所定の閾値よりも大きい時に画像の合成をおこなうことを特徴とする請求項１記載のデジタル画像撮像装置。
3. 前記合成手段は、合成をおこなう際に背景部分の彩度を下げて合成をおこなうことを特徴とする請求項１または２記載のデジタル画像撮像装置。
4. 前記合成手段は、合成をおこなう際に被写体部と背景部とで異なったγ変換をおこなった後に合成することを特徴とする請求項１または２記載のデジタル画像撮像装置。
5. 請求項１または２記載のデジタル画像撮像装置において、前記露出決定手段が決定した露出で撮影した被写体および背景画像のそれぞれに対してＡＷＢ（オートホワイトバランス）補正処理をおこなう画像補正手段を更に備えたことを特徴とするデジタル画像撮像装置。
6. 請求項２記載のデジタル画像撮像装置において、前記被写体画像と背景画像とを分離するために使用した距離情報を用いて、被写体および背景のそれぞれに合った焦点調節（ＡＦ：オートフォーカス）をおこなう焦点調節手段を更に備えたことを特徴とするデジタル画像撮像装置。

Images