JP2008306326A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】階調性を損なうことなく画像信号のダイナミックレンジを拡大すること。
【解決手段】本発明は、第１の画像（Long画像）と当該第１の画像（Long画像）より露光量の少ない第２の画像（Short画像）とを取得する画像取得手段と、画像取得手段で取得した第１の画像（Long画像）と第２の画像（Short画像）との対応する各画素値の平均による第３の画像（輝度平均画像）を生成する平均処理手段とを信号処理ブロック１４に備える画像処理装置および画像処理方法である。
【選択図】図１

Description

本発明は、長時間露光画像と短時間露光画像との画素値を用いてダイナミックレンジの調整を図る画像処理装置および画像処理方法に関する。

カメラ（撮像素子）におけるダイナミックレンジとは、一枚の画の中で表現できる最小の被写体照度と最大照度の比を表す。レンズの絞りやシャッタースピードの調整により、ダイナミックレンジを輝度軸に対して平行移動させることで、明るい被写体から暗い被写体までを適切な階調で撮影することが可能である。

また、実際にシャッタースピードを変化させる代わりに、撮像素子の蓄光時間を制御することで露光時間を制御する電子シャッターも広く用いられている。しかし、明るい部分と暗い部分との輝度差が撮像素子のダイナミックレンジよりも大きいような被写体を撮影した際においては、明るい部分が白とびし、暗い部分が黒つぶれしてしまう。

これを回避するため、一つのシーンにおいて、前述の電子シャッターを用いて露光時間の異なる複数の画像を同時に取得し、それらの合成により一枚の画像を得ることでカメラとしてのダイナミックレンジを拡大する手法が存在する（例えば、特許文献１参照。）。

長短２種類の露光時間による画像を用いた一般的な合成処理では、長時間露光画像において白とびしているような、輝度が高い部分に短時間露光画像の輝度を露光比倍したものを割り当てることで、入力画像のダイナミックレンジを拡大する（図８参照）。しかし、一般に出力のダイナミックレンジは入力のダイナミックレンジと等しいため、そのままでは出力できない。そこで、合成後の輝度値に対して輝度別にゲインをかけ、高輝度部分の階調を圧縮することにより、元のダイナミックレンジに収まる出力画像を得ている（図９参照）。

特開２００４−１２０２０５号公報

しかし、この方法を用いた場合、撮影するシーンによっては、長時間露光画像もしくは短時間露光画像のどちらかに階調が残っている部分であるにもかかわらず、合成後の画像では階調が失われてしまうケースが存在するという問題が生じている。

本発明は、このような課題を解決するために成されたものである。すなわち、本発明は、第１の画像と当該第１の画像より露光量の少ない第２の画像とを取得する画像取得手段と、画像取得手段で取得した第１の画像と第２の画像との対応する各画素値の平均による第３の画像を生成する平均処理手段とを備える画像処理装置である。

このような本発明では、第１の画像とこれより露光量の少ない第２の画像との対応する各画素値の平均を算出して第３の画像を生成することから、第１の画像または第２の画像において存在する階調性を残したまま画素値変換を行うことができるようになる。

また、本発明は、平均処理手段によって生成した第３の画像の各画素値について、第１の画像および第２の画像の対応する各画素値に応じた閾値を用いて画素値の変換を施す変換手段を備える画像処理装置である。

このような変換手段を備えることで、第１の画像と第２の画像との画素値の平均から成る第３の画像について、第１の画像および第２の画像の画素値に応じた各画素ごとの閾値を用い、画素値変換を行うことができ、階調性を損なうことなくダイナミックレンジの変換を行うことができるようになる。

ここで、平均処理手段が計算で用いる画素値として輝度値を用いている。また、変換手段で用いる閾値は、該当画素における第１の画像の画素値と第２の画像の画素値との差分を反映させた値や、該当画素における第１の画像の輝度別積分により得られる逆光状態を反映させた値を用いている。

また、本発明は、第１の画像と当該第１の画像より露光量の少ない第２の画像とを取得する工程と、取得した第１の画像と第２の画像との対応する各画素値の平均による第３の画像を生成する工程とを備える画像処理方法である。

このような本発明では、第１の画像とこれより露光量の少ない第２の画像との対応する各画素値の平均を算出して第３の画像を生成することから、第１の画像または第２の画像において存在する階調性を残したまま画素値変換を行うことができるようになる。

したがって、本発明によれば、次のような効果がある。すなわち、従来の方法でダイナミックレンジを拡大した場合に階調がつぶれてしまうような被写体においても、階調を再現することが可能となる。

以下、本発明の実施の形態を図に基づき説明する。

＜システムの概要＞
本実施形態に係る画像処理装置の一例として、ダイナミックレンジ拡大機能を持つ一般的なカメラシステムを図１に示す。すなわち、カメラシステム１は、被写体からの像を集光する光学部品１１、被写体の像を画素ごとの信号（画像信号）に変換する撮像素子１２、画像信号を処理する前処理ブロック１３、ダイナミックレンジを変換する信号処理ブロック１４、ダイナミックレンジ変換後の画像信号について所定の処理を施すカメラ信号処理ブロック１５、映像を出力するためのドライバー／出力段１６を備えている。このうち、ダイナミックレンジを変換する信号処理ブロック１４が本実施形態の信号処理装置となっている。

また、カメラシステム１は、各部へタイミング信号を供給するＴＧ（タイミング信号生成部）１７、各部を制御する中央演算装置１８、外部機器や記録媒体Ｍとの信号の入出力制御を行う外部インタフェース１９を備えている。

このようなカメラシステム１では、光学部品１１であるレンズや光学フィルターを通過した後、撮像素子１２に取り込まれた光が電気信号に変換され、前処理ブロック１３に送られる。本実施形態のカメラシステム１では、撮像素子１２として電荷蓄積時間の可変な電子シャッター機能を有するＣＣＤ（Charge Coupled Device）を用いた場合、同一のシーンに対して露光時間が長短二種類の画像を交互に得ることができる。

前処理ブロック１３ではＣＤＳ（相関２重サンプリング）といわれる処理を行い、必要に応じて利得を持たせ、黒レベル等を調整した後、Ａ／Ｄ（アナログ−デジタル）変換され、信号処理ブロック１４へ送られる。

信号処理ブロック１４では、長時間露光画像の信号と短時間露光画像の信号とを合成し、ダイナミックレンジの拡大処理を行い、合成後のデータを後段のカメラ信号処理ブロック１５へ送る。

カメラ信号処理ブロック１５では、γ補正やアパーチャー等の処理を行う。また、ホワイトバランス等の色処理もここで行われる。このカメラ信号処理ブロック１５では、現在の映像信号のレベル情報や色情報などを検出することができる。この情報を元に、利得を計算したり、ホワイトバランスを調整したりできる。これらの処理が行われたデータは、ドライバー／出力段１６を通して映像信号として出力される。

また、これら一連の処理の制御は、ＴＧ（タイミング信号生成部）１７や中央演算部１８から供給される信号やデータをもとに行われる。この制御に必要なデータや調整データ、ユーザー設定はＥＥＰＲＯＭ等の記録媒体Ｍに保存されている場合がある。

本実施形態に係る画像処理方法は、上記説明中の信号処理ブロック１４において適用されるものである。また、本実施形態に係る画像処理方法は、カメラシステム内部での処理に限定されるものではなく、レコーダーやＰＣ（パーソナルコンピュータ）など、カメラの外部機器において処理を行うことでも同等の効果を得ることができる。この際、ソフトウェアとして実現することも可能である。

＜本実施形態の画像処理方法＞
本実施形態に係る画像処理方法は、従来のように一度ダイナミックレンジを拡大してから再度圧縮するのではなく、画素毎に、出力のダイナミックレンジ内の輝度値を直接割り当てていく方法である。

まず、第１の画像である長時間露光画像（以下、「Long画像」と呼ぶ。）と第１の画像より露光量の少ない第２の画像である短時間露光画像（以下、「Short画像」と呼ぶ。）を撮像素子もしくは撮像素子で取り込んだ画像信号を蓄積している記録媒体から取り込む。本実施形態の画像処理装置では、信号処理ブロック１４内で構成される画像取得手段がこの取り込みを行う。

次いで、取り込んだLong画像およびshort画像のそれぞれ対応する画素毎に輝度値の平均値を演算し、第３の画像を生成する。本実施形態の画像処理装置では、信号処理ブロック１４内で構成される平均処理手段がこの演算を行う。このようにして得られた第３の画像を輝度平均画像と呼ぶ。

ここで、Long画像もしくはShort画像のどちらかに階調が存在していれば、もう一方の画像で白とびあるいは黒つぶれしている場合でも輝度平均画像には階調が再現されることになる。

任意の画素における、Long画像とShort画像それぞれの輝度値と輝度平均画像の輝度値の関係は図２のようになる。ここで、（ａ）は３軸を立体的に表したもの（平面方向の２軸がそれぞれLong画像、Short画像の輝度値を表し、高さ方向が出力画像の輝度値を表す。）、（ｂ）はShort画像、Long画像の輝度を横軸、平均輝度を縦軸にして平面的に表したものである。

輝度平均画像では、Long画像とShort画像両方の階調が再現されるため、白とびや黒つぶれを抑制した画像を得ることができる。なお、この輝度平均画像では、階調は再現される代わりにコントラストが低下している。コントラスト低下が問題ないレベルであればそのまま輝度平均画像を処理結果として用いてもよい。

一方、本実施形態では、輝度平均画像のコントラスト向上のため、次の処理を必要に応じて行っている。すなわち、本実施形態の画像処理装置における変換手段によって、先に得られた輝度平均画像の各画素の輝度値に対して補正（輝度値の変換）を行うことで最終的な合成画像を得る。

先ず、コントラスト強調のため、輝度平均画像の各画素に対して以下の式を適用し、強調後の画素値youtを算出する。

yout = 1.0 - (2.0 * (1.0 - yave) * (1.0 - yave)) （1.0 ≧ yave ＞ 0.5）
yout = 2.0 * yave * yave (0.5 ≧ yave ≧ 0)
…（式１）

（式１）中、yaveはLong画像とShort画像より生成された輝度平均画像における任意の画素の輝度値であり、黒から白まで0〜1.0の値をとる。（式１）は一般的なコントラスト強調手法であり、輝度平均画像の全画素に対して（式１）を適用することで、輝度の中間値0.5を閾値としてコントラストを強調した結果が得られる。元画像（Long画像,Short画像)と（式１）の出力画像との輝度値の関係は図３のようになる。ここで、（ａ）は３軸を立体的に表したもの（平面方向の２軸がそれぞれLong画像、Short画像の輝度値を表し、高さ方向が出力画像の輝度値を表す。）、（ｂ）はLong画像とShort画像の輝度値が等しい平面における(a)の断面を平面的に表したものである。

しかし、（式１）による一般的なコントラスト強調手法を用いた場合、Long画像において白とびしているもしくはそれに準ずる状態の画素においては、Short画像の輝度値がいかなる値であってもその平均値は大きな値となるため、必然的にコントラスト強調の閾値を超えてしまう。すると、Long画像で明るい領域内の画素は、その領域全体の画素に対して輝度値を上げる方向に補正がかかる（図３のlong=1の切片を見るとわかる）。したがって、このような領域においては、仮にShort画像に階調が残っていたとしても、その領域内でのコントラストは改善されない。

これを解決するためには（式１）における閾値を大きくする必要があるが、単純に閾値を大きくするだけでは、逆にLong画像で白とびしていない領域が暗く再現されてしまう。そこで本実施形態では、画素毎に個別の閾値を設定することにより、この問題を解決する。

具体的には閾値thを以下の（式２）ように設定する。ある画素において、Long画像側の輝度値をylong、Short画像側の輝度値をyshortとしたとき、Long画像とShort画像との輝度差をydiffとすると(ydiff = ylong ≡ yshort >=0)、

th = TH + ydiff * α …（式２）

（式２）においてTHはベースとなる閾値を表し、ここではTH=0.5である。Long画像が白とびしている場合、Short画像側でも白とびしていれば、ydiffは0に近い値となるが、Short画像に階調が残っている場合は、ydiffは1に近い値となる。そのため、THにydiffを加えることにより、Long画像で白とびし、かつShort画像に階調が残っているような画素の閾値のみが高くなる。

平均輝度画像において輝度値が閾値を下回った画素は輝度が低くなる方向に補正されるため、画素毎に閾値を可変させることにより、Long画像で白とびしている領域内においてもShort画像の階調に応じてコントラストを改善することができる。

ただし、ydiffは0〜1の値をとるため、単純に加算するだけでは閾値が高くなりすぎて全体的に暗い画像となってしまう。そのため、ydiffに係数αを乗ずることで、閾値可変量の補正を行っている。αは次の（式３）ように定義される。

α ＝ ylong ×(1 - TH)² …（式３）

Long画像の輝度値を乗ずることで、Long画像側が白とびに近い状態の画素において、より閾値の可変効果を効かせている。また、(1-TH)の二乗を乗じているのは、ベースの閾値が低い場合（後述）に、より閾値の可変効果を効かせるためである。

閾値を可変にした場合、一般的な（式１）をそのまま用いると、合成後の輝度値youtが不連続な値となってしまう。そこで、（式１）の代わりに以下の（式４）を用いる。

yout = 1.0 - ( 1.0/(1.0 - th) * (1.0 - y1) * (1 - y2)) （1.0 ≧ y1 ＞ th）
yout = 1.0/th * y1 * y2 （ th ≧ y1 ≧ 0）
…（式４）

（式２）および（式４）による閾値可変処理を行った結果、元画像(Long画像、Short画像)と出力画像の輝度値の関係は図４のようになる。ここで、（ａ）は３軸を立体的に表したもの（平面方向の２軸がそれぞれLong画像、Short画像の輝度値を表し、高さ方向が出力画像の輝度値を表す。）。図３（ａ）と比較して、Long画像の輝度が高い領域で、コントラストが改善されているのがわかる。

ここまでは、とり得る輝度値の中間値である0.5をベースの閾値としてコントラストの強調を行ってきた。しかし、このままでは、輝度値がまんべんなく分布しているシーンではうまくいくが、強い逆光のような極めて明るいシーンでは全体に明るすぎる画像が、非逆光のシーンや全体的に暗めのシーンでは逆に暗すぎる画像が出力されてしまうという問題がある。

そこで、前述した画素毎の閾値可変処理に加え、シーン毎にベースの閾値を変化させることでこの問題を解決する。具体的には、その画素が存在するフレーム全画素の輝度平均値をベースの閾値THとする。その結果、逆光状態のような明るいシーンではベースの閾値THが高くなるため、図５のように輝度が抑えられる方向に補正がかかる。ここで、（ａ）は３軸を立体的に表したもの（平面方向の２軸がそれぞれLong画像、Short画像の輝度値を表し、高さ方向が出力画像の輝度値を表す。）、（ｂ）はLong画像とShort画像の輝度値が等しい平面における(a)の断面を平面的に表したものある。

逆に、全体的に暗いシーンでは、ベースの閾値が低くなるため図６のように輝度が増える方向に補正がかかる。ここで、（ａ）は３軸を立体的に表したもの（平面方向の２軸がそれぞれLong画像、Short画像の輝度値を表し、高さ方向が出力画像の輝度値を表す。）、（ｂ）はLong画像とShort画像の輝度値が等しい平面における(a)の断面を平面的に表したものある。

これにより、シーンに関わらず適切な階調を再現することができる。実際のシステムにおいては、その画素が存在するフレームの一つ前のフレームの輝度平均値を用いることになる。

以上をまとめ、全体の合成処理の流れを図７に示す。図７において、iはフレーム内の画素番号、nはフレーム内の画素数のカウントを表す。また、最初のフレームの閾値THは予め設定した値、次のフレームからは一つ前のフレームの輝度平均値を閾値THとする。

各ステップは、各画素の画素値（例えば、輝度値）ごとに演算を行う。先ず、ステップＳ１０１では、輝度平均画像を得るため各画素についてLong画像とShort画像との輝度値の平均yaveを算出するとともに、Long画像とShort画像との輝度値の差分であるydiff、係数α、閾値thを算出する。

ステップＳ１０２では、輝度の平均値yaveが閾値thを超えているか否かを判断する。閾値thを超えている場合にはステップＳ１０３、超えていない場合にはステップＳ１０４へ進む。

ステップＳ１０３では、画素の輝度値を高くする変換、ステップＳ１０４では、画素の輝度値を低くする変換を行う。この際、閾値thが画素ごとに設定されていることから、階調成分を残したまま強調を施すことが可能となる。

ステップＳ１０５では、各画素の輝度値の累積計算を行い、画素数のカウントnをインクリメントする。

ステップＳ１０６では、全てのフレームの画素値について演算が終了したか否かを判断し、終了していない場合にはステップＳ１０７へ進み、フレーム内の画素番号をインクリメントする。

一方、全てのフレームの画素値について演算が終了した場合にはステップＳ１０８へ進み、輝度値の累積sumを画素数のカウントnで割って平均の輝度値を算出し、次のフレームでのTHとして設定する。また、輝度値の累積sum、画素数のカウントnおよびフレーム内の画素番号iを０に初期化する。

＜実施効果＞
このような本実施形態によれば、従来の方法でダイナミックレンジを拡大した場合に階調がつぶれてしまうような被写体においても、階調を再現することが可能となる。また、露光時間の情報を用いず、長時間露光画像と短時間露光画像の輝度値のみを用いて新しい輝度値を直接割り当てるため、従来の方法よりも少ない計算量で処理を行うことができる。

本実施形態に係る画像処理装置の一例であるカメラシステムの構成を説明するブロック図である。 Long画像とShort画像それぞれの輝度値と輝度平均画像の輝度値の関係を説明する図である。 コントラスト強調後のLong画像とShort画像それぞれの輝度値と輝度平均画像の輝度値の関係を説明する図である。 閾値可変処理によるLong画像とShort画像それぞれの輝度値と輝度平均画像の輝度値の関係を説明する図である。 閾値が高い場合のLong画像とShort画像それぞれの輝度値と輝度平均画像の輝度値の関係を説明する図である。 閾値が低い場合のLong画像とShort画像それぞれの輝度値と輝度平均画像の輝度値の関係を説明する図である。 画像処理方法の流れを説明するフローチャートである。 入力画像のダイナミックレンジの拡大を説明する図である。 ダイナミックレンジの圧縮を説明する図である。

符号の説明

１…カメラシステム、１１…光学部品、１２…撮像素子、１３…前処理ブロック、１４…信号処理ブロック、１５…カメラ信号処理ブロック、１６…ドライバー／出力段、１７…ＴＧ、１８…中央演算装置、１９…外部Ｉ／Ｆ、Ｍ…記録媒体

Claims (7)

1. 第１の画像と当該第１の画像より露光量の少ない第２の画像とを取得する画像取得手段と、
   前記画像取得手段で取得した前記第１の画像と前記第２の画像との対応する各画素値の平均による第３の画像を生成する平均処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記平均処理手段によって生成した前記第３の画像の各画素値について、前記第１の画像および前記第２の画像の対応する各画素値に応じた閾値を用いて画素値の変換を施す変換手段を備える
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記平均処理手段で計算に用いる画素値は輝度値である
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記変換手段で用いる閾値は、該当画素における前記第１の画像の画素値と前記第２の画像の画素値との差分を反映させた値である
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記変換手段で用いる閾値は、該当画素における前記第１の画像の輝度別積分により得られる逆光状態を反映させた値である
   ことを特徴とする請求項１記載の画像処理装置。
6. 第１の画像と当該第１の画像より露光量の少ない第２の画像とを取得する工程と、
   取得した前記第１の画像と前記第２の画像との対応する各画素値の平均による第３の画像を生成する工程と
   を備えることを特徴とする画像処理方法。
7. 前記第３の画像の各画素値について、前記第１の画像および前記第２の画像の対応する各画素値に応じた閾値を用いて画素値の変換を施す工程を備える
   ことを特徴とする請求項６記載の画像処理方法。

Images