JP2009224901A - 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム - Google Patents

Abstract

【課題】肉眼で知覚されるシーンと同等の画質を維持しつつ画像のダイナミックレンジの圧縮を行う処理を従来よりも少ない演算量で実現する。
【解決手段】画像データの表す画像を構成する各画素の輝度に基づき、その画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値を領域内において同じくする互いに排他的な複数の領域に分割し、当該輝度補正値とその値を適用する領域の所在とを示す領域輝度データを生成する。次いで、画像データからＮ（Ｎは２以上の整数）階層のラプラシアンピラミッドを生成する一方、領域輝度データからガウシアンピラミッドを生成する。そして、ラプラシアンピラミッドの各階層の画素に対し、ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行って、新たなラプラシアンピラミッドを生成し、そのラプラシアンピラミッドから画像データを復元する。
【選択図】図５

Description

本発明は、画像のダイナミックレンジの圧縮を行う技術に関する。

ＣＣＤ（Charge Coupled Device）イメージセンサなどの撮像素子で撮像された画像の表示には、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイなどの表示装置が用いられる。しかし、この種の表示装置のダイナミックレンジは一般に狭く、自然画像のようにダイナミックレンジの広い画像が表示対象である場合など、表示対象の画像のダイナミックレンジがその表示性能を超えている場合には、その表示性能に合わせて画像のダイナミックレンジの圧縮を行う必要がある。従来、この種のダイナミックレンジの圧縮は、撮像された画像のダイナミックレンジを単純な線形圧縮、対数による圧縮、人間の目をシミュレートして感度を決定する方法や、ヒストグラムを用いる方法などいろいろな方法で行われているが、画像全体を一度に同じ規則によって圧縮する方法では、肉眼で知覚されるシーンと同等な画質の表示画像が得られなかった。そこで、表示装置の表示画像の画質を肉眼で知覚されるシーンと同等な画質となるように圧縮する為に、画像を全体でなく局所ごとに最適となるようにダイナミックレンジの圧縮を行う技術が種々提案されており、かかる技術に関する先行技術文献の一例としては非特許文献１が挙げられる。

非特許文献１では、「人間の脳は、無意識のうちに視覚情報を明るいところと暗いところとに分けて、各々別個に補正し、それら補正結果を合成してシーンを認識している」ということを示唆する実験結果が報告されている。この実験結果を踏まえて、非特許文献１では、「同一シーンについての互いに異なる露光量で撮像された複数の画像の各々をその露光量に応じた輝度補正を施した後に多重解像度表現に変換し、その後、有効露光域に基づく統合を行うことでダイナミックレンジを圧縮する方法」が提案されており、かかる方法により、我々が知覚するような自然な画像が再現されることが報告されている。なお、有効露光域とは、互いに異なる露光量で撮像された画像の各々において、実際の輝度がダイナミックレンジの範囲内に収まっており、撮像により得られた輝度が信頼できるものであると推定される画素からなる領域のことである。

画像の多重解像度表現としては種々のものが考えられるが、非特許文献１では、ガウシアンピラミッドおよびラプラシアンピラミッド（非特許文献２参照）を用いることが提案されている。これら２種類の多重解像度表現は、多重解像度表現への変換対象である画像（以下、元画像）にReduce処理およびExpand処理と呼ばれる２種類の処理を施すことによって得られる。ここで、Reduce処理とは、画像に対してガウシアンフィルタ（ローパスフィルタ）処理を施した後、さらにダウンサンプリングを行って画像を縮小する処理である。一方、Expand処理とは、補間により画像を拡大する処理である。図７に示すように、ガウシアンピラミッドは、処理対象の画像に対して上記Reduce処理を順次施すことによって得られ、ラプラシアンピラミッドは、処理対象の画像から、Expand処理により拡大されたガウシアン画像を差し引くことにより生成される。
以下、互いに異なる４種類の露光量で撮像された４枚の画像を用いてダイナミックレンジの圧縮を行う場合を例にとって非特許文献１に開示された技術について説明する。

図８は、非特許文献１に開示されたダイナミックレンジ圧縮方法を説明するための図である。図８に示すように非特許文献１に開示されたダイナミックレンジ圧縮方法は、ステップＡ１〜Ａ４の４つのステップからなる。ステップＡ１では、各々異なる露光量（図示の例では、４種類の露光量）で撮像された画像Ｉ_ｉ（ｉ＝１〜４）において、その露光量における有効露光域を示す有効露光域画像Ｗ_ｉ（ｉ＝１〜４）の生成が行われるとともに、それら４種類の露光量に応じて各画素の輝度を補正した輝度補正画像（ａ_ｉ×Ｉ）の生成が行われる。ここで、有効露光域画像Ｗ_ｉとは、画像Ｉ_ｉにおいてその有効露光域に属する画素の画素値を１とし、他の画素の画素値を０として得られる２値画像である。一方、画像Ｉは、そのｘ行ｙ列目の画素の画素値Ｉ（ｘ、ｙ）が以下の式（１）にしたがった演算で求められる画像であり、ｉ番目の露光量に対応する輝度補正値ａ_ｉは、以下の式（２）にしたがって算出される値である。
Ｉ（ｘ、ｙ）＝｛ Ｉ_１（ｘ、ｙ）×Ｗ_１（ｘ、ｙ）
＋Ｉ_２（ｘ、ｙ）×Ｗ_２（ｘ、ｙ）
＋Ｉ_３（ｘ、ｙ）×Ｗ_３（ｘ、ｙ）
＋Ｉ_４（ｘ、ｙ）×Ｗ_４（ｘ、ｙ）｝／ＷＧ（ｘ、ｙ）・・・（１）
ただし、ＷＧ（ｘ、ｙ）＝｛Ｗ_１（ｘ、ｙ）＋Ｗ_２（ｘ、ｙ）＋Ｗ_３（ｘ、ｙ）＋Ｗ_４（ｘ、ｙ）｝
ａ_ｉ＝２^Ｇainｉ・・・（２）
式（２）のＧａｉｎ_ｉは、ｉ番目の露光量で撮像した画像Ｉ_ｉにおける最大輝度と撮像シーン全体に亘っての最大輝度との比の対数値Ｃ_ｉを以下の式（３）に代入して得られる値である（詳細については、非特許文献１の式（５）およびその説明を参照）。なお、式（３）にて、＾はべき乗を示す演算子であり（以下、本明細書にて同じ）、ｋ_１、ｋ_２およびｋ_３は所定の定数である。
Ｇａｉｎ_ｉ＝ｋ_１Ｃ_ｉ＾２＋ｋ_２Ｃ_ｉ＋ｋ_３・・・（３）

次いで、図８のステップＡ２では、上記４つの輝度補正画像ａ_ｉ×Ｉの各々を、前述したラプラシアンピラミッドに分解するとともに、上記４つの有効露光域画像Ｗ_ｉの各々を、Ｎ（Ｎは２以上の整数）階層のガウシアンピラミッドに分解する処理が実行される。図８では、輝度補正画像ａ_ｉ×Ｉの各々を第０〜第３階層までの４階層のラプラシアンピラミッドに分解し、有効露光域画像Ｗ_ｉを同じく４階層のガウシアンピラミッドに分解する場合について例示されている。なお、上記ラプラシアンピラミッドを生成する際には、輝度補正画像ａ_ｉ×Ｉの各画素の輝度の対数値を画素値とする画像について上記ラプラシアンピラミッドを生成するようにしても勿論良い。

図８のステップＡ３では、上記４つのラプラシアンピラミッドの各々について、各階層の画素に対する同一露光量のガウシアンピラミッドにおける同一階層の同一画素による重み付け、およびその重み付結果の相加平均を以下の式（４）にしたがって演算する処理が行われる。なお、式（４）において、Ｌ_ｍｉ（ｘ、ｙ）は、ｉ（ｉ＝１〜４）番目の露光量のラプラシアンピラミッドのｍ（ｍ＝０〜３）番目の階層が表す画像のｘ行ｙ列目の画素の画素値であり、Ｇ_ｍｉ（ｘ、ｙ）は、ｉ番目の露光量の有効露光域画像Ｗ_ｉのガウシアンピラミッドのｍ番目の階層が表す画像のｘ行ｙ列目の画素の画素値であり、Ｌ_ｍ’（ｘ、ｙ）は、このステップＡ３の処理で得られる新たなラプラシアンピラミッドのｍ番目の階層が表す画像のｘ行ｙ列目の画素の画素値である。
Ｌ_ｍ’（ｘ、ｙ）＝ ｛ Ｌ_ｍ１（ｘ、ｙ）×Ｇ_ｍ１（ｘ、ｙ）
＋Ｌ_ｍ２（ｘ、ｙ）×Ｇ_ｍ２（ｘ、ｙ）
＋Ｌ_ｍ３（ｘ、ｙ）×Ｇ_ｍ３（ｘ、ｙ）
＋Ｌ_ｍ４（ｘ、ｙ）×Ｇ_ｍ４（ｘ、ｙ）｝／Ｇ_ｍ（ｘ、ｙ）・・・（４）
ただし、Ｇ_ｍ（ｘ、ｙ）＝Ｇ_ｍ１（ｘ、ｙ）＋Ｇ_ｍ２（ｘ、ｙ）＋Ｇ_ｍ３（ｘ、ｙ）＋Ｇ_ｍ４（ｘ、ｙ）
そして、ステップＡ４では、上記ステップＡ３で得られた新たなラプラシアンピラミッドから画像Ｉ’を復元する処理が行われる。具体的には、上記新たなラプラシアンピラミッドの各階層に、その階層数に応じた回数のExpand処理を施し、その処理結果を加算することで画像Ｉ’が復元される（詳細については非特許文献２参照）。

以上のステップＡ１〜Ａ４までの処理により得られた画像Ｉ’においては、ガウシアンピラミッドに分解された有効露光域画像にしたがって周波数依存的な統合が為されている。具体的には、画像の高周波成分についてはスムージングされた有効露光域画像が用いられる為、有効露光域が切り替わる境界を含む広い範囲に亘って滑らかに融合される一方、画像の低周波成分については各露光量の画像の有効露光域部分を単純に貼り合わせたように（すなわち、境界部分でシャープに画像が切り替わるように）融合される。これにより情報の欠落を極力抑えて画像のダイナミックレンジを圧縮し、肉眼で知覚されるシーンと同等の画質の表示画像を得ることが可能になるのである。
中内茂樹、林宏二、臼井支朗、「広ダイナミックレンジシーンのＷＹＳＩＷＹＧ的再現：多重解像度表現による輝度補正画像の統合」、２００４年５月、電子情報通信学会論文誌 D-II Vol.J87-D-II No.5、pp.1153-1161 PeterJ.BURT、EDWARD H.ADELSON、「TheLaplacian Pyramid as a Compact Image Code」、１９８３年４月、IEEETRANSACTIONS ON COMMUNICATIONS VOL.COM-31、No.4

しかし、非特許文献１に開示された技術では、輝度補正の細やかさ（輝度補正値の個数）の分だけラプラシアンピラミッドおよびガウシアンピラミッドの生成を行う必要があるため、その数が増えるほどダイナミックレンジの圧縮に要する演算量が増加するといった問題がある。
本発明は上記課題に鑑みて為されたものであり、肉眼で知覚されるシーンと同等の画質を維持しつつ画像のダイナミックレンジの圧縮を行う処理を従来よりも少ない演算量で実現することを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する第１のステップと、前記画像データからＮ（Ｎは２以上の整数）階層の第１のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成する第２のステップと、前記第１のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第２のラプラシアンピラミッドを生成する第３のステップと、前記第２のラプラシアンピラミッドから画像データを生成する第４のステップと、を含むことを特徴とする画像のダイナミックレンジ圧縮方法、この方法により画像のダイナミックレンジの圧縮を行う画像処理回路、および、この方法をコンピュータ装置に実行させるプログラムを提供する。

このようなダイナミックレンジ圧縮方法、画像処理回路およびプログラムによれば、ダイナミックレンジの圧縮対象である画像をその多重解像度表現であるラプラシアンピラミッドに変換し、その画像のダイナミックレンジの圧縮を行う際の輝度補正値を画素値とする画素をその輝度補正値を適用するべき画素の位置に配置して得られる画像をその多重解像度表現であるガウシアンピラミッドに変換する処理とが実行され、非特許文献１に開示された技術と同様に、そのラプラシアンピラミッドをガウシアンピラミッドによって重み付けした後に、その重み付け後のラプラシアンピラミッドから画像を復元することによってダイナミックレンジの圧縮が実現される。

本発明の別の好ましい態様においては、撮像画像に応じた画像データを出力する撮像部を備えた撮像装置に上記画像処理回路を組み込み、その撮像部から出力される画像データの表す画像のダイナミックレンジを上記画像処理回路によって圧縮し、その処理結果である画像データを出力するようにしても良い。

（Ａ：本実施形態の基本原理）
まず、初めに本発明の一実施形態に係るダイナミックレンジ圧縮方法の基本原理について説明する。図８のステップＡ２の処理結果であるガウシアンピラミッドの１段目（すなわち、第０階層の画像Ｇ_０ｉ（ｘ、ｙ）は有効露光域画像Ｗ_ｉ（ｘ、ｙ）そのものである。そして、同ガウシアンピラミッドのｋ（ｋは２以上の自然数）段目（すなわち、第ｋ−１階層の画像Ｇ_ｋ−１ｉ（ｘ、ｙ））とｋ−１段目（第ｋ−２階層目の画像Ｇ_ｋ−２ｉ（ｘ、ｙ））との間には、以下の式（５）に示す関係がある。以下では、Ｇ_０ｉ（ｘ、ｙ）、Ｗ_ｉ（ｘ、ｙ）、Ｉ（ｘ、ｙ）、Ｌ_０ｉ（ｘ、ｙ）、ＷＧ（ｘ、ｙ）等の添字（ｘ、ｙ）は省略する。
Ｇ_ｋ−１ｉ＝Ｇ_ｋ−２ｉ＊ｇ（ｍ，ｎ）・・・（５）
なお、式（５）において、＊は空間畳み込み演算を示す記号（以下、同じ）であり、ｇ（ｍ、ｎ）は空間ローパスフィルタであるガウシアンフィルタである。

一方、図８のステップＡ２の処理結果である各ラプラシアンピラミッドの１段目の画像Ｌ_０ｉ（ｉ＝１〜４）は、実際には、同ステップＡ１の処理結果である画像（ａ_ｉ×Ｉ）対して以下の式（６）に示す演算を施すことにより生成される。
Ｌ_０ｉ＝（ａ_ｉ×Ｉ）＊ｌ（ｍ，ｎ）・・・（６）
なお、式（６）においてｌ（ｍ，ｎ）は、元画像にガウシアンフィルタｇ（ｍ，ｎ）を畳み込み、ダウンサンプリング処理を施し、その結果をガウシアンフィルタによりExpand処理し（空間周波数の折り返し防止処理）、元画像との差分を取る処理である。したがって、ｌ（ｍ，ｎ）は、
Ｌ_０ｉ＝（ａ_ｉ×Ｉ）−（ａ_ｉ×Ｉ）＊ｇ（ｍ，ｎ）＊ｇ（ｍ，ｎ）
＝（ａ_ｉ×Ｉ）＊｛１−ｇ（ｍ，ｎ）＊ｇ（ｍ，ｎ）｝
よって、
ｌ（ｍ，ｎ）＝１−ｇ（ｍ，ｎ）＊ｇ（ｍ，ｎ）
空間ハイパスフィルタである所の、ラプラシアンフィルタである。

そして、図８のステップＡ３にて生成される新たなラプラシアンピラミッドの１段目の画像は、露光量毎にガウシアンピラミッド出力でラプラシアンピラミッド出力を重み付けし、それらを加算して得られるのであるから、以下の式（７）の演算により求まる。なお、他の階層についても同様の演算により求めることができることは勿論である。
Ｌ_０１×Ｇ_０１＋Ｌ_０２×Ｇ_０２＋Ｌ_０３×Ｇ_０３＋Ｌ_０４×Ｇ_０４
＝｛（ａ_１×Ｉ）＊ｌ（ｍ，ｎ）｝×Ｗ_１
＋ （ａ_２×Ｉ）＊ｌ（ｍ，ｎ）｝×Ｗ_２
＋ （ａ_３×Ｉ）＊ｌ（ｍ，ｎ）｝×Ｗ_３
＋ （ａ_４×Ｉ）＊ｌ（ｍ，ｎ）｝×Ｗ_４｝／ＷＧ・・・（７）
ただし、ＷＧ＝Ｗ_１＋Ｗ_２＋Ｗ_３＋Ｗ_４

ここで、注目すべき点は、有効露光域画像Ｗ_１、Ｗ_２、Ｗ_３、およびＷ_４の各々が互いに排他的（すなわち、図１に示すように、Ｗ_ｉにおいて画素値が１である画素に対応するＷ_ｊ（ｊ≠ｉ）の画素の画素値が０）であるならば、上記式（７）を以下の式（８）のようにまとめることができる点である。
｛Ｉ＊ｌ（ｍ，ｎ）｝×｛ａ_１×Ｗ_１＋ａ_２×Ｗ_２＋ａ_３×Ｗ_３＋ａ_４×Ｗ_４｝・・・（８）
ただし、Ｗ_１、Ｗ_２、Ｗ_３およびＷ_４の各々が排他的であるため、
ＷＧ＝Ｗ_１＋Ｗ_２＋Ｗ_３＋Ｗ_４＝１（すべての画素値で‘１’）

上記式（８）において、｛ａ_１×Ｗ_１＋ａ_２×Ｗ_２＋ａ_３×Ｗ_３＋ａ_４×Ｗ_４｝は、上記４種類の露光量の各々に対応した輝度補正値ａ_ｉをその輝度補正値を適用するべき画素位置に埋め込んで得られる画像Ｗ（図1参照、以下、領域輝度画像と呼ぶ）についてのガウシアン出力の第０階層であり、｛Ｉ＊ｌ（ｍ，ｎ）｝は、画像Ｉについてのラプラシアン出力の第０階層である。つまり、上記式（８）は、前述した４つの有効露光域画像Ｗ_ｉが互いに排他的であるならば、これら４つの有効露光域画像Ｗ_ｉおよび輝度補正値ａ_ｉを用いて４組のラプラシアンピラミッドおよびガウシアンピラミッドの生成および統合により画像のダイナミックレンジを圧縮することと、図１に示す領域輝度画像Ｗを用いて一組のラプラシアンピラミッドおよびガウシアンピラミッドの生成および統合により画像のダイナミックレンジを圧縮することとは等価であることを示している。

本実施形態に係る画像のダイナミックレンジの圧縮方法は、上記４つの有効露光域画像に換えて領域輝度画像（図１参照）を用いることにより、一組のピラミッド処理およびその処理結果の統合により画像のダイナミックレンジの圧縮を行うようにしたものである。図２を参照すれば明らかように、本実施形態に係る画像のダイナミックレンジの圧縮方法によれば、常に一組のピラミッド処理で画像のダイナミックレンジの圧縮を行うことが可能になるため、非特許文献１に開示された手法による場合に比較して演算量が少なくなり、輝度補正の細やかさに応じて演算量が変化することもない。また、式（７）と式（８）とは等価であるから、本実施形態に係る画像のダイナミックレンジの圧縮方法によっても非特許文献１に開示された技術と同様、肉眼で視認されるシーンに近い画質の画像を得ることができることは勿論である。以上が、本実施形態に係る画像のダイナミックレンジの圧縮方法の基本原理およびその効果である。

しかし、ここで問題となるのは、多重露光処理により得られる現実の画像においては、例えば図３（Ａ）に示すように、各有効露光域画像Ｗ_ｉが互いに排他的であるとは限らず、上記基本原理をそのまま適用することができない、という点である。これに対して、本願発明者は、各有効露光域画像が互いに排他的ではない場合には、以下に述べるように各有効露光域画像を互いの重なり具合に応じて再分割することにより上記問題を解決する方策を見出したのである。以下、各有効露光域画像が互いに排他的ではない場合への上記基本原理を適用するための手法について説明する。

（Ｂ：有効露光域画像が排他的ではない場合への適用手法）
図３（Ａ）に示す４つの有効露光域画像Ｗ_ｉの各々については、互いの重なり具合に応じて再分割することができる。例えば、有効露光域画像Ｗ_１については、以下の式（９−１）に示すように再分割することができる。
Ｗ_１＝Ｗ_１１＋Ｗ_１２＋Ｗ_１３＋Ｗ_１４＋Ｗ_１２３＋Ｗ_１２４＋Ｗ_１３４＋Ｗ_１２３４・・・（９−１）
なお、式（９−１）において、Ｗ_１１は、Ｗ１単独で重なり無しの領域、Ｗ_ｉｊ（ｉ≠ｊ）は、Ｗ_ｉとＷ_ｊとが重なった領域、Ｗ_ｉｊｋ（ｉ≠ｊ、ｊ≠ｋ、ｉ≠ｋ）は、Ｗ_ｉとＷ_ｊとＷ_ｋとが重なった領域、Ｗ_１２３４は、Ｗ_１とＷ_２とＷ_３とＷ_４とが重なった領域、である。また、図３（Ａ）に示す他の３つの有効露光域画像（Ｗ_２、Ｗ_３およびＷ_４）の各々についても、Ｗ_１と同様に以下の式（９−２）から（９−４）に示すように再分割することができる。
Ｗ_２＝Ｗ_２２＋Ｗ_１２＋Ｗ_２３＋Ｗ_２４＋Ｗ_１２３＋Ｗ_１２４＋Ｗ_２３４＋Ｗ_１２３４・・・（９−２）
Ｗ_３＝Ｗ_３３＋Ｗ_１３＋Ｗ_２３＋Ｗ_３４＋Ｗ_１２３＋Ｗ_１３４＋Ｗ_２３４＋Ｗ_１２３４・・・（９−３）
Ｗ_４＝Ｗ_４４＋Ｗ_１４＋Ｗ_２４＋Ｗ_３４＋Ｗ_１２４＋Ｗ_１３４＋Ｗ_２３４＋Ｗ_１２３４・・・（９−４）

そして、式（９−１）から（９−４）を前掲式（７）へ代入すると、
Ｌ_０１×Ｇ_０１＋Ｌ_０２×Ｇ_０２＋Ｌ_０３×Ｇ_０３＋Ｌ_０４×Ｇ_０４
＝｛ （ａ_１×Ｉ）＊ｌ（ｍ，ｎ）｝
×｛Ｗ_１１＋Ｗ_１２＋Ｗ_１３＋Ｗ_１４＋Ｗ_１２３＋Ｗ_１２４＋Ｗ_１３４＋Ｗ_１２３４｝
＋ （ａ_２×Ｉ）＊ｌ（ｍ，ｎ）｝
×｛Ｗ_２２＋Ｗ_１２＋Ｗ_２３＋Ｗ_２４＋Ｗ_１２３＋Ｗ_１２４＋Ｗ_２３４＋Ｗ_１２３４｝
＋ （ａ_３×Ｉ）＊ｌ（ｍ，ｎ）｝
×｛Ｗ_３３＋Ｗ_１３＋Ｗ_２３＋Ｗ_３４＋Ｗ_１２３＋Ｗ_１３４＋Ｗ_２３４＋Ｗ_１２３４｝
＋ （ａ_４×Ｉ）＊ｌ（ｍ，ｎ）｝
×｛Ｗ_４４＋Ｗ_１４＋Ｗ_２４＋Ｗ_３４＋Ｗ_１２４＋Ｗ_１３４＋Ｗ_２３４＋Ｗ_１２３４｝
｝／ＷＧ・・・（７−１）
となる。

そして、式（７−１）については、さらに、以下の式（８−１）へと変形することができる。
Ｌ_０１×Ｇ_０１＋Ｌ_０２×Ｇ_０２＋Ｌ_０３×Ｇ_０３＋Ｌ_０４×Ｇ_０４
＝ ｛ Ｉ＊ｌ（ｍ，ｎ）｝
×｛ ａ_１×Ｗ_１１＋ａ_２×Ｗ_２２＋ａ_３×Ｗ_３３＋ａ_４×Ｗ_４４
＋ａ_１２×Ｗ_１２＋ａ_１３×Ｗ_１３＋ａ_１４×Ｗ_１４
＋ａ_２３×Ｗ_２３＋ａ_２４×Ｗ_２４＋ａ_３４×Ｗ_３４
＋ａ_１２３×Ｗ_１２３＋ａ_１２４×Ｗ_１２４＋ａ_１３４×Ｗ_１３４＋ａ_２３４×Ｗ_２３４
＋ａ_１２３４×Ｗ_１２３４｝・・・（８−１）
なお、式（８−１）において、ａ_ｉｊ＝（ａ_ｉ＋ａ_ｊ）／２（ただし、ｉ≠ｊ）、ａ_ｉｊｋ＝（ａ_ｉ＋ａ_ｊ＋ａ_ｋ）／３（ただし、ｉ≠ｊ、ｊ≠ｋ、ｉ≠ｋ）、ａ_１２３４＝（ａ_ｉ＋ａ_ｊ＋ａ_ｋ＋ａ_ｌ）／４、である。

上記式（８−１）は、前掲図８に示す４組のピラミッド処理と、上記１５個の新たな有効露光域画像（Ｗ_１１、Ｗ_２２…Ｗ_１２３４）および上記１５個の新たな輝度補正値（ａ_１，ａ_２…、ａ_１２３４）を用いた１５組のピラミッド処理とが等価であることを示している。上記のように各有効露光域画像を互いの重なり具合に応じて分割した後に非特許文献１に開示されたダイナミックレンジ圧縮方法を実行したのでは、当該非特許文献１に開示された技術に比較してピラミッド処理の数が増加し、演算量をかえって増加させてしまう。しかし、ここで注目すべき点は、互いの重なり具合に応じて再分割した１５個の新たな有効露光域画像（Ｗ_１１、Ｗ_２２…Ｗ_１２３４）の各々は互いに排他的である点、すなわち、前述した基本原理をそのまま適用することができる点である。上記１５個の有効露光域画像（Ｗ_１１、Ｗ_２２…Ｗ_１２３４）の各々は互いに排他的であるから、式（８−１）における｛ａ_１×Ｗ_１１＋ａ_２×Ｗ_２２＋ａ_３×Ｗ_３３＋ａ_４×Ｗ_４４＋ａ_１２×Ｗ_１２＋ａ_１３×Ｗ_１３＋ａ_１４×Ｗ_１４＋ａ_２３×Ｗ_２３＋ａ_２４×Ｗ_２４＋ａ_３４×Ｗ_３４＋ａ_１２３×Ｗ_１２３＋ａ_１２４×Ｗ_１２４＋ａ_１３４×Ｗ_１３４＋ａ_２３４×Ｗ_２３４＋ａ_１２３４×Ｗ_１２３４｝は、図３（Ｂ）に示す新たな領域輝度画像を表す。つまり、式（８−１）は、上記１５個の新たな有効露光域画像および輝度補正値を用いて１５組のピラミッド処理を行うことと、図３（Ｂ）に示す領域輝度画像を用いて１組のピラミッド処理を行うこととは等価であることを示している。

したがって、多重露光処理により得られた画像の各有効露光域を示す有効露光域画像の各々が互いに排他的ではない場合には、それら複数の有効露光域画像の各々を互いの重なり具合に応じて再分割し、かかる再分割により得られた新たな有効露光域画像の各々について、画素値が１である部分にその有効露光域画像に適用する輝度補正値を埋め込んで領域輝度画像を生成した後に、前述した基本原理を適用するようにすれば良い。このようにすることで、非特許文献１に開示された技術よりも少ない演算量で、非特許文献１に開示された技術と同様、肉眼で視認されるシーンに近い画質の画像を得ることができるのである。

また、ａ_ｉｊ、ａ_ｉｊｋおよびａ_１２３４は、元画像を統合する際の各有効露光域の画素に与えるゲインであるので、単純にａ_ｉｊ＝（ａ_ｉ＋ａ_ｊ）／２のような関係でなくても良い。例えば、非特許文献１に開示された技術では、前述した式（３）で求めたゲインＧａｉｎ_ｉを用いて、以下の式（１０）にしたがって元画像の統合が為される。なお、式（１０）におけるΣは、添え字ｉに関して１〜４までの総和を求めることを示す。
Ｍ（ｘ、ｙ）＝（１／Ｗ（ｘ、ｙ））ΣＷ_ｉ（ｘ，ｙ）・（Ｉ_ｉ（ｘ、ｙ）×２＾Ｇａｉｎ_ｉ）・・・（１０）
非特許文献１に開示された技術では、上記式（１０）にしたがって元画像の統合が行われる為、それぞれの領域には、以下の式（１１）に示すゲインが掛けられている。
（１／Ｗ（ｘ、ｙ））ΣＷ_ｉ（ｘ，ｙ）・２＾Ｇａｉｎ_ｉ・・・（１１）
このことは、画像のダイナミックレンジを圧縮する為に適切なゲインを掛ければ良いことを意味しており、その画像のダイナミックレンジの圧縮方法によって適切な値が選ばれる。また、上述した手法では、有効露光域の重なり具合に応じて再分割された各有効露光域に対して同じ固定値を使用したが、例えば、Ｗ_ｉｊ（ａ_ｉｊを適用する有効露光域）に関しては、ａ_ｉからａ_ｊ領域に対して直線補間等の補間によってａ_ｉの値からａ_ｊの値へ滑らかに変化するゲインを埋め込んだ輝度補正画像を用いても良い。このようにすると、画素毎に自由に輝度補正値を設定することができる為、より自然な画質の画像を得る為に画素毎に補間等の方法により滑らかな輝度補正値を設定することも可能になる。

（Ｃ：本実施形態に係るダイナミックレンジ圧縮方法を実行する装置の具体例）
次いで、コンビニエンスストアなどにおける防犯監視を行うための監視システムに本発明を適用する場合を例にとって、以上に説明したダイナミックレンジ圧縮方法により画像のダイナミックレンジの圧縮を行う装置の具体例について説明する。
図４は、上記監視システムの構成例を示すブロック図である。この監視システムには、コンビニエンスストアなどの入り口付近に設置され、その店舗内および屋外の映像を撮像してその映像を表す画像データを出力する撮像装置１００と、撮像装置１００から出力される画像データに応じた画像を表示する表示装置２００とが含まれる。

このように、撮像装置１００は、店舗内と屋外といった広いダイナミックレンジの映像を撮像する必要があるため、本実施形態では、充分に広いダイナミックレンジを有する撮像素子が用いられている。これは、撮像素子のダイナミックレンジが充分でないと、店舗内での映像に黒ツブレが生じたり、逆に、屋外の映像に白トビが生じるなどして監視に支障をきたすからである。そして、図４に示す監視システムでは、撮像装置１００が有する撮像部１２０のダイナミックレンジよりも、表示装置２００のダイナミックレンジが狭いのであるが（一般にＣＲＴ、液晶ディスプレイ等、表示装置のダイナミックレンジは屋内、屋外の光の輝度のダイナミックレンジより非常に狭い）、本発明に係る方法でダイナミックレンジの圧縮を行う処理を撮像装置１００に行わせることによって、演算量の増加を回避しつつ、肉眼で知覚されるシーンと同等な画質の表示画像を得ることを可能にしているのである。このように、肉眼で知覚されるシーンと同等な画質の表示画像が得られるため、例えば盗難の発生時の表示画像からその犯人の顔や特徴を識別する際に、現実のものとは異なった印象が与えられることを回避することが可能になる。
以下、撮像装置１００の構成を中心に説明する。

図４に示すように、撮像装置１００は、制御部１１０、撮像部１２０、画像処理部１３０、および出力インタフェース（以下、Ｉ／Ｆ）部１４０を含んでいる。
制御部１１０は、例えばＣＰＵ（Central Processing Unit）であり、撮像装置１００の各構成要素の作動制御を行う制御中枢の役割を果たす。撮像部１２０は、前述したように広ダイナミックレンジＣＣＤイメージセンサなどの撮像素子を含んでおり、撮像した画像を表す画像データＩｄを出力する。

画像処理回路１３０は、撮像部１２０から出力される画像データＩｄに各種画像処理を施し、その処理結果である画像データＩｄ´を出力Ｉ／Ｆ部１４０に与える。この画像処理回路１３０は、例えばＤＳＰ（Digital Signal Processor）であり、図示せぬメモリに記憶されている制御プログラムにしたがって上記各種画像処理を実行する。画像処理回路１３０が実行する画像処理には、色変換処理など一般的な画像処理回路が行う処理の他に、本実施形態に係るダイナミックレンジ圧縮処理が含まれている。このダイナミックレンジ圧縮処理の詳細については後に明らかにする。

出力Ｉ／Ｆ部１４０には、表示装置２００が接続されている。この出力Ｉ／Ｆ部１４０は、画像処理回路１３０から与えられる画像データＩｄ’を表示装置２００の入力インタフェイス（例えば、ＲＧＢ２１ピン端子）に応じた信号形式に変換して出力する。これにより、画像データＩｄ’に応じた画像が表示装置２００に表示されるのである。
以上が撮像装置１００の構成である。

次いで、画像処理回路１３０が実行するダイナミックレンジ圧縮処理について説明する。
図５は、画像処理回路１３０が実行するダイナミックレンジ圧縮処理を示す図である。
図５に示すように、画像処理回路１３０が実行するダイナミックレンジ圧縮処理は、領域輝度データ生成処理１３１、ピラミッドデータ生成処理１３２、重み付け処理１３３および画像復元処理１３４の４つの処理に大別される。

領域輝度データ生成処理１３１は、画像データＩｄの表す画像Ｉ（すなわち、ダイナミックレンジの圧縮を行う対象である画像）を構成する各画素の輝度に基づき、その画像Ｉを、領域内において輝度の範囲を同じくする互いに排他的な複数の領域に分割し、ダイナミックレンジの圧縮を行う際に当該輝度の範囲についての輝度補正値とその輝度補正値を適用する領域（互いに排他的な領域）の当該画像Ｉ内での所在を示す領域輝度データＷｄ（すなわち、前述した領域輝度画像Ｗを表すデータ）を生成する処理である。

より詳細に説明すると、画像処理回路１３０のメモリに書き込まれている制御プログラムには、撮像部１２０から出力される画像データＩｄの表す画像Ｉを構成する各画素の輝度と、その画像のダイナミックレンジ（例えば、−１６０〜０デシベルの範囲）を表示装置２００で再現可能なダイナミックレンジ（例えば、−８０〜０デシベルの範囲）まで圧縮する際の輝度の範囲毎の輝度補正値ａ_ｉとの関係を示すテーブル若しくは計算式が内蔵されており、領域輝度データ生成処理１３１では、このテーブル若しくは計算式を参照して領域輝度データＷｄの生成が行われる。例えば、テーブルを使った場合、図６に示すように輝度の値が−４０〜０デシベルの範囲にある画素については、輝度補正値ａ_１でその輝度を補正すべきこと、輝度の値が−８０〜−４１デシベルの範囲にある画素については、輝度補正値ａ_２でその輝度を補正すべきこと、輝度の値が−１２０〜−８１デシベルの範囲にある画素については、輝度補正値ａ_３でその輝度を補正すべきこと、輝度の値が−１６０〜−１２１の範囲にある画素については、輝度補正値ａ_４でその輝度を補正すべきことを示すテーブルが上記制御プログラムに内蔵されている状況下で、図６に示す画像Ｉを表す画像データＩｄが撮像部１２０から画像処理回路１３０に与えられる場合には、以下の要領で、領域輝度データＷｄの生成が行われる。すなわち、画像Ｉの１行１列目の画素の輝度は−８６であるから、領域輝度画像Ｗの１行１列目の画素の画素値にはａ_３がセットされる。以下、領域輝度画像Ｗの３行３列目の画素の画素値にはａ_１が、…５０行１００列目の画素の画素値にはａ_４がセットされる。そして、このようにして生成される領域輝度画像Ｗを表す領域輝度データＷｄが生成されるのである。また、ａ_１、ａ_２、ａ_３、ａ_４、の補正値の境目に遷移領域を設け、ａ_１からａ_２へ、ａ_２からａ_３へ、ａ_３からａ_４へ滑らかに変化するように設定しても良い。これは、有効露光域画像が互いに排他的ではない場合への適用手法にて説明した領域の重なりに関して最大１５種類の輝度補正値を設定する事と同じ意味であり、輝度の変化をよりスムーズに行う効果がある。

ピラミッドデータ生成処理１３２は、前述したExpand処理およびReduce処理により、画像データＩｄの表す画像ＩをＮ（Ｎは２以上の整数）階層のラプラシアンピラミッドＰｄ１に分解する一方、領域輝度データＷｄの表す領域輝度画像ＷをＮ階層のガウシアンピラミッドＰｄ２に分解する処理である。なお、このピラミッドデータ生成処理１３２においても、前述した非特許文献１に開示された技術と同様、画像Ｉの各画素の輝度の対数値を画素値とする画像についてのラプラシアンピラミッドＰｄ１を生成するようにしても勿論良い。

重み付け処理１３３は、前述した非特許文献１に開示された技術におけるステップＡ３（図８参照）に対応する処理である。この重み付け処理１３３では、ラプラシアンピラミッドＰｄ１の各階層の画像を構成する画素の輝度を、ガウシアンピラミッドＰｄ２における同一階層の同一画素の画素値で重み付けをして得られる新たなラプラシアンピラミッドＰｄ３が生成される。

画像復元処理１３４は、前述した非特許文献１に開示された技術におけるステップＡ４（図８参照）に対応する処理である。この画像復元処理１３４では、ラプラシアンピラミッドＰｄ３の各階層にその階層数に応じた回数だけ下からExpand処理を施し加算して戻してゆく事によって画像データＩｄ´の生成が行われる。このようにして生成された画像データＩｄ´が出力Ｉ／Ｆ部１４０に与えられるのである。
以上が画像処理回路１３０で実行されるダイナミックレンジ圧縮処理である。

以上に説明したように、本実施形態においては、１組のピラミッド処理を行う画像処理回路１３０において本発明に係るダイナミックレンジ圧縮処理が実行されるため、非特許文献１に開示された技術に比較して少ない演算量で上記ダイナミックレンジの圧縮が実現されるとともに、非特許文献１に開示された技術と同等な画質の表示画像（すなわち、肉眼で知覚されるシーンと同等な画質を有する表示画像）を得ることが可能になる。

（Ｄ：その他の実施形態）
以上、本発明の実施形態について説明したが、かかる実施形態を以下のように変形しても良い。
（１）上述した実施形態では、本発明に係る画像のダイナミックレンジ圧縮方法を監視システムの撮像装置１００に適用した。しかし、乗用車などの車両の周囲の映像を撮像し、そのインストルメントパネルなどに配置された液晶ディスプレイにその映像を表示させる車載カメラに本発明を適用しても勿論良い。このような車載カメラにおいても、例えばトンネルの出入り口付近では、広ダイナミックレンジの画像を撮像することが要求されるとともに、上記液晶ディスプレイの表示画像の画質が肉眼で視認されるものと異なったのでは、運転者の感覚を狂わせ予期せぬ危険を招く虞があるからである。また、本発明に係るダイナミックレンジ圧縮方法によりダイナミックレンジが圧縮された画像Ｉ’を表す画像データＩｄ’の出力先は、表示装置に限定されるものではない。例えば、ハードディスク等の不揮発性メモリを備えた記録装置であっても良く、また、通信回線を介して他の装置と通信する通信装置であっても良い。このように、本発明には、広いダイナミックレンジを有する画像の利用を、従来の狭いダイナミックレンジを利用した画像の記録、流通及び再生などへの幅を広げることが可能になるといった効果もある。

（２）上述した実施形態では、表示装置２００のダイナミックレンジよりも広いダイナミックレンジを有する撮像部１２０により撮像された画像のダイナミックレンジを画像処理回路１３０によって圧縮し、その処理結果である画像データを表示装置２００に与えた。しかし、多重露光処理により得られる画像のダイナミックレンジの圧縮を行う際にも本発明を適用することができることは勿論である。

具体的には、ダイナミックレンジの狭い撮像部と、同一シーンを各々異なる露光量で上記撮像部によって撮像して得られる複数の画像の各々を表す画像データとそれら複数の画像の各々についての有効露光域画像を表す有効露光域画像データとから多重露光処理により広ダイナミックレンジの画像を表す画像データを生成して出力するとともに上記各有効露光域画像を表す有効露光域画像データを出力する多重露光処理部と、この多重露光処理画像のダイナミックレンジの圧縮を行うための画像処理回路１３０と、出力Ｉ／Ｆ部１４０とを組み合わせて撮像装置を構成するようにすれば良い。なお、上記有効露光域画像データの各々が表す有効露光域が排他的ではない場合には、それら有効露光域の重なり具合に応じて互いに排他的な複数の領域に分割した後に領域輝度画像データを生成する処理（前述した基本原理の適用手法で説明した処理）を画像処理回路１３０に実行させるようにすれば良い。また、このようにして再分割された有効露光域に基づいて領域輝度データを生成する際には、各領域について、ダイナミックレンジの圧縮を行う際の輝度補正値の範囲（例えば、前述したようにａ_ｉｊが適用されるべき領域であれば、ａ_ｉからａ_ｊまでの範囲）とその輝度補正値の範囲が適用される領域の所在とを示すように領域輝度画像データを生成しても良い。

（３）上述した実施形態では、本発明に係るダイナミックレンジ圧縮処理をソフトウェアモジュールで実現したが、ハードウェアモジュールで実現しても勿論良い。具体的には、領域輝度データ生成処理１３１を実行する領域輝度データ生成部、ピラミッドデータ生成処理１３２を実行するピラミッド処理部、重み付け処理１３３を実行する重み付け処理部、および画像復元処理１３４を実行する復元処理部の各々を電子回路で構成し、これらを組み合わせて画像処理回路１３０を構成しても良い。また、上述した実施形態では、本発明に係るダイナミックレンジ圧縮処理を実現するためのプラグラムが画像処理回路１３０のメモリに予め書き込まれていたが、例えばＣＤ−ＲＯＭ（Compact Disk Read Only）などのコンピュータ装置読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。

本発明の一実施形態に係るダイナミックレンジ圧縮方法にて使用する領域輝度画像を説明するための図である。 同ダイナミックレンジ圧縮方法の効果を説明するための図である。 有効露光域画像が互いに排他的ではない場合における、同ダイナミックレンジ圧縮方法の適用手法を説明するための図である。 本発明の一実施形態に係る撮像装置１００を含む監視システムの構成例を示す図である。 同撮像装置１００の画像処理回路１３０が実行する処理の一例を示す図である。 同画像処理回路１３０が実行する領域輝度データ生成処理を説明するための図である。 非特許文献１に開示されたダイナミックレンジ圧縮方法で使用するガウシアンピラミッドおよびラプラシアンピラミッドの生成手順について説明するための図である。 非特許文献１に開示されたダイナミックレンジ圧縮方法について説明するための図である。

符号の説明

１００…撮像装置、１１０…制御部、１２０…撮像部、１３０…画像処理部、１３１…領域輝度データ生成処理、１３２…ピラミッドデータ生成処理、１３３…重み付け処理、１３４…画像復元処理、１４０…出力Ｉ／Ｆ部、２００…表示装置。

Claims (4)

1. 画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する第１のステップと、
   前記画像データからＮ（Ｎは２以上の整数）階層の第１のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成する第２のステップと、
   前記第１のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第２のラプラシアンピラミッドを生成する第３のステップと、
   前記第２のラプラシアンピラミッドから画像データを生成する第４のステップと、
   を含むことを特徴とする画像のダイナミックレンジ圧縮方法。
2. 画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する領域輝度データ生成部と、
   前記画像データからＮ（Ｎは２以上の整数）階層の第１のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成するピラミッド処理部と、
   前記第１のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第２のラプラシアンピラミッドを生成する重み付け処理部と、
   前記第２のラプラシアンピラミッドから画像データを生成する復元処理部と、
   を有することを特徴とする画像処理回路。
3. 撮像画像に応じた画像データを出力する撮像部と、請求項２に記載の画像処理回路とを備え、前記撮像部から出力される画像データの表す画像のダイナミックレンジを前記画像処理回路によって圧縮し、その処理結果である画像データを出力する
   ことを特徴とする撮像装置。
4. コンピュータ装置に、
   画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する第１のステップと、
   前記画像データからＮ（Ｎは２以上の整数）階層の第１のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成する第２のステップと、
   前記第１のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第２のラプラシアンピラミッドを生成する第３のステップと、
   前記第２のラプラシアンピラミッドから画像データを生成する第４のステップと、
   を実行させることを特徴とするプログラム。

Images