JP2007325199A - 撮像装置および信号処理装置 - Google Patents

Abstract

【課題】複数の撮影をせず、コントラストを維持しつつダイナミックレンジを圧縮する。
【解決手段】撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、異なる露光条件で撮像された画像に相当する複数の画像情報を作成する複数露光画像作成部と、前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合いを判定し、前記複数の画像の中で各部分領域毎に最も信号値の分散度合いの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするブレンド演算を行う演算部とを備え、前記演算部は、同一部分領域内で近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める。
【選択図】図１

Description

本発明は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置、および、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を生成する信号処理装置、に関する。

近年、ダイナミックレンジの広い撮像素子が開発されている(特許文献１参照）。そして、ダイナミックレンジの広い画像を画像処理する機器も提案されている(特許文献２参照）。

この場合、この種の撮像素子や機器で生成される画像情報はダイナミックレンジが広いので、そのデータ幅は一般的な出力機器のデータ幅よりも大きい。したがって、最終的に出力機器に対応したダイナミックレンジに圧縮、すなわちビット幅を縮小して出力されることになる。
特開2002-77733号公報（第１頁、図１） 特開2002-86684号公報（第１頁、図１）

ここで、出力機器対応のために画像情報のビット幅を縮小するのだが、これを線形的に行うと、例えば16bit画像から12bit画像を作成するときに、下位側に４ビットシフトするなどの単純な手法を用いると、画像のコントラストが失われてしまう欠点がある。

そこで、画像のコントラストを維持したままでダイナミックレンジを圧縮する手法が提案されている。
「High Dynamicr Range Reduction via Maximization of Image Information」A.Ardeshir Goshtasby,
http://www.cs.wright.edu/~agoshtas/hdr.html」。

上記の手法によりダイナミックレンジを圧縮し(局所的に明るい部分を暗く、局所的に暗い部分を明るくする）、コントラストを維持した画像を作成できる。しかし、その画像のデータ幅は元画像と同じであるので、ビット幅をあわせるために、何らかの別の手法によってダイナミックレンジ圧縮の画像処理を行わなければならない。

また、上記手法では、露光条件の異なる複数の画像を生成し、かつ、１枚の画像を複数の部分領域（ブロック）画像に分割し、信号値の分散（以下、エントロピーとも言う）が大きい部分領域画像を選択し、選択された部分領域画像を組み合わせることでコントラストを維持した画像を作成しようとしている。

この場合において、以下の（１）式により、信号値の分散度合いを求める計算を行う。なお、ここでは、各画素が８ビット（信号値＝０〜２５５）である場合を想定して式の一例を示している。

この（１）式で、Ｐiは、iという値の、部分領域画像中の存在確率を表す。
Ｐi＝ｎi ／ｎ，
ここで、
ｎi: 部分領域画像内のiという値を持つピクセルの総数 ，
ｎ : 部分領域画像内のピクセルの総数，
である。

このエントロピーの演算を行う場合、画像信号の値全てに対して、部分領域画像中にどれだけその値の画素が存在したかをカウントする必要がある。640×480の画像を水平方向4分割、垂直方向4分割した場合、ブロックの大きさが画素単位で160×120(=19200画素)で、データを12bit(4096段階)とすると4096×15ビットのメモリが必要になる。

なお、ここでは各階調(4094段階)毎に、画素数がいくつあるかを測定する。各階調に、最大個数19200を２進数で表すことができるビット数（つまり15ビット）があればよいので、以上のよう4096×15ビットの計算になる。

また、画像信号がビデオ信号の順序で送信されると仮定すると、水平方向4ブロック分のメモリ(4096×15×4)は同時に持たなければならない(図Ａ参照）。これでは、多量にメモリを消費してしまい、撮像装置が大型化、高価格化してしまう問題を有している。

本発明は、以上のような課題を解決するためになされたものであって、最小限の回路規模と演算量とにより、コントラストを維持しつつダイナミックレンジを圧縮した画像を得ることが可能な、撮像装置、および信号処理装置を実現することを目的とする。

以上の課題を解決する本発明は、以下に記載するようなものである。
（１）請求項１記載の発明は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部と、前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合いを判定し、前記複数の画像の中で各部分領域毎に最も信号値の分散度合いの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、を備え、前記演算部は、同一部分領域内で近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、ことを特徴とする撮像装置である。

（２）請求項２記載の発明は、前記演算部は、同一部分領域内で、同一色の近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、ことを特徴とする請求項１記載の撮像装置である。

（３）請求項３記載の発明は、前記演算部は、信号値を対数変換した後に信号値の分散度合いを求める、ことを特徴とする請求項１または請求項２に記載の撮像装置である。
（４）請求項４記載の発明は、前記複数露光画像作成部は、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置である。

（５）請求項５記載の発明は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する信号処理装置であって、異なる露光条件で撮像された画像に相当する複数の画像情報を、擬似的に、もしくは、露光条件を変えた一連の撮像により作成する複数露光画像作成部と、前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合いを判定し、前記複数の画像の中で各部分領域毎に最も信号値の分散度合いの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、を備え、前記演算部は、同一部分領域内で近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、ことを特徴とする信号処理装置である。

（６）請求項６記載の発明は、前記演算部は、同一部分領域内で、同一色の近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、ことを特徴とする請求項５記載の信号処理装置である。

（７）請求項７記載の発明は、前記演算部は、信号値を対数変換した後に信号値の分散度合いを求める、ことを特徴とする請求項５または請求項６に記載の信号処理装置である。

（８）請求項８記載の発明は、前記複数露光画像作成部は、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項５乃至請求項７のいずれかに記載の信号処理装置である。

本発明の撮像装置、信号処理装置によると以下のような効果が得られる。
複数露光画像作成部により作成された複数の画像情報について、演算部によって、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合いを判定し、前記複数の画像の中で各部分領域毎に最も信号値の分散度合いの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う。

この際、演算部は、部分領域画像内のヒストグラムを求めるのではなく、同一部分領域内で近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める。

この結果、ヒストグラムを求める際の大容量のメモリは必要なくなり、近接画素間の信号値の差分を求める手法によって、最小限の回路規模と演算量とにより、コントラストを維持しつつダイナミックレンジを圧縮した画像を得ることが可能になる。

なお、複数露光画像作成部でのハードウェアによるビット操作によって、撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成することで、撮影時の記憶容量を削減することが可能になる。

以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。
〈撮像装置の電気的構成〉
図１は本発明の第１の実施形態の撮像装置１００内の詳細構成を示すブロック図である。なお、この図１では、本実施形態の動作説明に必要な部分の周囲を中心に記載してあり、その他の撮像装置１００として既知の電源スイッチなどの各種の部分については省略してある。

本実施形態の撮像装置１００は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、図１（ａ）に示されるように、各部を制御する制御手段としての制御部１０１と、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子を有する撮像部１２０と、撮像部１２０からの画像情報よりもダイナミックレンジの小さい画像情報を生成する画像処理部１３０と、ダイナミックレンジが調整された画像情報を外部に出力する出力インターフェース部１４０と、を有して構成されている。

また、画像処理部１３０は、図１（ｂ）に示されるように、黒レベルを一定に保つように調整する黒基準補正部１３１と、ホワイトバランス（ＷＢ）を制御するＷＢ制御部１３２と、色の補間を行う色補間部１３３と、ダイナミックレンジの圧縮を行うダイナミックレンジ圧縮部１３４と、を有して構成されている。

さらに、ダイナミックレンジ圧縮部１３４は、図１（ｃ）に示されるように、所定のライン数分の記憶を行うラインバッファ１３４ａと、１枚の画像の画像情報から異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部１３４ｂと、複数露光画像作成部１３４ｂにより作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合い（エントロピー）を計算するエントロピー計算部１３４ｃ（１３４ｃ１〜１３４ｃ４）と、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う重み演算部１３４ｄと、を有して構成されている。

なお、エントロピー計算部１３４ｃと重み演算部１３４ｄとで、請求項における演算部（複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合い（エントロピー）を判定し、前記複数の画像の中で各部分領域毎に最も信号値の分散度合い（エントロピー）の大きい部分領域の画像を選択しつつ合成して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部）１３４ｅを構成している。

図２は、複数露光画像作成部１３４ｂにおける１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する様子を示す説明図である。

なお、ブラケット撮影などによって異なる露光条件で撮像された複数の画像を得るようにしてもよいが、１枚の画像の画像情報から異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する具体例により説明を行う。

この複数露光画像作成部１３４ｂでは、ソフトウェアによる処理ではなく、ハードウェアによる処理によって、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する。

そして、ハードウェアによる処理として、各画素の信号値であるビットを操作するビット操作を用いており、ビット操作の具体例として、ビットシフト処理を用いた例をここに示している。さらに、ここでは、複数の画像情報を擬似的に作成するビット操作にあわせて、ビット数の削減（ダイナミックレンジの圧縮）も並行して実行している。ここでは、各画素１６ビットの画像情報を１２ビットに圧縮する処理も並行して実行している。

なお、以下の作業では、１枚の画像を、複数の部分領域（ブロック）画像に分割して処理を進める。ここでは、１枚の画像を２×２の４つの部分領域（ブロック）画像に分割する場合（図３（ａ）、００〜０３参照）を具体例とする。

まず、一時的にブロックの画像をラインバッファ１３４ａでバッファリングし、このラインバッファ１３４ａから部分領域画像を読み出しつつ、複数の異なる露光条件の部分領域画像を生成する。

これらの部分領域画像は、最終出力にあわせたビット幅になっている。各露光条件の画像に対し、それぞれエントロピーの演算を行う。重み演算部では、画像内各ブロックに対し最もエントロピーが高い露光条件画像を選択し、それらをブレンド演算することで出力画像を得る。

なお、本願発明において、「エントロピー」とは、信号値の分布の分散の度合いを意味しており、エントロピーが大きいとは画像情報が大きいことを意味している。そして、同一の被写体を撮影した画像であっても、露光条件の違いにより、明るすぎることによる白とび、暗すぎることによる黒潰れが発生すると、信号値の分散の度合いが小さくなる傾向にある。一方、白とびや黒潰れが発生していない適切な露光条件の画像では、信号値の分布が大きくなる傾向にある。そこで、本願発明の実施形態では、露光条件の異なる複数の同一被写体の画像から、エントロピーの大きいものを選択するようにしている。

複数露光画像作成部の動作の一例として、入力画像のダイナミックレンジを１６ビット、出力画像のダイナミックレンジを１２ビットと想定し、この実施例では一枚の１６ビット画像から、複数露光画像作成部で露光条件の異なる３種類の１２ビット画像を作成している具体例を示す。

すなわち、ここでは、３種類の露光条件の異なる画像を生成すると共に、ダイナミックレンジを１６ビットから１２ビットに変換している具体例を示す。
この３種類の画像は、それぞれオリジナルの１６ビット画像に対して、その出力（信号値レベル）が1/16倍、１倍、16倍の画像である。信号値レベルが1/16倍の画像は、１６ビットの入力のうち、上位１２ビットを出力する。信号値レベルが１倍の画像では、１６ビット入力のうち、下位１２ビットを出力する。１６ビット入力画像に対して、１２ビット全てに１がたっている入力(0000_1111_1111_1111)よりも大きい値であれば、１２ビットすべてに１をたてる。信号値レベルが16倍の画像では、１６ビットの入力のうち下位8bitを、下位側に4bit分0を付加して出力する。１６ビット入力画像に対して、8bit全てに１がたっている入力(0000_0000_1111_1111)よりも大きな値であれば、１２ビット全てに１をたてる。

複数露光画像作成に関して以上の工程を行うことにより、簡単なハードウェア上のビット操作（ビットシフト処理）により、複数の異なる露光条件の画像を出力することが可能になる。なお、３種類の画像は、入力画像１６ビットに対して１２ビットとビット幅は少なくなっているが、３種類の画像に元画像のデータは全て反映されており、これをブレンド演算するので、元画像の情報は失われていない。ビットシフトによる操作は、動作クロック単位で高速に実現できるので、実際に複数の露光条件を設定して撮影するブラケット撮影よりも高速にダイナミックレンジの圧縮を実現出来る。

つぎに、図３を参照し、各部分領域画像のエントロピー判定と、判定により選択された部分領域画像の合成とについて説明をする。
まず、１枚の画像を、複数の部分領域（ブロック）画像に分割して処理を進める。ここでは、１枚の画像を２×２の４つの部分領域（ブロック）画像に分割する場合（図３（ａ）参照）を具体例とする。

上述したように複数露光画像作成部１３４ｂで作成された複数の異なる露光条件の部分領域画像（図３（ｂ）〜（ｃ））を用い、複数の画像の各部分領域毎にエントロピーを判定し、前複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して組み合わせることで、１枚の合成部分領域画像を作成する（図３（ｄ））。

なお、各部分領域（ブロック）画像を寄せ集めて組み合わせただけでは、各部分領域画像が接する箇所（継ぎ目部分）で信号のレベル差が目立ってしまうので（図３（ｄ）参照）、各部分領域画像同士を混ぜ合わせるブレンド演算を実行する必要がある。ブレンド演算は、注目画素（図３（ｅ）のｘ）を各ブロックの中心との距離を、ガウシアンでフィルタリングした係数を用いて行うことにより実現される。

ここで、エントロピー計算について詳細に説明する。
同一の部分領域（ブロック）内において、近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める。この際、カラー画像であれば、同一部分領域内で、同一色の近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める。

すなわち、各々のブロックにおいて、注目画素と同じ色の隣接する画素(右隣、下隣）との差を求め、この差をブロック内の各画素について求めて積算し、積算結果をそのブロックのエントロピーとする。データのエントロピーが小さい場合、つまり同じような値が多い場合は、隣接する画素の差も小さくなるので、この計算結果がエントロピーに対応する。またデータのエントロピーが高い場合、つまり異なった値が多く存在する場合は、隣接する画素の差も大きくなるので、計算結果がやはりエントロピーに対応する。

この演算を行うには、現時点で主流となっているＲＧＢ原色撮像素子のベイヤー配列（図４（ａ））の場合に、２ライン分のラインバッファでライン記憶をしておき、２ライン前のデータと、リアルタイムで入力される３ライン目のデータとの間で差分を求めることで、図４（ｂ）の縦方向（下隣）の差分（００−２０）を求められる。また、右隣（図４（ｂ）００−０２）に関しては、同じラインバッファ内で差分を求められる。すなわち、従来のヒストグラムを求める手法のように、画像信号の値全てに対して、ブロック中にどれだけその値の画素が存在したかをカウントする場合に比べて、メモリの使用量は少なくなる。

このエントロピーの演算を行う場合、ヒストグラムを求める従来手法の場合、画像信号の値全てに対して、部分領域画像中にどれだけその値の画素が存在したかをカウントする必要があり、１枚当たり640×480画素の画像を水平方向4分割、垂直方向4分割し、ブロックの大きさが画素単位で160×120(=19200画素)で、データを12bit(4096段階)とした場合、画像信号がビデオ信号の順序で送信されると仮定すると、水平方向4ブロック分のメモリは同時に持たなければならず、(4096×15×4)ビットのメモリ容量が必要であった。

これに対し、本実施形態では、上述したように、ＲＧＢ３原色の撮像素子で３ライン目に同じ色が繰り返される配列の場合、２ライン分のラインメモリで済むため、（12bit×640×2）ビットのメモリだけで実現できる。また、演算も、差分を求める減算と、得られた差分を積算する処理だけであるため、演算処理量を高速に行うことが可能になる。なお、撮像素子の配列が異なる場合、４色以上のカラー撮像を行う場合には、ラインメモリが２ライン分ではなくなる可能性もあるが、いずれにしても、従来のヒストグラムを求める手法に比較しては飛躍的にメモリ容量を削減できる。

この結果、ヒストグラムを求める際の大容量のメモリは必要なくなり、近接画素間の信号値の差分を求める手法によって、最小限の回路規模と演算量とにより、エントロピーを求める処理を行うことが可能になる。

そして、これらの工程で、すべての露光条件の画像について、すべての部分領域画像のエントロピーを、エントロピー計算部１３４ｃにて算出する。
そして、各部分領域画像で最も高いエントロピーの部分領域画像を重み演算部１３４ｄで選択し、それらを組み合わせて一枚の画像（合成部分領域画像）を作成する（図３（ｄ））。

なお、部分領域画像を組み合わせて合成部分領域画像を作成すると、部分領域画像内はそれぞれコントラストの高い画像になるのだが、部分領域画像間の継ぎ目で信号値のレベル差が目立つようになる。そこで、以下のようにして、重み演算部１３４ｄにおいて、ブレンド演算を行う。

部分領域画像間のブレンド演算は、以下の（２）式、（３）式、（４）式のように行うことができる。

ここで、（２）式のように、重み演算部１３４ｄにおいて、画像上のすべての部分領域画像に対して、その部分領域画像の最もエントロピーが高い画像の注目画素Ｉjk(x,y)に、部分領域画像と注目画素との位置関係から算出する重み係数Ｗjkを乗算し、全部分領域画像分加算することで、出力画素値を得る。

また、ここで、重み係数Ｗjkは、（３）式のように、注目画素と各部分領域画像の中心座標との距離に対し、ガウシアン分布のフィルタをかけること（（４）式参照）により値を得ている（図３（ｅ）参照）。

ここで、Ｗ00(x,y)＝Ｇ00(x,y)／（Ｇ00(x,y)+Ｇ01(x,y)+Ｇ10(x,y)+Ｇ11(x,y) ），となる。
すなわち、重み係数Ｗjkは、注目画素と各部分領域画像の中心座標との距離に対し、ガウシアン分布のフィルタをかけた値をＧjkとすると、Ｇjkを全ての領域分加算した値に対する、各領域のＧjkの割合になる。

上式では、00領域の計算に用いる係数Ｗ00を求める場合であって、00領域のＧ00を、全ての領域分加算した値（Ｇ00＋Ｇ01+Ｇ10+Ｇ11)で割って求めている。
また、図３（ｃ）から図３（ｄ）のような各部分領域画像の組み合わせであるとすると、図３（ｄ）のｄの画素は、以下の（５）式のようになる。

となる。
以上のようにして、複数露光画像作成部１３４ｂにより作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピー計算部１３４ｃにてエントロピーを判定し、重み演算部１３４ｄにおいて複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択しつつ合成して１枚の合成部分領域画像を作成し、さらに合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行うことで、１回の撮影で複数の露光条件の画像を同時に作成し、高速なダイナミックレンジ圧縮作業(ビット幅適合化）を実現し、画像全体の状況から最適な露光条件の画像を作成し、コントラストが高い状態を保ちつつ、撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力することが可能になる。

この際に、ヒストグラムを求める際の大容量のメモリは必要なくなり、近接画素間の信号値の差分を求める手法によって、最小限の回路規模と演算量とにより、コントラストが高い状態を保ちつつ、撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力することが可能になる。

〈第２実施形態〉
第２実施形態の構成を図５に示す。ここでは、図１と同一部には同一番号を付すことで、重複説明を省略する。ここで、図１と異なる部分として対数変換部１３４ｆを設け、対数変換した画像情報をエントロピー計算部１３４ｃに入力するようにしている。人間の視覚は対数特性に近いので、人間の感覚に近いエントロピーの演算を行うことができる。また急激なデータの変化に対して対数変換することによりデータが圧縮されるので、大きなノイズによる影響が少なくなる。

したがって、この第２実施形態でも、ヒストグラムを求める際の大容量のメモリは必要なくなり、近接画素間の信号値の差分を求める手法によって、最小限の回路規模と演算量とにより、コントラストが高い状態を保ちつつ、撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力することが可能になる。また、対数変換してエントロピー計算を行うことで、人間の感覚に近い状態で信号値の分散を求め、露光条件の異なる画像の中から最適なものを選択して組み合わせることが可能になる。

〈その他の実施形態〉
以上の各実施形態における画像処理などの説明に用いられた数値は具体的説明を行うための一例であって、その数値に本願発明の実施形態が限定されるものではない。

また、撮像装置を具体例にして説明を行ってきたが、信号処理装置においても同様な動作により良好な作用効果を得ることができる。また、信号処理装置の場合には、撮像部と画像処理部とが近接して配置されている場合だけでなく、信号線やネットワークや移動可能な記録媒体を介して離れた場所に配置されている場合も、本願発明の実施形態の一態様である。

また、以上の実施形態では、撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部を用いたが、実際に複数の露光条件の異なる画像を一連の撮影（ブラケット撮影）で実行するようにしてもよい。

本発明の第１実施形態の撮像装置の電気的な構成を示す機能ブロック図である。 本発明の実施形態の撮像装置のビットシフト処理の動作を示す説明図である。 本発明の実施形態の複数露光画像作成と選択・合成の様子を示す説明図である。 本発明の実施形態のエントロピー計算の様子を示す説明図である。 本発明の第２実施形態の撮像装置の電気的な構成を示す機能ブロック図である。 従来のエントロピー計算の様子を示す説明図である。

符号の説明

１００ 撮像装置
１０１ 制御部
１２０ 撮像部
１３０ 画像処理部
１３１ 黒基準補正部
１３２ ＷＢ制御部
１３３ 色補間部
１３４ ダイナミックレンジ圧縮部
１３４ａ ラインバッファ
１３４ｂ 複数露光画像作成部
１３４ｃ エントロピー計算部
１３４ｄ 重み演算部
１３４ｅ 演算部
１４０ 出力インタフェース部

Claims (8)

1. 撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、
   異なる露光条件で撮像された画像に相当する複数の画像情報を、擬似的に、もしくは、露光条件を変えた一連の撮像により作成する複数露光画像作成部と、
   前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合いを判定し、前記複数の画像の中で各部分領域毎に最も信号値の分散度合いの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、を備え、
   前記演算部は、同一部分領域内で近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、
   ことを特徴とする撮像装置。
2. 前記演算部は、同一部分領域内で、同一色の近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記演算部は、信号値を対数変換した後に信号値の分散度合いを求める、
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記複数露光画像作成部は、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
5. 撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する信号処理装置であって、
   異なる露光条件で撮像された画像に相当する複数の画像情報を、擬似的に、もしくは、露光条件を変えた一連の撮像により作成する複数露光画像作成部と、
   前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎に信号値の分散度合いを判定し、前記複数の画像の中で各部分領域毎に最も信号値の分散度合いの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、を備え、
   前記演算部は、同一部分領域内で近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、
   ことを特徴とする信号処理装置。
6. 前記演算部は、同一部分領域内で、同一色の近接する画素間の信号値の差分の総和より各部分領域毎の信号値の分散度合いを求める、
   ことを特徴とする請求項５記載の信号処理装置。
7. 前記演算部は、信号値を対数変換した後に信号値の分散度合いを求める、
   ことを特徴とする請求項５または請求項６に記載の信号処理装置。
8. 前記複数露光画像作成部は、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項５乃至請求項７のいずれかに記載の信号処理装置。