JP2007306083A - 撮像装置および信号処理装置 - Google Patents

Abstract

【課題】露光条件を変えた複数の撮影をすることなく、コントラストを維持しつつダイナミックレンジを圧縮した画像を得る。
【解決手段】撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部と、前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを判定し、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、を有する。
【選択図】図１

Description

本発明は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置、および、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を生成する信号処理装置、に関する。

近年、ダイナミックレンジの広い撮像素子が開発されている(特許文献１参照）。そして、ダイナミックレンジの広い画像を画像処理する機器も提案されている(特許文献２参照）。

この場合、画像情報は通常ダイナミックレンジが広いので、そのデータ幅は出力機器のデータ幅よりも大きい。したがって、最終的に出力機器に対応したダイナミックレンジに圧縮(ビット幅を縮小されて）されて出力されることになる。
特開2002-77733号公報（第１頁、図１） 特開2002-86684号公報（第１頁、図１）

ここで、出力機器対応のために画像情報のビット幅を縮小するのだが、これを線形的に行うと、例えば16bit画像から12bit画像を作成するときに、下位側に４ビットシフトするなどの単純な手法を用いると、画像のコントラストが失われてしまう欠点がある。

そこで、画像のコントラストを維持したままでダイナミックレンジを圧縮する手法が提案されている。
「High Dynamicr Range Reduction via Maximization of Image Information」A.Ardeshir Goshtasby,
http://www.cs.wright.edu/~agoshtas/hdr.html」。

上記の手法によりダイナミックレンジを圧縮し(局所的に明るい部分を暗く、局所的に暗い部分を明るくする）、コントラストを維持した画像を作成できる。しかし、その画像のデータ幅は元画像と同じであるので、ビット幅をあわせるために、何らかの別の手法によって画像処理を行わなければならない。

また、上記手法は複数の露出条件の画像が必要になる。もし5つの露出条件の異なる画像を用いる場合、露光条件を変えて5回の撮影（ブラケット撮影）を行わなければならず、撮影時間が長くなってしまう。最終アプリケーションとしてカメラを想定すると、シャッターチャンスを逃してしまうおそれもある。また、主要被写体や背景の物体が微妙に動くなど完全に同じ絵を撮れないと、適切な処理が行えない問題もある。

また、５回の撮影をするのであれば、撮影された画像情報の容量も５倍になってしまう。この結果、記憶媒体の容量に限界がある場合には、撮影できる回数が減少するという問題も生じてくる。

本発明は、以上のような課題を解決するためになされたものであって、露光条件を変えた複数の撮影をすることなく、コントラストを維持しつつダイナミックレンジを圧縮した画像を得ることが可能な、撮像装置、および信号処理装置を実現することを目的とする。

以上の課題を解決する本発明は、以下に記載するようなものである。
（１）請求項１記載の発明は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部と、前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを判定し、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、を有することを特徴とする撮像装置である。

（２）請求項２記載の発明は、前記複数露光画像作成部は、ハードウェアによるビット操作によって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項１記載の撮像装置である。

（３）請求項３記載の発明は、前記複数露光画像作成部は、ハードウェアによるビットシフト処理によって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項１記載の撮像装置である。

（４）請求項４記載の発明は、前記複数露光画像作成部は、画像情報のコントラストを高くするように露光条件を設定して、１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置である。

（５）請求項５記載の発明は、前記複数露光画像作成部は、前記撮像素子から出力される画像情報の明るさに応じて露光条件を設定して、１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置である。

（６）請求項６記載の発明は、前記複数露光画像作成部は、画像情報のコントラストを高くするように露光条件を設定し、ハードウェアによるビットシフト処理によるビットシフト数を定め、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置である。

（７）請求項７記載の発明は、前記複数露光画像作成部は、前記撮像素子から出力される画像情報の明るさに応じて露光条件を設定して、ハードウェアによるビットシフト処理によるビットシフト数を定め、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置である。

（８）請求項８記載の発明は、前記複数露光画像作成部では、前記画像情報の明るさは、画像情報全体の平均値もしくはヒストグラムにより決定される、ことを特徴とする請求項５または請求項７に記載の撮像装置である。

（９）請求項９記載の発明は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を生成する信号処理装置であって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部と、前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを判定し、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、を有することを特徴とする信号処理装置である。

（１０）請求項１０記載の発明は、前記複数露光画像作成部は、ハードウェアによるビット操作としてのビットシフト処理によって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項９記載の信号処理装置である。

（１１）請求項１１記載の発明は、前記複数露光画像作成部は、画像情報のコントラストを高くするように露光条件を設定し、または、前記撮像素子から出力される画像情報の明るさに応じて露光条件を設定して、１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、ことを特徴とする請求項９または請求項１０に記載の信号処理装置である。

（１２）請求項１２記載の発明は、前記複数露光画像作成部では、前記画像情報の明るさは、画像情報全体の平均値もしくはヒストグラムにより決定される、ことを特徴とする請求項１１記載の信号処理装置である。

本発明の撮像装置、信号処理装置によると以下のような効果が得られる。
複数露光画像作成部でのハードウェアによるビット操作によって、撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成される。そして、演算部によって、この複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを判定し、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う。これにより、１回の撮影で複数の露光条件の画像を同時に作成し、高速なダイナミックレンジ圧縮作業(ビット幅適合化）を実現し、撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力することが可能になる。また、画像全体の状況から最適な露光条件の画像を作成し、コントラストの高い画像を作成することが可能になる。

以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。
〈撮像装置の電気的構成〉
図１は本発明の第１の実施形態の撮像装置１００内の詳細構成を示すブロック図である。なお、この図１では、本実施形態の動作説明に必要な部分の周囲を中心に記載してあり、その他の撮像装置１００として既知の電源スイッチなどの各種の部分については省略してある。

本実施形態の撮像装置１００は、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、図１（ａ）に示されるように、各部を制御する制御手段としての制御部１０１と、撮像により所定のダイナミックレンジの画像情報を出力する撮像素子を有する撮像部１２０と、撮像部１２０からの画像情報よりもダイナミックレンジの小さい画像情報を生成する画像処理部１３０と、ダイナミックレンジが調整された画像情報を外部に出力する出力インタフェース部１４０と、を有して構成されている。

また、画像処理部１３０は、図１（ｂ）に示されるように、黒レベルを一定に保つように調整する黒基準補正部１３１と、ホワイトバランス（ＷＢ）を制御するＷＢ制御部１３２と、色の補間を行う色補間部１３３と、ダイナミックレンジの圧縮を行うダイナミックレンジ圧縮部１３４と、を有して構成されている。

さらに、ダイナミックレンジ圧縮部１３４は、図１（ｃ）に示されるように、画像の部分領域（ブロック）のライン数分の記憶を行うラインバッファ１３４ａと、１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部１３４ｂと、複数露光画像作成部１３４ｂにより作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを計算するエントロピー計算部１３４ｃ（１３４ｃ１〜１３４ｃ４）と、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う重み演算部１３４ｄと、を有して構成されている。

なお、エントロピー計算部１３４ｃと重み演算部１３４ｄとで、請求項における演算部（複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを判定し、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択しつつ合成して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部）１３４ｅを構成している。

図２は、複数露光画像作成部１３４ｂにおける１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する様子を示す説明図である。

この複数露光画像作成部１３４ｂでは、ソフトウェアによる処理ではなく、ハードウェアによる処理によって、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する。

そして、ハードウェアによる処理として、各画素の信号値であるビットを操作するビット操作を用いており、ビット操作の具体例として、ビットシフト処理を用いた例をここに示している。さらに、ここでは、複数の画像情報を擬似的に作成するビット操作にあわせて、ビット数の削減（ダイナミックレンジの圧縮）も並行して実行している。ここでは、各画素１６ビットの画像情報を１２ビットに圧縮する処理も並行して実行している。

なお、以下の作業では、１枚の画像を、複数の部分領域画像（ブロック）に分割して処理を進める。ここでは、１枚の画像を２×２の４つの部分領域画像（ブロック）に分割する場合（図３（ａ）、００〜０３参照）を具体例とする。

まず、一時的にブロックの画像をラインバッファ１３４ａでバッファリングし、このラインバッファ１３４ａから部分領域画像を読み出しつつ、複数の異なる露光条件の部分領域画像を生成する。

これらの部分領域画像は、最終出力にあわせたビット幅になっている。各露光条件の画像に対し、それぞれエントロピーの演算を行う。重み演算部では、画像内各ブロックに対し最もエントロピーが高い露光条件画像を選択し、それらをブレンド演算することで出力画像を得る。

なお、本願発明の実施形態において、「エントロピー」とは、信号分布の拡散の度合いを意味している。すなわち、エントロピーが大きいとは画像情報量が多い、あるいは、情報量が失われていないことを意味している。

複数露光画像作成部の動作の一例として、入力画像のダイナミックレンジを１６ビット、出力画像のダイナミックレンジを１２ビットと想定し、この実施例では一枚の１６ビット画像から、複数露光画像作成部で３種類の１２ビット画像を作成している具体例を示す。この３種類の画像は、それぞれオリジナルの１６ビット画像に対して、その出力（信号値レベル）が1/16倍、１倍、16倍の画像である。信号値レベルが1/16倍の画像は、１６ビットの入力のうち、上位１２ビットを出力する。信号値レベルが１倍の画像では、１６ビット入力のうち、下位１２ビットを出力する。１６ビット入力画像に対して、１２ビット全てに１がたっている入力(0000_1111_1111_1111)よりも大きい値であれば、１２ビットすべてに１をたてる。信号値レベルが16倍の画像では、１６ビットの入力のうち下位8bitを、下位側に4bit分0を付加して出力する。１６ビット入力画像に対して、8bit全てに１がたっている入力(0000_0000_1111_1111)よりも大きな値であれば、１２ビット全てに１をたてる。

複数露光画像作成に関して以上の工程を行うことにより、簡単なハードウェア上のビット操作（ビットシフト処理）により、複数の異なる露光条件の画像を出力することが可能になる。なお、３種類の画像は、入力画像１６ビットに対して１２ビットとビット幅は少なくなっているが、３種類の画像に元画像のデータは全て反映されており、これをブレンド演算するので、元画像の情報は失われていない。ビットシフトによる操作は、動作クロック単位で高速に実現できるので、実際に複数の露光条件を設定して撮影するよりも高速にダイナミックレンジの圧縮を実現出来る。

つぎに、図３を参照し、各部分領域画像のエントロピー判定と、判定により選択された部分領域画像の合成とについて説明をする。
まず、１枚の画像を、複数の部分領域画像（ブロック）に分割して処理を進める。ここでは、１枚の画像を２×２の４つの部分領域画像（ブロック）に分割する場合（図３（ａ）参照）を具体例とする。

上述したように複数露光画像作成部１３４ｂで作成された複数の異なる露光条件の部分領域画像（図３（ｂ）〜（ｃ））を用い、複数の画像の各部分領域毎にエントロピーを判定し、前複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して組み合わせることで、１枚の合成部分領域画像を作成する（図３（ｄ））。

なお、各部分領域画像（ブロック）を寄せ集めて組み合わせただけでは、各部分領域画像が接する箇所（継ぎ目部分）で信号のレベル差が目立ってしまうので（図３（ｄ）参照）、各部分領域画像同士を混ぜ合わせるブレンド演算を実行する必要がある。ブレンド演算は、注目画素（図３（ｅ）のｘ）を各ブロックの中心との距離を、ガウシアンでフィルタリングした係数を用いて行うことにより実現される。

ここで、エントロピー計算について詳細に説明する。
まず、以下の（１）式により、エントロピー計算を行う。なお、ここでは、各画素が８ビット（信号値＝０〜２５５）である場合を想定して式の一例を示している。

この（１）式で、Ｐiは、iという値の、部分領域画像中の存在確率を表す。
Ｐi＝ｎi ／ｎ，
ここで、
ｎi: 部分領域画像内のiという値を持つピクセルの総数 ，
ｎ : 部分領域画像内のピクセルの総数，
である。

上の（１）式では、ｒｇｂ毎に演算を行っているが、単色として色の区別をせずに計算することも可能である。
そして、これらの工程で、すべての露光条件の画像について、すべての部分領域画像のエントロピーを、エントロピー計算部１３４ｃにて算出する。

そして、各部分領域画像で最も高いエントロピーの部分領域画像を重み演算部１３４ｄで選択し、それらを組み合わせて一枚の画像（合成部分領域画像）を作成する（図３（ｄ））。

なお、部分領域画像を組み合わせて合成部分領域画像を作成すると、部分領域画像内はそれぞれコントラストの高い画像になるのだが、部分領域画像間の継ぎ目で信号値のレベル差が目立つようになる。そこで、以下のようにして、重み演算部１３４ｄにおいて、ブレンド演算を行う。

部分領域画像間のブレンド演算は、以下の（２）式、（３）式、（４）式のように行うことができる。

ここで、（２）式のように、重み演算部１３４ｄにおいて、画像上のすべての部分領域画像に対して、その部分領域画像の最もエントロピーが高い画像の注目画素Ｉjk(x,y)に、部分領域画像と注目画素との位置関係から算出する重み係数Ｗjkを乗算し、全部分領域画像分加算することで、出力画素値を得る。

また、ここで、重み係数Ｗjkは、（３）式のように、注目画素と各部分領域画像の中心座標との距離に対し、ガウシアン分布のフィルタをかけること（（４）式参照）により値を得ている（図３（ｅ）参照）。

ここで、Ｗ00(x,y)＝Ｇ00(x,y)／（Ｇ00(x,y)+Ｇ01(x,y)+Ｇ02(x,y)+Ｇ03(x,y) ），となる。
すなわち、重み係数Ｗjkは、注目画素と各部分領域画像の中心座標との距離に対し、ガウシアン分布のフィルタをかけた値をＧjkとすると、Ｇjkを全ての領域分加算した値に対する、各領域のＧjkの割合になる。

上式では、00領域の計算に用いる係数Ｗ00を求める場合であって、00領域のＧ00を、全ての領域分加算した値（Ｇ00＋Ｇ01+Ｇ02+Ｇ03)で割って求めている。
また、図３（ｃ）から図３（ｄ）のような各部分領域画像の組み合わせであるとすると、図３（ｄ）のｄの画素は、以下の（５）式のようになる。

となる。
以上のようにして、複数露光画像作成部１３４ｂにより作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピー計算部１３４ｃにてエントロピーを判定し、重み演算部１３４ｄにおいて複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択しつつ合成して１枚の合成部分領域画像を作成し、さらに合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行うことで、１回の撮影で複数の露光条件の画像を同時に作成し、高速なダイナミックレンジ圧縮作業(ビット幅適合化）を実現し、画像全体の状況から最適な露光条件の画像を作成し、コントラストが高い状態を保ちつつ、撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力することが可能になる。

〈第２実施形態〉
第２実施形態の構成をを図４に示す。ここでは、図１と同一部には同一番号を付すことで、重複説明を省略する。ここで、図１と異なる部分として、平均値計算部１３４ｅを設け、画面全体の画像出力値の平均値を計算し、その平均値を第１実施例での複数露光画像作成部１３４ｂでのビットシフト時のシフト量に反映させる。

これにより、複数露光画像作成部１３４ｂにおいて、エントロピーの大きい、すなわち、情報量の多い状態で、複数の異なる露光条件の部分領域画像を作成することが可能になる。

すなわち、明るさの平均値が低い場合、すなわち、画面全体が暗い場合は、ビットシフトのシフト量を大きめに設定する。
また、平均値が高い場合、すなわち、画面全体が明るい場合は、ビットシフト値を低めに設定する。

明るさの平均値が10/255くらいのときは、画面全体が暗いので、複数露光画像作成部での複数露光画像数が３つだった場合、複数露光画像の倍率を32倍、16倍、8倍に設定する。このように設定すると、10近辺の値の画素間の出力差が大きく出力されるので、コントラストの大きい画像を作成することができる。

たとえば、2画素がそれぞれ12と8なら(32×12)-(32×8)=128、(16×12)-(16×8)=64、(8×12)-(8×8)=32 で、この倍率選択の場合、画素間の信号差で最大128というコントラストを得ることができる。

これが倍率が4倍、2倍、1倍だった場合は同様に計算して(4×12)-(4×8)=16、(2×12)-(2×8)=8、(1×12)-(1×8)=4で、画素間の信号差は最大16のコントラストしか得られない）。これは倍率を高くすれば信号値の差は大きくなるが、倍率を大きくしすぎると、オーバーフローしてしまい、画素間の信号値の差は出なくなってしまう。

例えば、4095と4090の画素値の場合、32倍、16倍、8倍では12bitの複数露光画像を作成するとした場合、全てオーバーフローしてしまい値は全て4095で差がでなくなってしまう。これを避けるために明るさの平均値で倍率を選択する。

この場合、平均値が高くなるので、倍率は4倍、2倍、1倍にすると、1倍以外はオーバーフローするが、1倍で画素間の信号差を発生することが可能になる。
以上のようにすることで、画像全体の状況から最適な露光条件の画像を作成し、コントラストが高い状態を保ちつつ、撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力することが可能になる。

〈第３実施形態〉
第３実施形態の回路構成を図５に示す。第２実施形態では画面全体の明るさの平均値を算出したが、この例ではヒストグラム計算部１３４ｆを設け、画面全体のヒストグラムを計算しておいて、このヒストグラムにより複数露光画像作成部１３４ｂでのビットシフト時のシフト量に反映させる。

すなわち、ヒストグラムの結果により、各画素の信号値が高い値にデータが集中していれば、倍率を低めに設定し、低い値にデータが集中していれば、倍率を高めに設定する。 これにより、複数露光画像作成部１３４ｂにおいて、エントロピーの大きい、すなわち、情報量の多い状態で、複数の異なる露光条件の部分領域画像を作成することが可能になる。

すなわち、以上のようにすることで、画像全体の状況から最適な露光条件の画像を作成し、コントラストが高い状態を保ちつつ、撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力することが可能になる。

〈その他の実施形態〉
以上の各実施形態における画像処理などの説明に用いられた数値は具体的説明を行うための一例であって、その数値に本願発明の実施形態が限定されるものではない。

また、撮像装置を具体例にして説明を行ってきたが、信号処理装置においても同様な動作により良好な作用効果を得ることができる。また、信号処理装置の場合には、撮像部と画像処理部とが近接して配置されている場合だけでなく、信号線やネットワークを介して離れた場所に配置されている場合も、本願発明の実施形態の一態様である。

本発明の第１実施形態の撮像装置の電気的な構成を示す機能ブロック図である。 本発明の実施形態の撮像装置のビットシフト処理の動作を示す説明図である。 本発明の実施形態の複数露光画像作成と選択・合成の様子を示す説明図である。 本発明の第２実施形態の撮像装置の電気的な構成を示す機能ブロック図である。 本発明の第３実施形態の撮像装置の電気的な構成を示す機能ブロック図である。

符号の説明

１００ 撮像装置
１０１ 制御部
１２０ 撮像部
１３０ 画像処理部
１３１ 黒木順補正部
１３２ ＷＢ制御部
１３３ 色補間部
１３４ ダイナミックレンジ圧縮部
１３４ａ ラインバッファ
１３４ｂ 複数露光画像作成部
１３４ｃ エントロピー計算部
１３４ｄ 重み演算部
１３４ｅ 演算部
１４０ 出力インタフェース部

Claims (12)

1. 撮像により所定のダイナミックレンジの画像情報を出力する撮像素子と、この撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を出力する撮像装置であって、
   前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部と、
   前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを判定し、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、
   を有することを特徴とする撮像装置。
2. 前記複数露光画像作成部は、ハードウェアによるビット操作によって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記複数露光画像作成部は、ハードウェアによるビットシフト処理によって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項１記載の撮像装置。
4. 前記複数露光画像作成部は、画像情報のコントラストを高くするように露光条件を設定して、１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
5. 前記複数露光画像作成部は、前記撮像素子から出力される画像情報の明るさに応じて露光条件を設定して、１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
6. 前記複数露光画像作成部は、画像情報のコントラストを高くするように露光条件を設定し、ハードウェアによるビットシフト処理によるビットシフト数を定め、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
7. 前記複数露光画像作成部は、前記撮像素子から出力される画像情報の明るさに応じて露光条件を設定して、ハードウェアによるビットシフト処理によるビットシフト数を定め、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
8. 前記複数露光画像作成部では、前記画像情報の明るさは、画像情報全体の平均値もしくはヒストグラムにより決定される、
   ことを特徴とする請求項５または請求項７に記載の撮像装置。
9. 撮像により所定のダイナミックレンジの画像情報を出力する撮像素子からの画像情報よりもダイナミックレンジの小さい画像情報を生成する信号処理装置であって、
   前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する複数露光画像作成部と、
   前記複数露光画像作成部により作成された複数の画像情報について、各画像を複数の部分領域に分け、前記複数の画像の各部分領域毎にエントロピーを判定し、前記複数の画像の中で各部分領域毎に最もエントロピーの大きい部分領域の画像を選択して１枚の合成部分領域画像を作成し、前記合成部分領域画像の継ぎ目部分を滑らかにするためのブレンド演算を行う演算部と、
   を有することを特徴とする信号処理装置。
10. 前記複数露光画像作成部は、ハードウェアによるビット操作としてのビットシフト処理によって、前記撮像素子から出力された１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
    ことを特徴とする請求項９記載の信号処理装置。
11. 前記複数露光画像作成部は、画像情報のコントラストを高くするように露光条件を設定し、または、前記撮像素子から出力される画像情報の明るさに応じて露光条件を設定して、１枚の画像の画像情報から、異なる露光条件で撮像された画像に相当する複数の画像情報を擬似的に作成する、
    ことを特徴とする請求項９または請求項１０に記載の信号処理装置。
12. 前記複数露光画像作成部では、前記画像情報の明るさは、画像情報全体の平均値もしくはヒストグラムにより決定される、
    ことを特徴とする請求項１１記載の信号処理装置。

Images