JP2006157450A

JP2006157450A - 撮像装置及び画像処理方法

Info

Publication number: JP2006157450A
Application number: JP2004344793A
Authority: JP
Inventors: Takashi Tsuchiya; 隆史土屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-11-29
Filing date: 2004-11-29
Publication date: 2006-06-15
Also published as: CN1819623B; US7590285B2; CN1819623A; KR20060059797A; US20060115151A1

Abstract

【課題】光学ハーフＮＤフィルタに相当する機能を電気的に実現し、その機能を撮像信号の処理系に持たせることで、効果的かつ柔軟に画像のダイナミックレンジを圧縮できるようにする。
【解決手段】被写体を撮像して得られた画像信号Ｒin，Ｇin，Ｂinにパターン発生部３１により発生される２次元のグラデーションパターンに応じたゲイン係数R_GAIN，G_GAIN，B_GAINを乗算器３２Ｒ，３２Ｇ，３２Ｂで乗じることにより、上記画像信号により示される画像の明暗差を低減させる。
【選択図】図２

Description

本発明は、画像のダイナミックレンジを圧縮する機能を有する撮像装置及び画像処理方法に関する。

一般に、撮像装置では、画像のダイナミックレンジを圧縮して画像の明暗差を低減させるようにしている。

このようなダイナミックレンジを圧縮する処理としては、画像全体の階調を補正する方法と、画像の低周波数成分についてのみ階調を補正する方法とがあり、前者においては、ガンマ補正、ニー補正、さらにはいわゆるヒストグラム等価等により階調を補正してダイナミックレンジを圧縮するようになされている。これに対して後者においては、ガンマ補正、ニー補正等によりダイナミックレンジを圧縮するようになされている。

ダイナミックレンジを圧縮する必要のある画像というのは、多くの場合、被写体に２つ以上の照明が当たっており、それらの照明間に極端な強度差があるケースである。このような場合でも画像のダイナミックレンジを効果的に圧縮する手法として、画像のエッジ部分は保存したまま、エッジ以外の部分を平滑化し、その平滑化されたレベルに応じてダイナミックレンジの圧縮比を決め、その比に応じて画像全体のダイナミックレンジを圧縮する手法がある（例えば、特許文献１参照）。

この手法では、平滑化された画像を制御信号としているため、画像の細かい振幅成分は圧縮されずに保たれ、視認性の良いダイナミックレンジ圧縮画像を得ることができる。

特開２００１−２７５０１５号公報

ところで、画像のハイライト部分等をニー補正やヒストグラム等価で圧縮する、いわゆる階調変換による手法では、圧縮されるハイライト部やヒストグラムの少ない輝度域においては、ダイナミックレンジが圧縮されると同時に、被写体のコントラストも低下してしまうという欠点があった。また、このような階調変換による手法は、画素の輝度情報のみに依存しているため、画像内の２次元的な輝度の分布状況に応じて階調を圧縮することはできなかった。

一方、画像を撮影する際にハイライト部になりやすい領域には、例えば画面上部に空が写っている場合や、画面の一部が建物の陰になっている場合など、画面上の明暗の位置のパターンがあらかじめ定まっており、さらにその位置があまり変化しないという場合がある。このような場合に画像の明暗差を補正する有効な手段として、面の半分だけがＮＤフィルタとなっている光学ハーフＮＤフィルタをレンズの前あるいは後ろに装着し、ＮＤの部分を空や日が当たっている部分に重なるように回転させて位置を調整するという方法があるが、この方法では撮影中にフィルタの装着や回転などの煩雑な操作が必要になるという欠点や、減衰パターンの形状と減衰率がフィルタごとにあらかじめ作り込まれているために、撮影中にハイライト部の明るさやパターンが変化した場合に対応できないという欠点があった。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、光学ハーフＮＤフィルタに相当する機能を電気的に実現し、その機能を撮像信号の処理系に持たせることで、効果的かつ柔軟に画像のダイナミックレンジを圧縮できるようにする。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明に係る撮像装置は、撮像手段と、２次元のグラデーションパターンを発生するパターン発生手段と、上記撮像手段により被写体を撮像して得られた画像信号に上記パターン発生手段により発生される２次元のグラデーションパターンに応じたゲインを乗じる乗算手段とを備えることを特徴とする。

本発明に係る撮像装置では、例えば、上記パターン発生手段で発生する２次元のグラデーションパターンのグラデーション変化率を変更可能とすることができる。

また、本発明に係る撮像装置では、例えば、上記パターン発生手段で発生する２次元のグラデーションパターンを変更可能とすることができる。

本発明に係る画像処理方法は、被写体を撮像して得られた画像信号に２次元のグラデーションパターンに応じたゲインを乗じることにより、上記画像信号により示される画像の明暗差を低減させることを特徴とする。

本発明に係る撮像装置は、カラー撮像手段と、２次元のグラデーションパターンを発生するパターン発生手段と、上記カラー撮像手段により被写体を撮像して得られたカラー画像信号の各色信号に上記パターン発生手段により発生される２次元のグラデーションパターンに応じたゲインを乗じる乗算手段とを備えることを特徴とする。

本発明に係る画像処理方法は、被写体を撮像して得られたカラー画像信号の各色信号にそれぞれ２次元のグラデーションパターンに応じたゲインを乗じることにより、上記カラー画像信号により示される画像のホワイトバランスを変化させることを特徴とする。

本発明によれば、画像中の明暗のパターンが一定している場合等に、効果的に明暗差が圧縮された、視認性の良い画像を得ることができる。また、フィルタの装着や回転などの機械的な操作をせずに、ダイナミックレンジの圧縮パターンや圧縮率を変更することができる。さらに、画面上部の空をより青くするなど、特定パターン形状に従って画像のホワイトバランスを変更することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１００に適用される。

この撮像装置１００は、ＣＣＤ（Charge Coupled Device ）イメージセンサ等の固体撮像素子により被写体を撮像する撮像部１０、この撮像部１０により撮像出力信号として得られた画像信号が供給される補正処理部２０、この補正処理部２０によりシェーディング成分などの補正処理が施された画像信号が供給されるダイナミックレンジ圧縮処理部３０、このダイナミックレンジ圧縮処理部３０によりダイナミックレンジが圧縮された画像信号が供給されるカメラ信号処理部４０、このカメラ信号処理部４０によりガンマ補正などのカメラ信号処理を施した画像信号をＶＴＲ等の記録系や表示系５０等に供給するようになっている。

上記ダイナミックレンジ圧縮処理部３０は、その具体的な構成例を図２のブロック図に示すように、２次元のグラデーションパターンを発生するパターン発生部３１と、上記補正処理部２０から供給される入力画像信号Ｒin，Ｇin，Ｂinに上記パターン発生部３１により発生される２次元のグラデーションパターンに応じたゲイン係数R_GAIN，G_GAIN，B_GAINを乗じる乗算器３２Ｒ，３２Ｇ，３２Ｂとからなる。

ここで、上記パターン発生部３１は、固定パターン発生部３１Ａとゲイン変換部３１Ｂからなり、固定パターン発生部３１Ａにおいて、例えば図３のような２次元的な固定パターンを発生し、後段のゲイン変換部３１Ｂにて、その固定パターンのレベルを例えば固定パターンの白い部分は×１．０、黒い部分は×０．５などのゲイン係数R_GAIN，G_GAIN，B_GAINに変換して出力する。

上記固定パターン発生部３１Ａは、例えば図４に示すように、Ｈグラデーションパターン生成部３１１、Ｖグラデーションパターン生成部３１２、ＨグラデーションパターンとＶグラデーションパターンのミックス部３１３、出力セレクタ３１４からなる。

Ｈグラデーションパターン生成部３１１は、水平方向の１次元グラデーションパターンを生成するモジュールであって、水平方向のグラデーションデータを保持するメモリ３１１Ａと、上記メモリ３１１Ａのアドレスを発生して該メモリ３１１Ａから読み出したデータからグラデーションのレベルを算出して出力するラインパターン発生器３１１Ｂからなる。ここで、グラデーションパターンは３２本の折れ線によって作成しており、メモリ３１１Ａには各折れ線の傾きと切片のデータが保持されている。

また、Ｖグラデーションパターン生成部３１２は、垂直平方向の１次元グラデーションパターンを生成するモジュールであって、垂直方向のグラデーションデータを保持するメモリ３１２Ａと、上記メモリ３１２Ａのアドレスを発生して該メモリ３１２Ａから読み出したデータからグラデーションのレベルを算出して出力するラインパターン発生器３１２Ｂからなる。ここで、グラデーションパターンは３２本の折れ線によって作成しており、メモリ３１１Ａには各折れ線の傾きと切片のデータが保持されている。

ここで、上記Ｈグラデーションパターン生成部３１１及びＶグラデーションパターン生成部３１２は、各ラインパターン発生器３１１Ｂ，３１２Ｂに与えるＨ，Ｖそれぞれのグラデーションパターンの変化率の設定データh_grad_count_step／v_grad_count_stepを変えることで、図５の（Ａ），（Ｂ），（Ｃ）に示すように、各メモリ３１１Ａ，３１２Ａの中身を書き換えずにグラデーションを急峻にしたり、緩やかにしたりすることができる。

また、上記Ｈグラデーションパターン生成部３１１及びＶグラデーションパターン生成部３１２は、各ラインパターン発生器３１１Ｂ，３１２に与えるオフセットデータh_grad_offset／v_grad_offsetによって、Ｈ，Ｖそれぞれのグラデーションパターンのオフセット位置を設定することができる。ここで設定した画素数分だけ、パターンが左右（Ｈ）または上下（Ｖ）に平行移動する。

また、上記Ｈグラデーションパターン生成部３１１及びＶグラデーションパターン生成部３１２は、各ラインパターン発生器３１１Ｂ，３１２Ｂに与える回転パラメータh_grad_rotate／v_grad_rotateによって、Ｈ，Ｖそれぞれのグラデーションパターンの回転量を設定することができる。実際には回転させているわけではなく、ラインごとに各メモリ３１１Ａ，３１２Ａの読み出し開始位置をずらして、徐々にオフセットを変えている。そのラインごとのオフセット量を、このパラメータで設定する。

この回転パラメータと、上記オフセットの設定、下記のパターンの反転を組み合わせると、各メモリ３１１Ａ，３１２Ａを書き換えずにグラデーションパターンを３６０°回転させることができる。

さらに、上記Ｈグラデーションパターン生成部３１１及びＶグラデーションパターン生成部３１２は、各ラインパターン発生器３１１Ａ，３１２Ａに与える反転パラメータh_grad_inv／v_grad_invによって、Ｈ，Ｖそれぞれのグラデーションパターンの白／黒レベルを反転することができる。Ｈのグラデーションを反転させると出力パターンは左右に反転し、Ｖのグラデーションを反転させると上下に反転する。

また、ミックス部３１３は、ＨのグラデーションパターンとＶのグラデーションパターンをミックスして出力するモジュールであって、上記Ｈグラデーションパターン生成部３１１により生成されたＨのグラデーションパターンと上記Ｖグラデーションパターン生成部３１２により生成されたＶのグラデーションパターンが供給される加算器３１３Ａ及び乗算器３１３Ｂと、上記加算器３１３Ａの出力の平均値を算出する除算器３１３Ｃからなる。

さらに、出力セレクタ３１４は、選択データgrad_hv_selに応じてＨとＶのグラデーションをミックスするパターンを選択するモジュールであって、ミックス部３１３を介して供給される図６の（Ａ），（Ｂ），（Ｃ），（Ｃ）に示すようなＨのグラデーションパターン、Ｖのグラデーションパターン、(Ｈ＋Ｖ) /２のグラデーションパターン、Ｈ×Ｖのグラデーションパターンを選択して出力することができる。

そして、上記ゲイン変換部３１Ｂでは、上記固定パターン発生部３１Ａから供給される固定パターンGRAD_PATTERNをＲ，Ｇ，Ｂそれぞれ個別のゲイン係数R_GAIN，G_GAIN，B_GAINに変換する。例えばＲに対しては、固定パターンGRAD_PATTERNの白に相当する部分がR_GRAD_ND_HIに、黒に相当する部分がR_GRAD_ND_LOに変換され、それがゲイン係数R_GAIN，G_GAIN，B_GAINとし、固定パターンの白と黒の中間のレベルの信号は、R_GRAD_ND_HIとR_GRAD_ND_LOとを固定パターンのレベルに応じてαブレンドして出力される。

また、ゲイン変換部３１Ｂでは、グラデーションパターンによるＲＧＢのチャンネルごとの減衰率を設定する。

上記乗算器３２Ｒ，３２Ｇ，３２Ｂは、上記補正処理部２０から供給される入力画像信号Ｒin，Ｇin，Ｂinに上記パターン発生部３１により発生される２次元のグラデーションパターンに応じたゲイン係数R_GAIN，G_GAIN，B_GAINを乗じることにより、画像のダイナミックレンジを圧縮する。

この撮像装置１０において、上記ダイナミックレンジ圧縮処理部３０は、上記撮像部１０により被写体を撮像して得られた画像信号Ｒin，Ｇin，Ｂinに上記パターン発生部３１により発生される２次元のグラデーションパターンに応じたゲイン係数R_GAIN，G_GAIN，B_GAINを乗算器３２Ｒ，３２Ｇ，３２Ｂで乗じることにより、上記乗算器３２Ｒ，３２Ｇ，３２Ｂによる乗算出力として得られる画像信号Ｒout，Ｇout，Ｂoutにより示される画像の明暗差を低減させることができ、光学的なＮＤフィルタの機能を電気的な処理により実現している。

上記ダイナミックレンジ圧縮処理部３０は、上記パターン発生部３１で発生する２次元のグラデーションパターンのグラデーション変化率を変更可能としたり、２次元のグラデーションパターンを変更可能とすることにより、画像内の２次元的な輝度の分布状況に応じて階調を圧縮することができる。

また、上記ダイナミックレンジ圧縮処理部３０は、ゲイン変換部３１Ｂにおいて、画像信号Ｒin，Ｇin，ＢinのＲ用、Ｇ用、Ｂ用でそれぞれ別の値に変換することにより、固定パターン発生部３１Ａにて発生した固定パターンに応じて画像のホワイトバランスを調整することもできる。

これにより、例えば画面上部の空の部分で、Ｒ及びＧのみゲインが下がるように設定すれば、空の青を強調することができる。

勿論、上記ホワイトバランスを調整する機能を有するダイナミックレンジ圧縮処理部３０は、図７に示すように、Ｒ，Ｇ，Ｂそれぞれに対して固定パターン発生部３１Ａｒ，３１Ａｇ，３１Ａｂ及びゲイン変換部３１Ｂｒ，３１Ｂｇ，３１Ｂｂを設けるようにしても実現できる。この場合は、回路規模が図２に示したものより大きくなるものの、Ｒ，Ｇ，Ｂそれぞれ個別にパターンを発生させることができるため、より柔軟に画像のホワイトバランスを調整することが可能になる。

本発明を適用した撮像装置の構成を示すブロック図である。上記撮像装置におけるダイナミックレンジ圧縮処理部の構成を示すブロック図である。上記ダイナミックレンジ圧縮処理部の固定パターン発生部で発生するパターンをを示す図である。上記ダイナミックレンジ圧縮処理部を構成している固定パターン発生部の構成を示すブロック図である。上記固定パターン発生部により発生されるグラデーションパターンの変化状態を模式的に示す図である。上記固定パターン発生部から選択的に出力されるグラデーションパターンを模式的に示す図である。上記ダイナミックレンジ圧縮処理部の他の構成例を示すブロック図である。

符号の説明

１０撮像部、２０補正処理部、３０ダイナミックレンジ圧縮処理部、３１パターン発生部、３１Ａ，３１Ａｒ，３１Ａｇ，３１Ａｂ固定パターン発生部、３１Ｂ，３１Ｂｒ，３１Ｂｇ，３１Ｂｂゲイン変換部、３２Ｒ，３２Ｇ，３２Ｂ乗算器、４０カメラ信号処理部、５０記録系や表示系、３１１Ｈグラデーションパターン生成部、３１１Ａ，３１２Ａメモリ、３１１Ｂ，３１２Ｂラインパターン発生器、３１２Ｖグラデーションパターン生成部、３１３ミックス部、３１３Ａ加算器、３１３Ｂ乗算器、３１３Ｃ除算器、３１４出力セレクタ、１００撮像装置

Claims

撮像手段と、
２次元のグラデーションパターンを発生するパターン発生手段と、
上記撮像手段により被写体を撮像して得られた画像信号に上記パターン発生手段により発生される２次元のグラデーションパターンに応じたゲインを乗じる乗算手段とを備えることを特徴とする撮像装置。
上記パターン発生手段で発生する２次元のグラデーションパターンのグラデーション変化率を変更可能としたことを特徴とする請求項１記載の撮像装置。
上記パターン発生手段で発生する２次元のグラデーションパターンを変更可能としたことを特徴とする請求項１記載の撮像装置。
被写体を撮像して得られた画像信号に２次元のグラデーションパターンに応じたゲインを乗じることにより、上記画像信号により示される画像の明暗差を低減させることを特徴とする画像処理方法。
カラー撮像手段と、
２次元のグラデーションパターンを発生するパターン発生手段と、
上記カラー撮像手段により被写体を撮像して得られたカラー画像信号の各色信号に上記パターン発生手段により発生される２次元のグラデーションパターンに応じたゲインを乗じる乗算手段とを備えることを特徴とする撮像装置。
被写体を撮像して得られたカラー画像信号の各色信号にそれぞれ２次元のグラデーションパターンに応じたゲインを乗じることにより、上記カラー画像信号により示される画像のホワイトバランスを変化させることを特徴とする画像処理方法。