JP2005269373A

JP2005269373A - 映像信号処理システムおよび電子映像機器

Info

Publication number: JP2005269373A
Application number: JP2004080580A
Authority: JP
Inventors: Kenta Kadomitsu; 健太角光
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-03-19
Filing date: 2004-03-19
Publication date: 2005-09-29
Also published as: US20050206966A1; US7598990B2

Abstract

【課題】シェーディング補正を行いながら画像全域で一様な輪郭補正を行う映像信号処理システムおよび電子映像機器を提供する。
【解決手段】ノイズ低減フィルタ回路１４では、シェーディング補正に用いられるゲインｇ、すなわち画面中心からの距離に比例して変動する数値をノイズ低減フィルタ処理に用いる。これにより、シェーディング補正によるノイズのない画像中心部ではノイズ低減フィルタ処理も行われないので画質に悪影響がなく、逆に画像周辺部ではシェーディング補正のゲイン値が大きいため強調されたノイズに対してノイズ低減フィルタの効果も大きくなるので十分にノイズ除去が行われる。

【選択図】図６

Description

本発明は、映像信号処理システムおよび電子映像機器に関する。

画像の光学的中心（撮影光学系の光軸）から画面周辺部に向けて、図＠＠に示すように段階的に略同心円状に光量が低下する現象をシェーディング（周辺減光）と呼び、特にワイド画像においては周辺部の画像描写力が低下するため問題となる。

デジタルカメラ、デジタルビデオカメラなどの電子映像機器では、画像の光学的中心から周辺に向かって同心円状に次第に撮像素子（ＣＣＤ）の出力信号のゲインを上げることで周辺減光をキャンセルし、画面全体がほぼ同じ明るさになるように補正することができる。

しかし従来は画面の中央部に比べその周辺部のゲインを上げているため、画像周辺部のノイズのゲインまでも上がることになり、Ｓ／Ｎ（信号対雑音比）が悪くなる。画面周辺部におけるＳ／Ｎが悪くなると、その結果として画面全体の画質が低下する問題が新たに発生していた。

通常、デジタルカメラなどの電子映像機器では画像を鮮明に見せるために輪郭補正を行い画像の輪郭を強調しているが、前述のシェーディング補正、輪郭補正とも現画像に対してノイズが発生する。また強いシェーディング補正を行えば、その補正量に比例してノイズの発生量も増加してしまう。

シェーディング補正を行いながら、強いシェーディング補正が必要となる画像周辺部における輪郭補正量を抑えることで、画像周辺部のノイズを目立たなくするシェーディング補正装置が提案されている（例えば、特許文献１または特許文献２参照）。

しかし、シェーディング補正で発生するノイズと輪郭補正で発生するノイズは元来別次元のものであり、それぞれ適切に処理されることが望ましい。特に画像周辺部でノイズを低減させるために輪郭補正量を抑える上記の方法では、画像周辺部の鮮鋭さが低下するため結果として画質の低下を招いてしまう。
特開２００１−３３９７３６号公報特開２００１−１６７２６３号公報

本発明は上記事実を考慮し、シェーディング補正を行いながら画像全域で一様な輪郭補正を行う映像信号処理システムおよび電子映像機器を提供することを課題とする。

請求項１に記載の映像信号処理システムは、レンズシェーディング補正回路と、ノイズ低減フィルタと、を備え、前記ノイズ低減フィルタにて使用されるパラメータを前記レンズシェーディング補正回路における補正量に応じて動的に変化させることを特徴とする。

上記構成の発明では、画像中心からの距離で決まるシェーディング補正量に応じてノイズ低減フィルタの係数が決定されるため、画像周辺部のノイズを効果的に低減できる。

請求項２に記載の電子映像機器は、請求項１に記載の映像信号処理システムを搭載したことを特徴とする。

以上説明したように、本発明によれば、シェーディング補正を行いながら画像全域で一様な輪郭補正を行う映像信号処理システムおよび電子映像機器とできる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の外観上の構成を説明する。

デジタルカメラ１０の正面には、被写体像を結像させるためのレンズ２１と、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、撮影する被写体の構図を決定するために用いられるファインダ２０と、が備えられている。また、デジタルカメラ１０の上面には、撮影を実行する際に押圧操作されるレリーズボタン（所謂シャッター）５６Ａと、電源スイッチ５６Ｂと、が備えられている。

一方、デジタルカメラ１０の背面には、前述のファインダ２０の接眼部と、撮影された被写体像やメニュー画面等を表示するための液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、撮影を行うモードである撮影モード及び被写体像をＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定する際にスライド操作されるモード切替スイッチ５６Ｃと、が備えられている。

また、デジタルカメラ１０の背面には、十字カーソルボタン５６Ｄと、撮影時にストロボ４４を強制的に発光させるモードである強制発光モードを設定する際に押圧操作される強制発光スイッチ５６Ｅと、が更に備えられている。

なお、十字カーソルボタン５６Ｄは、ＬＣＤ３８の表示領域における上・下・左・右の４方向の移動方向を示す４つの矢印キー及び当該４つの矢印キーの中央部に位置された決定キーの合計５つのキーを含んで構成されている。

次に、図２を参照して、本実施の形態に係るデジタルカメラ１０の電気系の構成を説明する。

デジタルカメラ１０は、前述のレンズ２１を含んで構成された光学ユニット２２と、レンズ２１の光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。

また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。

ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、デジタルカメラ１０は、被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。

更に、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。

なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてＶＲＡＭ（Video RAM）が用いられ、メモリカード５２としてスマートメディア（Smart Media(R)）が用いられている。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８及びメモリカード５２へのメモリインタフェース４６及び外部メモリインタフェース５０を介したアクセスを各々行うことができる。

一方、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係るレンズ２１は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

更に、前述のレリーズボタン５６Ａ、電源スイッチ５６Ｂ、モード切替スイッチ５６Ｃ、十字カーソルボタン５６Ｄ、及び強制発光スイッチ５６Ｅ（同図では、「操作部５６」と総称。）はＣＰＵ４０に接続されており、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

次に、本実施の形態に係るデジタルカメラ１０の撮影時における全体的な動作について簡単に説明する。

まず、ＣＣＤ２４は、光学ユニット２２を介した撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。アナログ信号処理部２６は、ＣＣＤ２４から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。

ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々１２ビットのＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ４８の所定領域に直接格納する。

メモリ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理及びシャープネス処理を行なって８ビットのデジタル画像データを生成する。

そして、デジタル信号処理部３０は、生成した８ビットのデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ４８の上記所定領域とは異なる領域に格納する。

なお、ＬＣＤ３８は、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）を表示してファインダとして使用することができるものとして構成されており、ＬＣＤ３８をファインダとして使用する場合には、生成したＹＣ信号を、ＬＣＤインタフェース３６を介して順次ＬＣＤ３８に出力する。これによってＬＣＤ３８にスルー画像が表示されることになる。

ここで、レリーズボタン５６Ａがユーザによって半押し状態とされた場合、前述のようにＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態とされた場合、この時点でメモリ４８に格納されているＹＣ信号を、圧縮・伸張処理回路５４によって所定の圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮した後に外部メモリインタフェース５０を介してメモリカード５２に記録する。

次に、本実施の形態に係るデジタルカメラ１０のシェーディング補正とノイズ低減、輪郭補正の構成について説明する。

図３に示すように、デジタルカメラ１０はＡＤＣ２８から伝達された画像データ（RAWデータ：ＲＧＢ）に対して、シェーディング補正回路１２にて後述するシェーディング補正処理を行う。これにより周辺減光を補正された画像データはノイズ低減フィルタ回路１４にて後述するノイズ除去を行う。このときノイズ低減フィルタ回路１４で用いるパラメータはシェーディング補正回路１２にてシェーディング補正に用いられたゲインｇに反比例して変化する。

すなわち、本実施形態も含めて撮影用レンズには図４に示すようなシェーディング（周辺減光）が存在する。画像中心（光軸）から画像の周辺部へ行くに従って光量が低下し、結果として画像の四隅が暗くなるものであり、特にワイドレンズで撮影した広角画面においてその影響は顕著なものとなる。さらにデジタルカメラに多く用いられるＣＣＤには光の入射角度によって感度が異なる、つまり光軸から離れ画面周辺へ近づくほど感度が落ちる性質があり、上記の周辺減光と併せて画像の光量ムラを更に増大させている。

そこでデジタルカメラ１０ではシェーディング補正回路１２を設け、図５に示すようにＡＤＣ２８から伝達された画像データに対してレンズ中心からの距離ｒに比例したゲインｇを乗算する。これによって、シェーディングのために暗くなった画像周辺部を明るく補正することができるので、画面全域にわたって均一な明るさの画像とすることができる。

しかし、上記の方法で画像周辺部の画像信号に対してゲインｇを乗算すると画像周辺部ではノイズにまでゲインｇが乗算されることになり、ノイズが強調される結果、画像周辺部のノイズが目立ってしまうという欠点がある。これに対して従来は画像全体で一様に効果のあるノイズフィルタを使用してきたが、ノイズの強度が画像中心部と画像周辺部で異なるため、効果的なノイズ除去が行えなかった。

つまり画像周辺部ほどゲインｇが大きくノイズが目立つ反面、画像中心部はシェーディング補正がなされないためノイズは強調されないことになり、画面全体に一様な効果を持つノイズ低減フィルタを用いると、画像中心部ではノイズがないにも関わらずフラット処理が行われるので細かい画線が潰れやすく、逆に画像周辺部ではシェーディング補正のゲイン値が大きいため強調されたノイズに対してノイズ低減フィルタの効果が足りないといった事態になる。

そこで本発明で用いられるノイズ低減フィルタ回路１４では、シェーディング補正に用いられるゲインｇ、すなわち画面中心からの距離に比例して変動する数値をノイズ低減フィルタ処理に用いる。これにより、シェーディング補正によるノイズのない画像中心部ではノイズ低減フィルタ処理も行われないので画質に悪影響がなく、逆に画像周辺部ではシェーディング補正のゲイン値が大きいため強調されたノイズに対してノイズ低減フィルタの効果も大きくなるので十分にノイズ除去が行われる。

図６には本発明の第１実施形態に係るデジタルカメラ１０のノイズ低減フィルタの例が示されている。

図６に示されているのは、空間周波数の低いゆったりとした濃度変化には影響せず、空間周波数の高い（１ドットのみ突出しているような）濃度変化に対してフィルタリングを行う、所謂ローパスフィルタであり３×３ピクセルの二次元フィルタを例として挙げる。

図６（ａ）はフィルタ効果のない場合であり、信号強度１のピクセルはそのまま周囲の８ピクセルとも変化なく出力される。（本実施形態に用いられるノイズ低減フィルタ回路１４においては、画像中心部での処理がこの状態に相当する。）
図６（ｂ）はフィルタ効果が最大の場合であり、中央のピクセルは画像としては消失し、９ピクセルの範囲で完全にフラットな濃度となる。

図６（ｃ）は本実施例で用いるノイズ低減フィルタ回路１４において用いられる係数ａと３×３ピクセルの信号強度を表している。シェーディング補正回路１２において画像信号に加算されるゲインｇに反比例する係数ａを用いてノイズ低減処理を行うことで、シェーディング補正によるノイズのない画像中心部ではノイズ低減フィルタ処理も行われないので画質に悪影響がなく、逆に画像周辺部ではシェーディング補正のゲイン値が大きいため強調されたノイズに対してノイズ低減フィルタの効果も大きくなるので十分にノイズ除去が行われる。

具体的には係数をａとすれば元の１ピクセル（信号強度１）を
ａ／（ａ＋８）、周囲の８ピクセルをそれぞれ
１／（ａ＋８）とすることで、シェーディング補正回路１２において画像信号に加算されるゲインｇに反比例する係数ａから、画像中心からの距離に応じて（＝シェーディング補正ゲインｇに応じて）効果が変化するノイズ低減フィルタ回路とすることができる。

例えば画像中心部ではゲインｇは０でありａは∞となるので、周囲８ピクセルは
１／∞すなわち０，中央の１ピクセルは
∞／∞で１となり図６（ａ）と同様の値になる。つまりシェーディング補正によるノイズ増加はないのでフィルタによるノイズ低減処理が全く行われず、輪郭線などが損なわれることもない。

図６（ｄ）のようにａが２と小さい、すなわち画像周辺に近くシェーディング補正ゲインｇが大きい場合のフィルタ効果では周囲の８ピクセルは
１／１０、中央の１ピクセルは
２／１０となり、処理前の１／５の数値となる。周囲８ピクセルの２倍の信号強度となるので、ノイズは周囲８ピクセルに埋もれて目立たなくなる。

図６（ｅ）のようにａが７と大きい、すなわち画像中央に近くシェーディング補正ゲインｇが小さい場合のフィルタ効果では周囲の８ピクセルは
１／１５、中央の１ピクセルは
７／１５となり処理前の略半分の数値となる。周囲８ピクセルの７倍の信号強度となるので、輪郭線が周囲８ピクセルに埋もれて目立たなくなる事態を避けることができる。

上記のノイズ補正フィルタは一つの例であって、他の方式の補正フィルタであっても、ノイズを効果的に除去できるものであれば代用可能であり、特にこれに限定されるものではない。

また、ズームレンズや焦点距離切替レンズを使用、あるいはレンズ交換可能な一眼レフ方式などのデジタルカメラにおいては、図４に示したシェーディング特性は一定ではなく、その時点で使用しているレンズ及びその焦点距離によって決定されるので、各々の条件に応じたゲイン値ｇの算出を行う必要がある。デジタルカメラ１０内部のＲＯＭにゲイン値ｇの算出用テーブルをレンズ及びその焦点距離ごとに記録しておき、ゲイン値ｇの算出に用いるようにしてもよい。

上記のシェーディング補正およびノイズ除去とは独立して、輪郭補正処理回路１６にて画像の輪郭補正を行う。これは画像内の被写体の輪郭線を検出すると強調処理を行い、コントラストを強調することで被写体の輪郭線を目立たせ、目視上の鮮鋭度を向上させる操作である。このとき輪郭線を形成する画素に特定の値のゲインを乗算するが、輪郭強調処理は画面全体で均一に行われるので、ここで用いられるゲイン値は画像全体に対して一様な値が用いられる。

図７には本発明の第１実施形態に係るデジタルカメラ１０の輪郭補正処理回路の例が示されている。

図７に示すように輪郭補正処理回路１６はフィルタ１８を備え、入力画像データＤ0から被写体の輪郭線を検出して強調し、目視上の鮮鋭さを向上させている。すなわち、強度１の信号１ピクセルにフィルタ１８によるフィルタ処理が行われることによって、元の１ピクセルを４、上下左右の周囲１ピクセルを−１として、被写体の輪郭線が存在するならばエッジを強調してシャープな画像Ｄ1とすることができる。

このフィルタ１８によってエッジを強調された画像信号Ｄ1にはゲイン値ｇ’が乗算されＤ2となる。このゲイン値ｇ’は前述のシェーディング補正ゲインｇとは異なり、画像全体に対して一様な値が用いられる。そのため、画像全体に対して一様な強度をもつフィルタとなり、これにより顕在化するノイズも画面全体で一様なものとなり、ノイズ低減処理を行う場合でも画面全体で一様な処理を行うことができる点がシェーディング補正のゲイン値のために強調されたノイズとは異なっている。本発明においてはこの２種類のノイズを分離し、シェーディング補正によるノイズ補正にはノイズの分布に応じたフィルタを用いることで効果的なノイズ補正を行うことができる。

本発明は上記実施例以外にもデジタルビデオカメラ、デジタルカメラ付携帯電話などデジタル撮影機能を備えた各種機器に応用することができる。

図１は、実施形態１に係るデジタルカメラの外観を示す図である。図２は、実施形態１に係るデジタルカメラの構成を示すブロック図である。図３は、実施形態１に係るデジタルカメラの構成を示すブロック図である。図４は、実施形態１に係るレンズシェーディングを示す図である。図５は、実施形態１に係るシェーディング補正を示す図である。図６は、実施形態１に係るノイズ低減フィルタの効果を示す図である。図７は、実施形態１に係る輪郭補正処理回路の効果を示す図である。

符号の説明

１０デジタルカメラ
１２シェーディング補正回路
１４ノイズ低減フィルタ回路
１６輪郭補正処理回路
１８輪郭補正フィルタ

Claims

レンズシェーディング補正回路と、
ノイズ低減フィルタと、を備え、
前記ノイズ低減フィルタにて使用されるパラメータを前記レンズシェーディング補正回路における補正量に応じて動的に変化させることを特徴とする映像信号処理システム。
請求項１に記載の映像信号処理システムを搭載した電子映像機器。