JP2005130297A - 信号処理システム、信号処理方法、信号処理プログラム - Google Patents

Abstract

【課題】エッジ強調処理を、適切かつ効果的に行うことができる信号処理システム等をを提供する。
【解決手段】 ＣＣＤ２により撮像され前処理部３によりデジタル化された映像信号から、ノイズ量または撮影シーンを特徴量として推定する推定部５と、上記映像信号に係る画像のエッジ成分を抽出するエッジ抽出部６と、上記特徴量と上記エッジ成分とに基づいて該エッジ成分を補正するための補正係数を算出する補正係数算出部７と、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調部８と、を備えた信号処理システム。
【選択図】図１

Description

本発明は、デジタル化された映像信号を信号処理するための信号処理システム、信号処理方法、信号処理プログラムに関する。

本発明は、

従来より、画像の輪郭などを際立たせるエッジ強調処理が行われており、このエッジ強調処理としては、例えば、供給された映像信号に対して微分演算を施すことによる手段が用いられている。

しかし、多くの場合、映像信号にはノイズ成分が含まれているために、上述したような微分演算を用いたエッジ強調処理を行うと、ノイズ成分も強調されてしまうという課題が発生していた。

このような課題に対応する技術として、例えば特開昭５８−２２２３８３号公報には、エッジ抽出を行う前に平滑化演算を行うことによって入力画像に含まれるノイズを除去し、その後にエッジ強調処理を行う例が記載されている。

一方、上述したような微分演算によってエッジ強調処理を行う手段は、入力画像に含まれる被写体がどのような対象の被写体であるかを認識するものではないために、該被写体に応じた効果的なエッジ強調を行うことができるものとはなっていなかった。

これに対して、例えば特開平９−２７０００５号公報には、入力画像の明るさに応じて領域を分割し、その領域のエッジを適切に強調する処理が記載されており、明るさによる被写体の分類は行われていた。
特開昭５８−２２２３８３号公報 特開平９−２７０００５号公報

しかしながら、上記特開昭５８−２２２３８３号公報に記載されたようなエッジ抽出の前に平滑化演算を行う手段では、本来エッジである部分も平滑化されてぼやけてしまうために、エッジ強調を十分に効果的に行うことができるとはいえなかった。

また、上記特開平９−２７０００５号公報に記載されたような明るさに応じて領域を分割する手段では、例えば人の肌、空、植物といった特定色に対応する被写体を認識することができないために、エッジ強調を被写体に応じて適切に行うには不十分であった。

本発明は上記事情に鑑みてなされたものであり、エッジ強調処理を、適切かつ効果的に行うことができる信号処理システム、信号処理方法、信号処理プログラムを提供することを目的としている。

上記の目的を達成するために、第１の発明による信号処理システムは、デジタル化された映像信号に対して信号処理を行う信号処理システムであって、上記映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段と、上記映像信号に係る画像のエッジ成分を該映像信号から抽出するエッジ抽出手段と、上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段と、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段と、を具備したものである。

また、第２の発明による信号処理システムは、上記第１の発明による信号処理システムにおいて、上記特徴量に基づいて上記エッジ抽出手段と上記エッジ強調手段との少なくとも一方を制御するエッジ制御手段をさらに具備したものである。

さらに、第３の発明による信号処理システムは、上記第２の発明による信号処理システムにおいて、上記推定手段が、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、上記エッジ制御手段は、該ノイズ量に基づいて上記エッジ抽出手段の動作を停止させるように制御するものである。

第４の発明による信号処理システムは、上記第２の発明による信号処理システムにおいて、上記エッジ抽出手段が、所定サイズの画素配列に対応して係数を配列してなるフィルタを用いて上記映像信号からエッジ成分を抽出するものであり、上記エッジ制御手段は、上記フィルタのサイズと係数との少なくとも一方を切り換えさせるように該エッジ抽出手段を制御するものである。

第５の発明による信号処理システムは、上記第１の発明による信号処理システムにおいて、上記推定手段が、上記映像信号中の特徴量に基づいて該映像信号に係る画像を複数の領域に分割する画像分割手段を有して構成されたものであり、上記補正係数算出手段は、上記画像分割手段により分割された領域毎に補正係数を算出するものであり、上記エッジ強調手段は、該画像分割手段により分割された領域毎に映像信号に対するエッジ強調処理を行うものである。

第６の発明による信号処理システムは、上記第５の発明による信号処理システムにおいて、上記画像分割手段が、上記特徴量として各画素の色を用い該色に基づいて上記映像信号に係る画像を複数の領域に分割するものである。

第７の発明による信号処理システムは、上記第１の発明による信号処理システムにおいて、上記推定手段が、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、上記補正係数算出手段は、該ノイズ量に基づいて上記エッジ成分に対する補正係数を算出するものである。

第８の発明による信号処理システムは、上記第７の発明による信号処理システムにおいて、上記ノイズ推定手段が、上記映像信号から所定サイズの領域を抽出する画像領域抽出手段と、上記領域内の平均輝度値を算出する平均輝度算出手段と、上記映像信号に係る画像に対する増幅率を算出する増幅率算出手段と、上記平均輝度値と上記増幅率とに基づいてノイズ量を算出するノイズ算出手段と、を有して構成されたものである。

第９の発明による信号処理システムは、上記第８の発明による信号処理システムにおいて、上記ノイズ算出手段が、上記平均輝度値と上記増幅率とに係る所定の関数式に基づいてノイズ量を算出するものである。

第１０の発明による信号処理システムは、上記第８の発明による信号処理システムにおいて、上記ノイズ算出手段が、上記平均輝度値と上記増幅率とに係る所定のテーブルに基づいてノイズ量を算出するものである。

第１１の発明による信号処理システムは、上記第７の発明による信号処理システムにおいて、上記エッジ強調手段が、入力エッジ成分を０に置換して出力エッジ成分とするコアリング処理を行うものであり、上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を上記ノイズ量に基づいて設定するためのコアリング調整手段を有して構成されたものである。

第１２の発明による信号処理システムは、上記第９の発明による信号処理システムにおいて、上記増幅率算出手段が、上記映像信号に係る画像に対する増幅率が得られない場合に所定の標準値となる増幅率を付与する標準値付与手段を有して構成されたものである。

第１３の発明による信号処理システムは、上記第１の発明による信号処理システムにおいて、上記推定手段が、上記特徴量として上記映像信号に係る画像の撮影シーンを推定する撮影シーン推定手段を有して構成されたものであり、上記補正係数算出手段は、該撮影シーンに基づいて上記エッジ成分に対する補正係数を算出するものである。

第１４の発明による信号処理システムは、上記第１３の発明による信号処理システムにおいて、上記撮影シーン推定手段が、上記映像信号により得られた画像内に存在する特定色と、該特定色が存在する範囲と、に基づいて撮影シーンを推定するものである。

第１５の発明による信号処理システムは、上記第１３の発明による信号処理システムにおいて、上記エッジ強調手段が、入力エッジ成分を０に置換して出力エッジ成分とするコアリング処理を行うものであり、上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を上記撮影シーンに基づいて設定するためのコアリング調整手段を有して構成されたものである。

第１６の発明による信号処理方法は、デジタル化された映像信号に対する信号処理方法であって、上記映像信号に係る画像の特徴量を該映像信号に基づき推定する処理と、上記映像信号に係る画像のエッジ成分を該映像信号から抽出する処理と、を任意の順序で、または並列的に、行うステップと、上記特徴量に基づいて上記エッジ成分に対する補正係数を算出するステップと、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うステップと、を有する方法である。

第１７の発明による信号処理方法は、上記第１６の発明による信号処理方法において、上記特徴量がノイズ量である。

第１８の発明による信号処理方法は、上記第１６の発明による信号処理方法において、上記特徴量が、撮影シーンに係る特徴量である。

第１９の発明による信号処理方法は、上記第１６の発明による信号処理方法において、上記映像信号中の特徴量に基づいて該映像信号に係る画像を複数の領域に分割するステップをさらに有し、上記補正係数を算出するステップは上記分割された領域毎に補正係数を算出するステップであり、上記エッジ強調処理を行うステップは上記分割された領域毎に該エッジ強調処理を行うステップである。

第２０の発明による信号処理プログラムは、コンピュータを、デジタル化された映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段、上記映像信号に係る画像のエッジ成分を該映像信号から抽出するエッジ抽出手段、上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段、として機能させるためのプログラムである。

本発明の信号処理システム、信号処理方法、信号処理プログラムによれば、エッジ強調処理を、適切かつ効果的に行うことができる。

以下、図面を参照して本発明の実施例を説明する。

図１から図１０は本発明の実施例１を示したものであり、図１は信号処理システムの構成を示すブロック図である。

この信号処理システムは、図１に示すように、被写体像を結像するための撮影光学系１と、この撮影光学系１により結像される光学的な被写体像を光電変換して電気的な映像信号を出力する撮像素子たるＣＣＤ２と、このＣＣＤ２から出力されるアナログの映像信号をゲイン増幅しＡ／Ｄ変換を行ってデジタル映像信号に変換すると共にＡＦ制御やＡＥ制御等の処理も行う前処理部３と、この前処理部３から出力されるデジタル映像信号を一時的に記憶するバッファ４と、上記バッファ４から読み出した映像信号に基づき後述するようなノイズ推定やシーン推定等の処理を行う推定手段たる推定部５と、上記バッファ４から所定サイズの領域の映像信号を読み出して該領域のエッジ成分を抽出するエッジ抽出手段たるエッジ抽出部６と、上記推定部５による推定結果および上記エッジ抽出部６により抽出されたエッジ成分に基づいてエッジ成分に対する補正係数を算出する補正係数算出手段たる補正係数算出部７と、上記バッファ４から所定サイズの領域の映像信号を抽出して上記エッジ抽出部６からのエッジ成分と上記補正係数算出部７からの補正係数とに基づいてエッジ強調処理を行うエッジ強調手段たるエッジ強調部８と、このエッジ強調部８により処理された映像信号を例えばメモリカードなどへ記録して保存するために出力する出力部９と、電源スイッチ、シャッタボタン、撮影時の各種モードを切り換えるためのインタフェース等を含む外部Ｉ／Ｆ部１１と、上記前処理部３，推定部５，エッジ抽出部６，補正係数算出部７，エッジ強調部８，出力部９、外部Ｉ／Ｆ部１１と双方向に接続されていてこれらを含むこの信号処理システム全体を統合的に制御するマイクロコンピュータ等でなる制御部１０と、を有して構成されている。

次に、図１に示したような信号処理システムにおける信号の流れについて説明する。

この撮像システムは、上記外部Ｉ／Ｆ部１１を介してＩＳＯ感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、該外部Ｉ／Ｆ部１１のシャッタボタンを押すことにより、上記ＣＣＤ２による映像信号の取り込みが開始される。

上記撮影光学系１を介してＣＣＤ２により撮影され出力された映像信号は、上記前処理部３によってゲイン増幅やＡ／Ｄ変換がなされた後に、上記バッファ４へ転送されて記憶される。

推定部５は、上記制御部１０の制御に基づいて、上記バッファ４から映像信号を読み出し、後述するようなノイズ推定やシーン推定等の処理を行うことによって特徴量を算出して、算出した特徴量を補正係数算出部７へ転送する。

一方、エッジ抽出部６は、上記制御部１０の制御に基づいて、上記バッファ４に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、この領域のエッジ成分を抽出する。そして、エッジ抽出部６は、抽出したエッジ成分を、補正係数算出部７とエッジ強調部８とへ転送する。

補正係数算出部７は、上記制御部１０の制御に基づいて、上記推定部５からの推定量と上記エッジ抽出部６からのエッジ成分とを用いてエッジ成分に対する補正係数を算出し、エッジ強調部８へ転送する。

エッジ強調部８は、上記制御部１０の制御に基づいて、上記バッファ４に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、上記エッジ抽出部６からのエッジ成分と上記補正係数算出部７からの補正係数とに基づき、エッジ強調処理を行う。このエッジ強調処理は、ＲＧＢ信号の内のＧ信号に対して行っても良いし、あるいは該ＲＧＢ信号から輝度信号を算出して、算出した輝度信号に対して行っても構わない。

上述したような、推定部５、エッジ抽出部６、補正係数算出部７、エッジ強調部８における各処理は、本実施例では所定サイズの領域を単位として、上記制御部１０の制御に基づいて同期して行われるようになっている。

このようにしてエッジ強調処理が行われた映像信号は、所定サイズの領域を単位として出力部９へ順次転送され、該出力部９により、メモリカードなどへ順次記録されて保存される。

図２は、推定部５の第１の構成例を示すブロック図である。

この図２は、ノイズ推定の機能を有するノイズ推定手段たる推定部５の構成例を示している。

この推定部５は、上記バッファ４に記憶されている映像信号から所定サイズの局所領域を抽出して読み出す画像領域抽出手段たる局所領域抽出部２１と、この局所領域抽出部２１により読み出された局所領域の映像信号を一時的に記憶するバッファ２２と、このバッファ２２に記憶された局所領域の輝度の平均値を算出する平均輝度算出手段たる平均輝度算出部２３と、上記外部Ｉ／Ｆ部１１を介して設定されたＩＳＯ感度に基づいて上記前処理部３により行われたゲインの増幅率を算出する増幅率算出手段たるゲイン算出部２４と、上記ＩＳＯ感度の情報が得られなかった場合の標準値となる増幅率を付与する標準値付与手段たる標準値付与部２５と、増幅率とノイズ量算出に用いる関数情報との関係が記憶されているノイズ算出手段を構成するパラメータ用ＲＯＭ２７と、上記ゲイン算出部２４または上記標準値付与部２５から転送された増幅率に基づいて上記パラメータ用ＲＯＭ２７から関数情報を求め、求めた関数情報に基づく関数に上記平均輝度算出部２３から転送された平均輝度を代入してノイズ量を算出し、算出したノイズ量を上記補正係数算出部７へ転送するノイズ算出手段たるノイズ算出部２６と、を有して構成されている。

上記制御部１０は、上記局所領域抽出部２１、平均輝度算出部２３、ゲイン算出部２４、標準値付与部２５、ノイズ算出部２６と双方向に接続されていて、これらを制御するようになっている。

次に、このような推定部５における処理の流れについて説明する。

まず、上記前処理部３は、上記外部Ｉ／Ｆ部１１を介して設定されたＩＳＯ感度に基づいて、上記ＣＣＤ２から転送される映像信号のゲインを増幅する。

上記ゲイン算出部２４は、上記制御部１０の制御に基づいて、該前処理部３によりなされたゲインの増幅率を求め、これをノイズ算出部２６へ転送する。

本実施例の信号処理システムにおいては、ＩＳＯ感度として例えば１００，２００，４００の三段階を設定することが可能であると想定しており、これらのＩＳＯ感度に各対応する増幅率がそれぞれ１，２，４倍として設定される。なお、ＩＳＯ感度の情報が得られなかった場合には、制御部１０は、標準値付与部２５を制御することにより、該標準値付与部２５から所定の増幅率、例えばＩＳＯ感度１００に対応する増幅率である１倍の増幅率を上記ノイズ算出部２６へ転送させる。

上記ノイズ算出部２６は、上記制御部１０の制御に基づいて、ゲイン算出部２４または標準値付与部２５からの増幅率に対応する、ノイズ量算出に用いる関数情報を、パラメータ用ＲＯＭ２７から求める。

このノイズ量算出に用いる関数について、図７を参照して説明する。図７は、パラメータ用ＲＯＭ２７に記録されている輝度値とノイズ量との関係に係る関数の形状を示す線図である。

ノイズ量Ｎは、この図７に示すように、ほぼ輝度値Ｙのべき乗の関数形状で増加するようになっている。これをモデル化したものが、数式１に示す関数である。
［数１］

ここに、α，β，γは定数である。

ノイズは、映像信号と共に、前処理部３のゲイン処理により増幅もしくは減少されるために、該ノイズの量は、該前処理部３のゲイン処理における増幅率に依存して増減することになる。図７は、ＩＳＯ感度１００，２００，４００（つまり、増幅率１，２，４）をパラメータとして、輝度値Ｙに対するノイズ量Ｎの変化の様子を示したものであり、各パラメータに係る３つの関数に各対応して３本の曲線が描画されている。

このような増幅率による相違を考慮して数式１を拡張すると、次の数式２に示すような関数が得られる。
［数２］

ここに、ｉは増幅率を示すパラメータであり、本実施例ではｉ=１，２，４となる。

上記パラメータ用ＲＯＭ２７は、この数式２における定数項αi ，βi ，γi （すなわち、増幅率ｉに各対応する定数項α，β，γ）を記録するものとなっている。

上記ノイズ算出部２６は、上記ゲイン算出部２４または標準値付与部２５から増幅率を取得すると、取得した増幅率ｉに対応する上記定数項αi ，βi ，γi を、上記パラメータ用ＲＯＭ２７から読み出す。このとき、増幅率は１枚の画像に係る映像信号において共通であるために、該定数項αi ，βi ，γi を読み出す処理は、各局所領域について行うのではなく、１枚の画像に係る映像信号に関して一回のみ行われる。

次に、上記局所領域抽出部２１は、上記制御部１０の制御に基づいて、上記バッファ４に記憶されている映像信号から、所定サイズの領域、例えば５×５画素単位の領域を抽出し、バッファ２２へ転送する。

上記平均輝度算出部２３は、上記制御部１０の制御に基づいて、該バッファ２２に記憶されている領域内の各画素に関し、次の数式３によって、画素単位で輝度信号Ｙを求める。
［数３］
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ

さらに上記平均輝度算出部２３は、画素単位で算出した輝度信号の、局所領域内における平均値を算出し、これをノイズ算出部２６へ転送する。

ノイズ算出部２６は、上記平均輝度算出部２３から転送された平均輝度を、上記数式２の輝度値Ｙとして代入することにより、ノイズ量を算出して、算出したノイズ量を上記補正係数算出部７へ転送する。このノイズ算出部２６により算出されたノイズ量は、上記局所領域抽出部２１により抽出された局所領域における中心画素のノイズ量であるとして扱われる。

上記局所領域抽出部２１は、上記制御部１０の制御に基づいて、所定サイズの局所領域を、水平方向または垂直方向に１画素単位で移動しながら、全映像信号からノイズ量の算出を行う。

次に、図３は、推定部５の第２の構成例を示すブロック図である。

この図３は、シーン推定の機能を有する撮影シーン推定手段たる推定部５の構成例を示している。

この推定部５は、上記前処理部３で設定されたＡＦ情報を上記制御部１０を介して取得し合焦位置に応じた分類を行う合焦位置推定部３１と、上記バッファ４に記憶されている映像信号を複数の領域に分割し各領域の平均色を所定の色空間で算出する被写体色分布推定部３２と、上記前処理部３で設定されたＡＥ情報を上記制御部１０を介して取得するとともに上記バッファ４に記憶されている映像信号を用いて画面全体の平均輝度レベルを算出しこれらを所定の条件と比較することにより夜景撮影であるか否かを推定する夜景推定部３３と、上記合焦位置推定部３１からの情報と上記被写体色分布推定部３２からの情報と上記夜景推定部３３からの情報とに基づいて撮影シーンを推定して推定結果を上記補正係数算出部７へ転送する全体推定部３４と、を有して構成されている。

上記制御部１０は、上記合焦位置推定部３１、被写体色分布推定部３２、夜景推定部３３、全体推定部３４と双方向に接続されていて、これらを制御するようになっている。

次に、このような推定部５における処理の流れについて説明する。

上記合焦位置推定部３１は、上記前処理部３で設定されたＡＦ情報を上記制御部１０から取得して、例えば５ｍ〜∞（風景撮影）、１ｍ〜５ｍ（人物撮影）、１ｍ以下（マクロ撮影）などに分類する。この合焦位置推定部３１による分類結果は、上記全体推定部３４へ転送される。

上記被写体色分布推定部３２は、上記制御部１０の制御に基づいて、バッファ４からの映像信号を、例えば図４に示すような１３個の領域ａ1 〜ａ13に分割する。図４は画像の領域分割パターンを説明するための図である。

すなわち、この図４に示す例においては、該被写体色分布推定部３２は、映像信号に係る領域を、最中央部と、この最中央部を取り巻く内周部と、この内周部を取り巻く外周部と、に分類し、さらにそれぞれを以下のような領域に分割する。

すなわち、最中央部は、真ん中の領域ａ1 と、その左隣の領域ａ2 と、右隣の領域ａ3 と、に分割される。

また、内周部は、上記領域ａ1 の上の領域ａ4 および下の領域ａ5 と、該領域ａ4 の左の領域ａ6 および右の領域ａ7 と、該領域ａ5 の左の領域ａ8 および右の領域ａ9 と、に分割される。

さらに、外周部は、左上の領域ａ10と、右上の領域ａ11と、左下の領域ａ12と、右下の領域ａ13と、に分割される。

そして、被写体色分布推定部３２は、ＲＧＢ信号を、所定の色空間の信号、例えば、Ｌ* ａ* ｂ* 色空間の信号へ変換する。このＬ* ａ* ｂ* 色空間への変換は、以下に示すように、ＸＹＺ信号への変換を介して行われるようになっている。

すなわち、被写体色分布推定部３２は、ＲＧＢ信号を、次の数式４に示すように、まずＸＹＺ信号へ変換する。
［数４］
Ｘ＝０．６０７Ｒ＋ ０．１７４Ｇ＋０．２００Ｂ
Ｙ＝０．２９９Ｒ＋ ０．５８７Ｇ＋０．１１４Ｂ
Ｚ＝０．０００Ｒ＋０．０６６１Ｇ＋１．１１６Ｂ

次に、被写体色分布推定部３２は、このＸＹＺ信号を、次の数式５に示すように、Ｌ* ａ* ｂ* 信号へ変換する。
［数５］

ここに関数ｆは、次の数式６に示すように定義される関数である。
［数６］

次に、被写体色分布推定部３２は、Ｌ* ａ* ｂ* 色空間の信号値による平均色を上記各領域ａ1 〜ａ13においてそれぞれ算出し、これらの算出結果を上記全体推定部３４へ転送する。

一方、上記夜景推定部３３は、上記前処理部３で設定されたＡＥ情報を制御部１０から取得して、該制御部１０の制御に基づいて、所定のシャッタ速度よりも長時間の露光であって、かつ画面全体の平均輝度レベルが所定の閾値以下である場合に、夜景撮影であると推定する。この夜景推定部３３による推定結果は、上記全体推定部３４へ転送される。

上記全体推定部３４は、撮影シーン推定手段を構成するものであり、上記制御部１０の制御に基づいて、合焦位置推定部３１、被写体色分布推定部３２、夜景推定部３３からの各情報に基づき、撮影シーンを推定する。

すなわち、全体推定部３４は、夜景推定部３３からの情報が夜景撮影である場合には、そのまま夜景撮影であると推定して、その結果を補正係数算出部７へ転送する。

一方、夜景撮影でないと推定される場合は、全体推定部３４は、上記合焦位置推定部３１からの分類結果と、上記被写体色分布推定部３２からの各領域ａ1 〜ａ13の平均色の情報と、を用いて、撮影シーンを推定する。

全体推定部３４は、上記合焦位置推定部３１からのＡＦ情報が５ｍ〜∞の分類となる場合には、風景撮影であると推定する。このときさらに、領域ａ10と領域ａ11との少なくとも一方の平均色が空色である場合には、上部に空がある風景撮影であると推定する。一方、ＡＦ情報が５ｍ〜∞の分類であっても、領域ａ10と領域ａ11との平均色が何れも空色以外である場合には、上部に空がない風景撮影または上部に空が少ない風景撮影であると推定する。この場合には、植物や建造物等の、テクスチャ構造を有する被写体が主要被写体になると考えられる。

次に、全体推定部３４は、上記合焦位置推定部３１からのＡＦ情報が１ｍ〜５ｍの分類となる場合には、領域ａ4 の平均色が肌色で、かつ領域ａ6 の平均色および領域ａ7 の平均色が肌色以外であるときに、一人の人物撮影であると推定する。一方、ＡＦ情報が１ｍ〜５ｍの分類であって、かつ、領域ａ4 ，領域ａ6 ，領域ａ7 の平均色が全て肌色であるときには、複数人の人物撮影であると推定する。また、ＡＦ情報が１ｍ〜５ｍの分類であって、かつ、領域ａ4 ，領域ａ6 ，領域ａ7 の平均色が全て肌色以外であるときには、その他の撮影であると推定する。

最後に、全体推定部３４は、上記合焦位置推定部３１からのＡＦ情報が１ｍ以下の分類となる場合には、マクロ撮影であると推定する。このときさらに、領域ａ2 と領域ａ3 との輝度差がある閾値以上である場合には、複数の物体のマクロ撮影であると推定する。これとは逆に、領域ａ2 と領域ａ3 との輝度差が上記閾値未満である場合には、単一の物体のマクロ撮影であると推定する。

このようにして全体推定部３４により推定された結果は、上記補正係数算出部７へ転送される。

図５は、エッジ抽出部６の構成例を示すブロック図である。

このエッジ抽出部６は、上記バッファ４に記憶されている映像信号を画素単位で読み出して輝度信号を算出する輝度信号算出部４１と、この輝度信号算出部４１により画素単位で算出された輝度信号を全映像信号について記憶するためのバッファ４２と、フィルタ処理を行うためのマトリクスとして構成されたフィルタ係数を記憶するフィルタ用ＲＯＭ４４と、上記バッファ４２に記憶された輝度信号を所定サイズの領域毎に読み出してこのフィルタ用ＲＯＭ４４から読み出したマトリクスでなるフィルタ係数を用いてエッジ成分を算出し上記補正係数算出部７およびエッジ強調部８へ転送するフィルタ処理部４３と、を有して構成されている。

上記制御部１０は、上記輝度信号算出部４１、フィルタ処理部４３と双方向に接続されていて、これらを制御するようになっている。

次に、このようなエッジ抽出部６における処理の流れについて説明する。

上記輝度信号算出部４１は、上記制御部１０の制御に基づいて、バッファ４に記憶されている映像信号を画素単位で読み出し、上記数式３によって輝度信号を算出する。

バッファ４２は、上記輝度信号算出部４１により画素単位で算出された輝度信号を順次記憶して、最終的に、全映像信号に係る輝度信号を記憶する。

こうして全映像信号から輝度信号が算出されたら、フィルタ処理部４３は、制御部１０の制御に基づいて、フィルタ用ＲＯＭ４４からフィルタ処理を行うためのマトリクスとして構成されたフィルタ係数を読み出す。

次に、フィルタ処理部４３は、上記制御部１０の制御に基づいて、バッファ４２に記憶されている輝度信号を、所定サイズの領域、例えば５×５画素単位の領域毎に読み込んで、マトリクスでなる上記フィルタ係数を用いてエッジ成分を求める。そして、フィルタ処理部４３は、求めたエッジ成分を、上記補正係数算出部７とエッジ強調部８とへそれぞれ転送する。

該フィルタ処理部４３は、上記制御部１０の制御に基づいて、所定サイズの領域を水平方向または垂直方向に１画素単位で移動しながら、全輝度信号から上述したようにしてエッジ成分を算出する。

図６は、補正係数算出部７の構成例を示すブロック図である。

この補正係数算出部７は、上記推定部５から画素単位で転送される推定量に基づいてコアリングを行うための閾値となるコアリング範囲Ｔｈを設定するコアリング調整手段たるコアリング調整部５１と、後述する図８に示すような入力エッジ成分と出力エッジ成分とを関係付ける関数またはテーブルが記憶されている補正係数用ＲＯＭ５３と、この補正係数用ＲＯＭ５３から読み込んだ関数またはテーブルに上記コアリング調整部５１からのコアリング範囲Ｔｈをバイアス成分として加算することにより上記エッジ抽出部６からのエッジ成分に対する補正係数を算出して上記エッジ強調部８へ転送する補正係数計算部５２と、を有して構成されている。

上記制御部１０は、上記コアリング調整部５１、補正係数計算部５２と双方向に接続されていて、これらを制御するようになっている。

上記コアリング調整部５１は、上述したように、上記制御部１０の制御に基づいて、推定部５から画素単位で転送される推定量に基づき、コアリングを行うための範囲Ｔｈを設定する。

図８は、コアリング調整を説明するための線図である。

コアリングは、入力エッジ成分を０に置換して出力エッジ成分とする処理であり、コアリングを行うための範囲は、自由に設定することが可能である。すなわち、上記エッジ強調部８は、この図８に示すように、入力エッジ成分がコアリング調整範囲（閾値）Ｔｈ以下である場合には、出力エッジ成分を０にするコアリング処理を行うが、このときのコアリング調整範囲Ｔｈをコアリング調整部５１において可変に設定することができるようになっている。

例えば、上記推定部５が上記図２に示したようなノイズ推定を行うものである場合には、該コアリング調整部５１は、推定されたノイズ量に、所定のマージンを含ませるような係数（例えば１．１）を乗算して、これをコアリング調整範囲Ｔｈとして設定する。

一方、上記推定部５が上記図３に示したようなシーン推定を行うものである場合には、コアリング調整部５１は、推定された撮影シーンに応じてコアリング調整範囲Ｔｈを変化させる。

具体的には、コアリング調整部５１は、ノイズ量が比較的多いと考えられる撮影シーンの画像に対してはコアリング調整範囲を大きな値であるＴｈL に設定し、ノイズ量が比較的少ないと考えられる撮影シーンの画像に対してはコアリング調整範囲を小さな値であるＴｈS に設定し、その他の撮影シーンの画像に対してはコアリング調整範囲を標準的な値であるＴｈS とＴｈL との中間の値に設定する処理を行う。

すなわち、上記図３に示したような推定部５により、例えば、上部に空がある風景撮影であると推定された場合には、空は平坦であってノイズ成分が主観的に気になる領域であるために、コアリング調整部５１は、コアリング調整範囲Ｔｈとして大きな値であるＴｈL を指定する。

また、上記推定部５により、上部に空がない風景撮影または上部に空が少ない風景撮影であると推定された場合には、植物や建造物等のテクスチャ構造をもつものが主要被写体になると考えられるために、コアリング調整部５１は、コアリング調整範囲ＴｈとしてＴｈS とＴｈL の中間の値を指定する。

さらに、上記推定部５により、一人の人物撮影であると推定された場合には、顔の面積が比較的大きくなって平坦な箇所が増える一方で髪の微細構造を考慮する必要もあるために、コアリング調整部５１は、コアリング調整範囲ＴｈとしてＴｈS とＴｈL の中間の値を指定する。

そして、上記推定部５により、複数人の人物撮影であると推定された場合には、顔の面積が比較的小さくかつ髪の微細構造を識別し難くなるために、コアリング調整部５１は、コアリング調整範囲Ｔｈとして大きな値であるＴｈL を指定する。

また、上記推定部５により、その他の撮影であると推定された場合には、撮影された被写体が不明であるために、汎用性を考慮して、コアリング調整部５１は、コアリング調整範囲ＴｈとしてＴｈS とＴｈL の中間の値を指定する。

さらに、上記推定部５により、複数の物体のマクロ撮影であると推定された場合には、主要被写体に微細構造があると考えられるために、コアリング調整部５１は、コアリング調整範囲Ｔｈとして小さな値であるＴｈS を指定する。

そして、上記推定部５により、単一の物体のマクロ撮影であると推定された場合には、微細構造の有無を判断するのが困難となるために、汎用性を考慮して、コアリング調整部５１は、コアリング調整範囲ＴｈとしてＴｈS とＴｈL の中間の値を指定する。

このようにして、推定部５の推定結果に応じてコアリング調整部５１により指定されたコアリング範囲Ｔｈは、補正係数計算部５２へ転送される。

補正係数計算部５２は、上記制御部１０の制御に基づいて、上記補正係数用ＲＯＭ５３から上記図８に示したようなエッジを補正するための関数またはテーブルを読み込んで、読み込んだ関数またはテーブルに、上記コアリング調整部５１からのコアリング範囲Ｔｈをバイアス成分として加算した値を、エッジ抽出部６からのエッジ成分に対する補正係数として、エッジ強調部８へ転送する。エッジ強調部８は、上記エッジ抽出部６からのエッジ成分と、この補正係数計算部５２からの補正係数と、に基づいて、コアリングを含むエッジ強調処理を行うことになる。

上述したような補正係数計算部５２による補正係数の算出は、上記制御部１０の制御に基づいて、画素単位で順次行われる。

これにより、推定部５がノイズ推定を行うものである場合には、推定されたノイズ量以下のエッジ成分は０に置換されて、ノイズの目立たないエッジ強調処理を行うことが可能となる。また、推定部５がシーン推定を行うものである場合には、撮影シーンに応じたエッジ強調処理を行うことが可能となり、高品位な画像を得ることができる。

なお、上述ではハードウェアによる処理を前提としていたが、これに限定されるものではない。例えば、上記ＣＣＤ２から得られる映像信号を未処理のままのＲａｗデータとしておき、このＲａｗデータに、ＩＳＯ感度情報や画像サイズなどの情報をヘッダ情報として付加する。そして、このヘッダ情報が付加されたＲａｗデータをコンピュータ等の処理装置に出力して、該処理装置においてソフトウェアにより処理するようにしても良い。

図９および図１０を参照して、コンピュータにおいて信号処理プログラムにより行われる処理の例について説明する。

図９は、ノイズ推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャートである。

処理を開始すると、上述したようにＩＳＯ感度や画像サイズ等の情報が含まれるヘッダ情報を読み込んで（ステップＳ１）、さらにＲａｗデータでなる画像を読み込む（ステップＳ２）。

次に、読み込んだＲａｗデータから、注目画素を中心とした所定サイズのブロック領域、例えば７×７画素でなるブロック領域、を読み込む（ステップＳ３）。

続いて、読み込んだブロック領域のデータに基づいて、注目画素を単位としてノイズ推定を行う一方で（ステップＳ４）、この処理と平行して、注目画素を単位としてエッジ抽出処理を行う（ステップＳ６）。なお、ここでは並列的に処理を行っているが、任意の順序で順番に行うようにしても構わない。

そして、上記ステップＳ４で得られた結果および上記ステップＳ６で得られた結果に基づいて、エッジ成分に対する補正係数を算出する（ステップＳ５）。

このステップＳ５により得られた補正係数と、上記ステップＳ６で得られたエッジ成分と、に基づいて、注目画素を単位としてエッジ強調処理を行う（ステップＳ７）。

その後、画像内の全ての画素について処理が終了したか否かを判断し（ステップＳ８）、終了するまでは上記ステップＳ３に戻って上述したような処理を繰り返して行う。

こうして、上記ステップＳ８において、全ての画素において処理が終了したと判断された場合には、この一連の処理を終了する。

図１０は、シーン推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャートである。この図１０において、上記図９に示した処理と同様である部分には同一の符号を付して説明を省略する。

上記ステップＳ２の処理を行った後に、上記ステップＳ３およびステップＳ６の処理を行う一方で、これらと平行して、読み込まれたＲａｗデータに基づいて画像全体のシーン推定を行う（ステップＳ９）。なお、ここでは並列的に処理を行っているが、任意の順序で順番に行うようにしても構わない。

そして、このステップＳ９により推定された撮影シーンと、上記ステップＳ６により抽出された注目画素単位のエッジ成分と、に基づいて、エッジ成分に対する補正係数を算出する（ステップＳ５Ａ）。

その後の処理は、上記図９に示したものと同様である。

なお、上記ＣＣＤ２としては、原色系または補色系の、単板ＣＣＤ、二板ＣＣＤ、三板ＣＣＤ等の何れを用いることも可能である。例えば単板ＣＣＤを用いる場合には、上記前処理部３において、単板信号を三板化する補間処理を行うことになる。

さらに、上述では、パラメータ用ＲＯＭ２７を参照してノイズ算出部２６により行うノイズ量の算出が、関数化した手段により行われることを前提としていたが、これに限るものではなく、例えば、ノイズ量をテーブルとして記録する構成を採用することも可能である。この場合には、ノイズ量の算出を高精度かつ高速に行うことが可能となる。

このような実施例１によれば、推定されたノイズ量や推定された撮影シーンに応じて、エッジ強調に対する補正係数を変化させるようにしているために、該撮影シーンに応じた最適なエッジ強調処理を行うことができ、高品位な画像を得ることが可能となる。

また、推定されたノイズ量や推定された撮影シーンに応じて、エッジ強調処理に関するコアリング処理を適応的に補正し行うようにしているために、ノイズに起因するアーティファクトやノイズ自体の強調を低減することが可能となり、高品位な画像を得ることができる。

さらに、ノイズ量の推定を、輝度値および増幅率に対応して画素単位で行うようにしているために、ノイズ量を高精度に推定することが可能となる。

そして、ノイズ量に関する情報を関数化して保存しているために、関数情報を保存するためのＲＯＭの容量が少なくて済み、低コスト化を図ることができる。また、ノイズ量に関する情報をテーブル化して保存する場合には、ノイズ量の算出を高精度かつ高速に実行することができる。

加えて、ノイズ量を算出するために必要となる増幅率が得られない場合でも、標準値を付与するようにしているために、ノイズ量の推定が可能となって、安定した動作を保証することができる。

また、画像内に存在する特定色と、この特定色が存在する範囲と、に基づいて撮影シーンを推定しているために、画面全体に対する撮影シーンの推定を、高速かつ低コストに行うことができる。

図１１、図１２は本発明の実施例２を示したものであり、図１１は信号処理システムの構成を示すブロック図、図１２はエッジ抽出部の構成例を示すブロック図である。

この実施例２において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施例２の信号処理システムは、図１１に示すように、上記図１に示した実施例１の信号処理システムに対して、エッジ制御手段たるエッジ制御部１２を付加したものとなっている。

このエッジ制御部１２は、上記制御部１０の制御に基づいて、上記エッジ抽出部６およびエッジ強調部８の動作を制御するためのものであり、該エッジ抽出部６およびエッジ強調部８と双方向に接続されていると共に、上記制御部１０と双方向に接続されている。

次に、図１１に示したような信号処理システムにおける信号の流れについて説明する。

エッジ抽出部６は、上記制御部１０の制御に基づいて、上記バッファ４に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、この領域のエッジ成分を抽出する。

上記制御部１０は、上記推定部５による推定結果を参照するようになっており、該推定結果に応じて、上記エッジ制御部１２を介して、該エッジ抽出部６の動作を停止させることもできるようになっている。このエッジ抽出部６の動作を停止させた場合には、所定領域の中心画素に対するエッジ強調処理は行われない。

具体的には、推定部５がノイズ推定を行うものである場合には、推定されたノイズ量が所定の閾値を超えたときにエッジ抽出部６の動作を停止させるように制御する例が挙げられる。また、推定部５がシーン推定を行うものである場合には、夜景撮影と推定されたときにエッジ抽出部６の動作を停止させる例が挙げられる。

次に、図１２を参照して、エッジ抽出部６の構成例について説明する。

このエッジ抽出部６は、上記図５に示したエッジ抽出部６とほぼ同様に構成されているが、フィルタ処理部４３ａが上記エッジ制御部１２と双方向に接続されて制御されるようになっている点が異なっている。

制御部１０は、上記推定部５による推定結果を取得して、該推定結果に応じて上記エッジ制御部１２を制御することにより、フィルタ処理部４３ａがフィルタ用ＲＯＭ４４から読み込むフィルタのマトリクスサイズ、またはマトリクスを構成する係数、またはその両方、を切り換えさせることができるようになっている。すなわち、フィルタ用ＲＯＭ４４には、フィルタ用の係数を行列として配列したものが記憶されており、マトリクスサイズを切り換える例としては５×５のマトリクスから３×３のマトリクスへ切り換えることが挙げられ、係数を切り換える例としてはラプラシアンからＳｏｂｅｌへ切り換えることなどが挙げられる。

上記推定部５がノイズ推定を行うものである場合には推定されたノイズ量に応じて、また、該推定部５がシーン推定を行うものである場合には推定された撮影シーンに応じて、フィルタ処理部４３ａは、フィルタ用ＲＯＭ４４から読み込む情報の切り換えを適応的に行う。

なお、ここでもハードウェアによる処理を前提としていたが、これに限らず、ソフトウェアによって処理するようにしても良いことは、上述した実施例１と同様である。

このような実施例２によれば、上述した実施例１とほぼ同様の効果を奏するとともに、エッジ抽出処理を必要に応じて停止させることができるようにしたために、ノイズ成分が多い領域や、所定の撮影シーンなどに対して、エッジ抽出処理を適宜省略することが可能となり、処理速度を高速化することができる。

また、ノイズ推定やシーン推定に基づきエッジ抽出に用いるフィルタのマトリクスサイズと係数との少なくとも一方を適応的に切り換える場合には、ノイズ成分を抽出しないエッジ抽出や、撮影シーンに応じたエッジ抽出を行うことが可能となり、高品位な画像を得ることができる。

そして、マトリクスサイズを適応的に切り換えることにより、不要に大きなマトリクスサイズでのフィルタ処理を回避することができるために、処理を高速化することが可能となる。

図１３から図１５は本発明の実施例３を示したものであり、図１３は信号処理システムの構成を示すブロック図、図１４は画像分割部の構成例を示すブロック図、図１５は信号処理プログラムによりソフトウェア的に行われる処理の例を示すフローチャートである。

この実施例３において、上述の実施例１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この信号処理システムは、上記図１に示した信号処理システムの推定部５に代えて、画像分割手段たる画像分割部１３を設けたものとなっている。

この画像分割部１３は、上記バッファ４に記憶されている映像信号を所定サイズの領域に分割して、ラベル付けを行い、その結果を補正係数算出部７へ転送するものである。また、該画像分割部１３は、上記制御部１０と双方向に接続されて制御されるようになっている。

次に、図１３に示したような信号処理システムにおける信号の流れについて説明する。

画像分割部１３は、上記バッファ４に記憶されている映像信号を所定サイズの領域に分割し、ラベル付けを行って、その結果を補正係数算出部７へ転送する。

補正係数算出部７は、上記制御部１０の制御に基づいて、画像分割部１３からの領域情報と、上記エッジ抽出部６からのエッジ成分と、を用いて、エッジ成分に対する補正係数を算出する。この補正係数算出部７により算出された補正係数は、エッジ強調部８へ転送される。

続いて、図１４を参照して、画像分割部１３の構成例について説明する。

この画像分割部１３は、上記バッファ４に記憶されている映像信号を画素単位で読み出して色信号を算出する色信号算出部６１と、この色信号算出部６１により算出された色信号を記憶するバッファ６２と、このバッファ６２に記憶されている色信号を読み出して所定の閾値と比較する等により色に応じた領域に分割してラベル付けする特定色検出部６３と、上記バッファ６２に記憶されている色信号の内の例えば輝度信号に相当するような信号を読み出して所定の閾値と比較する等により暗部領域とそれ以外の領域に分割してラベル付けする暗部検出部６４と、上記特定色検出部６３からの情報と上記暗部検出部６４からの情報とに基づいて領域の推定を行い総合的なラベルを付与して上記補正係数算出部７へ転送する領域推定部６５と、を有して構成されている。

上記制御部１０は、上記色信号算出部６１、特定色検出部６３、暗部検出部６４、領域推定部６５と双方向に接続されていて、これらを制御するようになっている。

次に、このような画像分割部１３における処理の流れについて説明する。

上記色信号算出部６１は、上記制御部１０の制御に基づいて、バッファ４に記憶されている映像信号を画素単位で読み出し、色信号を算出して、バッファ６２へ転送する。ここに色信号とは、例えば上記数式４〜数式６を参照して説明したようなＬ* ａ* ｂ* 信号などを指している。

上記特定色検出部６３は、上記制御部１０の制御に基づいて、バッファ６２に記憶されているＬ* ａ* ｂ* 信号の内のａ* ｂ* 信号を読み出して、所定の閾値と比較する処理を行うことにより、映像信号に係る画像を、肌色領域、植物色領域、空色領域、その他の領域に分割する。そして、該特定色検出部６３は、例えば、肌色領域に１、植物色領域に２、空色領域に３、その他の領域に０の各ラベルを画素単位で付与して、領域推定部６５へ転送する。

上記暗部検出部６４は、上記制御部１０の制御に基づいて、バッファ６２に記憶されているＬ* ａ* ｂ* 信号の内のＬ* 信号を読み出して、所定の閾値と比較する処理を行うことにより、映像信号に係る画像を、暗部領域、その他の領域に分割する。そして、該暗部検出部６４は、例えば、暗部領域に４、その他の領域に０の各ラベルを画素単位で付与して、領域推定部６５へ転送する。

上記領域推定部６５は、上記制御部１０の制御に基づいて、特定色検出部６３からのラベルと、暗部検出部６４からのラベルと、を加算する処理を行う。具体的には、領域推定部６５は、肌色領域に１、植物色領域に２、空色領域に３、暗部領域に４、肌色領域かつ暗部領域に５、植物色領域かつ暗部領域に６、空色領域かつ暗部領域に７、その他の領域に０の各ラベルを、総合的なラベルとしてそれぞれ付与して、補正係数算出部７へ転送する。

上記補正係数算出部７は、これらのラベル情報に基づいて、ラベル１（肌色領域）、ラベル４（暗部領域）、またはラベル６（植物色領域かつ暗部領域）の各領域に対しては、コアリング調整範囲ＴｈをＴｈS とＴｈL の中間の値に指定する。

また、補正係数算出部７は、ラベル２（植物色領域）またはラベル０（その他の領域）の各領域に対しては、コアリング調整範囲をＴｈS に指定する。

そして、補正係数算出部７は、ラベル３（空色領域）、ラベル５（肌色領域かつ暗部領域）、またはラベル７（空色領域かつ暗部領域）の各領域に対しては、コアリング調整範囲ＴｈをＴｈL に指定する。

なお、上述ではハードウェアによる処理を前提としていたが、これに限らず、ソフトウェアによって処理するようにしても良いことは、上述した実施例１，２と同様である。

図１５を参照して、コンピュータにおいて信号処理プログラムによりソフトウェア的に行われる処理の例について説明する。この図１５において、上述した実施例１の図９に示した処理と同様である部分には同一の符号を付して説明を省略する。

上記ステップＳ２の処理を行った後に、上記ステップＳ３およびステップＳ６の処理を行う一方で、これらと平行して、読み込まれたＲａｗデータに基づいて、特定色毎に画像を分割してラベル付けを行う（ステップＳ１１）。なお、ここでは並列的に処理を行っているが、任意の順序で順番に行うようにしても構わない。

そして、このステップＳ１１により分割された画像と、上記ステップＳ６により抽出された注目画素単位のエッジ成分と、に基づいて、エッジ成分に対する補正係数を算出する（ステップＳ５Ｂ）。

その後の処理は、上記図９に示したものと同様である。

なお、この図１５においては、ステップＳ５Ｂにおいて、補正係数の算出を注目画素単位で行っているが、分割されラベル付けされた領域毎に行うようにしても構わない。同様に、ステップＳ７におけるエッジ強調処理を、分割されラベル付けされた領域毎に行っても良い。

このような実施例３によれば、上述した実施例１，２とほぼ同様の効果を奏するとともに、画像中に含まれる特定色毎に適応的なエッジ強調処理を行うようにしたために、高品位な画像を得ることができる。そして、画像の分割を、色情報と暗部であるか否かの情報とに基づいて行っているために、領域の分割を高速に行うことができる。

なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、デジタル化された映像信号を信号処理する際に用いられ、特に、エッジ強調処理を行う際に好適に用いられる。

本発明の実施例１における信号処理システムの構成を示すブロック図。 上記実施例１における推定部の第１の構成例を示すブロック図。 上記実施例１における推定部の第２の構成例を示すブロック図。 上記実施例１において、画像の領域分割パターンを説明するための図。 上記実施例１におけるエッジ抽出部の構成例を示すブロック図。 上記実施例１における補正係数算出部の構成例を示すブロック図。 上記実施例１において、パラメータ用ＲＯＭに記録されている輝度値とノイズ量との関係に係る関数の形状を示す線図。 上記実施例１において、コアリング調整を説明するための線図。 上記実施例１において、ノイズ推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャート。 上記実施例１において、シーン推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャート。 本発明の実施例２における信号処理システムの構成を示すブロック図。 上記実施例２におけるエッジ抽出部の構成例を示すブロック図。 本発明の実施例３における信号処理システムの構成を示すブロック図。 上記実施例３における画像分割部の構成例を示すブロック図。 上記実施例３において、信号処理プログラムによりソフトウェア的に行われる処理の例を示すフローチャート。

符号の説明

１…撮影光学系
２…ＣＣＤ
３…前処理部
４…バッファ
５…推定部（推定手段、ノイズ推定手段、撮影シーン推定手段）
６…エッジ抽出部（エッジ抽出手段）
７…補正係数算出部（補正係数算出手段）
８…エッジ強調部（エッジ強調手段）
９…出力部
１０…制御部
１１…外部Ｉ／Ｆ部
１２…エッジ制御部（エッジ制御手段）
１３…画像分割部（画像分割手段）
２１…局所領域抽出部（画像領域抽出手段）
２２…バッファ
２３…平均輝度算出部（平均輝度算出手段）
２４…ゲイン算出部（増幅率算出手段）
２５…標準値付与部（標準値付与手段）
２６…ノイズ算出部（ノイズ算出手段）
２７…パラメータ用ＲＯＭ（ノイズ算出手段）
３１…合焦位置推定部
３２…被写体色分布推定部
３３…夜景推定部
３４…全体推定部
４１…輝度信号算出部
４２…バッファ
４３，４３ａ…フィルタ処理部
４４…フィルタ用ＲＯＭ
５１…コアリング調整部（コアリング調整手段）
５２…補正係数計算部
５３…補正係数用ＲＯＭ
６１…色信号算出部
６２…バッファ
６３…特定色検出部
６４…暗部検出部
６５…領域推定部
代理人 弁理士 伊 藤 進

Claims (20)

1. デジタル化された映像信号に対して信号処理を行う信号処理システムであって、
   上記映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段と、
   上記映像信号に係る画像のエッジ成分を該映像信号から抽出するエッジ抽出手段と、
   上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段と、
   上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段と、
   を具備したことを特徴とする信号処理システム。
2. 上記特徴量に基づいて上記エッジ抽出手段と上記エッジ強調手段との少なくとも一方を制御するエッジ制御手段をさらに具備したことを特徴とする請求項１に記載の信号処理システム。
3. 上記推定手段は、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、
   上記エッジ制御手段は、該ノイズ量に基づいて上記エッジ抽出手段の動作を停止させるように制御するものであることを特徴とする請求項２に記載の信号処理システム。
4. 上記エッジ抽出手段は、所定サイズの画素配列に対応して係数を配列してなるフィルタを用いて、上記映像信号からエッジ成分を抽出するものであり、
   上記エッジ制御手段は、上記フィルタのサイズと係数との少なくとも一方を切り換えさせるように該エッジ抽出手段を制御するものであることを特徴とする請求項２に記載の信号処理システム。
5. 上記推定手段は、上記映像信号中の特徴量に基づいて、該映像信号に係る画像を複数の領域に分割する画像分割手段を有して構成されたものであり、
   上記補正係数算出手段は、上記画像分割手段により分割された領域毎に補正係数を算出するものであり、
   上記エッジ強調手段は、該画像分割手段により分割された領域毎に映像信号に対するエッジ強調処理を行うものであることを特徴とする請求項１に記載の信号処理システム。
6. 上記画像分割手段は、上記特徴量として各画素の色を用い、該色に基づいて上記映像信号に係る画像を複数の領域に分割するものであることを特徴とする請求項５に記載の信号処理システム。
7. 上記推定手段は、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、
   上記補正係数算出手段は、該ノイズ量に基づいて上記エッジ成分に対する補正係数を算出するものであることを特徴とする請求項１に記載の信号処理システム。
8. 上記ノイズ推定手段は、
   上記映像信号から所定サイズの領域を抽出する画像領域抽出手段と、
   上記領域内の平均輝度値を算出する平均輝度算出手段と、
   上記映像信号に係る画像に対する増幅率を算出する増幅率算出手段と、
   上記平均輝度値と上記増幅率とに基づいてノイズ量を算出するノイズ算出手段と、
   を有して構成されたものであることを特徴とする請求項７に記載の信号処理システム。
9. 上記ノイズ算出手段は、上記平均輝度値と上記増幅率とに係る所定の関数式に基づいてノイズ量を算出するものであることを特徴とする請求項８に記載の信号処理システム。
10. 上記ノイズ算出手段は、上記平均輝度値と上記増幅率とに係る所定のテーブルに基づいてノイズ量を算出するものであることを特徴とする請求項８に記載の信号処理システム。
11. 上記エッジ強調手段は、入力エッジ成分を０に置換して出力エッジ成分とするコアリング処理を行うものであり、
    上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を、上記ノイズ量に基づいて設定するための、コアリング調整手段を有して構成されたものであることを特徴とする請求項７に記載の信号処理システム。
12. 上記増幅率算出手段は、上記映像信号に係る画像に対する増幅率が得られない場合に、所定の標準値となる増幅率を付与する標準値付与手段を有して構成されたものであることを特徴とする請求項９に記載の信号処理システム。
13. 上記推定手段は、上記特徴量として上記映像信号に係る画像の撮影シーンを推定する撮影シーン推定手段を有して構成されたものであり、
    上記補正係数算出手段は、該撮影シーンに基づいて上記エッジ成分に対する補正係数を算出するものであることを特徴とする請求項１に記載の信号処理システム。
14. 上記撮影シーン推定手段は、上記映像信号により得られた画像内に存在する特定色と、該特定色が存在する範囲と、に基づいて撮影シーンを推定するものであることを特徴とする請求項１３に記載の信号処理システム。
15. 上記エッジ強調手段は、入力エッジ成分を０に置換して出力エッジ成分とするコアリング処理を行うものであり、
    上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を、上記撮影シーンに基づいて設定するための、コアリング調整手段を有して構成されたものであることを特徴とする請求項１３に記載の信号処理システム。
16. デジタル化された映像信号に対する信号処理方法であって、
    上記映像信号に係る画像の特徴量を該映像信号に基づき推定する処理と、上記映像信号に係る画像のエッジ成分を該映像信号から抽出する処理と、を任意の順序で、または並列的に、行うステップと、
    上記特徴量に基づいて上記エッジ成分に対する補正係数を算出するステップと、
    上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うステップと、
    を有することを特徴とする信号処理方法。
17. 上記特徴量は、ノイズ量であることを特徴とする請求項１６に記載の信号処理方法。
18. 上記特徴量は、撮影シーンに係る特徴量であることを特徴とする請求項１６に記載の信号処理方法。
19. 上記映像信号中の特徴量に基づいて、該映像信号に係る画像を複数の領域に分割するステップをさらに有し、
    上記補正係数を算出するステップは、上記分割された領域毎に補正係数を算出するステップであり、
    上記エッジ強調処理を行うステップは、上記分割された領域毎に該エッジ強調処理を行うステップであることを特徴とする請求項１６に記載の信号処理方法。
20. コンピュータを、
    デジタル化された映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段、
    上記映像信号に係る画像のエッジ成分を該映像信号から抽出するエッジ抽出手段、
    上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段、
    上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段、
    として機能させるための信号処理プログラム。

Images