JP2008017448A - 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置 - Google Patents

映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置 Download PDF

Info

Publication number
JP2008017448A
JP2008017448A JP2007108947A JP2007108947A JP2008017448A JP 2008017448 A JP2008017448 A JP 2008017448A JP 2007108947 A JP2007108947 A JP 2007108947A JP 2007108947 A JP2007108947 A JP 2007108947A JP 2008017448 A JP2008017448 A JP 2008017448A
Authority
JP
Japan
Prior art keywords
noise
video signal
region
noise level
input video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007108947A
Other languages
English (en)
Other versions
JP2008017448A5 (ja
Inventor
Seiji Kimura
青司 木村
Masami Ogata
昌美 緒形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007108947A priority Critical patent/JP2008017448A/ja
Publication of JP2008017448A publication Critical patent/JP2008017448A/ja
Publication of JP2008017448A5 publication Critical patent/JP2008017448A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Abstract

【課題】本発明は、映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置に関し、例えば映像信号中のノイズを除去するノイズフィルタに適用して、従来に比して一段と精度良くノイズレベルを計測する。
【解決手段】本発明は、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測する。
【選択図】 図１

Description

本発明は、映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置に関し、例えば映像信号中のノイズを除去するノイズフィルタに適用することができる。本発明は、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測することにより、従来に比して一段と精度良くノイズレベルを計測する。
従来、各種映像信号処理装置では、時間巡回型等のノイズフィルタで映像信号からノイズを除去している。このような時間巡回型等のノイズフィルタは、映像信号から抽出したノイズ信号成分の信号レベルを補正して補正用信号を生成し、この補正用信号を元の映像信号から減算して映像信号からノイズを除去している。
従って補正用信号の信号レベルが大き過ぎると、被写体の境界、テクスチャ領域等でボケが発生する。またこれとは逆に補正用信号の信号レベルが小さ過ぎると、十分にノイズを抑圧できなくなる。
このため従来、各種映像信号処理装置では、この補正用信号の信号レベルをオペレータの操作に応じて可変できるように構成されている。これに対して特開２００１−１３６４１６号公報等には、ノイズレベルを計測し、ノイズレベル計測結果に基づいて補正用信号の信号レベルを自動的に設定する工夫が提案されている。
しかしながら従来手法にあっては、正確にノイズレベルを計測する点で、実用上未だ不十分な欠点があり、その結果、適切にノイズを除去できない問題があった。
特開２００１−１３６４１６号公報
本発明は以上の点を考慮してなされたもので、従来に比して一段と精度良くノイズレベルを計測することができる映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置を提案しようとするものである。
上記の課題を解決するため請求項１の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
また請求項１８の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムに適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
また請求項１９の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体に適用して、前記映像信号処理方法のプログラムは、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
また請求項２０の発明は、入力映像信号のノイズレベルを計測する映像信号処理装置に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、前記面内の特徴量検出部で検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有するようにする。
また請求項２１の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
また請求項２５の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムに適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
また請求項２６の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体に適用して、前記映像信号処理方法のプログラムは、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
また請求項２７の発明は、入力映像信号のノイズレベルを計測する映像信号処理装置に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有するようにする。
請求項１、請求項１８、請求項１９又は請求項２０の構成によれば、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測することができ、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域ではノイズレベルを計測しないようにすることができる。従って、本来の映像信号に混入するノイズレベルを正確に測定することができ、従来に比して一段と精度良くノイズレベルを計測することができる。
請求項２１、請求項２５、請求項２６又は請求項２７の構成によれば、近傍画素との相関性を有効に利用して、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測することができ、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域ではノイズレベルを計測しないようにすることができる。従って、本来の映像信号に混入するノイズレベルを正確に測定することができ、従来に比して一段と精度良くノイズレベルを計測することができる。
本発明によれば、従来に比して一段と精度良くノイズレベルを計測することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
（１）実施例の構成
図２は、本発明の映像信号処理装置に適用されるノイズフィルタを示すブロック図である。このノイズフィルタ１は、時間巡回型のノイズフィルタであり、連続するフィールド又はフレーム間の相関を有効に利用して、入力映像信号Ｓ１のノイズを除去して出力映像信号Ｓ２を出力する。
ここで遅延信号生成部２は、出力映像信号Ｓ２を遅延してノイズ成分抽出用の遅延信号Ｓ３を出力する。なおここで遅延信号Ｓ３は、出力映像信号Ｓ２を動き補正して生成するようにしてもよい。減算回路３は、入力映像信号Ｓ１から遅延映像信号Ｓ３を減算してノイズ信号成分Ｓ４を生成する。信号レベル補正回路４は、このノイズ信号成分Ｓ４の信号レベルを補正して補正用信号Ｓ５を生成し、減算回路５は、この補正用信号Ｓ５を入力映像信号Ｓ１から減算して出力映像信号Ｓ２を生成する。
計測部６は、入力映像信号Ｓ１からノイズ信号成分の信号レベルを計測して計測結果Ｓ７を出力し、信号レベル補正回路４は、この計測結果Ｓ７に応じて補正用信号Ｓ５の信号レベルを可変して出力する。
図３は、この計測部６を詳細に示すブロック図である。この計測部６において、参照映像信号生成部１１は、入力映像信号Ｓ１を１フィールド又は１フレームの期間だけ遅延させて参照用映像信号Ｓ１１を出力する。より具体的に、参照映像信号生成部１１は、入力映像信号Ｓ１を動き補正して参照用映像信号Ｓ１１を生成する。
すなわち図４に示すように、参照映像信号生成部１１において、遅延信号生成部１２は、入力映像信号Ｓ１を１フィールド又は１フレームの期間だけ遅延させて遅延映像信号Ｓ１２を生成する。動きベクトル検出部１３は、この遅延映像信号Ｓ１２を基準にして入力映像信号Ｓ１から動きベクトルＭＶを検出する。なおここでこの動きベクトルの検出は、ブロックマッチング法、勾配法等、種々の動きベクトル検出手法を適用することができる。また動きベクトルの精度は、整数画素精度、小数画素精度のいずれでもよい。
動き補正映像信号生成部１４は、この動きベクトルＭＶを用いて遅延映像信号Ｓ１２を動き補正して参照用映像信号Ｓ１１を出力する。なおここでこの参照映像信号Ｓ１１は、実用上十分な特性を確保できる場合には、図５に示すように、遅延信号生成部１２で、単に、入力映像信号Ｓ１を１フィールド又は１フレームの期間だけ遅延させて生成してもよい。
差分信号生成部１６は、図６に示すように、減算回路１７で、入力映像信号Ｓ１から参照用映像信号Ｓ１１を減算し、フィールド間差分又はフレーム間差分である差分信号Ｓ１６を出力する。
ノイズ領域検出部１８は（図３）、入力映像信号Ｓ１による１画面に複数の領域を設定し、領域毎に、画素領域における映像信号の１画面内の特徴量（以下、面内の特徴量と呼ぶ）であり、入力映像信号Ｓ１における画素値のばらつきの程度を示す信号（以下、アクティビティと呼ぶ）Ｓ１Ａを生成して出力する。またこの入力映像信号Ｓ１の各領域に対応する領域毎に、参照映像信号Ｓ１１、差分信号Ｓ１６についても、それぞれアクティビティＳ１１Ａ、Ｓ１６Ａを生成して出力する。またこれらアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａのノイズレベル計測に使用する適不適をそれぞれ判定し、その判定結果に基づいてノイズ計測に適した領域であることを示すノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。
ここで図１は、ノイズ領域検出部１８を詳細に示すブロック図である。このノイズ領域検出部１８において、部分領域信号分割部２０は、図７に示すように、入力映像信号Ｓ１の１画面を水平方向及び垂直方向に複数の領域に分割する。部分領域信号分割部２０は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６をそれぞれ各領域に振り分け、領域毎に、これら入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６をまとめて出力する。なおこのように各領域に振り分けられて、領域毎に出力される入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６を、それぞれ部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐと呼ぶ。また図７との対比により図８に示すように、領域の設定は、隣接する領域が部分的に重なり合うようにしてもよい。
画素領域特徴量抽出部２１は、部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐを入力して領域毎に処理し、領域毎に、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを検出する。なおこのアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの検出は、各領域における信号の分散を計算して求めるようにしてもよく、またこれに代えて画素値の２乗平均、画素値の絶対値平均、画素値の標準偏差等を計算して求めるようにしてもよい。
また画素領域特徴量抽出部２１は、領域毎に、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを計算して出力する。
飽和領域検出部２２は、画素領域特徴量抽出部２１で計算した入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを所定のしきい値S min
Th、S max Thで判定することにより、各領域において、入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値がダイナミックレンジの影響を受けてクリッピングしている可能性の有無を示す飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを出力する。なおここでクリッピングは、いわゆる白つぶれ、黒つぶれである。またしきい値S min Th、S max Thはそれぞれ黒レベル側及び白レベル側のしきい値である。従って飽和領域検出部２２は、Ｓ１ＰＡｖｅ＜S min Th又はＳ１ＰＡｖｅ＞S max Thが成立する場合、入力映像信号Ｓ１の飽和フラグＳ１ＰＡｖｅＦを立ち上げる。またＳ１１ＰＡｖｅ＜S min Th又はＳ１１ＰＡｖｅ＞S
max Thが成立する場合、参照映像信号Ｓ１１の飽和フラグＳ１１ＰＡｖｅＦを立ち上げる。
ここで映像信号の画素値がダイナミックレンジの影響を受けてクリッピングしている場合、この映像信号に重畳されたノイズもクリッピングされていることになる。従ってこのクリッピングされている領域では、ノイズレベルを正しく計測できないことになる。従って飽和領域検出部２２は、領域毎に、入力映像信号Ｓ１、参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを所定のしきい値S min Th、S max Thで判定することにより、クリッピングによるノイズレベル検出に不適切な領域を検出し、検出結果を飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦで出力する。
ノイズフリー領域検出部２３は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを入力し、それぞれノイズフリー領域を検出してノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦを出力する。ここでノイズフリー領域は、当該領域が、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域であると推定され、当該領域では、対象の信号にノイズがほとんど存在しないと見なすことができる領域である。
ノイズフリー領域検出部２３は、各領域における入力映像信号Ｓ１、参照映像信号Ｓ１１のアクティビティＳ１Ａ、Ｓ１１Ａの値Iactを、所定のしきい値INF Thで判定し、Iact＜ INF Th の関係が成立する場合、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１のノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦを立ち上げる。また各領域における差分信号Ｓ１６のアクティビティＳ１６Ａの値Pactを対応するしきい値PNF Thで判定し、Pact＜PNF Thの関係が成立する場合、差分信号Ｓ１６のノイズフリー領域検出フラグＳ１６ＮＦＦを立ち上げる。
計測有効判定部２４は、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦを処理して、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。
図９は、この計測有効判定部２４を詳細に示すブロック図である。計測有効判定部２４において、計測不能領域判定部２７は、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦの各信号Ｓ１、Ｓ１１、Ｓ１６毎の論理演算処理により、当該領域がノイズの計測に適していない領域であることを示す計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦを出力する。
具体的に、計測不能領域判定部２７は、入力映像信号Ｓ１の飽和フラグＳ１ＰＡｖｅＦ、ノイズ領域識別フラグＳ１ＮＦＦの何れかが立ち上がっている場合、当該領域における入力映像信号Ｓ１の計測不能領域判定フラグＳ１ＮＦを立ち上げる。また参照映像信号Ｓ１１の飽和フラグＳ１１ＰＡｖｅＦ、ノイズ領域識別フラグＳ１１ＮＦＦの何れかが立ち上がっている場合、当該領域における参照映像信号Ｓ１１の計測不能領域判定フラグＳ１１ＮＦを立ち上げる。また差分信号Ｓ１６のノイズ領域識別フラグＳ１６ＮＦＦが立ち上がっている場合、当該領域における差分信号Ｓ１６の計測不能領域判定フラグＳ１６ＮＦを立ち上げる。
増幅回路２８は、入力映像信号Ｓ１のアクティビティＳ１Ａ、参照映像信号Ｓ１１のアクティビティＳ１１Ａに対応するように、差分信号Ｓ１６のアクティビティＳ１６Ａの値を補正して出力する。
最小アクティビティ算出部２９は、領域毎に、入力映像信号Ｓ１のアクティビティＳ１Ａ、参照映像信号Ｓ１１のアクティビティＳ１１Ａ、増幅回路２８から出力される差分信号Ｓ１６のアクティビティＳ１６Ａから、対応する計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦＳ、１６ＮＦが立ち上がっていないアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを選択する。また領域毎に、選択したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａから最も値の小さなアクティビティを検出し、さらにこの検出した各領域の最小値から１フィールド又は１フレームで最も値の小さなアクティビティを選択する。最小アクティビティ算出部２９は、この１フィールド又は１フレームで選択した最も値の小さなアクティビティを最小アクティビティMinActとして出力する。なおこの１フィールド単位又は１フレーム単位の最小アクティビティMinActの検出に代えて、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦＳ、１６ＮＦが立ち上がっていないアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを１フィールド分又は１フレーム分、記録して保持し、この記録して保持したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａから値の小さい側から複数個の平均値を出力するようにしてもよい。
閾値設定部３０は、最小アクティビティMinActに基づいて、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを判定するための上限しきい値Act MaxTh1を計算する。すなわち閾値設定部３０は、対応する領域の面積から決まる定数A sdを最小アクティビティMinActと乗算し、上限しきい値Act MaxTh1を計算するための第１の中間計算値EstSD （= MinAct× A sd ）を計算する。また同様に対応する領域の面積から決まる定数A meanを最小アクティビティMinActと乗算して上限しきい値Act MaxTh1を計算するための第２の中間計算値EstMean （= MinAct× A mean ）を計算する。また第１の中間計算値EstSD に定数ActTh Factor1 を乗算して第２の中間計算値EstMean と加算し、上限しきい値Act MaxTh1（= EstMean
+EstSD×ActTh Factor1 ）を計算する。なおここで定数ActTh Factor1 は、ノイズの分布を考慮した定数である。これにより閾値設定部３０は、最小アクティビティMinActを基準にして、各領域で検出されたアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａがノイズのみによるもので無いと判断される上限しきい値Act MaxTh1を予測する。
有効ノイズ領域・アクティビティ選択部３１は、上限しきい値Act MaxTh1、最小アクティビティMinAct、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦに基づいて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する。すなわち計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが立ち上がっている場合、明らかに対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａは、ノイズレベルの計測に適していないと判定できることにより、この場合、有効ノイズ領域・アクティビティ選択部３１は、対応する信号Ｓ１Ａ、Ｓ１１Ａ、Ｓ１６Ａのノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち下げる。また計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦＳ、１６ＮＦが立ち下がっている場合でも、対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの値が最小アクティビティMinActより小さい場合、又は上限しきい値Act MaxTh1より大きい場合、ノイズレベル計測に使用することの信頼性が低いと言え、従ってこの場合も、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち下げる。
ノイズレベル計測部３５（図３）は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆ、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを処理してノイズレベル計測結果Ｓ７を出力する。
すなわち図１０に示すように、ノイズレベル計測部３５において、ノイズ領域統計値算出部３７は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっているノイズレベル計測に適した領域のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを統計的に処理し、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを代表する代表アクティビティＡＣＴを出力する。ここでこの統計的な処理は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっている領域のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａのうちで、最も優位なアクティビティを検出する処理であり、平均値を求める処理、分布の中心値を求める処理、ヒストグラムで最大頻度となる値を求める処理等を適用することができる。ノイズ領域統計値算出部３７は、１フィールド単位又は１フレーム単位で、代表アクティビティＡＣＴを計算して出力する。なお１フィールド単位又は１フレーム単位に代えて複数フィールド単位又は複数フレーム単位で代表アクティビティＡＣＴを計算して出力するようにしてもよい。
またノイズ領域統計値算出部３７は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっているアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの数をカウントし、代表アクティビティＡＣＴの計算に使用したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの数ｎを計算して出力する。
ノイズレベル変換部３６は、代表アクティビティＡＣＴをノイズレベルに換算して出力する。すなわちノイズレベル変換部３６において、増幅回路３８は、ノイズ領域統計値算出部３７で計算した代表アクティビティＡＣＴの値を利得ＡＫで乗算し、平均ノイズレベルＡｖｅＮに対応する信号レベルに補正して出力する。なおここで利得ＡＫは、定数であり、上限しきい値Act MaxTh1の値に応じて設定される。
計測不能判定部３９は、ノイズ領域統計値算出部３７で求められた代表アクティビティＡＣＴの計算に使用したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの数ｎを所定のしきい値で判定し、この数ｎがしきい値より小さい場合、ノイズレベルの計測が困難であることを示す判定信号ＮＧを出力する。
ノイズレベル時間平滑部４０は、判定信号ＮＧに基づいてノイズ領域統計値算出部３７で求められた平均ノイズレベルＡｖｅＮを平滑化し、ノイズレベル計測結果Ｓ７を出力する。すなわち図１１に示すように、ノイズレベル時間平滑部４０は、判定信号ＮＧの立ち下がりによりオン動作するスイッチ回路４１を介してフィルタ処理部４２に平均ノイズレベルＡｖｅＮを入力する。ここでフィルタ処理部４２は、図１２に示すように、入力信号ＩＮを順次遅延させる複数段の遅延回路Ｄ１〜Ｄ４と、入力信号ＩＮ、各遅延回路Ｄ１〜Ｄ４の出力信号をフィルタ係数ｈ０〜ｈ４で重み付けする乗算回路Ｍ０〜Ｍ４、乗算回路Ｍ０〜Ｍ４の出力信号を加算する加算回路ＡＤ１〜ＡＤ４とによるＦＩＲ型のローパスフィルタ回路で形成される。フィルタ処理部４２は、フィルタ特性制御部４４により設定されるフィルタ係数ｈ０〜ｈ４に応じた特性により、スイッチ回路４１を介して順次入力される平均ノイズレベルＡｖｅＮを平滑化する。なおフィルタ処理部４２には、図１３に示すように、出力信号ＯＵＴを遅延回路Ｄで遅延させ、この遅延回路Ｄの出力信号と入力信号ＩＮとをそれぞれ増幅回路ＭＢＡ及びＭＡＢで増幅して加算回路ＡＤで加算する時間巡回型（ＩＩＲ）のローパスフィルタを適用することもできる。
ノイズレベル時間平滑部４０は、判定信号ＮＧの立ち下がりによりオン動作するスイッチ回路４５、判定信号ＮＧに応じて接点を切り換えるスイッチ回路４６を介して、フィルタ処理部４２の出力信号をノイズレベル計測結果Ｓ７として出力する。
ノイズレベル時間平滑部４０において、前値記憶部４７は、判定信号ＮＧの立ち下がりにより、スイッチ回路４５を介して入力されるフィルタ処理部４２の出力信号を順次ラッチして出力する。また前値記憶部４７は、判定信号ＮＧの立ち上がりにより、ラッチ動作を停止し、これにより判定信号ＮＧが立ち上がるとフィルタ処理部４２の出力信号を前値ホールドして出力する。ノイズレベル時間平滑部４０は、判定信号ＮＧが立ち上がると、スイッチ回路４６の接点をスイッチ回路４５側から前値記憶部４７側に切り換え、前値ホールドによりノイズレベル計測結果Ｓ７を出力する。
減算回路４８は、前値記憶部４７から出力されるノイズレベル計測結果Ｓ７と、順次入力される平均ノイズレベルＡｖｅＮとの差分値を計算して出力する。
フィルタ特性制御部４４は、前値記憶部４７から出力されるノイズレベル計測結果を入力し、また減算回路４８を介してこのノイズレベル計測結果と平均ノイズレベルＡｖｅＮをとの差分値を入力し、これら計測結果、差分値に応じてフィルタ処理部４２の特性を制御する。具体的にフィルタ特性制御部４４は、差分値が大きい場合、ノイズレベル計測結果の変化が激しいことから、フィルタ処理部４２による平滑化の処理を強める。また平均ノイズレベルＡｖｅＮが大きい場合、計測結果もばらついていると考えられることにより、フィルタ処理部４２による平滑化の処理を強める。なお平滑化の処理にあっては、ノイズレベル計測結果Ｓ７を使用する後段の回路構成に応じて種々に設定することができ、このような平滑化の処理を省略して出力するようにしてもよい。
（２）実施例の動作
以上の構成において、映像信号Ｓ１は、ノイズフィルタ１（図２）に順次入力され、減算回路５でノイズ除去用の補正用信号Ｓ５が減算されてノイズが抑圧され、出力映像信号Ｓ２として出力される。映像信号Ｓ１は、この出力映像信号Ｓ２が遅延信号生成部２で遅延されて遅延映像信号Ｓ３が生成され、減算回路３でこの遅延信号Ｓ３が減算されてノイズ信号成分Ｓ４が生成される。またこのノイズ信号成分Ｓ４の信号レベルが信号レベル補正回路４で補正されて補正用信号Ｓ５が生成される。
従って入力映像信号Ｓ１は、ノイズレベルに比してこの補正用信号Ｓ５の信号レベルが小さい場合には、このノイズフィルタ１によっては十分にノイズを抑圧できなくなり、十分に画質を向上できなくなる。またこれとは逆に、ノイズレベルに比して補正用信号Ｓ５の信号レベルが大きい場合には、映像本来の高域成分まで抑圧され、被写体の境界、テクスチャ領域等でボケが発生することになる。
そこで入力映像信号Ｓ１は、計測部６でノイズレベルが計測され、このノイズレベル計測結果Ｓ７に応じて信号レベル補正回路４の利得が制御され、補正用信号Ｓ５の信号レベルが適切な信号レベルに設定される。しかしながら計測部６で正しくノイズレベルを計測できないと、適切に補正用信号Ｓ５の信号レベルを設定することが困難になる。
そこで計測部６において、入力映像信号Ｓ１は（図３）、ノイズ領域検出部１８の部分領域制御分割部２０（図１）に入力されて、１画面中に設定された領域毎の信号にまとめられ（図７及び図８）、画素領域特徴量抽出部２１において、領域毎に、画素値のばらつきの程度を示すアクティビティＳ１Ａが検出される。
ここでこの入力映像信号Ｓ１から検出されるアクティビティＳ１Ａは、ノイズレベルの増大により値が大きくなり、これによりノイズレベルを表していることになる。しかしながら各種の映像機器では、グラフィカルユーザーインターフェース等による各種の映像が入力映像信号Ｓ１に介挿されている場合がある。また編集過程でキャプション情報が挿入されている場合がある。このような映像、情報にあっては、入力映像信号Ｓ１の他の部分に比してノイズが少なく、画素値のばらつきが小さないわゆる平坦な部分である。従ってこのような部分で検出したノイズレベルに基づいて信号レベル補正回路４の利得を設定したのでは、ノイズを十分に抑圧できなくなる。
そこでこの計測部６において、入力映像信号Ｓ１は、続くノイズフリー領域検出部２３において、アクティビティＳ１Ａの値Iactが所定のしきい値INF Thで判定されて極端にノイズレベルの小さな領域が検出され、キャプション情報等が挿入された領域が検出される。すなわち入力映像信号Ｓ１は、アクティビティＳ１Ａの値Iactが所定のしきい値INF Thより小さい場合、ノイズの計測に適していない領域であるとしてノイズフリー領域検出フラグＳ１ＮＦＦが立ち上げられる。
また例えばこの入力映像信号Ｓ１が光ディスクレコーダーから再生されたものである場合、光ディスクレコーダーへの入力時に重畳されていたノイズ成分が、この光ディスクレコーダーの記録再生系のダイナミックレンジで部分的に抑圧されている場合も予測される。このような場合に、この抑圧された部分で検出されるノイズレベルに基づいて信号レベル補正回路４の利得を設定したのでは、ノイズを十分に抑圧できなくなる。
そこで入力映像信号Ｓ１は、画素領域特徴量抽出部２１において、さらに領域毎に、画素値の平均値Ｓ１ＰＡｖｅが求められ、また飽和領域検出部２２において、この平均値Ｓ１ＰＡｖｅが所定のしきい値S min Th、S max Thで判定され、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域で飽和フラグＳ１ＰＡｖｅＦが立ち上げられる。
入力映像信号Ｓ１は、飽和フラグＳ１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦが立ち下がっている領域のアクティビティＳ１Ａが、計測有効判定部２４、ノイズレベル計測部３５で選択的に処理されてノイズレベルが計測される。これにより計測部６は、従来に比してノイズレベルの計測精度を向上することができる。
しかしながら入力映像信号Ｓ１から求められるアクティビティＳ１Ａは、ノイズ成分を含んではいるものの、本来の映像信号の高域成分までも含んでいる。従って高域成分の信号レベルが大きい場合には、ノイズレベルの計測に誤差が大きくなる。
そこで入力映像信号Ｓ１は、参照映像信号生成部１１で遅延、動き補正されて参照用映像信号Ｓ１１が生成され（図４及び図５）、さらに差分信号生成部１６でこの参照用映像信号Ｓ１１との間の差分信号Ｓ１６が生成される（図６）。またこの差分信号Ｓ１６がノイズ領域検出部１８の部分領域制御分割部２０（図１）において、入力映像信号Ｓ１と同様に１画面中に設定された領域毎の信号にまとめられ（図７及び図８）、画素領域特徴量抽出部２１において、領域毎にアクティビティＳ１６Ａが検出される。またこの差分信号Ｓ１６の生成に使用した参照用映像信号Ｓ１１も、入力映像信号Ｓ１と同様に処理されて、領域毎にアクティビティＳ１１Ａが検出される。
ここでこの差分信号Ｓ１６のアクティビティＳ１６Ａは、差分信号Ｓ１６が連続するフィールド又はフレーム間の差分信号であることから、正しく動き補正できている場合には、入力映像信号Ｓ１に本来含まれる高域成分の影響を受けず、正しくノイズレベルを表していることになる。しかしながら誤って動き補正している場合もあり、この場合にはノイズレベルを誤検出することになり、入力映像信号Ｓ１のアクティビティＳ１Ａを用いてノイズレベルを計測した方が正しくノイズレベルを計測できる場合も発生する。
また例えばシーンチェンジ、フラッシュ等で、一時的に画質が変化する場合も予測され、この場合は、参照映像信号Ｓ１１を使用してノイズレベルを計測した方が、より適切にノイズレベルを計測することができる。
これによりこの計測部６において、入力映像信号Ｓ１は、入力映像信号Ｓ１のアクティビティＳ１Ａに加えて、参照映像信号Ｓ１１及び差分信号Ｓ１６のアクティビティＳ１１Ａ及びＳ１６Ａを用いて求められ、これにより従来に比して一段を精度良くノイズレベルを計測することが可能となる。
またこの参照映像信号Ｓ１１にあっても、入力映像信号Ｓ１と同様に、記録再生系等のダイナミックレンジで部分的にノイズが抑圧されている場合があり、さらにキャプション情報等を表示した領域でノイズレベルを誤り検出する恐れがあることにより、入力映像信号Ｓ１と同様に飽和領域検出部２２、ノイズフリー領域検出部２３でそれぞれ処理されて飽和フラグＳ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１１ＮＦＦが設定され、これによってもノイズレベルの計測精度が向上される。
これに対して差分信号Ｓ１６は、ノイズフリー領域検出部２３でノイズフリー領域検出フラグＳ１６ＮＦＦが設定され、これによってもノイズレベルの計測精度が向上される。なお差分信号Ｓ１６は、平均値をしきい値で判定してノイズが部分的に抑圧されている部分を検出できないことにより、この計測部６では、飽和フラグを設定していないが、差分信号Ｓ１６の生成元である入力映像信号Ｓ１及び又は参照映像信号Ｓ１１で設定された飽和フラグＳ１ＰＡｖｅＦ及び又はＳ１１ＰＡｖｅＦを利用して、飽和フラグを設定するようにしてもよい。
計測部６において、入力映像信号Ｓ１は、これら飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦに基づいて、３種類のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが計測有効判定部２４、ノイズレベル計測部３５で選択的に処理されてノイズレベルが計測される。これにより計測部６は、従来に比してノイズレベルの計測精度を向上することができる。
より具体的に、入力映像信号Ｓ１は、計測有効判定部２４の計測不能領域判定部２７において（図１及び図９）、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１毎に、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦの何れかが立ち上がっている領域が検出され、当該領域がノイズレベルの計測に適していない領域であることを示す計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦが立ち上げられる。また差分信号Ｓ１６については、ノイズ領域識別フラグＳ１６ＮＦＦが立ち上がっている領域が検出され、当該領域で計測不能領域判定フラグＳ１６ＮＦが立ち上げられる。
入力映像信号Ｓ１は、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが立ち上がっている領域の対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａについては、ノイズレベル計測部３５において、ノイズレベルの計測対象から除外され、これにより飽和領域検出部２２における画素値の平均値を基準にした領域判定結果（フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦである）、ノイズフリー領域検出部２３におけるアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを基準にした領域判定結果（フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦ）に基づいて、ノイズレベル計測に適していない領域がノイズレベル計測対象から除外され、ノイズレベルの計測精度が向上される。
しかしながらこのように画素値の平均値を基準にした領域判定結果、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを基準にした領域判定結果によりノイズレベル計測に適していない領域をノイズレベル計測対象から除外した場合でも、入力映像信号Ｓ１によっては、ノイズレベルの計測に適していない領域が含まれている場合がある。ここでノイズは、１画面の全面にほぼ均一に重畳されると考えられる。従ってこのように画素値の平均値を基準にした領域判定結果、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを基準にした領域判定結果によりノイズレベル計測に適していない領域をノイズレベル計測対象から除外して、他の領域で検出されるアクティビティに比して、あまりにかけ離れた値のアクティビティが検出されている領域は、ノイズ以外の高域成分が含まれている可能性が高い。
そこで入力映像信号Ｓ１は、さらに最小アクティビティ算出部２９において、対応する計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが立ち上がっていないアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが選択され、１フィールド単位又は１フレーム単位で、最も値の小さな最小アクティビティMinActが検出される。またこの最小アクティビティMinActを基準にして上限しきい値Act MaxTh1が設定される。
また有効ノイズ領域・アクティビティ選択部３１において、入力映像信号Ｓ１は、この最小アクティビティMinAct、上限しきい値Act MaxTh1を基準にしてアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが判定され、他の領域で検出されるアクティビティに比して、あまりにかけ離れた値のアクティビティが検出されている領域が検出され、これによりノイズレベルの計測に適していない領域が検出される。入力映像信号Ｓ１は、この最小アクティビティMinAct、上限しきい値Act MaxTh1で検出されたノイズレベルの計測に適していない領域もノイズレベル計測対象から除外され、これによっても一段とノイズレベルの計測精度が向上する。
なおこれにより最小アクティビティMinAct、上限しきい値Act MaxTh1は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６毎に求めて、対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの判定に使用するようにしてもよい。またアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの分布から、最小アクティビティMinAct、上限しきい値Act MaxTh1を設定するようにしてもよい。なおアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの分布から最小アクティビティMinAct、上限しきい値Act MaxTh1を設定する場合は、例えばノイズによる分布を推定し、このノイズの分布の標準偏差から設定することが考えられる。
入力映像信号Ｓ１は、有効ノイズ領域・アクティビティ選択部３１において、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦによりノイズレベル計測に適していないとされた領域に、この最小アクティビティMinAct、上限しきい値Act MaxTh1で検出されたノイズレベルの計測に適していない領域が加味されて、信号Ｓ１、Ｓ１１、Ｓ１６毎に、ノイズレベルの計測に適した領域を示すノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上げられる。
入力映像信号Ｓ１は（図１０）、ノイズ領域統計値算出部３７において、このノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆに基づいて、ノイズレベル計測に適した領域の対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが選択的に取得され、この選択したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが１フィールド単位又は１フレーム単位で統計的に処理されて、代表アクティビティＡＣＴが検出される。また代表アクティビティＡＣＴを求めるために使用されたアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの個数ｎが計算される。
入力映像信号Ｓ１は（図１０及び図１１）、この代表アクティビティＡＣＴが平均ノイズレベルＡｖｅＮに変換された後、ノイズレベル時間平滑部４０において平滑化処理されてノイズレベル検出結果Ｓ７が生成される。しかしながらノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆによりあまりにノイズレベル計測に適していない領域が多い１フィールド、１フレームにあっては、そもそもノイズレベルを正確に計測困難な映像であると考えられ、このような１フィールド、１フレームで検出されたノイズレベルは、信頼性が低いと判断することができる。
従って入力映像信号Ｓ１は、ノイズレベル変換部３６の計測不能判定部３９において、代表アクティビティＡＣＴを求めるために使用されたアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの個数ｎが判定され、ノイズレベル計測に適していないフィールド、フレームが検出される。またノイズレベル時間平滑部４０において、このノイズレベル計測に適していないフィールド、フレームでは、代表アクティビティＡＣＴを平滑化処理対象に加えないようにスイッチ回路４１が切り換えられ、また前値ホールドによりノイズレベル検出結果Ｓ７を出力するように、スイッチ回路４５、４６が切り換えられる。これにより実施例では、ノイズフィルタ１によるノイズ除去に好適に、急激な値の変化を防止してノイズレベル検出結果Ｓ７が検出される。
またフィルタ特性制御部４４により、ノイズレベルが大きく誤差が大きい場合、連続するフィールド、フレームでノイズレベルの変動が大きい場合に、フィルタ処理部４２による平滑化の特性が強められ、これによっても測定精度の劣化が防止される。
（３）実施例の効果
以上の構成によれば、面内の特徴量であるアクティビティをノイズフリー領域用のしきい値で判定してノイズレベル計測対象から除外して、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外したことにより、従来に比して一段と精度良くノイズレベルを計測することができる。すなわちこの場合、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域ノイズレベルを計測しないようにすることができ、本来の映像信号に混入するノイズレベルを正確に測定して精度良くノイズレベルを計測することができる。
また参照信号についても同様に処理してノイズレベル計測対象を設定し、参照信号との間の総合的な処理によりノイズレベルを計測することにより、一段と高い精度でノイズレベルを計測することができる。
またフレーム間又はフィールド間の差分信号についても同様に処理してノイズレベル計測対象を設定し、差分信号との間の総合的な処理によりノイズレベルを計測することにより、一段と高い精度でノイズレベルを計測することができる。
また画素値の平均値を平均値用のしきい値で判定してノイズレベル計測対象から除外することにより、ダイナミックレンジの影響を受けてクリッピングしている可能性の高い領域をノイズレベル計測対象から除外してノイズレベルを計測することができ、一段とノイズレベル検出精度を向上することができる。
また特徴量を集計して検出した特徴量の最小値に基づいて上限しきい値を設定し、この上限しきい値により特徴量を判定することにより、正しく動き補正できていないような領域についてはノイズレベル計測対象から除外することができ、これによっても一段とノイズレベルの検出精度を向上することができる。
また計測対象から除外した領域の数をフィールド単位又はフレーム単位で判定して、この領域の数が一定値より大きい場合、前値ホールドによりノイズレベル検出結果を出力することにより、ノイズレベル検出結果をノイズフィルタの処理に適用して、誤ったノイズレベルの抑圧を防止し、さらには急激な画質の変化を防止することができる。
図１４は、本発明の実施例２のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例２のノイズフィルタは、ノイズ領域検出部１８に代えてこのノイズ領域検出部５１が適用される点を除いて、実施例１のノイズフィルタと同一に構成される。なお以下において、実施例１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
このノイズ領域検出部５１は、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域をノイズレベル計測対象から除外するようにフラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを設定する代わりに、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正し、これによりこれら領域もノイズレベル計測対象とする。このノイズ領域検出部５１は、実施例１において上述したノイズ領域検出部と同一に、部分領域信号分割部２０、画素領域特徴量抽出部２１で順次入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６を処理してアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａ、入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを求める。
このノイズ領域検出部５１において、飽和補正アクティビティ算出部５２は、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域について、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正して出力する。すなわち図１５に示すように、飽和補正アクティビティ算出部５２において、飽和度算出部５７は、入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを入力し、各領域の飽和度Ｓ１ＰＳ、Ｓ１１ＰＳを計算する。なおここで飽和度は、画素値の平均値を画素値が取り得る最大値で割り算して求められる。また差分信号Ｓ１６のアクティビティＳ１６Ａについては、入力映像信号Ｓ１及び参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ及びＳ１１ＰＡｖｅを平均値化し、この平均値から飽和度Ｐ１６ＰＳを求める。
アクティビティ補正部５４は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを、それぞれ対応する飽和度Ｓ１ＰＳ、Ｓ１１ＰＳ、Ｓ１６ＰＳに応じた補正量で乗算し、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの値を補正してアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを出力する。なおここで図１６は、例えば、白レベル側についてのみアクティビティを補正する場合を示す例であり、この場合、飽和度が白レベル側に近づくに従って補正量が大きくなるように設定される。この実施例では、黒レベル側領域及び白レベル側領域についてアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正することから、アクティビティ補正部５４は、黒レベルから白レベルに近づくに従って、徐々に値が低下した後、ほぼ一定値となり、その後値が徐々に増大するように補正量が設定される。
ノイズフリー領域検出部５３は、この飽和補正アクティビティ算出部５２におけるアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの補正に対応するように、しきい値INF Thが設定されている点を除いて、実施例１のノイズフリー領域検出部２３と同一に構成され、アクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡをしきい値INF Th、PNF Thで判定して、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦを出力する。
計測有効判定部５５は、図１７に示すように、飽和補正アクティビティ算出部５２、ノイズフリー領域検出部５３の構成に対応するように、計測不能領域判定部５６の構成が異なる点を除いて、実施例１の計測有効判定部２４と同一に構成され、飽和補正アクティビティ算出部５２、ノイズフリー領域検出部５３の処理結果に基づいて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。従って計測不能領域判定部５６は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦの論理値を単に反転させて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。
なおこれにより有効ノイズ領域・アクティビティ選択部３１は、補正前のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａに代えて、補正されたアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを処理してフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。また後段のノイズレベル計測部３５は、補正前のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａに代えて、補正されたアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを処理してノイズレベル検出結果Ｓ７を出力する。
この実施例のように、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域をノイズレベル計測対象から除外する代わりに、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正してノイズレベル計測対象とするようにしても、実施例１と同様の効果を得ることができる。またこの場合、実施例１に比してノイズレベル計測対象の領域数が増大することから、例えば暗闇のシーンが続くような場合でも安定して高い精度でノイズレベルを計測することができる。
ところで実施例１の構成では、入力映像信号Ｓ１によっては、殆どの領域でノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がり、ノイズレベル計測に使用する領域数が極端に少なくなって計測結果の信頼性が劣化する恐れがある。
そこでこの実施例では、ノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がっている領域の数が増大すると、最小アクティビティMinActによってノイズ計測対象から除外する領域数を低減させる。なお以下において、実施例１、２と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
すなわち図１８は、本発明の実施例３のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。この実施例３のノイズフィルタは、計測有効判定部２４に代えてこの計測有効判定部６１が適用される点を除いて、実施例１のノイズフィルタと同一に構成される。
この計測有効判定部６１において、計測不能領域判定部６２は、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦをそのまま計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦとして出力する。また飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦの何れかが立ち上がっている場合、計測不能領域判定フラグＳ１６ＮＦを立ち上げる。
最小アクティビティ算出部６３は、ノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がっている領域の数に応じて、最小アクティビティMinActの値を可変して出力する。
すなわち図１９は、最小アクティビティ算出部６３を示すブロック図である。最小アクティビティ算出部６３において、非ノイズフリー最小アクティビティ算出部６４は、最小アクティビティ算出部２９（図９）と同一にアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを処理して最小アクティビティMinActＡを出力する。但し、この実施例では、計測不能領域判定部６２により生成される計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが、実施例１の場合と異なり、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦのみで生成されていることにより、非ノイズフリー最小アクティビティ算出部６４は、計測不能領域判定部６２から出力される計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦと、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦとを別途処理し、実施例１の最小アクティビティ算出部２９と同一領域のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを選択的に処理して最小アクティビティMinActＡを出力する。これによりこの実施例でも、ノイズフリー領域は、ノイズレベル計測に使用しないようにする。
ノイズフリー最小アクティビティ算出部６５は、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦによって計測可能と判定された領域であって、かつノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域について、非ノイズフリー最小アクティビティ算出部６４と同一に対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを選択的に処理して最小アクティビティMinActＢを出力する。またこの領域の数Ｎを、領域の総数で割り算した占有率ＲａｔｅＮを計算して出力する。
最小アクティビティ合成部６６は、占有率ＲａｔｅＮを所定のしきい値ＲＴＨ１で判定し、図２０に示すように、占有率ＲａｔｅＮがこのしきい値ＲＴＨ１以下の場合、すなわちノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域の数が一定値以下の場合、非ノイズフリー最小アクティビティ算出部６４で求められた最小アクティビティMinActＡの値により最小アクティビティMinActを出力する。
またしきい値ＲＴＨ１より値の大きな所定のしきい値ＲＴＨ２で占有率ＲａｔｅＮを判定し、占有率ＲａｔｅＮがこのしきい値ＲＴＨ２以上の場合、すなわちノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域の数が一定値以上の場合、ノイズフリー最小アクティビティ算出部６５で求められた最小アクティビティMinActＢの値により最小アクティビティMinActを出力する。また占有率ＲａｔｅＮがこの２つのしきい値ＲＴＨ１、ＲＴＨ２の間の値の場合、最小アクティビティMinActＡ、MinActＢを用いた直線補間により最小アクティビティMinActを出力する。これにより図２１において矢印Ａにより示すように、最小アクティビティ合成部６６は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域の数が増大すると、最小アクティビティMinActの値を低減してノイズレベル計測対象の領域数を増大させる。
この実施例によれば、ノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がっている領域の占有率を検出し、この領域の数が増大すると、最小アクティビティMinActによってノイズ計測対象から除外する領域数を低減させることにより、ノイズレベル計測に使用する領域数が極端に少なくなることによる計測精度の劣化を防止することができ、実施例１の構成に比してさらに一段と高い精度でノイズレベルを計測することができる。
図２２は、本発明の実施例４のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。この実施例４のノイズフィルタは、計測有効判定部５５に代えてこの計測有効判定部７１が適用される点を除いて、実施例２のノイズフィルタと同一に構成される。従ってこの実施例においても、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域をノイズレベル計測対象から除外する代わりに、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正し、その補正結果であるアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを用いてノイズレベルを計測する。なお以下において、実施例１〜３と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
この計測有効判定部７１は、最小アクティビティMinActの設定によって、最終的にノイズレベル計測対象を設定する。このため計測有効判定部７１は、最小アクティビティ算出部７２に、抑圧前のノイズレベルを示すように補正されたアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを入力する。
ここで図１９との対比により図２３に示すように、最小アクティビティ算出部７２において、非ノイズフリー最小アクティビティ算出部７３は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによりノイズレベル計測可能と判定された領域の対応するアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを選択的に処理して最小アクティビティMinActＡを出力する。なおこのアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡの選択的な処理は、実施例１の最小アクティビティ算出部２９と同一である。
これに対してノイズフリー最小アクティビティ算出部７４は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによりノイズレベル計測困難と判定された領域の対応するアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを選択的に処理して最小アクティビティMinActＢを出力する。なおこのアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡの選択的な処理は、実施例１の最小アクティビティ算出部２９と同一である。また最小アクティビティMinActＢの計算に使用した領域の占有率ＲａｔａＮを計算して出力する。
最小アクティビティ合成部７５は、最小アクティビティ合成部６６と同一に、これら最小アクティビティMinActＡ、MinActＢを合成して最小アクティビティMinActを出力する。
有効ノイズ領域・アクティビティ選択部３１は、上限しきい値Act MaxTh1、最小アクティビティMinActに基づいて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する。すなわち対応するアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡの値が最小アクティビティMinActより小さい場合、又は上限しきい値Act MaxTh1より大きい場合、ノイズレベル計測に使用することの信頼性が低いと言え、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち下げる。
この実施例によれば、最小アクティビティMinActの設定によって、最終的にノイズレベル計測対象から、キャプション情報等を表示した領域を除外するようにして、ノイズレベル計測対象から除外した領域の占有率に応じて最小アクティビティMinActを可変することにより、実施例１の効果に加えて、暗闇のシーンで、かつノイズが非常に少ないシーンが続いた場合であっても、安定かつ高精度にノイズレベルを計測することができる。
図２４は、本発明の実施例５のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部８１において、上述の各実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
この計測部８１は、入力映像信号Ｓ１と、参照映像信号生成部１１から出力される参照映像信号Ｓ１１とを部分領域信号分割部８２に入力し、ここで部分入力映像信号Ｓ１Ｐ及び部分参照映像信号Ｓ１１Ｐを生成する。なお部分領域信号分割部８２は、実施例１について上述した部分領域信号分割部２０と同一に、部分入力映像信号Ｓ１Ｐ及び部分参照映像信号Ｓ１１Ｐを生成する。
帯域分割部８３は、部分入力映像信号Ｓ１Ｐ及び部分参照映像信号Ｓ１１Ｐを入力し、この入力した画素領域の信号をそれぞれ周波数領域上の複数帯域の信号に変換して出力する。ここでこの周波数領域上への変換処理は、例えばHadamard変換、Haar変換、ディスクリートコサイン変換等の直交変換処理、フィルタバンクを利用したwavelet 変換、サブバンド分割等、種々の手法を適用することができる。帯域分割部８３は、それぞれこの複数帯域の信号を部分入力映像帯域信号Ｓ１ＰＢ及び部分参照映像帯域信号Ｓ１１ＰＢとして出力する。
差分信号生成部８４は、部分入力映像信号Ｓ１Ｐから部分参照映像信号Ｓ１１Ｐを減算して部分差分信号Ｓ１６Ｐを出力する。また差分信号生成部８４は、対応する帯域毎に、部分入力映像帯域信号Ｓ１ＰＢから部分参照映像帯域信号Ｓ１１ＰＢを減算し、部分差分帯域信号Ｓ１６ＰＢを出力する。
ノイズ領域検出部８５は、画素領域上の信号である部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐについては、上述の実施例２のノイズ領域検出部５１と同一に処理して、フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆ、アクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを出力する。また周波数領域上の信号である部分入力映像帯域信号Ｓ１ＰＢ、部分参照映像帯域信号Ｓ１１ＰＢ、部分差分帯域信号Ｓ１６ＰＢについては、それぞれ各帯域における特徴量を検出して出力する。
このため図２５に示すように、ノイズ領域検出部８５は、画素領域上の信号の処理系については、上述の実施例２のノイズ領域検出部５１と同一に構成される。
周波数領域特徴量抽出部８６は、周波数領域上の信号Ｓ１ＰＢ、Ｓ１１ＰＢ、Ｓ１６ＰＢからそれぞれノイズらしさの程度を示す平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂをそれぞれ領域毎に検出する。ここで図２６に示すように、映像信号は、一般に、特定の周波数にスペクトル分布が偏る。これに対して図２７に示すように、ノイズは、広い周波数帯域にスペクトルが分布する。従ってスペクトルの分布が平坦であればある程、当該信号は、ノイズ成分が多く含まれる信号であると言える。なお平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂには、各帯域のスペクトルのばらつきを示す分散値、スペクトルの最大値と最小値の比等を適用することができる。
計測有効判定部８７は、上述した各実施例の計測有効判定部におけるフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆの設定条件に、対応する平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂを加味してフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する。このため図２８に示すように、計測有効判定部８７は、フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する有効ノイズ領域・アクティビティ選択部８８を除いて、上述の実施例４の計測有効判定部７１と同一に形成される。
有効ノイズ領域・アクティビティ選択部８８は、上述した各実施例の有効ノイズ領域・アクティビティ選択部３１におけるフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆの設定条件を満足する場合であって、かつ対応する平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂをそれぞれ所定のしきい値で判定してスペクトラム分布からノイズ成分が支配的であると判定される領域で、フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち上げる。これによりこの実施例では周波数領域における映像信号の特徴量であるスペクトラム分布を参考にしてノイズレベル計測対象の領域を設定する。
図２９は、ノイズレベル計測部９０の構成を示すブロック図である。このノイズレベル計測部９０において、ノイズ領域統計値算出部９１は、ノイズ領域統計値算出部３７と同一に、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっている領域のアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを統計的に処理し、アクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを代表する代表アクティビティＡＣＴを出力する。
またノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっている領域について、ノイズ領域統計値算出部９１は、部分入力映像帯域信号Ｓ１ＰＢ、部分参照映像帯域信号Ｓ１１ＰＢ、部分差分帯域信号Ｓ１６ＰＢを選択的に処理し、代表アクティビティＡＣＴに対応するノイズ領域側の代表アクティビティＡＣＴＢを出力する。なおこの場合、ノイズ領域統計値算出部９１は、帯域毎に、複数領域におけるスペクトラム値の２乗平均、絶対値平均、標準偏差等を計算して、帯域毎に、代表アクティビティＡＣＴＢを出力する。
ノイズレベル変換部９２は、代表アクティビティＡＣＴについては、上述の実施例と同一に処理してノイズレベル検出結果Ｓ７を出力する。これに対してノイズ領域側の代表アクティビティＡＣＴＢについては、帯域毎に、増幅回路９３で利得ＡＫを乗算して値を補正した後、ノイズレベル時間平滑部９４に入力する。
ノイズレベル時間平滑部９４は、帯域毎に、増幅回路９３の出力信号を時間平滑化処理し、帯域毎のノイズレベル計測結果Ｓ７Ｂを出力する。
この実施例によれば、周波数領域における平坦度を基準にしてフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定して、各帯域で検出されるスペクトラムの平坦度に応じてノイズレベル計測対象の領域を可変していることから、画素値を基準にしたアクティビティによってはノイズレベル計測対象とするか否か判定困難な場合でも、正しくノイズレベル計測対象を判定することができる。具体的に、コントラストが低いテクスチャ部、画素値の値が小さいフレーム又はフィールドであっても、周波数領域における平坦度を基準にすれば、確実にノイズレベル計測に適した領域か否か判定することができる。従って上述の実施例に比して一段とノイズレベル計測精度を向上することができる。
またこの周波数領域における平坦度を求める構成を有効に利用して、帯域毎にノイズレベル計測結果を出力することにより、映像信号を帯域分割して処理する場合に、種々に対応することができる。具体的に、ノイズフィルタでは、映像信号を帯域分割してノイズを抑圧する際に、各帯域の補正用信号の信号レベルを適切に設定することができる。またエンハンス処理などの高画質化技術にも広く適用することができる。
図３０は、本発明の実施例６のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１０１は、入力映像信号Ｓ１のみを用いてノイズレベルを計測する。
このため計測部１０１は、直接、入力映像信号Ｓ１をノイズ領域検出部１０２に入力し、ノイズ領域検出部１０２の出力をノイズレベル計測部１０３で処理してノイズレベル計測結果Ｓ７を出力する。
ここでノイズ領域検出部１０２は、図３１に示すように、上述した各実施例のノイズ領域検出部における参照映像信号Ｓ１１、差分信号Ｓ１６に関する構成が省略されて各部１０４〜１０８が形成され、入力映像信号Ｓ１のアクティビティＳ１Ａ、ノイズ領域識別フラグＳ１Ｆを出力する。
またノイズレベル計測部１０３も同様に、上述した各実施例の対応する構成から参照映像信号Ｓ１１、差分信号Ｓ１６に関する構成が省略されて形成される。
この実施例のように、入力映像信号のみによりノイズレベルを計測する場合でも、従来に比してノイズレベルの計測精度を向上することができる。
図３２は、本発明の実施例７のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１１１は、図２４について上述した実施例５の各映像信号を帯域分割してノイズレベルを計測する構成を前提に、入力映像信号Ｓ１のみを用いてノイズレベルを計測する。
このため計測部１１１は、直接、入力映像信号Ｓ１を部分領域信号分割部１１２に入力し、またこの部分領域信号分割部１１２から出力される部分入力映像信号Ｓ１Ｐを帯域分割部１１３に入力する。また部分領域信号分割部１１２、帯域分割部１１３の出力を順次ノイズ領域検出部１１４、ノイズレベル計測部１１５で処理してノイズレベル検出結果Ｓ７、Ｓ７Ｂを出力する。
ここでこれら部分領域信号分割部１１２、帯域分割部１１３、ノイズ領域検出部１１４、ノイズレベル計測部１１５は、上述した実施例５の対応する構成から参照映像信号Ｓ１１、差分信号Ｓ１６に関する構成が省略されて形成される。
この実施例のように、映像信号を帯域分割してノイズレベルを計測する構成を前提に、入力映像信号Ｓ１のみを用いてノイズレベルを計測する場合でも、従来に比してノイズレベルの計測精度を向上することができる。
図３３は、図３との対比により本発明の実施例８のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１２１において、上述の実施例１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。この計測部１２１において、ノイズ領域検出部１２２は、差分信号Ｓ１６についてのみアクティビティＳ１６Ａ、ノイズ領域識別フラグＳ１６Ｆを生成し、ノイズレベル計測部１２３は、このアクティビティＳ１６Ａ、ノイズ領域識別フラグＳ１６Ｆを使用してノイズレベル検出結果Ｓ７を出力する。
ここで図３４は、ノイズ領域検出部１２２の構成を示すブロック図である。ノイズ領域検出部１２２は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６を部分領域信号分割部２０、画素領域特徴量抽出部２１、飽和領域検出部２２で順序処理し、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを出力する。
ノイズフリー領域検出部１２５は、実施例１のノイズフリー領域検出部２３から、入力映像信号Ｓ１、参照映像信号Ｓ１１に関する構成が省略されて形成され、差分信号Ｓ１６についてのみノイズフリー領域検出フラグＳ１６ＮＦＦを出力する。計測有効部１２６は、実施例１の対応する構成から、入力映像信号Ｓ１、参照映像信号Ｓ１１に関する構成が省略されて形成され、差分信号Ｓ１６についてのみノイズ領域識別フラグＳ１６Ｆ、アクティビティＳ１６Ａを出力する。
ノイズレベル計測部１２３は、図３５に示すように、ノイズ領域統計値算出部１２７、ノイズレベル変換部１２８でノイズ領域識別フラグＳ１６Ｆ、アクティビティＳ１６Ａを順次処理してノイズレベル計測結果Ｓ７を出力する。ここでノイズ領域統計値算出部１２７、ノイズレベル変換部１２８は、実施例１の対応する構成から、入力映像信号Ｓ１、参照映像信号Ｓ１１に関する構成が省略されて形成される。
この実施例のように差分信号だけでノイズレベルを計測する場合にも、従来に比してノイズレベルの計測精度を向上することができる。なおこの実施例のように差分信号だけでノイズレベルを計測して得られるノイズレベル計測結果は、原理的に時間変動するノイズ成分のみを計測することになることから、例えば時間巡回型フィルタのように時間変動するノイズを低減する処理に適用して、有効にノイズを低減することができ、その結果、コントラストの低い動物体境界部で尾引きと呼ばれるボケの発生を防止して、確実にノイズを抑圧することができる。
図３６は、図２４との対比により本発明の実施例９のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１３１において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。この計測部１３１は、図２４について上述した実施例５の各映像信号を帯域分割してノイズレベルを計測する構成を前提に、差分信号Ｓ１６についてのみノイズレベルを計測する。計測部１３１は、初めに差分信号生成部１３２で部分差分信号Ｓ１６Ｐを生成した後、続く帯域分割部１３３で部分差分帯域信号Ｓ１６ＰＢを生成する。
この計測部１３１は、ノイズ領域検出部１３４、ノイズレベル計測部１３５で部分差分帯域信号Ｓ１６ＰＢ、入力映像信号Ｓ１、参照信号Ｓ１１、差分信号Ｓ１６を順次処理し、差分信号Ｓ１６についてのみノイズレベルを計測してノイズレベル計測結果Ｓ７、Ｓ７Ｂを出力する。
この実施例のように、帯域分割してノイズレベルを計測する構成を前提に、差分信号Ｓ１６についてのみノイズレベルを計測するようにしても、従来に比してノイズレベル計測の精度を向上することができる。
図３７は、本発明の実施例１０のノイズフィルタを示すブロック図である。このノイズフィルタにおいて、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。このノイズフィルタ１４１は、計測部１４２で入力映像信号Ｓ１のノイズレベルを計測し、そのノイズレベル計測結果Ｓ７を用いてノイズ低減のレベルを可変する。
計測部１４２は、入力映像信号Ｓ１を参照映像信号生成部１４３に入力して参照映像信号Ｓ１１を生成し、部分領域信号分割部２０で入力映像信号Ｓ１、参照映像信号Ｓ１１を処理して部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐを生成する。また差分信号生成部１６で部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐから部分差分信号Ｓ１６Ｐを生成する。なお参照映像信号生成部１４３は、１フレーム前の入力映像信号Ｓ１に代えて、このノイズフィルタ１４１の処理結果である出力映像信号Ｓ１８を動き補正して参照映像信号Ｓ１１を生成する。
ノイズ領域検出部１４４は、部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐを処理して、入力映像信号Ｓ１、参照映像信号Ｓ１１のアクティビティＳ１Ａ、Ｓ１１Ａ、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆを出力する。
ここで図３８に示すように、ノイズ領域検出部１４４は、部分領域信号分割部２０が差分信号生成部１６の前段に配置されたことに対応して、部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐを直接、画素領域特徴量抽出部１４５に入力する。画素領域特徴量抽出部１４５は、画素領域特徴量抽出部２１と同様にして、領域毎に、それぞれ入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを検出する。また入力映像信号Ｓ１、参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを検出して出力する。
飽和領域検出部１４７は、飽和領域検出部２２と同様に、この入力映像信号Ｓ１、参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを処理して飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを出力する。
ノイズフリー領域検出部１４６は、ノイズフリー領域検出部２３と同様にして、入力映像信号Ｓ１、差分信号Ｓ１６のノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１６ＮＦＦを出力する。
計測有効判定部１４８は、計測有効判定部２４と同様に、入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａ、入力映像信号Ｓ１、参照映像信号Ｓ１１の飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、入力映像信号Ｓ１、差分信号Ｓ１６のノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１６ＮＦＦを処理して、入力映像信号Ｓ１、差分信号Ｓ１６のノイズ領域識別フラグＳ１Ｆ、Ｓ１６Ｆ、入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを出力する。またそれぞれ入力映像信号Ｓ１、差分信号Ｓ１６のノイズ信頼度Ｓ１Ｃ、Ａ１６Ｃを出力する。なおここでノイズ信頼度Ｓ１Ｃ、Ａ１６Ｃは、それぞれ入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａがノイズレベルを示す信頼度である。
ここで図３９は、この計測有効判定部１４８を詳細に示すブロック図である。計測有効判定部１４８において、計測不能領域判定部１５０は、計測不能領域判定部２７と同様に、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１６ＮＦＦより、入力映像信号Ｓ１、差分信号Ｓ１６の計測不能領域判定フラグＳ１ＮＦ、Ｓ１６ＮＦを出力する。具体的に、計測不能領域判定部１５０は、入力映像信号Ｓ１の飽和フラグＳ１ＰＡｖｅＦ、ノイズ領域識別フラグＳ１ＮＦＦの何れかが立ち上がっている場合、当該領域における入力映像信号Ｓ１の計測不能領域判定フラグＳ１ＮＦを立ち上げる。また何れかの飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦが立ち上がっている場合、又は差分信号Ｓ１６のノイズ領域識別フラグＳ１６ＮＦＦが立ち上がっている場合、当該領域における差分信号Ｓ１６の計測不能領域判定フラグＳ１６ＮＦを立ち上げる。
最小アクティビティ算出部２９は、入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａから最小アクティビティMinActを検出して出力する。
閾値設定部１５２は、閾値設定部３０と同様にして、この最小アクティビティMinActから上限しきい値ActMAXTh1 を計算して出力する。さらに閾値設定部１５２は、ノイズ信頼度Ｓ１Ｃ、Ａ１６Ｃを求めるためのしきい値ActMaxTh2 を計算して出力する。ここで閾値設定部１５２は、上限しきい値ActMAXTh1 の計算に使用した第１の中間計算値EstSD にしきい値ActMaxTh2 計算用の定数ActTh Factor2 を乗算し、その結果得られる乗算値に上限しきい値Act MAX Th1 の計算に使用した第２の中間計算値EstMean を加算してしきい値ActMaxTh2 （= EstMean + EstSD ×ActTh Factor2 ）を計算する。なおここで定数ActTh Factor2 は、定数ActTh Factor1 より大きな値である。
有効ノイズ領域・アクティビティ選択部１５３は、有効ノイズ領域・アクティビティ選択部３１と同様にして、入力映像信号Ｓ１、差分信号Ｓ１６のノイズ領域識別フラグＳ１Ｆ、Ｓ１６Ｆを出力する。さらに有効ノイズ領域・アクティビティ選択部１５３は、それぞれ入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを上限しきい値ActMAXTh1 、しきい値ActMaxTh2 で判定し、その判定結果に基づいて図４０に示す特性により入力映像信号Ｓ１及び差分信号Ｓ１６のノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。
より具体的に、有効ノイズ領域・アクティビティ選択部１５３は、アクティビティＳ１Ａ、Ｓ１６Ａの値が上限しきい値ActMAXTh1 より小さい場合、値１の一定値によりそれぞれノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。またアクティビティＳ１Ａ、Ｓ１６Ａの値がしきい値ActMaxTh2 より大きい場合、値０の一定値によりそれぞれノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。またアクティビティＳ１Ａ、Ｓ１６Ａの値が上限しきい値ActMAXTh1 からしきい値ActMaxTh2 の間の値の場合、アクティビティＳ１Ａ、Ｓ１６Ａの値をパラメータとした直線補間によりノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。これにより有効ノイズ領域・アクティビティ選択部１５３は、アクティビティＳ１Ａ、Ｓ１６Ａの値が一定値を越えて増大すると、値が小さくなるようにノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを設定する。
ノイズレベル計測部１５５（図３７）は、ノイズレベル計測部３５と同様に、入力映像信号Ｓ１、差分信号Ｓ１６のノイズ領域識別フラグＳ１Ｆ、Ｓ１６Ｆを基準にして入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを処理してノイズレベル計測結果Ｓ７を出力する。
ノイズ抽出部１５７は、部分入力映像信号Ｓ１Ｐ、部分差分信号Ｓ１６Ｐからノイズ信号Ｓ１９を生成して出力する。このノイズフィルタ１４１は、このノイズ信号Ｓ１９を入力映像信号Ｓ１（Ｓ１Ｐ）から減算することにより、入力映像信号Ｓ１のノイズを低減する。従ってこのノイズフィルタは、時間巡回型３Ｄノイズフィルタと、画面内の情報のみでノイズ低減処理を行う２Ｄノイズフィルタとのハイブリッド型により形成される。
ここで図４１は、ノイズ抽出部１５７を詳細に示すブロック図である。ノイズ抽出部１５７において、ノイズ抽出ブレンド比設定部１５８は、部分入力映像信号Ｓ１Ｐ、部分差分信号Ｓ１６Ｐによるノイズ成分のブレンド比ＢＲを計算して出力する。具体的にノイズ抽出ブレンド比設定部１５８は、図４２に示すように、ノイズ信頼度Ｓ１Ｃ又はＳ１６Ｃを第１及び第２のしきい値DRTh1 、DRTh2 で判定し、この一方のノイズ信頼度の値が第１のしきい値DRTh1 以下、第２のしきい値DRTh2 以上の場合、それぞれ入力映像信号Ｓ１のノイズ成分、又は差分信号Ｓ１６のノイズ成分のみを選択するように、ブレンド比ＢＲを値０又は１に設定する。またこの一方のノイズ信頼度の値が第１及び第２のしきい値DRTh1 、DRTh2 の間の値の場合、ノイズ信頼度の値に応じた直線補間によりブレンド比ＢＲを設定する。なおこの実施例では、差分信号Ｓ１６側のノイズ信頼度Ｓ１６Ｃを用いて、この図４２に示す特性によりブレンド比ＢＲを出力する。なおブレンド比ＢＲの設定方法は、これに限らず、２つのノイズ信頼度Ｓ１Ｃ、Ｓ１６Ｃの双方を使用して設定するようにしてもよい。
非線形特性設定部１５９は、入力映像信号Ｓ１及び差分信号Ｓ１６のノイズ成分を処理する特性を決定する。ここでこのノイズ抽出部１５７は、大振幅成分をクリップしてノイズ成分を抽出しており、非線形特性設定部１５９は、このクリップの処理である非線形特性を決定する。具体的に、ノイズ抽出部１５７は、図４３及び図４４に示す入出力特性によりノイズ成分を非線形処理しており、ノイズレベル計測結果Ｓ７、対応するノイズ信頼度に基づいて、ノイズレベルが増大するに従って、クリップの処理を開始する信号レベルＮｔｈ、−Ｎｔｈが０レベルから遠ざかるように非線形特性を決定する。またノイズ信頼度が減少するに従ってクリップの特性を急峻な特性から滑らかな特性に設定する。非線形特性設定部１５９は、入力映像信号Ｓ１、差分信号Ｓ１６用に、それぞれ特性設定信号Ｓ１Ｔ、Ｓ１６Ｔを非線形特性処理部１６０に出力し、非線形特性処理部１６０における非線形処理の特性をこの決定した特性に設定する。
非線形特性処理部１６０は、差分信号Ｓ１６については、非線形特性設定部１５９で設定された入出力特性で補正し、ノイズ成分Ｓ１６Ｎとして出力する。これに対して入力映像信号Ｓ１については、所定のハイパスフィルタで高域成分を抽出し、この高域成分を非線形特性設定部１５９で設定された入出力特性で補正してノイズ成分Ｓ１Ｎとして出力する。
ブレンド処理部１６１は、この非線形特性処理部１６０から出力されるノイズ成分Ｓ１Ｎ、Ｓ１６Ｎをブレンド比ＢＲで重み付け加算してノイズ信号Ｓ１９を出力する。なおブレンド処理部１６１は、図８について上述したように隣接する領域が部分的に重なり合っている場合、領域が重複している部分については、各領域で求められるノイズ成分を平均値化してノイズ信号Ｓ１９を出力する。なおこの平均値の処理は、後述する部分領域統合部１６６で実行してもよい。
ノイズ減算処理部１６３は、いわゆる貼りつき防止のためにノイズ信号Ｓ１９の信号レベルを補正して入力映像信号Ｓ１のノイズレベルを低減する。ここで貼りつきは、時間巡回型フィルタにおいて帰還率が１近傍のときに発生する現象であり、動きのある部分で著しく画質が劣化して知覚される。そこでノイズ減算処理部１６３は、図４５に示すように、ノイズ信号Ｓ１９を貼りつき防止部１６４に入力する。ここで貼りつき防止部１６４は、図４６に示す入出力特性により入力信号補正し、小振幅成分を抑圧して出力する。なおこの特性の補正は、図４６との対比により図４７に示すように、種々の特性により補正することができる。ノイズ減算処理部１６３は、続く減算回路１６５で、この貼りつき防止部１６４の出力信号を部分入力映像信号Ｓ１Ｐから減算してノイズ成分を抑圧する。
部分領域信号統合部１６６（図３７）は、部分領域信号分割部２０とは逆に、このノイズ減算処理部１６３から領域毎にまとまって出力される部分入力映像信号Ｓ１Ｐをラスタ走査の順序により画素値が連続する映像信号に変換し、この映像信号を出力映像信号Ｓ１８として出力する。
この実施例によれば、ノイズ計測部の構成を有効に利用して時間巡回型３Ｄノイズフィルタと２Ｄノイズフィルタとのハイブリッド型によりノイズフィルタを構成して、従来に比して高い精度でノイズレベルを計測することができ、また計測結果を有効に利用してノイズを低減することができる。
すなわちノイズレベル計測時に、それぞれ入力映像信号及び差分信号のアクティビティにおける信頼度であるノイズ信頼度を検出し、このノイズ信頼度に応じたブレンド比の設定により時間巡回型３Ｄノイズフィルタによる動作と２Ｄノイズフィルタによる動作とを適応的に切り換えることができ、これにより種々の入力映像信号に適切に対応してノイズを低減することができる。
すなわち時間巡回型３Ｄノイズフィルタではノイズ低減効果が不十分な移動物体等の映像については、２Ｄノイズフィルタによりノイズレベルを低減することができ、これにより従来に比して確実にノイズを低減することができる。
またこれとは逆に２Ｄノイズフィルタではノイズの低減効果が不十分だったテクスチャ部については、時間巡回型３Ｄノイズフィルタによりノイズレベルを低減することができ、これにより従来に比して確実にノイズを低減することができる。
またノイズ成分を非線形処理してノイズレベルを低減するようにして、この非線形処理の特性をノイズレベル検出結果、ノイズ信頼度に応じて可変することにより、よりノイズらしい領域ほどノイズの低減効果を強くしつつ、ノイズの低減効果を強くした場合に劣化する恐れのあるテクスチャ部、動き境界部でのボケをできる限り小さくことができる。
またノイズ成分を非線形処理するようにして、ノイズ信頼度に応じて、大振幅を抑圧するようにこの非線形処理の特性を設定することにより、非線形処理の特性を適応的に可変して一段とノイズレベルの抑圧効果を向上することができる。
図４８は、図３７との対比により本発明の実施例１１のノイズフィルタを示すブロック図である。なおこの実施例において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
この実施例において、計測部１７２は、実施例５について上述した計測部８１と同様に、入力映像信号、差分信号を帯域分割部１７３で帯域分割し、周波数領域における平坦度を基準にしてノイズレベルを計測する。なおこの図４８の計測部１７２では、差分信号を生成した後に帯域分割している点が、実施例５の計測部８１と異なる。
計測部１７２は、参照映像信号Ｓ１１については、各領域をノイズ計測に使用しないように構成される。従って図２５との対比により図４９にノイズ領域検出部１７４の構成を示すように、このノイズ領域検出部１７４の各部１７５〜１７９では、この参照映像信号Ｓ１１に関する構成が異なる点を除いて対応する各部と同一に構成される。なおノイズレベル計測部１７４は、図５０に示す信頼度補正係数により値を補正してノイズ信頼度Ｓ１Ｃ、Ｓ１６Ｃを出力する。なおこの信頼度補正係数は、対応する平坦度Ｓ１Ｂ、Ｓ１６Ｂに応じた係数である。
ノイズレベル計測部１８０は、ノイズレベル計測部１５５と同様に、ノイズ領域検出部１７４の出力に基づいて、ノイズ計測結果Ｓ７、Ｓ７Ｂを出力する。
ノイズ抽出部１８１は、帯域分割部１７３から帯域分割されて出力される部分入力映像信号Ｓ１ＰＢ、差分信号Ｓ１６ＰＢを計測部１７２の出力により処理してノイズ信号Ｓ１９を出力する。
図５１は、ノイズ抽出部１８１の構成を詳細に示すブロック図である。このノイズ抽出部１８１は、実施例１０において説明したノイズ抽出部１５７と同様に、帯域毎にブレンド比ＢＲを設定する。
このノイズ抽出部１８１において、非線形特性処理部１８３は、部分入力映像信号Ｓ１ＰＢ、差分信号Ｓ１６ＢＰの帯域毎に、非線形処理を実行してノイズ成分Ｓ１ＮＢ、Ｓ１６ＮＢを出力する。またこの非線形特性処理部１８３の構成に対応して、非線形特性設定部１８４は、帯域毎のノイズレベル検出結果Ｓ７Ｂに基づいて、帯域毎に、非線形特性処理部１８３の特性を設定する。なお各帯域の特性設定方法は、実施例１０について上述した通りである。
ブレンド処理部１８５は、ブレンド処理部１６１と同様にして、帯域毎に、ノイズ抽出部１８１の出力信号を合成して出力する。帯域合成部１８６、帯域分割部１７３とは逆に、複数帯域によるブレンド処理部１８５の出力信号を合成し、ノイズ信号Ｓ１９を出力する。
この実施例によれば、計測部における帯域毎のノイズレベル計測の構成を有効に利用して、帯域毎にノイズレベルを低減することにより、従来に比して一段と確実にノイズレベルを低減することができる。すなわち動きボケ、テクスチャ部などのボケを抑制しつつ、効果的にノイズを低減することが可能となる。また周波数帯域で偏りをもつようなノイズについて、より効果的にノイズ低減することができる。なおこのような周波数帯域で偏りをもつようなノイズは、例えばいわゆる横引きノイズ（クランプノイズ）、ＲＦ系のノイズ、ＭＰＥＧ等の圧縮ノイズである。
またこのとき各帯域で検出される平坦度に応じてノイズ信頼度を補正することによっても、一段とノイズレベル低減効果を得ることができる。
図５２は、図４８との対比により本発明の実施例１２のノイズフィルタを示すブロック図である。なおこの実施例において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。ノイズフィルタ１９１は、いわゆる２Ｄノイズフィルタであり、入力映像信号Ｓ１の面内成分のみによりノイズレベルを低減する。従って計測部１９２は、ノイズ領域検出部１９３でノイズ信頼度Ｓ１Ｃを生成している点を除いて、実施例７の計測部１１１と同一に構成される。
ノイズ抽出部１９４は、帯域分割された部分入力映像信号Ｓ１ＰＢを処理してノイズ信号Ｓ１９を生成する。すなわち図５３に示すように、ノイズ抽出部１９４は、非線形特性設定部１９５において、ノイズ信頼度Ｓ１Ｃ、ノイズレベル検出結果Ｓ７Ｂに基づいて、入力映像信号Ｓ１のみについて、帯域毎に非線形特性を決定する。またノイズ抽出部１９４は、非線形特性処理部１９６において、非線形特性設定部１９５で決定した非線形特性で部分入力映像信号Ｓ１ＰＢの特性を補正し、ノイズ信号Ｓ１９Ｂとして出力する。
この実施例によれば、帯域分割してノイズレベルを低減することにより、２Ｄノイズフィルタにおいて、確実にノイズレベルを低減することができる。
図５４は、図４８の対比により本発明の実施例１３のノイズフィルタを示すブロック図である。なおこの実施例において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。ノイズフィルタ２０１は、いわゆる時間巡回型ノイズフィルタであり、入力映像信号Ｓ１のフィールド間差分又はフレーム間差分成分のみによりノイズレベルを低減する。従って計測部２０２は、参照映像信号生成部１４３の構成が異なる点、ノイズ領域検出部２０３でノイズ信頼度Ｓ１６Ｃを生成している点を除いて、実施例９の計測部１３１と同一に構成される。
この実施例によれば、帯域分割してノイズレベルを低減することにより、時間巡回型３Ｄノイズフィルタにおいて、確実にノイズレベルを低減することができる。
図５５は、図３４との対比により本発明の実施例１４のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例の計測部は、このノイズ領域検出部２１０の構成が異なる点を除いて、実施例８の計測部１２１と同一に構成される。またこのノイズ領域検出部２１０は、ノイズフリー領域検出部１２５に代えて、ノイズフリー領域検出部２１１が設けられ、このノイズフリー領域検出部２１１に関する構成が異なる点を除いて、図３４のノイズ領域検出部１２２と同一に構成される。
ここで入力映像信号Ｓ１等を複数の領域（以下、部分領域と呼ぶ）に分割する場合、図５６に示すように、字幕、ＧＵＩ等が部分的にしか含まれない領域Ａが発生する。この場合、上述の実施例のように、アクティビティを単純にしきい値で判定してノイズフリー領域を検出していたのでは、このような領域Ａがノイズフリー領域として検出されないことになる。すなわち上述の実施例では、この領域Ａは、ノイズレベルの計測に使用するノイズ領域と判定され、これによりノイズ計測結果に誤差が発生する。
そこでこの実施例では、画素単位でノイズの計測に適しているか否か判定し、この判定結果に基づいてノイズフリー領域を設定する。このためノイズフリー領域検出部２１１は、近傍画素との相関を利用して画素単位でノイズ計測に適していない画素（以下、ノイズフリー画素と呼ぶ）か否か判定する。このためノイズ領域検出部２１０は、差分信号Ｓ１６をノイズフリー領域検出部２１１のノイズフリー画素検出部２１２に入力する。
図５７に示すように、ノイズフリー画素検出部２１２は、差分信号Ｓ１６を近傍画素差異度算出部２１６に入力する。近傍画素差異度算出部２１６は、図５８に示すように、差分信号Ｓ１６の各画素を順次処理の対象画素に設定し、この対象画素を中心として所定範囲の局所窓を設定する。なお局所窓は、図７について上述した部分領域より小さな領域を囲むように設定される。
また近傍画素差異度算出部２１６は、この局所窓で囲まれる近傍画素毎に、対象画素との間で、画素値の差異度を検出する。なおこの差異度は、例えば絶対値差分、２乗差分等、近傍画素との間の相関性を示す各種の指標を適用することができる。
類似画素カウンタ部２１７は、近傍画素差異度算出部２１６で検出された差異度を所定のしきい値で判定し、差異度がしきい値以下の近傍画素数を対象画素毎にカウントしてカウント値を出力する。これにより類似画素カウンタ部２１７は、対象画素との間で相関性の高い近傍画素数を対象画素毎に検出する。
しきい値判定部２１８は、類似画素カウンタ部２１７のカウント値を所定のしきい値で判定し、対象画素との間で相関性の高い近傍画素数がこのしきい値より大きい対象画素をノイズフリー画素として検出する。しきい値判定部２１８は、このノイズフリー画素の検出結果をノイズフリー画素識別フラグＳ１６ＮＦＰとして出力する。
ノイズフリー混入領域検出部２１３は（図５５）、このノイズフリー画素識別フラグＳ１６ＮＦＰに基づいて、近傍画素との間の相関性の高い画素を多く含む領域を検出し、ノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを出力する。すなわち図５９に示すように、ノイズフリー混入領域検出部２１３において、ノイズフリー画素混入領域検出部２２０は、ノイズフリー画素識別フラグＳ１６ＮＦＰを入力し、部分領域毎に、ノイズフリー画素識別フラグＳ１６ＮＦＰをカウントする。またノイズフリー画素混入領域検出部２２０は、カウント値を所定のしきい値で判定し、これにより図６０（Ａ）においてノイズフリー画素混入領域により示す、近傍画素との間の相関性の高い画素を多く含む領域を検出する。ノイズフリー画素混入領域検出部２２０は、この検出結果をノイズフリー画素混入領域識別フラグにより出力する。
遅延処理部２２１は、このノイズフリー画素混入領域識別フラグを後段のノイズフリー混入領域判定部２２２の処理に対応する期間だけ遅延させて出力する。
ノイズフリー混入領域判定部２２２は、ノイズフリー画素混入領域検出部２２０、遅延処理部２２１から出力されるノイズフリー画素混入領域識別フラグに基づいて、処理対象の部分領域のノイズフリー画素混入領域識別フラグが立ち上がっている場合、すなわち近傍画素との間の相関性の高い画素を多く含む領域で、ノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを立ち上げる。また処理対象の部分領域のノイズフリー画素混入領域識別フラグが立ち上がっていない場合でも、処理対象の部分領域に隣接する部分領域でノイズフリー画素混入領域識別フラグが立ち上がっている場合、すなわち隣接する部分領域が、近傍画素との間の相関性の高い画素を多く含む領域である場合、ノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを立ち上げる。
これにより図６０（Ａ）との対比により図６０（Ｂ）において隣接ノイズフリー画素混入領域により示すように、ノイズフリー混入領域検出部２１３は、隣接する部分領域がノイズフリー画素混入領域である場合も含めて、当該部分領域をノイズフリー混入領域と判定し、その判定結果をノイズフリー混入領域識別フラグＳ１６ＮＦＦＭにより出力する。なおここで図６０（Ｂ）では、太線による矩形の枠により、処理対象の部分領域において、ノイズフリー画素混入領域識別フラグの判定に供する領域を示す。
計測有効判定部２１４は、ノイズフリー領域検出フラグＳ１６ＮＦＦに代えてノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを基準にしてアクティビティＳ１６Ａを出力する点を除いて、図３４の計測有効判定部１２６と同一に構成される。
この実施例では、近傍画素と相関性の高い画素を検出し、この検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外することにより、少しでも疑わしい領域については、ノイズレベルの計測に使用しないようにすることができ、これにより字幕、ＧＵＩの影響を一段と有効に回避して確実にノイズレベルを検出することができる。
より具体的に、近傍画素との間の非相関性を示す指標である差異度を画素毎に検出し、この差異度を判定して、部分領域毎に、近傍画素と相関性の高い画素数を検出して判定し、近傍画素との間の相関性の高い画素を多く含む領域を検出することにより、確実にノイズレベルを検出することができる。
また差分信号を使用して差異度を検出することにより、絶対値差分、２乗差分等の簡易な演算処理による指標により差異度を検出することができる。
また対象領域だけでなく、隣接領域が近傍画素との間の相関性の高い画素を多く含む領域である場合にも、当該領域をノイズレベル計測対象から除外することにより、確実に字幕、ＧＵＩ等の影響を回避して正確にノイズレベルを計測することができる。
図６１は、図１及び図５５との対比により本発明の実施例１５のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例の計測部は、この図６１に示すノイズ領域検出部２３０の構成が異なる点を除いて、実施例１の計測部と同一に構成される。またこのノイズ領域検出部２３０は、ノイズフリー領域検出部２３に代えて、ノイズフリー領域検出部２３１が設けられる点を除いて、図１のノイズ領域検出部１８と同一に構成される。
またノイズフリー領域検出部２３１は、ノイズフリー画素検出部２１２、ノイズフリー混入領域検出部２１３に代えて、ノイズフリー画素検出部２３２、ノイズフリー混入領域検出部２３３が設けられる点を除いて図５５のノイズフリー領域検出部２１１と同一に構成される。ノイズフリー領域検出部２３１は、差分信号Ｓ１６に加えて、入力映像信号Ｓ１、参照映像信号Ｓ１１についても、差分信号Ｓ１６と同様にしてノイズフリー画素識別フラグＳ１ＮＦＰ、Ｓ１１ＮＦＰを生成し、さらにノイズフリー混入領域識別フラグＳ１ＮＦＦＭ、Ｓ１１ＮＦＦＭを生成する点を除いて、ノイズフリー領域検出部２１１と同一に構成される。計測有効判定部２３４は、これによりノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦに代えて、ノイズフリー混入領域識別フラグＳ１ＮＦＦＭ、Ｓ１１ＮＦＦＭ、Ｓ１６ＮＦＦＭを基準にしてアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを出力する点を除いて、図１の計測有効判定部２４と同一に構成される。
この実施例のように、差分信号についてだけでなく、入力映像信号、参照映像信号についても、隣接する部分領域をも含めて部分領域毎にノイズの計測に適した部分領域か否か判定することにより、字幕、ＧＵＩの影響を一段と有効に回避して確実にノイズレベルを検出することができる。
図６２は、図３１及び図５５との対比により本発明の実施例１６のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例の計測部は、この図６２に示すノイズ領域検出部２４０の構成が異なる点を除いて、実施例６の計測部と同一に構成される。またこのノイズ領域検出部２４０は、ノイズフリー領域検出部１０７に代えて、ノイズフリー領域検出部２４１が設けられる点を除いて、図３１のノイズ領域検出部１０２と同一に構成される。
またノイズフリー領域検出部２４１は、ノイズフリー画素検出部２１２、ノイズフリー混入領域検出部２１３に代えて、ノイズフリー画素検出部２４２、ノイズフリー混入領域検出部２４３が設けられる点を除いて図５５のノイズフリー領域検出部２１１と同一に構成される。ここでノイズフリー画素検出部２４２、ノイズフリー混入領域検出部２４３は、差分信号Ｓ１６に代えて、入力映像信号Ｓ１を差分信号Ｓ１６と同様に処理してノイズフリー画素識別フラグＳ１ＮＦＰを生成し、さらにノイズフリー混入領域識別フラグＳ１ＮＦＦＭを生成する点を除いて、ノイズフリー画素検出部２１２、ノイズフリー混入領域検出部２１３と同一に構成される。計測有効判定部２４４は、これによりノイズ領域識別フラグＳ１ＮＦＦに代えてノイズフリー混入領域識別フラグＳ１ＮＦＦＭを基準にしてアクティビティＳ１Ａを出力する点を除いて、図３１の計測有効判定部１０８と同一に構成される。
この実施例のように、入力映像信号について、隣接する部分領域をも含めて部分領域毎にノイズの計測に適した部分領域か否か判定するようにしても、実施例１３と同一の効果を得ることができる。
なお上述の実施例においては、本発明をノイズフィルタに適用した場合について述べたが、本発明はこれに限らず、種々の映像信号の処理に広く適用することができる。
また上述の実施例においては、ハードウエアによりノイズフィルタを構成する場合について述べたが、本発明はこれに限らず、演算処理手段によりプログラムの実行により構成するようにしてもよい。なおこの場合、このプログラムは、事前にインストールして提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
本発明は、例えば映像信号中のノイズを除去するノイズフィルタに適用することができる。
本発明の実施例１のノイズフィルタに適用されるノイズ領域検出部を示すブロック図である。 本発明の実施例１のノイズフィルタの構成を示すブロック図である。 図２のノイズフィルタの計測部の構成を示すブロック図である。 図３の計測部における参照映像信号生成部の構成を示すブロック図である。 図４の参照映像信号生成部の他の例の構成を示すブロック図である。 図３の計測部における差分信号生成部の構成を示すブロック図である。 図３の計測部におけるノイズ領域検出部の説明に供する平面図である。 図７の他の例の構成を示す平面図である。 図１のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。 図３の計測部における部分領域信号分割部の構成を示すブロック図である。 図１０の部分領域信号分割部におけるノイズレベル時間平滑部の構成を示すブロック図である。 図１１のノイズレベル時間平滑部におけるフィルタ処理部の構成を示すブロック図である。 図１２の他の例の構成を示すブロック図である。 本発明の実施例１のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。 図１４のノイズ領域検出部における飽和補正アクティビティ算出部の構成を示すブロック図である。 図１５の飽和補正アクティビティ算出部の動作の説明に供する特性曲線図である。 図１４のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。 本発明の実施例３のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。 図１８の計測有効判定部における最小アクティビティ算出部の構成を示すブロック図である。 図１９の最小アクティビティ算出部の動作の説明に供する特性曲線図である。 図１９の最小アクティビティ算出部による最小アクティビティの変化を示す特性曲線図である。 本発明の実施例４のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。 図２２の計測有効判定部における最小アクティビティ算出部の構成を示すブロック図である。 本発明の実施例５のノイズフィルタに適用される計測部の構成を示すブロック図である。 図２４の計測部におけるノイズ領域検出部の構成を示すブロック図である。 映像信号の一般的な周波数特性を示す特性曲線図である。 ノイズの一般的な周波数特性を示す特性曲線図である。 図２５のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。 図２４の計測部におけるノイズレベル計測部の構成を示すブロック図である。 本発明の実施例６のノイズフィルタに適用される計測部の構成を示すブロック図である。 図３０の計測部におけるノイズレベル計測部の構成を示すブロック図である。 本発明の実施例７のノイズフィルタに適用される計測部の構成を示すブロック図である。 本発明の実施例８のノイズフィルタに適用される計測部の構成を示すブロック図である。 図３３の計測部におけるノイズ領域検出部の構成を示すブロック図である。 図３３の計測部におけるノイズレベル計測部の構成を示すブロック図である。 本発明の実施例９のノイズフィルタに適用される計測部の構成を示すブロック図である。 本発明の実施例１０のノイズフィルタの構成を示すブロック図である。 図３７のノイズフィルタにおけるノイズ領域検出部の構成を示すブロック図である。 図３８のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。 図３９の計測有効判定部の動作の説明に供する特性曲線図である。 図３７のノイズフィルタにおけるノイズ抽出部の構成を示すブロック図である。 図４１のノイズ抽出部の動作の説明に供する特性曲線図である。 図４１のノイズ抽出部における非線形特性設定部の動作の説明に供する特性曲線図である。 図４３の他の例を示す特性曲線図である。 図３７のノイズフィルタにおけるノイズ減算処理部の構成を示すブロック図である。 図４５のノイズ減算処理部の動作の説明に供する特性曲線図である。 図４６の他の例を示す特性曲線図である。 本発明の実施例１１のノイズフィルタの構成を示すブロック図である。 図４８のノイズフィルタにおけるノイズ領域検出部の構成を示すブロック図である。 図４９のノイズ領域検出部の動作の説明に供する特性曲線図である。 図４８のノイズフィルタにおけるノイズ抽出部の構成を示すブロック図である。 本発明の実施例１２のノイズフィルタの構成を示すブロック図である。 図５２のノイズフィルタにおけるノイズ抽出部の構成を示すブロック図である。 本発明の実施例１３のノイズフィルタの構成を示すブロック図である。 本発明の実施例１４のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。 図５５のノイズ領域検出部の動作の説明に供する平面図である。 図５５のノイズ領域検出部におけるノイズフリー画素検出部の構成を示すブロック図である。 図５７のノイズフリー画素検出部の動作の説明に供する平面図である。 図５５のノイズ領域検出部におけるノイズフリー混入領域検出部の構成を示すブロック図である。 図５９のノイズフリー混入領域検出部の動作の説明に供する平面図である。 本発明の実施例１５のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。 本発明の実施例１６のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。
符号の説明
１、１４１、１７１、１９１、２０１……ノイズフィルタ、６、８１、１０１、１１１、１２１、１３１、１４２、１７２、１９２……計測部、１１、１４３、１４３……参照映像信号生成部、１６、１３２……差分信号生成部、１８、５１、８５、１０２、１１４、１２２、１３４、１４４、１７４、２０３、２１０、２３０、２４０……ノイズ領域検出部、２０、８２、１０４、１１２……部分領域信号分割部、２１、１０５、１４５、１７５……画素領域特徴量抽出部２１、１０６……飽和領域検出部、２３、５３、１０７、１７７……ノイズフリー領域検出部、２４、５５、６１、７１、８７、１０８、１２６、１４７、１７９……計測有効判定部、２７、５６、６２、１５０……計測不能領域判定部、２９、６３、７２……最小アクティビティ算出部、３０……閾値設定部、３１、８８、１５３……有効ノイズ領域・アクティビティ選択部、３５、９０、１０３、１１５、１２３、１３５、１５５、１８０……ノイズレベル計測部、３７、９１、１２７……ノイズ領域統計値算出部、４０……ノイズレベル時間平滑部、４２……フィルタ処理部、４７……前値記憶部、５２、１７６……飽和補正アクティビティ算出部、８３、１１３、１３３、１７３……帯域分割部、８３、１７８……周波数領域特徴量抽出部、１５７、１８１、１９２……ノイズ抽出部、１５８……ノイズ抽出ブレンド比設定部、１５９、１８４、１９５……非線形特性設定部、１６０、１８３、１９６……非線形処理部、１６１、１８５……ブレンド処理部

Claims (27)

  1. 入力映像信号のノイズレベルを計測する映像信号処理方法において、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
    前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
    前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
    ことを特徴とする映像信号処理方法。
  2. 前記入力映像信号に対して遅延した参照映像信号を生成する参照映像信号生成のステップと、
    前記参照映像信号に設定した領域毎に、前記参照映像信号における前記面内の特徴量を検出する参照映像信号の面内の特徴量検出のステップと、
    前記参照映像信号の面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外する参照映像信号のノイズフリー領域の処理ステップとを有し、
    前記ノイズレベル計測のステップは、
    前記ノイズフリー領域の処理ステップで除外して残る領域に加えて、さらに前記参照映像信号のノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理して前記ノイズレベルを計測する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  3. 前記入力映像信号のフレーム間又はフィールド間の差分信号を生成する差分信号生成のステップと、
    前記差分信号に設定した領域毎に、前記差分信号における前記面内の特徴量を検出する差分信号の面内の特徴量検出のステップと、
    前記差分信号の面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外する差分信号のノイズフリー領域の処理ステップとを有し、
    前記ノイズレベル計測のステップは、
    前記ノイズフリー領域の処理ステップで除外して残る領域に加えて、さらに前記差分信号のノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理して前記ノイズレベルを計測する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  4. 前記面内の特徴量検出のステップは、
    前記入力映像信号のフレーム間又はフィールド間の差分信号を生成する差分信号生成のステップを有し、
    前記入力映像信号に設定した領域毎に、前記差分信号における前記面内の特徴量を検出することにより、前記入力映像信号における面内の特徴量を検出する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  5. 前記入力映像信号に設定した領域毎に、前記入力映像信号における画素値の平均値を検出する平均値検出のステップと、
    前記平均値検出のステップで検出した平均値を平均値用のしきい値で判定して、前記入力映像信号に混入したノイズが抑圧されている恐れのある領域を検出し、該検出した領域を前記ノイズレベル計測のステップの処理対象から除外する飽和領域の検出ステップとを有する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  6. 前記面内の特徴量を集計して有効領域の最小値を検出する最小値検出のステップと、
    前記最小値検出のステップで検出した有効領域の最小値に基づいて、前記最小値に対応する上限しきい値を設定するしきい値設定のステップと、
    前記上限しきい値により前記面内の特徴量を判定して、前記上限しきい値より前記面内の特徴量が大きな領域を検出し、該検出した領域を前記ノイズレベル計測のステップの処理対象から除外する特徴量による処理対象除外のステップとを有する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  7. 前記ノイズレベル計測のステップは、
    計測対象から除外した領域の数をフィールド単位又はフレーム単位で判定して、該領域の数が一定値より大きい場合、前値ホールドにより前記ノイズレベル検出結果を出力する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  8. 前記入力映像信号に設定した領域毎に、前記入力映像信号における画素値の平均値を検出する平均値検出のステップと、
    前記平均値検出のステップで検出した平均値に応じて飽和度を求め、該飽和度により前記面内の特徴量検出のステップで検出した前記面内の特徴量を補正する面内の特徴量補正のステップとを有し、
    前記ノイズフリー領域の処理ステップは、
    前記面内の特徴量補正のステップで補正した前記面内の特徴量を前記ノイズフリー領域用のしきい値で判定する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  9. 前記ノイズフリー領域の処理ステップでノイズレベル計測対象から除外した前記領域の面内の特徴量を集計してノイズフリーの最小値を検出するノイズフリーに係る最小値検出のステップと、
    １フィールド又は１フレームにおける前記ノイズフリー領域の処理ステップでノイズレベル計測対象から除外した前記領域の割合を示す占有率を検出する占有率検出のステップとを有し、
    前記処理対象除外のステップは、
    前記占有率の増大により、前記有効領域の最小値の値を前記ノイズフリーの最小値に近づけて、前記面内の特徴量を判定し、
    前記面内の特徴量が前記有効領域の最小値より小さい領域を前記ノイズレベル計測ステップの処理対象から除外する
    ことを特徴とする請求項６に記載の映像信号処理方法。
  10. 前記入力映像信号に設定した領域毎に、前記入力映像信号を複数の帯域に分割する帯域分割のステップと、
    前記帯域分割のステップで分割された帯域毎に、前記入力映像信号におけるノイズレベルを示す周波数領域の特徴量を検出する帯域毎の特徴量検出のステップと、
    前記ノイズレベル計測のステップにおけるノイズレベル計測対象の領域について、前記周波数領域の特徴量を統計的に処理して、前記帯域毎のノイズレベル検出結果を出力する帯域毎のノイズレベル計測のステップとを有する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  11. 前記各帯域で検出されるスペクトラムの平坦度に応じて、前記ノイズレベル計測のステップで処理する領域数を可変する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  12. 前記ノイズレベル検出結果に基づいて、ノイズ抑圧レベルを可変して前記入力映像信号のノイズを抑圧するフィルタリング処理のステップを有する
    ことを特徴とする請求項１に記載の映像信号処理方法。
  13. 前記フィルタリング処理のステップは、
    フィールド間差分又はフレーム間差分から差分によるノイズ成分を検出する時間方向のノイズ成分検出のステップと、
    １フィールド又は１フレーム内で面内によるノイズ成分を検出する面内のノイズ成分検出のステップと、
    前記差分によるノイズ成分と前記面内によるノイズ成分とを加重加算してノイズ補正用信号を生成する合成処理のステップと、
    前記ノイズ補正用信号を前記入力映像信号から減算する減算のステップと、
    前記周波数領域の特徴量に応じて、前記各領域の前記ノイズレベル検出結果の信頼性を示すノイズ信頼度を検出するノイズ信頼度検出のステップと、
    前記ノイズ信頼度に応じて前記合成処理における加重加算の比率を設定するブレンド比設定のステップとを有する
    ことを特徴とする請求項１２に記載の映像信号処理方法。
  14. 前記合成処理のステップは、
    前記ノイズ信頼度に応じて、大振幅を抑圧して前記ノイズ補正信号を生成する
    ことを特徴とする請求項１３に記載の映像信号処理方法。
  15. 前記帯域分割のステップで分割された帯域毎に、対応する帯域毎のノイズレベル検出結果に基づいてノイズ抑圧レベルを可変して前記入力映像信号のノイズを抑圧するフィルタリング処理のステップを有する
    ことを特徴とする請求項１０に記載の映像信号処理方法。
  16. 前記フィルタリング処理のステップは、
    前記帯域毎に、フィールド間差分又はフレーム間差分から差分によるノイズ成分を検出する時間方向のノイズ成分検出のステップと、
    前記帯域毎に、１フィールド又は１フレーム内で面内によるノイズ成分を検出する面内のノイズ成分検出のステップと、
    前記帯域毎に、前記差分によるノイズ成分と前記面内によるノイズ成分とを加重加算してノイズ補正用の信号を生成する合成処理のステップと、
    前記ノイズ補正用信号を前記入力映像信号から減算する減算のステップと、
    前記周波数領域の特徴量に応じて、前記各領域の前記ノイズレベル検出結果の信頼性を示すノイズ信頼度を検出するノイズ信頼度検出のステップと、
    前記ノイズ信頼度に応じて前記合成処理における加重加算の比率を設定するブレンド比設定のステップとを有する
    ことを特徴とする請求項１５に記載の映像信号処理方法。
  17. 前記ノイズ信頼度検出のステップは、
    各帯域で検出されるスペクトラムの平坦度に応じて、前記ノイズ信頼度を補正する
    ことを特徴とする請求項１６に記載の映像信号処理方法。
  18. 入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムにおいて、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
    前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
    前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
    ことを特徴とする映像信号処理方法のプログラム。
  19. 入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体において、
    前記映像信号処理方法のプログラムは、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
    前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
    前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
    ことを特徴とする映像信号処理方法のプログラムを記録した記録媒体。
  20. 入力映像信号のノイズレベルを計測する映像信号処理装置において、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、
    前記面内の特徴量検出部で検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、
    前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有する
    ことを特徴とする映像信号処理装置。
  21. 入力映像信号のノイズレベルを計測する映像信号処理方法において、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
    前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
    前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
    ことを特徴とする映像信号処理方法。
  22. 前記ノイズフリー領域の処理ステップは、
    前記入力映像信号から近傍画素との間の非相関性を示す指標である差異度を画素毎に検出する差異度検出のステップと、
    前記差異度を判定して、前記領域毎に、前記近傍画素と相関性の高い画素数を検出する画素数検出のステップと、
    前記画素数検出のステップで検出した画素数を判定して、前記近傍画素との間の相関性の高い画素を多く含む領域を検出する領域検出のステップとを有する
    ことを特徴とする請求項２１に記載の映像信号処理方法。
  23. 前記ノイズフリー領域の処理ステップは、
    前記入力映像信号のフレーム間又はフィールド間の差分信号を生成する差分信号生成のステップを有し、
    前記差異度検出のステップは、
    前記差分信号から前記差異度を検出する
    ことを特徴とする請求項２２に記載の映像信号処理方法。
  24. 前記ノイズフリー領域の処理ステップは、
    処理対象領域が、前記近傍画素との間の相関性の高い画素を多く含む領域である場合、及び隣接領域が、前記近傍画素との間の相関性の高い画素を多く含む領域である場合、当該処理対象領域をノイズレベル計測対象から除外する
    ことを特徴とする請求項２１に記載の映像信号処理方法。
  25. 入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムにおいて、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
    前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
    前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
    ことを特徴とする映像信号処理方法のプログラム。
  26. 入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体において、
    前記映像信号処理方法のプログラムは、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
    前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
    前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
    ことを特徴とする映像信号処理方法のプログラムを記録した記録媒体。
  27. 入力映像信号のノイズレベルを計測する映像信号処理装置において、
    前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、
    前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、
    前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有する
    ことを特徴とする映像信号処理装置。

JP2007108947A 2006-06-06 2007-04-18 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置 Pending JP2008017448A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007108947A JP2008017448A (ja) 2006-06-06 2007-04-18 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006156936 2006-06-06
JP2007108947A JP2008017448A (ja) 2006-06-06 2007-04-18 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置

Publications (2)

Publication Number Publication Date
JP2008017448A true JP2008017448A (ja) 2008-01-24
JP2008017448A5 JP2008017448A5 (ja) 2010-04-30

Family

ID=39074007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007108947A Pending JP2008017448A (ja) 2006-06-06 2007-04-18 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置

Country Status (1)

Country Link
JP (1) JP2008017448A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148014A (ja) * 2008-12-22 2010-07-01 Nippon Hoso Kyokai <Nhk> ノイズレベル検出装置
JP2010171614A (ja) * 2009-01-21 2010-08-05 Nippon Hoso Kyokai <Nhk> 領域判別装置、ノイズ低減装置及びノイズ低減プログラム
JP2011228975A (ja) * 2010-04-21 2011-11-10 Nikon Systems Inc 映像ノイズ検知装置
JP2012074858A (ja) * 2010-09-28 2012-04-12 Nikon Systems Inc ノイズ検知装置、再生装置、およびノイズ検知プログラム
JP2015520544A (ja) * 2012-04-10 2015-07-16 グーグル インコーポレイテッド 画像シーケンス用のノイズリダクション
JP7451857B2 (ja) 2020-02-13 2024-03-19 公立大学法人会津大学 検査プログラム、検査装置及び検査方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213069A (ja) * 1988-06-30 1990-01-17 Canon Inc 雑音除去装置
JPH08201464A (ja) * 1995-01-23 1996-08-09 Nippon Hoso Kyokai <Nhk> テレビジョン映像信号のｓ／ｎ値検出方法
JP2003209716A (ja) * 2002-01-16 2003-07-25 Sony Corp 映像信号処理装置および方法、記録媒体、並びにプログラム
JP2003331283A (ja) * 2002-05-13 2003-11-21 Toyota Central Res & Dev Lab Inc 画像ノイズ検出方法及びそれを用いた画像処理装置
JP2005039830A (ja) * 2003-07-15 2005-02-10 Samsung Electronics Co Ltd ノイズ状態を考慮した適応的ビデオ信号処理装置及び方法
JP2007011926A (ja) * 2005-07-04 2007-01-18 Fujifilm Holdings Corp 画像処理方法および装置並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213069A (ja) * 1988-06-30 1990-01-17 Canon Inc 雑音除去装置
JPH08201464A (ja) * 1995-01-23 1996-08-09 Nippon Hoso Kyokai <Nhk> テレビジョン映像信号のｓ／ｎ値検出方法
JP2003209716A (ja) * 2002-01-16 2003-07-25 Sony Corp 映像信号処理装置および方法、記録媒体、並びにプログラム
JP2003331283A (ja) * 2002-05-13 2003-11-21 Toyota Central Res & Dev Lab Inc 画像ノイズ検出方法及びそれを用いた画像処理装置
JP2005039830A (ja) * 2003-07-15 2005-02-10 Samsung Electronics Co Ltd ノイズ状態を考慮した適応的ビデオ信号処理装置及び方法
JP2007011926A (ja) * 2005-07-04 2007-01-18 Fujifilm Holdings Corp 画像処理方法および装置並びにプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148014A (ja) * 2008-12-22 2010-07-01 Nippon Hoso Kyokai <Nhk> ノイズレベル検出装置
JP2010171614A (ja) * 2009-01-21 2010-08-05 Nippon Hoso Kyokai <Nhk> 領域判別装置、ノイズ低減装置及びノイズ低減プログラム
JP2011228975A (ja) * 2010-04-21 2011-11-10 Nikon Systems Inc 映像ノイズ検知装置
JP2012074858A (ja) * 2010-09-28 2012-04-12 Nikon Systems Inc ノイズ検知装置、再生装置、およびノイズ検知プログラム
JP2015520544A (ja) * 2012-04-10 2015-07-16 グーグル インコーポレイテッド 画像シーケンス用のノイズリダクション
US9326008B2 (en) 2012-04-10 2016-04-26 Google Inc. Noise reduction for image sequences
US10277919B2 (en) 2012-04-10 2019-04-30 Google Llc Noise reduction for image sequences
JP7451857B2 (ja) 2020-02-13 2024-03-19 公立大学法人会津大学 検査プログラム、検査装置及び検査方法

Similar Documents

Publication Publication Date Title
KR20070116738A (ko) 영상 신호 처리 방법, 영상 신호 처리 방법의 프로그램,영상 신호 처리 방법의 프로그램을 기록한 기록 매체 및영상 신호 처리 장치
KR100757392B1 (ko) 노이즈검출장치 및 방법과, 이를 이용한 노이즈저감장치 및방법
US8218083B2 (en) Noise reducer, noise reducing method, and video signal display apparatus that distinguishes between motion and noise
US9153015B2 (en) Image processing device and method
US8126266B2 (en) Video signal processing method, program for the video signal processing method, recording medium recording the program for the video signal processing method, and video signal processing apparatus
JP4857916B2 (ja) ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
EP1480449B1 (en) Adaptive coring for video peaking
JP4599446B2 (ja) 階調制御装置および階調制御方法
US8254454B2 (en) Apparatus and method for reducing temporal noise
JP4240324B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US20060232709A1 (en) Interframe noise reduction for video
JP2008017448A (ja) 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
US8018532B2 (en) Video signal processing apparatus and method, and edge enhancement apparatus and method
KR20100069507A (ko) 영상 노이즈 제거 방법 및 장치
JP3240371B2 (ja) 映像信号処理装置
KR101336240B1 (ko) 저장된 영상을 이용한 영상 처리 방법 및 장치
US20060164555A1 (en) Unit for and method of calculating a sharpened edge
JP2005012641A (ja) ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
JPH05328174A (ja) 動き適応ノイズリダクション回路
US8432498B2 (en) Automatic frequency selection for peaking
Tenze et al. Design and real-time implementation of a low-cost noise reduction system for video applications
JP7300164B2 (ja) ノイズリダクション方法
JP5506623B2 (ja) 映像処理装置及び映像処理方法
US20120200769A1 (en) Video signal processing apparatus, video signal processing method, and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090127

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120228