JP2005229166A

JP2005229166A - 映像信号のノイズ量測定装置および測定方法

Info

Publication number: JP2005229166A
Application number: JP2004033169A
Authority: JP
Inventors: Nobutoshi Fujinami; 伸敏藤濤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-02-10
Filing date: 2004-02-10
Publication date: 2005-08-25
Anticipated expiration: 2024-02-10
Also published as: JP4289170B2

Abstract

【課題】映像信号のノイズ量を映像領域内で測定する際に、前後のフレーム差分に基づいて算出すると、その算出された値はノイズにも動きにも反映される値となり、ノイズ量を正確に測定することは困難である。
【解決手段】入力信号を記憶する記憶手段と相関性を検出する回路を備えた装置において、前後のフレームで相関性の高い画像同士の差分に基づいてノイズ量を測定する。これにより、動きによる誤測定を防止できるため、ノイズ測定精度が向上する。また、ノイズ量が精度良く測定できるため、ノイズ低減効果の調節も適切に行うことが可能となる。
【選択図】図１

Description

本発明は、映像信号中のノイズに関し、特にそのノイズ量の測定および巡回型ノイズ低減装置に関するものである。

従来、この種の映像信号中のノイズ量検出は、既知のレベルの信号を映像の一部に定め、この信号に対して、既知のレベルとの差分をとりノイズ量を算出していた。つまり、本当の意味での映像に含まれるノイズ量の評価ではなく、その映像が経てきた系で被るノイズ量を検出していた。あるいは、フレーム間で差分をとり、その差分からノイズ量を算出していた。すなわち、この差分が大きいとノイズ量も多いと判断していた。しかし、この場合、動きのある画像に対しても差分は大きくなり、差分が大きくなるのはノイズに起因するのか、動きに起因するのか判断することは難しく、正確なノイズ量を測定することは困難であった。また、巡回型ノイズ低減装置を実現するにもノイズ量の測定誤りによって、ノイズの少ない映像に対してもノイズ低減効果が働き、映像として見苦しいものとなっていた。
特開平８−２０１４６４号公報

前記のように、従来この種の映像信号中のノイズ量の検出には、既知のレベルの信号を映像の一部に定める必要があったり、つまりその映像が経てきた系で被るノイズ量の検出で真の意味での映像に含まれるノイズ量の評価ではなかったり、また、動きのない映像のみに限定したノイズ量の測定しか可能でないという問題点があった。そこでこの発明の目的は、上述の問題点を解決し、前後のフレームで相関性の高い領域を探索することによって、動きのある実映像中のノイズ量を推定することの可能な映像信号のノイズ量測定装置および巡回型ノイズ低減受像機を提供せんとするものである。

この課題を解決するために、本願第１の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段を備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、さらに前記算出された画像情報の差分信号を任意の第２の領域に渡って積分することによりノイズ量を測定する様にしたものである。

また、本願第２の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段に加え、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段をさらに備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の第２の領域に渡って積分し、さらに前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定する様にしたものである。

また、本願第３の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、さらに巡回型ノイズ低減手段を備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の第２の領域に渡って積分することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節する様にしたものである。

また、本願第４の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段と、さらに巡回型ノイズ低減手段を備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の第２の領域に渡って積分し、前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節する様にしたものである。

本願第１及び第２の発明によれば、映像領域内でのノイズ量測定が可能となり、さらに相関性を考慮せずに測定した場合に比べ、動きによる誤測定を防止できるため、ノイズ測定精度が向上する効果がある。

また、本願第３及び第４のの発明によれば、相関性を考慮せずに測定した場合に比べ、ノイズ量が精度良く測定できるため、ノイズ低減効果の調節も適切に行うことが可能となり、画質の向上した映像受像機が実現可能となる。

以下本発明の実施の形態について、図１〜図５を使用して詳細に説明する。

（実施の形態１）
図１に本願第１の発明におけるノイズ量測定装置のブロック図の一例を示す。本願第１の発明では、図２に示すように、まず、入力端子１から入力された第１の映像信号から第１の領域（例えば１０×１０、以下、領域Ａとする）を抽出する。そして、第１の領域（領域Ａ）内の任意の画素を中心として近接する画素の集合である、第２の領域（例えば５×５、以下、領域Ｂとする）を基準画像として抽出する。そして、前記第１の映像信号より少なくとも１フレーム前の、任意の第２の映像信号と基準画像との相関性の高い領域を探索する。この第２の映像信号は、入力端子２に前記第１の信号を入力し、１０１に示す記憶手段１で記憶させておくことによって生成する。

なお、相関性の高い領域の具体的な探索方法としては、まず、前記領域Ｂと前記第２の映像信号について、前記領域Ｂとその位置にある第２の映像信号との画素ごとの差分を算出し、その差分の和を求める。この差分の和を相関値と呼ぶことにする。次に前記領域Ｂを左右上下に１画素あるいは複数画素を動かし、同様にその位置における相関値を求める。そして前記相関値が最小になるまである範囲で領域Ｂを動かし相関値を算出することで、相関性の高い領域が探索できる。なお、この相関値の最小値を最小相関値と呼ぶことにする。

また、図１に示すブロック図におけるこの最小相関値の求め方は、１０２に示す演算手段１により前記領域Ｂと前記第２の映像信号との差分を求め、１０３に示す積分手段１により相関値を求める。そして、前記領域Ｂの位置をずらして同様に相関値を求め、そのずらした位置ごとの相関値を１０４に示す記憶手段２にそれぞれ記憶する。１０５に示す比較手段１により最小となる相関値を求める。

この最小相関値を算出後、領域Ａ内の全ての画素において同様に相関最小値を求め、１０６に示す積分手段２により領域Ａ内のそれぞれの画素で算出した相関最小値の和を求める。前記積分手段２で求められた相関最小値の和をＶｎと呼ぶこととする。前記Ｖｎは動きのない映像はもちろんのこと、動きのある映像に対してもノイズ量を反映していると言える。しかし、被写体の動きがあまりにも早く、相関の高い領域の探索に追いつけない映像や、あるいは、シーンチェンジ等による急激に変化する画像に対しては、前記Ｖｎ値は極端に大きくなる。しかし、適切な閾値ＴＨ１とＴＨ２（ＴＨ１＜ＴＨ２）を用いて、Ｖｎ＜ＴＨ１であればノイズの少ない映像、ＴＨ１＜Ｖｎ＜ＴＨ２であればノイズの多い映像、ＴＨ２＜Ｖｎであれば動きの早い映像であると判断できる。したがって、前記Ｖｎはノイズ量を測定する上で有効な値となる。

（実施の形態２）
また、本願第２の発明においては、さらに、図３に示す３０８の演算手段２を用いて、フレームごとに算出されるＶｎをデータとして統計処理を行うことにより、ノイズ量測定の精度が向上する。統計処理として、ヒストグラムを用いる方法、中央値を算出する方法、平均値を算出する方法が考えられる。

ヒストグラムを用いる方法は、現フレームを含むある連続する一定の複数フレームにおいて算出された複数のノイズ量データに対してヒストグラムを算出する。前記ヒストグラムから最も頻度の高い範囲に存在するＶｎ値を抽出する。この前記抽出されたＶｎ値に対して、例えば平均値Ｖｎ１を算出する。前記Ｖｎ１を現フレームにおけるノイズ測定量とすることで、動きの早い映像によって突然Ｖｎ値が大きくなっても安定してノイズ量を測定することが可能となり、ノイズ量測定の精度が大幅に向上するという効果がある。

また、これにより、現フレームを含むある一定の連続する複数フレームにおいて算出された複数のノイズ量データの中央値Ｖｎｍを算出し、前記Ｖｎｍを現フレームにおけるノイズ測定量とするものである。中央値を算出する方法は、簡単なハード設計が実現できる上、ノイズ測定値の精度が向上するという効果がある。また、平均値を算出する方法は、現フレームをある一定の連続する複数フレームにおいて算出された複数のノイズ量の平均値Ｖｎａを算出し、前記Ｖｎａを現フレームにおけるノイズ量とするものである。これにより、簡単なハード設計が実現できる上、ノイズ測定値の精度が向上するという効果がある。

さらに、前記本願第２の発明において統計処理を行う前に、あらかじめフレームごとに算出されるＶｎデータに対して、フレーム軸方向にローパスフィルタをかけることでＶｎのばらつきが小さくなり、この状態で統計処理を行うことで、さらにノイズ量測定の精度が向上するという効果がある。

なお、相関性の高い領域を探索するにあたって、領域Ｂを垂直方向に１画素、水平方向に数画素（例えば５画素）の長方形とすることにより、主にテレビジョンの受像方式である、ラスタスキャン方式に適合し、メモリ資源を節約することが可能となる。

また、前記Ｖｎ値を算出する際に、領域Ａに加えて一つ以上の同じような領域を設けて同様にそれぞれの領域で最小相関値を求め、算出した複数の最小相関値の最小値を前記Ｖｎの値としてもよい。複数の領域を設けて最小相関値の和を算出することにより、あるフレームおいて動きの早い被写体が存在していても被写体を含まない領域が存在し、動きによるＶｎ値の増大を防ぐことができる。

（実施の形態３）
また、本願第３、４の発明は、前記ノイズ量測定装置と巡回型ノイズ低減装置を備えた装置において、ノイズ測定装置で測定された前記Ｖｎの値に応じてノイズ軽減効果を調節する映像受像機である。

図４にこの装置のブロック線図を示す。この装置は、デジタル映像信号が入力される入力端子４０１と、入力映像信号に係数１―Ｋを乗算する第１の乗算器４０２と、フレームメモリ４０６により１フレーム遅延した映像信号に帰還係数Ｋを乗算する第２の乗算器４０３と、係数Ｋ（ここで０≦Ｋ≦１）を発生する係数発生器４０４と、乗算器４０２及び４０３の出力を加算して加算信号をフレームメモリ４０６に供給する一方出力端子４０７に出力する加算器４０５と、加算器４０５からの加算信号を新たな映像信号として１フレーム分格納するフレームメモリ４０６に加えて、前記ノイズ量測定装置４０８を具備している。なお、乗算器４０２，４０３、加算器４０５、及びフレームメモリ４０６は、フレーム巡回型フィルタを構成している。

このフレーム巡回型フィルタにより、入力映像信号を１―Ｋ倍した信号（これは帰還係数Ｋ分だけ入力映像信号を小さくした信号と言える）と、１フレーム遅延した映像信号をＫ倍した信号とを加算することにより、結果としてフレーム間の差信号（フレーム相関が強い映像信号の場合は、この差信号は主にノイズ成分と言える）に係数Ｋを乗算したものを入力映像信号から減算することになり、ノイズを除去している。ここで、入力映像信号をＳ１、フレームメモリ４０６から出力される１フレーム遅延の映像信号をＳ２とすると、出力端子４０７には
（１―Ｋ）Ｓ１＋ＫＳ２＝Ｓ１―Ｋ（Ｓ１―Ｓ２）
が出力される。

即ち、現在の入力映像信号Ｓ１からノイズ成分に相当するＫ（Ｓ１―Ｓ２）を減算することにより、ノイズ除去が図られる。

さて、この装置において、前記係数値Ｋは、前記ノイズ量測定装置によって測定されたノイズ測定値に基づいて係数発生器４０４で決定される。例えば、係数発生器４０４は、ノイズ測定値に対して係数Ｋを図５のような特性をもって発生するとする。すなわち、ノイズ測定値が０以上Ｎｔｈ１以下のときは動きのない映像と考え、ノイズ測定値の増加に対して係数Ｋを単調増加させ、ノイズ測定値がＮｔｈ１以上のときは動きの早い映像と考え、ノイズ測定値の増加に対して係数Ｋを単調減少させ、ノイズ測定値がＮｔｈ２以上のときは係数Ｋを０にする。

すると、係数Ｋの大きい場合は該当の画素が時間の経過とともにはノイズが多い部分であるとして、相関の高い映像信号を時系列的に加算・平均化することになり、ノイズ低減ができる。係数Ｋの小さい場合は該当の画素がノイズの少ない部分であるか、時間の経過とともに変化して動いている部分であるとして、入力映像信号をそのまま出力するようになり、相関の低い動いた部分の映像信号を加算して尾を引いたような残像の発生を防ぐことが可能となる。したがって、これにより、映像信号中のノイズ量に応じた巡回型ノイズ低減装置が実現可能となる。

以上述べた本発明はここに記載した実施の形態に限定されることなく、発明の要旨内で各種の変形、変更の可能なことは自明である。

本発明に係る映像信号のノイズ量測定装置および測定方法は、映像領域内でのノイズ量測定を可能とし、さらに相関性を考慮せずに測定した場合に比べ、動きによる誤測定を防止できるため、ノイズ測定精度が向上する効果があり、さらに、ノイズ低減効果の調節も適切に行うことが可能となり、画質の向上した映像受像機を実現可能とする効果も有し、ノイズ測定および巡回型ノイズ低減装置並びにそれを用いた映像受像機などに有用である。

本願第１の発明によるノイズ量測定装置のブロック図本願第１の発明による第１の領域と第２の領域を示した図本願第２の発明によるノイズ量測定装置のブロック図本願第３及び４の発明による巡回型ノイズ低減装置のブロック図本願第３及び４の発明による巡回型ノイズ低減装置における係数発生回路における係数Ｋの出力特性を示した図

符号の説明

１０１記憶手段１
１０２演算手段１
１０３積分手段１
１０４記憶手段２
１０５比較手段１
１０６積分手段２
１０７制御

Claims

映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段を備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、さらに前記算出された画像情報の差分信号を任意の第２の領域に渡って積分することによりノイズ量を測定することを特徴とするノイズ量測定装置。
第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項１に記載のノイズ量測定装置。
ノイズ量を算出するにあたり、前記第２の領域に加えて、前記第２の領域と等しい画素数で構成される一つ以上の領域において算出した複数の前記積分結果の最小値をノイズ量とすることを特徴とする請求項１に記載のノイズ量測定装置。
映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段に加え、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段をさらに備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の第２の領域に渡って積分し、さらに前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定することを特徴とするノイズ量測定装置。
第２の演算手段は、一定の連続する複数フレームにおけるヒストグラムの最も頻度の高い範囲に存在する信号を処理することを特徴とする請求項４に記載のノイズ量測定装置。
第２の演算手段は、一定の連続する複数フレームにおける中央値を算出することを特徴とする請求項４に記載のノイズ量測定装置。
第２の演算手段、は一定の連続する複数フレームにおける平均値を出力することを特徴とする請求項４に記載のノイズ量測定装置。
第２の演算手段は、入力される積分結果に対して、あらかじめ時間軸方向にローパスフィルタをかけた後に、種種の統計処理を行うことを特徴とする請求項５乃至請求項７のいずれかに記載のノイズ量測定測定装置。
第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項４に記載のノイズ量測定装置。
第２の領域に加えて、前記第２の領域と等しい画素数で構成される一つ以上の領域においても積分結果を算出し、複数の前記積分結果の最小値を算出することを特徴とする請求項４に記載のノイズ量測定装置。
映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、さらに巡回型ノイズ低減手段を備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の第２の領域に渡って積分することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節することを特徴とする映像受像機。
第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項１１に記載の映像受像機。
第２の領域に加えて、前記第２の領域と等しい画素数で構成される一つ以上の領域においても積分結果を算出し、複数の前記積分結果の最小値を算出することを特徴とする請求項１１に記載の映像受像機。
映像信号を入力するための第１及び第２の入力端子と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段と、さらに巡回型ノイズ低減手段を備え、
前記第１の映像信号から抽出した任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の第２の領域に渡って積分し、前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節することを特徴とする映像受像機。
第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項１４に記載の映像受像機。
前記第２の領域に加えて、前記第２の領域と等しい画素数で構成される一つ以上の領域においても積分結果を算出し、複数の前記積分結果の最小値を算出することを特徴とする請求項１４に記載の映像受像機。