JP2010041697A - Video signal processing apparatus, video signal processing method, and program - Google Patents
Video signal processing apparatus, video signal processing method, and program Download PDFInfo
- Publication number
- JP2010041697A JP2010041697A JP2008205877A JP2008205877A JP2010041697A JP 2010041697 A JP2010041697 A JP 2010041697A JP 2008205877 A JP2008205877 A JP 2008205877A JP 2008205877 A JP2008205877 A JP 2008205877A JP 2010041697 A JP2010041697 A JP 2010041697A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- noise removal
- axis direction
- time
- removal filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、ビデオ信号を対象として信号処理を実行するビデオ信号処理装置とその方法に関する。また、ビデオ信号処理装置に実行させるプログラムに関する。 The present invention relates to a video signal processing apparatus and method for performing signal processing on a video signal. The present invention also relates to a program executed by a video signal processing device.
特許文献１に記載されているように、ビデオ信号処理の１つとして、動画に対応するビデオ信号からノイズを除去することが行われている。特許文献１においては、フレーム／フィールドノイズリダクション回路と水平ノイズキャンセラとを並列に配置している。そのうえで、入力映像信号が静止画であるか動画であるかに応じて、フレーム／フィールドノイズリダクション回路のかかりと、水平ノイズキャンセラのかかりとを制御する構成が示されている。
As described in
本願発明としてもビデオ信号に対するノイズ除去に関するものであり、ノイズ除去に関してこれまでよりも高い性能が得られるようにすることを目的とする。 The present invention also relates to noise removal for a video signal, and an object thereof is to obtain higher performance than before with respect to noise removal.
そこで本発明は上記した課題を考慮して、ビデオ信号処理装置として次のように構成する。
つまり現時刻のビデオ信号と、現時刻に対して所定時間分だけ前の時刻のビデオ信号とを入力し、現時刻のビデオ信号と前の時刻のビデオ信号とを利用した動き検出の結果を利用して、現時刻のビデオ信号についての時間軸方向でのノイズ除去を実行する、時間軸方向対応ノイズ除去手段と、上記時間軸方向ノイズ除去手段より入力するビデオ信号について、空間軸方向でのノイズ除去処理を実行する空間軸方向ノイズ除去手段と、上記空間軸方向ノイズ除去手段により出力されるビデオ信号の書き込みが行われ、この書き込まれたビデオ信号が、上記時間軸方向対応ノイズ除去手段に対して入力される上記前の時刻のビデオ信号となるようにして読み出しが行われるメモリ手段とを備えることとした。
In view of the above problems, the present invention is configured as a video signal processing apparatus as follows.
In other words, the video signal at the current time and the video signal at the time before the current time by a predetermined time are input, and the motion detection result using the video signal at the current time and the video signal at the previous time is used. Then, noise removal in the time axis direction is performed on the video signal at the current time, and the noise in the spatial axis direction is applied to the video signal input from the time axis direction noise removal means. The spatial axis direction noise removing unit that executes the removal process and the video signal output by the spatial axis direction noise removing unit are written, and the written video signal is sent to the time axis direction corresponding noise removing unit. And a memory means for reading out the video signal at the previous time.
上記構成では、前段に時間軸方向対応ノイズ除去手段が配置され、後段に空間軸方向ノイズ除去手段が配置される。そのうえで、時間軸方向対応ノイズ除去手段が利用する所定時間分だけ前の時刻のビデオ信号を保持するメモリ手段は、時間軸方向対応ノイズ除去手段により出力されるビデオ信号ではなく、空間軸方向ノイズ除去手段により出力されるビデオ信号が書き込まれるようにされている。
これにより時間軸方向対応ノイズ除去手段が、過去のビデオ信号（フレーム）から空間軸方向での広い範囲の情報を利用して処理できることになる。従って、１フレーム単位では空間軸方向ノイズ除去手段のフィルタのタップ数が不足して除去しきれない中低域ノイズも除去することが可能になる。
In the above configuration, the time axis direction corresponding noise removing means is arranged at the preceding stage, and the spatial axis direction noise removing means is arranged at the succeeding stage. In addition, the memory means for holding the video signal of the time before the predetermined time used by the time axis direction corresponding noise removing means is not the video signal output by the time axis direction corresponding noise removing means, but the spatial axis direction noise removing. The video signal output by the means is written.
As a result, the time axis direction corresponding noise removing means can perform processing using a wide range of information in the spatial axis direction from the past video signal (frame). Therefore, it is possible to remove medium and low frequency noise that cannot be removed because the number of taps of the filter of the spatial axis direction noise removing means is insufficient in one frame unit.
このようにして、本発明は、リソース、処理負担を増加させることなく、高域ノイズと共に中低域ノイズも有効に除去することが可能になる。 In this way, the present invention can effectively remove the mid-low frequency noise as well as the high frequency noise without increasing the resource and processing load.
以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記の順により説明する。
１．全体構成
２．実施形態の基となるノイズ除去フィルタの基本構成例
３．実施形態としてのノイズ除去フィルタの構成例
Hereinafter, the best mode for carrying out the present invention (hereinafter referred to as an embodiment) will be described in the following order.
1.
＜１．全体構成＞
本実施形態では、本願発明に対応するビデオ信号処理装置を、ノイズ除去フィルタに適用する。
図１は、実施形態としてのノイズ除去フィルタを有して構成される撮像システムについての全体的な構成例を示している。この図に示される撮像システムは、カメラユニット１、ビデオ信号処理部２、及びエンコーダ３を有して成るものとしている。
<1. Overall configuration>
In this embodiment, a video signal processing device corresponding to the present invention is applied to a noise removal filter.
FIG. 1 illustrates an example of the overall configuration of an imaging system configured to include a noise removal filter as an embodiment. The imaging system shown in this figure includes a
カメラユニット１は、撮像を行うとともに、撮像により得た撮像光から動画像としてのビデオ信号Ｖ１を生成して出力する。このビデオ信号Ｖ１は、ノイズ除去(ノイズリダクション)フィルタ２に対して入力される。
The
なお、ここでは、ビデオ信号Ｖ１はデジタル形式により出力されるものとする。従って、次に説明するノイズ除去フィルタ２、及びビデオ信号処理部３も、デジタル信号処理によって、入力ビデオ信号に対する処理を実行するように構成される。
Here, it is assumed that the video signal V1 is output in a digital format. Therefore, the
ノイズ除去フィルタ２は、入力されるビデオ信号Ｖ１に発生するノイズを除去してビデオ信号Ｖ２として出力する。なお、ノイズ除去フィルタ２１の内部構成については後述する。
The
ノイズ除去フィルタ２から出力されるビデオ信号Ｖ２は、必要な各種の信号処理が施されることになる。ビデオ信号処理部３は、このような各種の信号処理を実行する機能部位をまとめて示したものとなる。
従って、ビデオ信号処理部３が実行するビデオ信号処理としては特に限定されるべきものではないが、例えば、輝度補正処理、コントラスト補正処理、画像圧縮符号化処理などを挙げることができる。
ビデオ信号処理部３から出力されるビデオ信号Ｖ３は、ここでは図示していない装置、回路などに出力されることになる。
あくまでも一例であるが、図１に示す撮像システムが、ビデオ会議システムの端末において、その場に居る会議参加者を撮像するためのものであるような場合には、エンコーダ３から出力された圧縮符号化ビデオ信号は、通信回路系を経由して、相手側（遠端側）のビデオ会議システム端末に対して送信される。遠端側のビデオ会議システム端末では、この圧縮符号化ビデオ信号を受信して、圧縮符号化に対応する復号処理を実行したうえで、例えば表示デバイスにより画像として表示させる。
The video signal V2 output from the
Accordingly, the video signal processing executed by the video
The video signal V3 output from the video
As an example to the last, when the imaging system shown in FIG. 1 is for imaging a conference participant who is present at the terminal of the video conference system, the compression code output from the
また、上記図１に示されるノイズ除去フィルタ２、及びビデオ信号処理部３などのビデオ信号処理系は、その一部、あるいは全ての機能を、ＦＰＧＡ(Field Programmable Gate Array)により実現させることができる。若しくは、ＤＳＰ(Digital Signal Processor)により構成することができる。つまり、ＦＰＧＡであるとかＤＳＰに対して、インストラクション（プログラム）を実行させることにより、その処理を実現できる。
The video signal processing system such as the
＜２．実施形態の基となるノイズ除去フィルタの基本構成例＞
［第１例］
図２は、図１に示したノイズ除去フィルタ２として採り得る基本的な構成の第１例を示している。
この図に示される第１例としてのノイズ除去フィルタ２Ａは、３Ｄノイズ除去フィルタ１１、２Ｄノイズ除去フィルタ１２、フレームメモリ１３を有している。そのうえで、前段が３Ｄノイズ除去フィルタ１１で、後段が２Ｄノイズ除去フィルタ１２となるようにして直列に配置している態様となっている。
<2. Basic configuration example of noise removal filter that is the basis of the embodiment>
[First example]
FIG. 2 shows a first example of a basic configuration that can be adopted as the
A noise removal filter 2A as a first example shown in this figure includes a 3D
つまり、図１の構成例においては、ビデオ信号Ｖ１は３Ｄノイズ除去フィルタ１１に対して入力される。この場合には、ビデオ信号Ｖ１が３Ｄノイズ除去フィルタ１１の入力ビデオ信号Ｖin3dとなる。
３Ｄノイズ除去フィルタ１１は、例えば後述する図４の構成により、フレームメモリ１３を利用して、入力ビデオ信号Ｖin3dについて時間軸方向でのノイズ除去処理を実行し、出力ビデオ信号Ｖout3dとして出力する。時間軸方向でのノイズ除去処理とは、フレーム間で発生するとされるノイズを除去する処理をいう。そして、この出力ビデオ信号Ｖout3dが、２Ｄノイズ除去フィルタ１２にとっての入力ビデオ信号となる。
That is, in the configuration example of FIG. 1, the video signal V <b> 1 is input to the 3D
The 3D
２Ｄノイズ除去フィルタ１２は、入力ビデオ信号に対して空間軸方向でのノイズ除去処理を実行する。空間軸方向でのノイズ除去処理とは、例えばフレーム画像ごとに、その画像空間内におけるノイズを除去する処理をいう。
The 2D
この２Ｄノイズ除去フィルタ１２の基本的なノイズ除去動作の一例としては次のようになる。
先ず、２Ｄノイズ除去フィルタ１２は、入力されたビデオ信号のフレーム画像単位を、模式的には図３（ａ）に示すようにして、水平画素数×垂直画素数＝ｎ×ｎ（ｎは自然数）からなるブロックに分割する。ここでは、例として、図３（ｂ）において１ブロックを３×３（ｎ＝３）の水平画素数×垂直画素数により形成した場合を示している。
そして、ノイズが検出されたブロックについては、そのブロックを形成する画素のデータを利用して補間処理、平均化処理などを実行し、画としては暈かされた状態とするようにしてノイズ除去処理を実行する。
そして、この場合には、２Ｄノイズ除去フィルタ１２から出力されるビデオ信号が、後段のビデオ信号処理部３に入力すべきビデオ信号Ｖ２となる。
An example of the basic noise removal operation of the 2D
First, the 2D
For the block in which noise is detected, interpolation processing, averaging processing, etc. are executed using the data of the pixels forming the block, and the noise removal processing is performed so that the image is in a blurred state. Execute.
In this case, the video signal output from the 2D
また、３Ｄノイズ除去フィルタ１１は、図４により後述するようにして画素単位で動き検出の処理を実行するのであるが、ここでは検出された動き量を示す情報である動きレベル値ｓを２Ｄノイズ除去フィルタ１２に出力するものとする。この動きレベル値ｓに基づいて、図５により後述するようにして、ノイズ除去フィルタ２に入力されるビデオ信号Ｖ1の動き量に応じて、３Ｄノイズ除去フィルタ１１と２Ｄノイズ除去フィルタ１２のノイズ除去の強度が可変される。
The 3D
図４は、図２のノイズ除去フィルタ２Ａに実装できる３Ｄノイズ除去フィルタ１１の構成例を、フレームメモリ１３とともに示している。
この図に示される３Ｄノイズ除去フィルタ１１は、２Ｄノイズ除去フィルタ３１、動き検出部３２、及びミキサ部３３を備えて成る。
FIG. 4 shows a configuration example of the 3D
The 3D
３Ｄノイズ除去フィルタ１１に対する入力ビデオ信号Ｖin3dは、先ず、２Ｄノイズ除去フィルタ３１とミキサ部３３とに対して分岐して入力される。
２Ｄノイズ除去フィルタ３１は、機能的には、図２に示した２Ｄノイズ除去フィルタ１２と同じく、フレーム画像ごとに対応するビデオ信号に重畳しているノイズを除去するもので、その出力であるビデオ信号を動き検出部３２に出力する。
２Ｄノイズ除去フィルタ３１があることにより、動き検出部３２が入力する現フレーム画像の信号からノイズが除去されることになる。これによって、例えば動き検出部３２は、現フレーム画像に現れたノイズを動きであるとして誤検出することがなくなる。つまり、２Ｄノイズ除去フィルタ３１を設けることで動き検出部３２の検出精度を高めることができる。
The input video signal Vin3d to the 3D
The 2D
The presence of the 2D
動き検出部３２は、上記２Ｄノイズ除去フィルタ３１から出力されるビデオ信号をフレーム単位で読み込んで入力すると共に、フレームメモリ１３に保持されているフレーム画像データを読み出して入力する。２Ｄノイズ除去フィルタ３１から出力されるビデオ信号が現フレーム画像の情報（フレーム画像データ）であり、フレームメモリ１３に保持されているフレーム画像データが、現フレーム画像に対して所定フレーム数（例えば１フレーム）だけ前（過去）のフレーム画像の情報となる。
The
動き検出部３２は、上記現フレーム画像データと、前のフレーム画像データとを比較して、この場合には、動き検出処理として、少なくとも、フレーム画像データを形成する画素ごとに動き量を検出可能とされている。検出された動き量の情報は、動きレベル値ｓとしてミキサ部３３に出力される。また、図２にても述べたように、２Ｄノイズ除去フィルタ１２に対しても出力される。
The
なお、ここでの動きレベル値ｓは、所定の分解能により、０≦ｓ≦１までの範囲を取る。動きレベル値ｓ＝０の場合に、動きは全くない静止の状態であることを示し、動きレベル値ｓ＝１の場合に、検出可能な範囲において最も動きが大きい状態であることを示す。 Here, the motion level value s takes a range of 0 ≦ s ≦ 1 with a predetermined resolution. When the motion level value s = 0, it indicates that there is no motion at all, and when the motion level value s = 1, it indicates that the motion is the largest in the detectable range.
ミキサ部３２には、入力ビデオ信号Ｖin3dと、フレームメモリ１３から読み出したフレーム画像データが入力される。つまり、ミキサ部３３は、現フレーム画像データとして入力ビデオ信号Ｖin3dを入力し、フレームメモリ１３に対する読み出しを行って、現フレーム画像に対して所定フレーム数分だけ前のフレーム画像データを入力する。
そして、ミキサ部３２は、後述するようにして、動きレベル値ｓに基づいて設定した合成比率に従って現フレーム画像データと過去のフレーム画像データとを合成して出力する。
このようにしてミキサ部３３から出力されるフレーム画像データより成るビデオ信号は、３Ｄノイズ除去フィルタ１１の出力ビデオ信号Ｖout3dとして外部に出力される。また、分岐してフレームメモリ１３に対して、フレーム画像単位により入力される。なお、フレームメモリ１３に対しては、例えば出力ビデオ信号Ｖout3dの成分のうちで、現フレームに対応するビデオ信号成分のみを入力させる。
The input video signal Vin3d and the frame image data read from the
Then, the
The video signal composed of the frame image data output from the
フレームメモリ１３では、入力されるビデオ信号の書き込みが行われる。そして、所定タイミングでの読み出しが行われることで、現フレーム画像に対して所定フレーム数だけ前のフレーム画像データが動き検出部３２及びミキサ部３３に対して入力されるようにする。
In the
上記構成の３Ｄノイズ除去フィルタ１１において、ミキサ部３３は次のようにして動作する。
説明を分かりやすいものとするために、先ず、動きレベル値ｓ＝０の場合を考えてみる。この場合、動き検出部３２による動き検出の対象とされた画素は、前のフレームと比較して変化が無いことになる。しかし、例えば現フレームにてノイズが現れたことにより、現実には、前のフレームとは異なる画素値が得られることがある。このような場合、ミキサ部３３は、フレームメモリ１３から読み出した前のフレーム画像データのみを出力する、このような合成処理が行われることで、出力される信号Ｖout3dとしては、時間軸上で発生したノイズに応じて高域が低減されたもの（画像としては暈かされたもの）となる。つまり、最も強度の高い時間軸方向でのノイズ除去が行われる。
In the 3D
To make the explanation easy to understand, first consider the case where the motion level value s = 0. In this case, the pixel that is the target of motion detection by the
次に、動きレベル値ｓ＝１の場合には、動きが非常に大きく、動き検出対象の画素については、前のフレームとはほとんど相関がないことになる。このような状態では、動き検出対象の画素についてノイズの有無を判定できないので、ノイズ除去処理を行うことの意味がない。
そこで、この場合においては、例えば、現フレーム画像に対応する入力ビデオ信号Ｖin3dのみを出力する。この場合、動き検出対象とされた画素についてのノイズ除去は行わないことになる。
つまり、３Ｄノイズ除去フィルタ１１の基本的な動作としては、動きが無ければノイズ除去を実行し、動きが大きければノイズ除去を実行しないようにして構成される。
Next, when the motion level value s = 1, the motion is very large and the motion detection target pixel has almost no correlation with the previous frame. In such a state, the presence or absence of noise cannot be determined for the motion detection target pixel, so there is no point in performing noise removal processing.
Therefore, in this case, for example, only the input video signal Vin3d corresponding to the current frame image is output. In this case, noise removal is not performed on the pixel that is the motion detection target.
That is, the basic operation of the 3D
そのうえで、動きレベル値ｓが０、１以外の０＜ｓ＜１の範囲での値を取るときには、動きレベル値ｓが小さくなるのに応じて、前のビデオ信号の出力レベルは大きくし、現フレーム画像のビデオ信号の出力レベルは小さくしていく。逆に、動きレベル値ｓが大きくなるのに応じては、前のビデオ信号の出力レベルは小さくし、現フレーム画像のビデオ信号の出力レベルは大きくしていくように動作する。
このようにして、３Ｄノイズ除去フィルタ１１は、画像の動き量に適応して強度を可変してノイズ除去を実行する。
In addition, when the motion level value s takes a value in the range of 0 <s <1 other than 0, 1, the output level of the previous video signal increases as the motion level value s decreases, The output level of the video signal of the frame image is decreased. On the other hand, as the motion level value s increases, the output level of the previous video signal decreases and the output level of the video signal of the current frame image increases.
In this way, the 3D
そのうえで、ノイズ除去フィルタ２Ａにおいては、図５のフローチャートに示すようにして、３Ｄノイズ除去フィルタ１１と２Ｄノイズ除去フィルタ１２ノイズ除去の強度についての制御を行う。
In addition, in the noise removal filter 2A, as shown in the flowchart of FIG. 5, the 3D
つまり、ステップＳ１０１により動き検出部３２により検出した動き量（動きレベル値ｓ）が大きいと判断されるときには、ステップＳ１０２のようにしてノイズ除去処理が行われる。つまり、３Ｄノイズ除去フィルタ１１については、先の説明に従って、動きレベル値ｓが大きくなるのに応じてノイズ除去の強度を弱く設定していく。これに対して、２Ｄノイズ除去フィルタ１２については、動きレベル値ｓが大きくなるのに応じてそのノイズ除去強度を高くしていく。
That is, when it is determined in step S101 that the motion amount (motion level value s) detected by the
これに対して、ステップＳ１０１により動き量（動きレベル値ｓ）が小さいと判断されるときには、ステップＳ１０３によるノイズ除去処理が行われる。つまり、３Ｄノイズ除去フィルタ１１については、先の説明に従って、動きレベル値ｓが小さくなるのに応じてノイズ除去の強度を強く設定していく。これに対して、２Ｄノイズ除去フィルタ１２については、動きレベル値ｓが小さくなるのに応じてそのノイズ除去強度を低くしていく。
On the other hand, when it is determined in step S101 that the amount of motion (motion level value s) is small, noise removal processing in step S103 is performed. That is, for the 3D
上記の処理では、３Ｄノイズ除去フィルタ１１によるノイズ除去強度が低いときには、その分、２Ｄノイズ除去フィルタ１２の側のノイズ除去強度を高めている。一方、３Ｄノイズ除去フィルタ１１によるノイズ除去強度が高いときには、その分、２Ｄノイズ除去フィルタ１２の側のノイズ除去強度を低くしていることになる。即ち、双方について、動き量に対して逆のノイズ除去強度の変化特性が与えられることにより、空間軸方向と時間軸方向との相互のノイズ除去強度を補い合うようにされる。これにより、ノイズ除去フィルタ２Ａ全体としては、画像の動き量に関わりなく、常に適正な強度によるノイズ除去が行われるようにしている。
In the above processing, when the noise removal strength by the 3D
［第２例］
図６は、ノイズ除去フィルタ２として採り得る基本的な構成の第２例を示している。なお、この図において図１と同一部分は同一符号を付して説明を省略する。
この図に示される第２例としてのノイズ除去フィルタ２Ｂでは、２Ｄノイズ除去フィルタ１２を前段に配置し、３Ｄノイズ除去フィルタ１１を後段に配置した構成となっている。つまり、図２の第１例との比較では、同じ直列関係にはあるが、３Ｄノイズ除去フィルタ１１と２Ｄノイズ除去フィルタ１２の前後の配置が入れ替えられている。
[Second example]
FIG. 6 shows a second example of a basic configuration that can be adopted as the
The noise removal filter 2B as the second example shown in this figure has a configuration in which the 2D
この場合、ノイズ除去フィルタ２Ｂに対する入力信号であるビデオ信号Ｖ１は、先ず、２Ｄノイズ除去フィルタ１２に入力される。２Ｄノイズ除去フィルタ１２は、図２の場合と同じ構成とされ、先の説明のようにして空間軸方向でのノイズ除去処理を実行する。そして、２Ｄノイズ除去フィルタ１２から出力されるビデオ信号が３Ｄノイズ除去フィルタ１１に対する入力ビデオ信号Ｖin3dとなる。
３Ｄノイズ除去フィルタ１１も、図４と同じ構成を採り、時間軸方向でのノイズ除去処理を実行する。この場合には、３Ｄノイズ除去フィルタ１１の出力ビデオ信号Ｖout3dが、ビデオ信号Ｓ２とされてノイズ除去フィルタ２Ｂから出力される。
In this case, the video signal V1 that is an input signal to the noise removal filter 2B is first input to the 2D
The 3D
図２に示した第１例の構成と、上記図６の第２例の構成とを比較した場合、図５に示したノイズ強度の可変については、第１例の構成のほうが有利となる。
第１例では、２Ｄノイズ除去フィルタ１２の前段に対して動き検出部３２を備える３Ｄノイズ除去フィルタ１１が備えられる。このため、２Ｄノイズ除去フィルタ１２としては、動き検出部３２の動き検出結果に応じたノイズ除去強度の可変処理を適正なタイミングで実行しやすいからである。
When the configuration of the first example shown in FIG. 2 and the configuration of the second example of FIG. 6 are compared, the configuration of the first example is more advantageous with respect to the variable noise intensity shown in FIG.
In the first example, the 3D
上記のようにして、動画としてのビデオ信号に対応しては、空間軸方向でのノイズ除去処理（２Ｄノイズ除去フィルタ１２）と時間軸方向でのノイズ除去処理（３Ｄノイズ除去フィルタ１１）とを併用してノイズ除去を行うことが有効である。
しかし、２Ｄノイズ除去フィルタ１２は、先に図３にて説明したようにｎ×ｎ画素によるブロック単位でノイズ除去処理を実行する。このために、高域のノイズが除去されはするが、その代償として、ノイズ成分がより低い周波数帯域にシフトして現れるような現象を生じやすい。このような中低域ノイズは、例えば画像としては、ブロック単位に応じた画像部分サイズごとに色や明るさがつながらずに異なって見えるものとなる。
As described above, in response to a video signal as a moving image, noise removal processing (2D noise removal filter 12) in the spatial axis direction and noise removal processing (3D noise removal filter 11) in the time axis direction are performed. It is effective to perform noise removal in combination.
However, the 2D
上記のようにして、中低域のノイズも表示画像の品質を劣化させるので、できるだけ低減されることが要求される。しかし、これまでの２Ｄノイズ除去フィルタの手法に従って、高域ノイズとともに中低域ノイズも除去できるようにしようとすれば、ブロック単位を形成する水平／垂直画素数を相当に大きくする必要がある。例えば、ＦＰＧＡ，ＤＳＰなどでは２Ｄノイズ除去フィルタはデジタルフィルタにより構成するが、ブロック単位を形成する水平／垂直画素数を増加させると、デジタルフィルタのタップ数が大幅に増加するなど、リソースが著しく増加してしまう。 As described above, the noise in the middle and low range also deteriorates the quality of the display image, so that it is required to be reduced as much as possible. However, if it is attempted to remove not only high-frequency noise but also mid-low frequency noise according to the conventional 2D noise removal filter technique, the number of horizontal / vertical pixels forming a block unit needs to be considerably increased. For example, in FPGA, DSP, etc., the 2D noise removal filter is composed of a digital filter. However, if the number of horizontal / vertical pixels forming a block unit is increased, the number of taps of the digital filter is significantly increased. Resulting in.
空間軸方向でのノイズ除去処理と時間軸方向でのノイズ除去処理とを併用してノイズ除去を行うノイズ除去フィルタの場合、２Ｄノイズ除去フィルタを備える以上、上記した問題を抱えることになる。また、この問題は、図２、図６いずれのノイズ除去フィルタ（２Ａ，２Ｂ）の構成においても、同程度に生じる。 In the case of a noise removal filter that performs noise removal using both the noise removal processing in the spatial axis direction and the noise removal processing in the time axis direction, the above-described problems are caused as long as the 2D noise removal filter is provided. This problem also occurs to the same degree in the configurations of the noise removal filters (2A, 2B) shown in FIGS.
＜３．実施形態としてのノイズ除去フィルタの構成例＞
そこで、本実施形態では、空間軸方向でのノイズ除去処理と時間軸方向でのノイズ除去処理とを併用してノイズ除去を行うノイズ除去フィルタとして、高域ノイズはこれまでと同等に低減したうえで、中低域ノイズについても有効に低減できるようにする。このために、図１に示したノイズ除去フィルタ２として、図７に示す構成を採ることとした。なお、この図において、図２、図６と同一部分には同一符号を付している。
<3. Configuration Example of Noise Removal Filter as Embodiment>
Therefore, in the present embodiment, as a noise removal filter that performs noise removal using both noise removal processing in the spatial axis direction and noise removal processing in the time axis direction, high-frequency noise is reduced to the same level as before. Thus, it is possible to effectively reduce the mid-low range noise. For this reason, the configuration shown in FIG. 7 is adopted as the
図７においては、３Ｄノイズフィルタ１１、２Ｄノイズフィルタ１２、フレームメモリ１３を有して成る。この点は、図２、図６に示した構成例と同様である。また、３Ｄノイズフィルタ１１、２Ｄノイズフィルタ１２、フレームメモリ１３の個々の構成も、図２、図６と同じであると見ることができる。ただし、その接続の態様については次のようにして、図２、図６とは異なったものとなっている。
7 includes a
つまり、ノイズ除去フィルタ２に対して入力されるビデオ信号Ｖ１は、先ず、３Ｄノイズ除去フィルタ１１に対して、入力ビデオ信号Ｖin3dとして入力される。３Ｄノイズ除去フィルタ１１の出力ビデオ信号Ｖout3dは、そのまま２Ｄノイズ除去フィルタ１２に対して入力され、２Ｄノイズ除去フィルタ１２の出力はビデオ信号Ｖ２として後段のビデオ信号処理部３に出力されるようになっている。なお、この図では、２Ｄノイズ除去フィルタ１２に対する入力信号を入力ビデオ信号Ｖin2d、２Ｄノイズ除去フィルタ１２からの出力信号を出力ビデオ信号Ｖout2dとして示す。この場合、３Ｄノイズ除去フィルタ１１の出力ビデオ信号Ｖout3dがそのまま２Ｄノイズ除去フィルタ１２のための入力ビデオ信号Ｖin2dとなる。また、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dが、ノイズ除去フィルタ２の出力であるビデオ信号Ｖ２となる。
That is, the video signal V1 input to the
そのうえで、本実施形態では、フレームメモリ１３が入力して読み込むべきフレーム画像データの元となるビデオ信号として、３Ｄノイズ除去フィルタ１１の出力ビデオ信号Ｖout3dではなく、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dとしている。
In addition, in this embodiment, the output video signal Vout2d of the 2D
即ち、図７に示す構成では、先ず、直列接続される３Ｄノイズ除去フィルタ１１と２Ｄノイズ除去フィルタ１２との関係としては、図２と同様に、３Ｄノイズ除去フィルタ１１を前段とし、２Ｄノイズ除去フィルタ１２を後段としている。そのうえで、３Ｄノイズ除去フィルタ１１に入力される現フレームより前のフレーム画像データとしては、後段の２Ｄノイズフィルタの出力ビデオ信号Ｖout2dからフィードバックさせているものである。
That is, in the configuration shown in FIG. 7, first, the relationship between the 3D
上記構成に対応した３Ｄノイズ除去フィルタ１１の内部構成と外部との接続関係を図８に示しておく。
図８に示される３Ｄノイズ除去フィルタ１１の内部構成は、図４と同様であり、その動作としても、図４と同様としている。
ただし、図４では、フレームメモリ１３は、ミキサ部３３から出力されるビデオ信号を入力しているのに対して、図８では、２Ｄノイズフィルタの出力ビデオ信号Ｖout2dを入力している。
FIG. 8 shows a connection relationship between the internal configuration of the 3D
The internal configuration of the 3D
However, in FIG. 4, the
上記の接続態様による図７のノイズ除去フィルタ２について、例えば、３Ｄノイズ除去フィルタ１１は、先に図４にて述べたのと同じ信号処理を実行させたとする。同様に、２Ｄノイズ除去フィルタ１２も、図３にて説明したブロック単位により、例えば図２、図６に示される２Ｄノイズ除去フィルタ１２と同じ信号処理を実行させたとする。また、フレームメモリ１３も、入力データについては、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dとされたうえで、図２，図６と同じく、現フレームに対して所定フレーム数だけ前のフレーム画像データを書き込んで保持させるものとする。動き検出部３２は、このようにして保持される過去のフレーム画像データをフレーム周期ごとに読み出して入力することになる。
なお、フレームメモリ１３に対するデータ(ビデオ信号)の書き込み、読み出し制御を実行する機能部は、ここでは図示していないが、例えばノイズ除去フィルタ２をＦＰＧＡ，ＤＳＰにより構成する場合には、ＦＰＧＡ，ＤＳＰがプログラム（インストラクション）に従って実行する処理として、フレームメモリ１３に対して所定のタイミングでデータの書き込み・読み出しを実行するようにされる。例えばこの図７としては、フレームメモリ１３において、実際にデータが保持されるメモリと、このメモリを制御する制御部とが備えられているものとしてみればよい。
For the
Note that a functional unit that performs writing / reading control of data (video signal) to / from the
係る構成による図７、及び図８の構成によるノイズ除去フィルタ２では、３Ｄノイズ除去フィルタ１１内のミキサ部３３がフレームメモリ１３から入力する前のビデオ信号は、２Ｄノイズ除去フィルタ１２からの出力ビデオ信号Ｖout2dを元としたものになる。このために、３Ｄノイズ除去フィルタ１１は、２Ｄノイズ除去フィルタ１２により空間軸方向でノイズ除去されたビデオ信号を利用して、現フレームのビデオ信号に対する時間軸方向でのノイズ除去を行うことになる。
In the
図９には、ビデオ信号Ｖ２に対応するフレーム画像データの一部を画素レベルに拡大したものを模式的に示している。
先に図２に示した構成では、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dがビデオ信号Ｖ２となる。このビデオ信号Ｖ２の場合、図９において示される１つのブロックにおける２行２列の位置にある画素P1は、時間経過を経たとしても、空間軸方向においては、この画素P1を含む同じブロックに在る画素のデータを利用してしかフィルタ処理(補間処理)は為されない。つまり、１つのブロックにおいて、ノイズ除去処理により或る１つの画素に影響を及ぼす他の画素は、あくまでも同じブロックに存在する画素に限定される。
FIG. 9 schematically shows a part of the frame image data corresponding to the video signal V2 enlarged to the pixel level.
In the configuration shown in FIG. 2, the output video signal Vout2d of the 2D
このことが、先に述べた中低域ノイズ発生の要因となっている。また、これについては、図６に示した構成においても同様となる。図２、図６に示した構成では、図７のようにして３Ｄノイズ除去フィルタ１１に対して、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dをフィードバックさせる構成を採っていない。このために、フレームメモリを利用した３Ｄノイズ除去フィルタ１１のノイズ除去処理と、図３より説明した２Ｄノイズ除去フィルタ１２のノイズ除去処理は、図５に示したノイズ除去強度設定を除いては互いに独立したものとなる。この点で、図２，図６の構成は同じだからである。
This is a cause of the occurrence of the mid-low frequency noise described above. This also applies to the configuration shown in FIG. 2 and 6 does not employ a configuration in which the output video signal Vout2d of the 2D
これに対して、図７に示す本実施形態の構成では、３Ｄノイズ除去フィルタ１１に対して、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dがフィードバックされる。つまり、３Ｄノイズ除去フィルタ１１は、過去において空間軸方向におけるノイズ除去が施されたビデオ信号を利用して、現フレーム画像のビデオ信号のノイズ除去を行う。そして、この現フレーム画像のビデオ信号が、さらに、２Ｄノイズ除去フィルタ１２にて空間軸方向におけるノイズ除去が行われる。そして、この動作がフレーム周期により循環する。
On the other hand, in the configuration of this embodiment shown in FIG. 7, the output video signal Vout2d of the 2D
この結果、図７のビデオ信号Ｖ２（出力ビデオ信号Ｖout2d）の場合における図９の画素P1のデータは、自身が属するブロックより外の画素の影響も受けるようにして変化していくことになる。そして、影響を受ける画素の範囲は、時間が経過して上記したフレーム周期ごとの繰り返し回数が多くなるほ遠くの距離のものが含まれていくことになる。
これは、２Ｄノイズ除去フィルタ１２において設定しているブロックよりも大きな範囲で空間軸方向におけるノイズ除去を行っていることと等価の動作が実行されているものとみることができる。これにより、ブロック単位のサイズに応じた中低域ノイズも抑制されていく。即ち、本実施形態では、高域ノイズに加え、さらに中低域ノイズも低減することが可能であることになる。
As a result, the data of the pixel P1 in FIG. 9 in the case of the video signal V2 (output video signal Vout2d) in FIG. 7 changes so as to be influenced by the pixels outside the block to which it belongs. In addition, the range of affected pixels includes a far-distance range in which the number of repetitions for each frame period increases as time passes.
This can be regarded as an operation equivalent to performing noise removal in the spatial axis direction in a larger range than the block set in the 2D
ただし、単に、図７に示した構成により、上記したフレーム周期の動作を単純に繰り返していったとすると、最終的には、フレームを形成する全画素が平均化されることになって、いわゆる一様に同輝度、同色のベタ画像となってしまう。
そこで続いては、本実施形態のノイズ除去フィルタ２として、ビデオ信号Ｖ２として、適切な強度で中低域ノイズが低減されるようにするためのノイズ除去処理のアルゴリズムについて考察する。
However, if the operation of the frame period is simply repeated with the configuration shown in FIG. 7, all the pixels forming the frame are eventually averaged, so-called one In the same manner, a solid image with the same luminance and the same color is obtained.
Then, as a
［ノイズ除去処理のアルゴリズム：定義内容説明］
ここでモデルとして、２Ｄノイズ除去フィルタ１２の処理単位であるブロックについては、図１０に示すようにして３×３によるサイズとしたうえで、このブロックを形成する９つの画素ごとに、図示する配列順に対応させて０〜８までの番号を与えておくこととする。
また、現フレームに対応する時刻についてはt=1で表し、現フレームに対して所定のフレーム数だけ前とされ、フレームメモリ１３から読み出される過去のフレーム画像データに対応する時刻をt=0で表すこととする。
そのうえで、図１０に示されるブロックにおけるｎ番目（ｎ＝０〜８）の画素のデータに関して、図７におけるビデオ信号と次のようにして対応させて定義して表記する。
Y(n,t=1)・・・２Ｄノイズ除去フィルタ１２から出力されるビデオ信号Ｖ２（Ｖout2d）における、ブロック内ｎ番目（ｎ＝０〜８）の画素のデータ値。
X(n,t=1)・・・３Ｄノイズ除去フィルタ１１に対して入力されるビデオ信号Ｖ１（Vin3d）における、ブロック内ｎ番目（ｎ＝０〜８）の画素のデータ値。
X(n,t=0) ・・・現フレームに対して所定のフレーム数だけ前となるビデオ信号（フレームメモリ１３から読み出されるフレーム画像データ）における、ブロック内ｎ番目（ｎ＝０〜８）の画素のデータ値。
[Noise reduction processing algorithm: definition details]
Here, as a model, the block which is a processing unit of the 2D
The time corresponding to the current frame is represented by t = 1, and the time corresponding to the past frame image data read from the
In addition, the n-th (n = 0 to 8) pixel data in the block shown in FIG. 10 is defined and described in correspondence with the video signal in FIG.
Y (n, t = 1)... Data value of the nth (n = 0 to 8) pixel in the block in the video signal V2 (Vout2d) output from the 2D
X (n, t = 1)... Data value of the nth (n = 0 to 8) pixel in the block in the video signal V1 (Vin3d) input to the 3D
X (n, t = 0)... Nth block (n = 0 to 8) in the video signal (frame image data read from the frame memory 13) preceding the current frame by a predetermined number of frames. The pixel data value.
また、動き検出部３２が動き量を検出して出力するとされる動きレベル値ｓについて、下記のようにして定義する。
s=s(X(n,t=0),X(n,t=1))・・・(式１)
上記（式１）は、１つのｎ番目の画素についての動きレベル値ｓ(動き量)が、時刻t=1のときのｎ番目の画素のデータと、時刻t=0のときのｎ番目の画素のデータとの差分により求められることを意味する。
例えば図１０に示されるブロックにおける上記４番目の画素についての動きレベル値ｓについては、s=s(X(4,t=0),X(4,t=1))により表されることになる。
Further, the motion level value s that is detected and output by the
s = s (X (n, t = 0), X (n, t = 1)) (Formula 1)
The above (Equation 1) indicates that the motion level value s (motion amount) for one nth pixel is the nth pixel data when the time t = 1 and the nth pixel when the time t = 0. It means that it is obtained by a difference from pixel data.
For example, the motion level value s for the fourth pixel in the block shown in FIG. 10 is represented by s = s (X (4, t = 0), X (4, t = 1)). Become.
ここで、図１０のブロックにおける４番目の画素を対象としたノイズ除去フィルタ２の処理（アルゴリズム）について考察してみる。
先ず、参考までに、先に、図２〜図６により説明したノイズ除去フィルタ２Ａ、２Ｂに対応する、最も単純なノイズ除去フィルタ２のアルゴリズムとしては、次の(式２)により表されるものを考えることができる。
Y(4,t=1)=(1-s)*X(4,t=0)+s*Σ(n,t=1)/9・・・(式２)
上記(式２)において、Σ(n,t=1)/9の項が２Ｄノイズ除去フィルタ１１の処理を表している。つまり、この第１例に対応した２Ｄノイズ除去フィルタ１１の１画素に対応する処理としては、その画素を含むブロックを形成する全画素のデータの平均を求めるものとなる。また、(1-s)*X(4,t=0)の項、及びΣ(n,t=1)/9に動きレベル値ｓを乗算することが、３Ｄノイズ除去フィルタ１１の処理と、図５に示したノイズ除去強度制御とを表している。
例えば先に図４を参照して述べた３Ｄノイズ除去フィルタ１１の処理は、
Y(4,t=1)=(1-s)*X(4,t=0)+s*X(4,t=1)・・・(式３)
で表すことができる。（式２）として表されるノイズ除去フィルタ２の処理は、(式３)で表される３Ｄノイズ除去フィルタ１１の処理に対して、Σ(n,t=1)/9の項で表される２Ｄノイズ除去フィルタ１１の処理を組み合わせたものとなる。
Now, consider the processing (algorithm) of the
First, for reference, the simplest
Y (4, t = 1) = (1-s) * X (4, t = 0) + s * Σ (n, t = 1) / 9 (Equation 2)
In the above (Expression 2), the term Σ (n, t = 1) / 9 represents the processing of the 2D
For example, the processing of the 3D
Y (4, t = 1) = (1-s) * X (4, t = 0) + s * X (4, t = 1) (Equation 3)
Can be expressed as The processing of the
上記処理は、次のようにしな信号の流れとして捉えられる。
つまり、画素単位でのビデオ信号処理として、この場合の３Ｄノイズ除去フィルタ１１のミキサ部３３は、現フレームに対応する時刻t=1の画素については動きレベル値ｓを乗算して出力し、フレームメモリ１３から読み出した時刻t=0の画素は、1-sを乗算して出力させる。
また、２Ｄノイズ除去フィルタ１１においては、３Ｄノイズ除去フィルタ１１のミキサ部３３から出力された時刻t=1の画素についてのブロックを利用した平均化を行い、この平均化した画素の値と、３Ｄノイズ除去フィルタ１１のミキサ部３３から出力された時刻t=1の画素とを合成（加算）して出力する。
The above processing is considered as a flow of signals as follows.
That is, as a video signal processing in units of pixels, the
In the 2D
ちなみに、上記 (式２)により表されるアルゴリズムを図７のノイズ除去フィルタ２にて適用すると、先に述べたようにして、時間経過に応じて、どんどん画像がぼけて均一化されていくことになってしまう。
By the way, when the algorithm expressed by the above (Equation 2) is applied to the
［ノイズ除去処理のアルゴリズム：第１例］
そこで、本実施形態では、図７のノイズ除去フィルタ２について、第１例として、下記の（式４）により表されるアルゴリズムを適用することとした。
Y(4,t=1)=(1-s)*X(4,t=0)+s*((1-s)*X(4,t=1)+s*Σ(n,t=1)/9)・・・（式４）
[Noise removal processing algorithm: first example]
Therefore, in the present embodiment, the algorithm represented by the following (Equation 4) is applied to the
Y (4, t = 1) = (1-s) * X (4, t = 0) + s * ((1-s) * X (4, t = 1) + s * Σ (n, t = 1) / 9) ... (Formula 4)
先ず、この場合にも、（式４）における(1-s)*X(4,t=0)の項と、((1-s)*X(4,t=1)+s*Σ(n,t=1)/9)の係数sにより、３Ｄノイズ除去フィルタ１１の処理、及び図５に対応するノイズ除去強度制御が実行されることが表されている。
First, in this case as well, the term (1-s) * X (4, t = 0) in (Equation 4) and ((1-s) * X (4, t = 1) + s * Σ ( The coefficient s of n, t = 1) / 9) indicates that the processing of the 3D
そのうえで、上記（式４）において、((1-s)*X(4,t=1)+s*Σ(n,t=1)/9)の項が、２Ｄノイズ除去フィルタ１２の処理に相当する。
つまり、２Ｄノイズ除去フィルタ１２は、ここで処理対象とされている４番目の画素自体のデータX(4,t=1)と、ブロック内の画素の平均値Σ(n,t=1)/9とを合成して出力できるようにしている。
そのうえで２Ｄノイズ除去フィルタ１２は、動きレベル値ｓが高くなる(動きが大きくなる)のに応じて、平均値Σ(n,t=1)/9の割合を大きくし、画素自体のデータX(4,t=1)の割合を小さくして合成する。逆に、動きレベル値ｓが小さくなる(動きが小さくなる)のに応じては、平均値Σ(n,t=1)/9の割合を小さくし、画素自体のデータX(4,t=1)の割合を大きくして合成する。
In addition, in (Equation 4), the term ((1-s) * X (4, t = 1) + s * Σ (n, t = 1) / 9) is used for the processing of the 2D
That is, the 2D
In addition, the 2D
上記のような処理によって、先ず、画像の動きの小さなときには、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dとしては、画素自体のデータX(4,t=1)のほうが高い比率で出力されることになる。これは、動きが小さいほど、２Ｄノイズ除去フィルタ１２によるノイズ除去処理の強度が弱められていることを示す。つまり、画像の動きの小さくなるほど、充分に２Ｄノイズ除去フィルタ１２によるノイズ除去強度が弱められることになる。
一方、画像の動きの大きなときには、２Ｄノイズ除去フィルタ１２の出力ビデオ信号Ｖout2dとしては、平均値Σ(n,t=1)/9のほうが高い比率で出力されることになる。これは、動きが大きいほど、２Ｄノイズ除去フィルタによるノイズ除去処理の強度が高められていることを示す。
そのうえで、この(式４)においても、先に述べたように、図５のフローチャートに対応するノイズ除去強度制御が併行して実行される。
By the above processing, first, when the image motion is small, the data X (4, t = 1) of the pixel itself is output at a higher ratio as the output video signal Vout2d of the 2D
On the other hand, when the image motion is large, the average value Σ (n, t = 1) / 9 is output at a higher ratio as the output video signal Vout2d of the 2D
In addition, also in this (Equation 4), as described above, the noise removal intensity control corresponding to the flowchart of FIG. 5 is executed concurrently.
従って、画像の動き量に応じたノイズ除去処理の強度の変化特性は、例えば(式２)のアルゴリズムの場合とは異なって、より強調されたものとなる。これにより、第１例のアルゴリズムによっては、高域ノイズについては有効に低減したうえで、画素が必要以上に平均化されないようにして適度に中域のノイズも除去された出力ビデオ信号Ｖ２を得ることができる。 Accordingly, the change characteristic of the intensity of the noise removal processing according to the amount of motion of the image is more emphasized, unlike the case of the algorithm of (Equation 2), for example. As a result, depending on the algorithm of the first example, the high-frequency noise is effectively reduced, and the output video signal V2 in which the mid-range noise is appropriately removed is obtained by preventing the pixels from being averaged more than necessary. be able to.
［ノイズ除去処理のアルゴリズム：第２例］
また、ノイズ除去フィルタ２のためのアルゴリズムの第２例としては、バイラテラルフィルタを適用したものを考える。バイラテラルフィルタは、画像中の境界、エッジを平滑化することなくノイズを除去する技術として知られている。そして、本実施形態においては、２Ｄノイズ除去フィルタ１２にバイラテラルフィルタを適用したうえで、３Ｄノイズ除去フィルタ１１としての動きの大きさ（動きレベル値s）に応じた強度制御を併用する。
このバイラテラルフィルタを適用した３Ｄノイズ除去フィルタ１１、及び２Ｄノイズ除去フィルタ１２のアルゴリズムは、例えば下記の(式４)により表される
Y(4,t=1)=Σ((1-s(X(n,t=1),X(4,t=1)))X(n,t=1))/Σ(1-s(X(n,t=1),X(4,t=1))・・・（式５）
なお、（式５）において、Σは、s(X(n,t=1),X(4,t=1))<s(X(4,t=0),X(4,t=1))となるｎを積算する。つまり、動きが大きいほど、バイラテラルフィルタによるノイズ除去強度が強くなるようにしているものである。
[Noise removal processing algorithm: second example]
Further, as a second example of the algorithm for the
An algorithm of the 3D
Y (4, t = 1) = Σ ((1-s (X (n, t = 1), X (4, t = 1))) X (n, t = 1)) / Σ (1-s (X (n, t = 1), X (4, t = 1)) (Formula 5)
In (Expression 5), Σ is s (X (n, t = 1), X (4, t = 1)) <s (X (4, t = 0), X (4, t = 1) )) Is integrated. That is, the greater the movement, the stronger the noise removal strength by the bilateral filter.
このようにして、本実施形態においては、図７に示されるノイズ除去フィルタ２の構成を採ることとしたうえで、上記第１例、第２例としてのノイズ除去アルゴリズムを採用することで、高性能な画像のノイズ除去機能を得ることができる。
つまり、ビデオ信号(画像)に重畳する高域ノイズとともに中低域ノイズについても、過剰に除去することなく適度に低減することができる。
また、例えば上記第１例、第２例としてのノイズ除去アルゴリズムを適用するのにあたっても、例えば２Ｄノイズ除去フィルタ１２として必要とされるリソースは、例えばブロックを形成する画素数を大きく取るばあいと比較して小さい。つまり、これまでと同等のリソースでありながら、中低域ノイズを含めて良好なノイズ低減効果が得られる。
In this way, in the present embodiment, the configuration of the
That is, the high-frequency noise superimposed on the video signal (image) as well as the middle-low frequency noise can be appropriately reduced without being excessively removed.
In addition, for example, when applying the noise removal algorithm as the first example and the second example, the resource required as the 2D
なお、上記した第１例、第２例としてのノイズ除去アルゴリズムは、あくまでも具体的一例である。例えば、ノイズ除去強度設定のために、ここでは、係数ｓと係数(1-s)とを対としているが、動きレベル値ｓに基づいた他の係数が用いられてもよい。 Note that the noise removal algorithms as the first example and the second example described above are merely specific examples. For example, here, the coefficient s and the coefficient (1-s) are paired for noise removal strength setting, but other coefficients based on the motion level value s may be used.
また、上記実施形態では、ノイズ除去フィルタ２を撮像システムに組み込んで構成している。しかし、本実施形態のノイズ除去フィルタ２に相当する構成は、撮像システム以外に適用してよい。
即ち、ノイズ除去フィルタ２のための入力ビデオ信号（Ｖ１）の出力源としては上記撮像装置以外に、例えばビデオレコーダなどをはじめとするビデオ信号の出力が可能な装置、回路全般が対象となる。また、ビデオ信号処理部２の出力ビデオ信号を入力する装置、回路などとしても、圧縮符号化のためのエンコーダ以外のものが対象となってよい。
Moreover, in the said embodiment, the
That is, as an output source of the input video signal (V1) for the
また、本実施形態のビデオ信号処理部２は、先にも述べたようにＦＰＧＡ、ＤＳＰなどにより構成することができる。つまり、ＦＰＧＡ，ＤＳＰが実行するプログラム（インストラクション）として、例えばこれまでに述べた信号処理を実行させるためのものを作成してＦＰＧＡ、ＤＳＰの記憶装置に書き込む。これにより、ＦＰＧＡ、ＤＳＰにて本実施形態のビデオ信号処理部２としての機能が得られる。
また、ＦＰＧＡ、ＤＳＰではなく、ＣＰＵ(Central Processing Unit)に対応させて、本実施形態のビデオ信号処理部２としてのビデオ信号処理を実行させるプログラムを作成し、これをＣＰＵが利用する記憶装置に記憶させておくようにしてもよい。これにより、例えばパーソナルコンピュータを始め、ＣＰＵを有して構成される情報処理装置全般において、本実施形態のビデオ信号処理部２のビデオ信号処理機能を与えることが可能になる。
Further, the video
Also, a program for executing video signal processing as the video
上記のプログラムは、上記もしているように予め記憶装置に記憶させておくほか、例えばリムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにして上記記憶装置などに記憶させることが考えられる。また、データインターフェイス経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、例えばネットワーク経由でサーバからダウンロードして取得できるように構成することも考えられる。 As described above, the program is stored in advance in a storage device, and for example, stored in a removable storage medium and then installed (including update) from the storage medium. It is conceivable to store in a storage device or the like. It is also conceivable that the program can be installed via a data interface under the control of another host device. Furthermore, it is also conceivable that the information is stored in a storage device in a server or the like on the network and can be downloaded and acquired from the server via the network, for example.
また、上記実施形態では、ノイズ除去フィルタ２についてデジタル信号処理によりビデオ信号処理を実行するようにして構成しているが、アナログ信号処理によって実現する構成とすることも可能である。
In the above embodiment, the
１ 撮像装置、２ ノイズ除去フィルタ、３ ビデオ信号処理部、１１ ３Ｄノイズ除去フィルタ、１２ ２Ｄノイズ除去フィルタ、１３ フレームメモリ、３１ ２Ｄノイズ除去フィルタ、３２ 動き検出部、３３ ミキサ部
DESCRIPTION OF
Claims (5)
上記時間軸方向ノイズ除去手段より入力するビデオ信号について、空間軸方向でのノイズ除去処理を実行する空間軸方向ノイズ除去手段と、
上記空間軸方向ノイズ除去手段により出力されるビデオ信号の書き込みが行われ、この書き込まれたビデオ信号が、上記時間軸方向対応ノイズ除去手段に対して入力される上記前の時刻のビデオ信号となるようにして読み出しが行われるメモリ手段と、
を備えるビデオ信号処理装置。 Input the video signal of the current time and the video signal of the time before the current time by a predetermined time, and use the result of motion detection using the video signal of the current time and the video signal of the previous time. A time axis direction noise removing means for performing noise removal in the time axis direction for the video signal at the current time,
With respect to the video signal input from the time axis direction noise removing unit, a spatial axis direction noise removing unit that performs a noise removing process in the spatial axis direction;
The video signal output by the spatial axis direction noise removing unit is written, and the written video signal becomes the video signal of the previous time input to the time axis direction corresponding noise removing unit. Memory means from which reading is performed,
A video signal processing apparatus comprising:
空間軸方向ノイズ除去手段による出力として、上記動き検出の結果である動きレベル値s（0≦s≦1）が乗算された現時刻のビデオ信号と、1-sを乗算した上記前の時刻のビデオ信号とを入力し、
上記時間軸方向ノイズ除去手段より入力する現時刻のビデオ信号の画素ごとの処理として、処理対象の画素の値について、この処理対象の画素を含むブロックを形成する画素の平均値により求める平均化処理を行い、動きレベル値sを乗算した上記平均化処理後の処理対象の画素の値と、1-sを乗算した上記平均化処理前の処理対象の画素の値とを加算して出力する、
請求項１に記載のビデオ信号処理装置。 The spatial axis direction noise removing means is:
As the output from the spatial axis direction noise removing means, the video signal at the current time multiplied by the motion level value s (0 ≦ s ≦ 1) as the result of the motion detection and the previous time multiplied by 1-s. Input the video signal and
As the processing for each pixel of the video signal at the current time inputted from the time axis direction noise removing means, the averaging processing for obtaining the value of the pixel to be processed by the average value of the pixels forming the block including the pixel to be processed Performing addition of the value of the pixel to be processed after the averaging process multiplied by the motion level value s and the value of the pixel to be processed before the averaging process multiplied by 1-s,
The video signal processing apparatus according to claim 1.
バイラテラルフィルタにより形成することとしたうえで、上記動き検出により検出される動きの大きさに基づいて、このバイラテラルフィルタによるノイズ除去強度が可変されるようにする、
ことを特徴とする請求項１又は請求項２に記載のビデオ信号処理装置。 The spatial axis direction noise removing means is:
Based on the magnitude of the motion detected by the motion detection, the noise removal strength by the bilateral filter is made variable based on the bilateral filter.
The video signal processing apparatus according to claim 1, wherein the video signal processing apparatus is a video signal processing apparatus.
上記時間軸方向ノイズ除去手順より入力するビデオ信号について、空間軸方向でのノイズ除去処理を実行する空間軸方向ノイズ除去手順と、
フレームメモリに対して、上記空間軸方向ノイズ除去手順により出力されるビデオ信号の書き込みが行われ、この書き込まれたビデオ信号が、上記時間軸方向対応ノイズ除去手順に入力される上記前の時刻のビデオ信号となるようにして読み出しが行われるようにするメモリ制御手順と、
を実行するビデオ信号処理方法。 Input the video signal of the current time and the video signal of the time before the current time by a predetermined time, and use the result of motion detection using the video signal of the current time and the video signal of the previous time. A noise removal procedure corresponding to the time axis direction for performing noise removal in the time axis direction for the video signal at the current time,
For the video signal input from the time axis direction noise removal procedure, the space axis direction noise removal procedure for performing noise removal processing in the space axis direction;
The video signal output by the spatial axis direction noise removal procedure is written to the frame memory, and the written video signal is input at the previous time when the time axis direction corresponding noise removal procedure is input. A memory control procedure for reading out a video signal;
Perform video signal processing method.
上記時間軸方向ノイズ除去手順より入力するビデオ信号について、空間軸方向でのノイズ除去処理を実行する空間軸方向ノイズ除去手順と、
フレームメモリに対して、上記空間軸方向ノイズ除去手順により出力されるビデオ信号の書き込みが行われ、この書き込まれたビデオ信号が、上記時間軸方向対応ノイズ除去手順に入力される上記前の時刻のビデオ信号となるようにして読み出しが行われるようにするメモリ制御手順と、
をビデオ信号処理装置に実行させるプログラム。 Input the video signal of the current time and the video signal of the time before the current time by a predetermined time, and use the result of motion detection using the video signal of the current time and the video signal of the previous time. A noise removal procedure corresponding to the time axis direction for performing noise removal in the time axis direction for the video signal at the current time,
For the video signal input from the time axis direction noise removal procedure, the space axis direction noise removal procedure for performing noise removal processing in the space axis direction;
The video signal output by the spatial axis direction noise removal procedure is written to the frame memory, and the written video signal is input at the previous time when the time axis direction corresponding noise removal procedure is input. A memory control procedure for reading out a video signal;
For causing a video signal processing apparatus to execute the program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008205877A JP2010041697A (en) | 2008-08-08 | 2008-08-08 | Video signal processing apparatus, video signal processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008205877A JP2010041697A (en) | 2008-08-08 | 2008-08-08 | Video signal processing apparatus, video signal processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010041697A true JP2010041697A (en) | 2010-02-18 |
Family
ID=42013695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008205877A Pending JP2010041697A (en) | 2008-08-08 | 2008-08-08 | Video signal processing apparatus, video signal processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010041697A (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62281681A (en) * | 1986-05-30 | 1987-12-07 | Nec Home Electronics Ltd | Cycice type noise reducing device |
| JPH09322020A (en) * | 1996-05-30 | 1997-12-12 | Hitachi Medical Corp | Image processor |
| JP2005150903A (en) * | 2003-11-12 | 2005-06-09 | Matsushita Electric Ind Co Ltd | Image processing apparatus, noise elimination method, and noise elimination program |
| JP2006180268A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
| JP2006287632A (en) * | 2005-03-31 | 2006-10-19 | Pioneer Electronic Corp | Noise reducer and noise reducing method |
| JP2007060636A (en) * | 2005-07-29 | 2007-03-08 | Victor Co Of Japan Ltd | Noise detection apparatus and method, and noise reduction apparatus and method |
| JP2007325253A (en) * | 2006-06-02 | 2007-12-13 | Tandberg Television Asa | Recursive filter system for video signal |
-
2008
- 2008-08-08 JP JP2008205877A patent/JP2010041697A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62281681A (en) * | 1986-05-30 | 1987-12-07 | Nec Home Electronics Ltd | Cycice type noise reducing device |
| JPH09322020A (en) * | 1996-05-30 | 1997-12-12 | Hitachi Medical Corp | Image processor |
| JP2005150903A (en) * | 2003-11-12 | 2005-06-09 | Matsushita Electric Ind Co Ltd | Image processing apparatus, noise elimination method, and noise elimination program |
| JP2006180268A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
| JP2006287632A (en) * | 2005-03-31 | 2006-10-19 | Pioneer Electronic Corp | Noise reducer and noise reducing method |
| JP2007060636A (en) * | 2005-07-29 | 2007-03-08 | Victor Co Of Japan Ltd | Noise detection apparatus and method, and noise reduction apparatus and method |
| JP2007325253A (en) * | 2006-06-02 | 2007-12-13 | Tandberg Television Asa | Recursive filter system for video signal |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4290193B2 (en) | Image processing device | |
| US9479695B2 (en) | Generating a high dynamic range image using a temporal filter | |
| US9514525B2 (en) | Temporal filtering for image data using spatial filtering and noise history | |
| CN104980652B (en) | Image processing apparatus and image processing method | |
| US9413951B2 (en) | Dynamic motion estimation and compensation for temporal filtering | |
| JP2010041064A (en) | Image processing unit, image processing method, and program | |
| JP6087612B2 (en) | Image processing apparatus and image processing method | |
| JP5417746B2 (en) | Motion adaptive noise reduction device, image signal processing device, image input processing device, and motion adaptive noise reduction method | |
| JP2014021928A (en) | Image processor, image processing method and program | |
| US20220198625A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
| JP2009027604A (en) | Noise reducer, and noise reducing method | |
| JP2015165385A (en) | Image processing method and image processor | |
| JP2013106151A (en) | Image processing apparatus and image processing method | |
| US9374526B2 (en) | Providing frame delay using a temporal filter | |
| JP2005176350A (en) | Printing processing of compressed image with noise | |
| JP5919086B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP5213604B2 (en) | Imaging device | |
| JP5820213B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| JP2010041697A (en) | Video signal processing apparatus, video signal processing method, and program | |
| JP6173027B2 (en) | Image processing apparatus and image processing method | |
| JP6575742B2 (en) | Image processing method and image processing apparatus | |
| US20220301191A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
| JP2019149787A (en) | Imaging apparatus, image processing apparatus, and image processing program | |
| JP5790933B2 (en) | Noise removal equipment, electronic equipment | |
| TWI680675B (en) | Image processing device and associated image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130226 |