JP2006237716A - Image processor - Google Patents

Image processor Download PDF

Info

Publication number
JP2006237716A
JP2006237716A JP2005045701A JP2005045701A JP2006237716A JP 2006237716 A JP2006237716 A JP 2006237716A JP 2005045701 A JP2005045701 A JP 2005045701A JP 2005045701 A JP2005045701 A JP 2005045701A JP 2006237716 A JP2006237716 A JP 2006237716A
Authority
JP
Japan
Prior art keywords
pixel
frame
image
frames
autocorrelation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005045701A
Other languages
Japanese (ja)
Inventor
Taro Ito
太郎 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005045701A priority Critical patent/JP2006237716A/en
Publication of JP2006237716A publication Critical patent/JP2006237716A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor capable of executing high-quality 3D-DNR processing by adaptively executing the proper 3D-DNR only to a part requiring the 3D-DNR in one image. <P>SOLUTION: A data selector 1 stores respective image data for three frames of a continuous input image by sorting them into FRBs 2, 3, and 4. A comparator 5 calculates a value of an autocorrelation coefficient for each pixel of the same coordinate on the basis of the image data for three frames stored in the FRBs 2, 3, and 4. The comparator 5 compares the values of autocorrelation coefficients between respective frames and determines the correlation between the respective frames. Movement determination is executed by classifying the results of the correlation determination among three frames into four patterns. A 3D-DNR unit 6 is informed of the pixel in which the movement determination result is judged to be stillness or movement stop. The 3D-DNR unit 6 executes the 3D-DNR processing to the informed pixel or an assembly of the informed pixels. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、画像データを大量にメモリセル等の記憶手段に書き込む必要のある装置等に好適に用いられる画像処理装置に係り、詳しくは、画像データに対して3次元ノイズリダクション処理を適応的に行い、画質の向上を図る画像処理装置に関する。   The present invention relates to an image processing apparatus suitably used for an apparatus or the like that needs to write a large amount of image data in a storage means such as a memory cell. More specifically, the present invention adaptively performs three-dimensional noise reduction processing on image data. The present invention relates to an image processing apparatus for improving image quality.

現在の画像データのノイズ低減の技術としては、下記の特許文献1、2に開示されているように、画像データに対して3次元ノイズリダクション処理を行うことが広く知られている。   As a current technique for reducing noise in image data, as disclosed in Patent Documents 1 and 2 below, it is widely known to perform three-dimensional noise reduction processing on image data.

特許文献1では、簡単な構成で画質を向上させることができる映像信号処理回路および映像処理方法を提供することを目的とした3次元ノイズリダクション処理技術が開示されている。即ち、動き検出回路102は、複合映像信号VDとフレームメモリ101からの1フレーム前の映像信号の2つのフレームの映像信号に基づいて、映像の動きの有無を検出する。3次元Y/C分離回路103は、動き検出回路102から出力される動き信号MS1に基づいて、複合映像信号VDから輝度信号Y1および色信号C1を分離する。動き検出回路107は、3次元Y/C分離回路から出力される輝度信号Y1とフレームメモリ105からの1フレーム前の輝度信号の2フレームの輝度信号に基づいて、映像の動きの有無を検出する。合成回路108は、動き検出回路102および動き検出回路107から出力される動き信号MS1,MS2を合成する。3次元ノイズリダクション回路106は、合成回路108の出力信号に基づいて、3次元Y/C分離回路103から出力される輝度信号Y1のノイズを低減させるというものである。   Patent Document 1 discloses a three-dimensional noise reduction processing technique for the purpose of providing a video signal processing circuit and a video processing method that can improve image quality with a simple configuration. That is, the motion detection circuit 102 detects the presence / absence of video motion based on the composite video signal VD and the video signal of two frames of the video signal one frame before from the frame memory 101. The three-dimensional Y / C separation circuit 103 separates the luminance signal Y1 and the color signal C1 from the composite video signal VD based on the motion signal MS1 output from the motion detection circuit 102. The motion detection circuit 107 detects the presence / absence of video motion based on the luminance signal Y1 output from the three-dimensional Y / C separation circuit and the luminance signal of two frames of the luminance signal one frame before from the frame memory 105. . The synthesis circuit 108 synthesizes the motion signals MS1 and MS2 output from the motion detection circuit 102 and the motion detection circuit 107. The three-dimensional noise reduction circuit 106 reduces the noise of the luminance signal Y1 output from the three-dimensional Y / C separation circuit 103 based on the output signal of the synthesis circuit 108.

特許文献2では、ノイズキャンセルによる静止画の画質の劣化を防止し、かつ時間軸によるノイズリダクションに起因する動画ノイズの低減を可能にすることを目的とする3次元ノイズリダクション処理を含む動画ノイズの低減技術が開示されている。即ち、映像信号処理回路において、入力映像信号が静止画である場合、動き検出回路3は、水平ノイズキャンセラ(水平NC)3の動作をOFFまたはノイズキャンセル(NC)のかかりを入力映像信号に対して弱くするようNC制御信号を水平NC3に供給し、一方フレーム/フィールドノイズリダクション(NR)回路(フレーム間またはフィールド間の絵柄の相関性を利用してノイズリダクションを行う)1がノイズリダクション(NR)を入力映像信号に対して強くかけるようNR制御信号をNR回路1に供給する。入力映像信号が動画である場合、NR回路1の動作をOFFまたは静止画に比較してNRのかかりを入力映像信号に対して弱くするようNR制御信号をNR回路1に供給し、水平NC3がNCのかかりを入力映像信号(動画)に対して強めるようNC制御信号を水平NC3に供給している。ここで、静止画であるか動画であるかは、動き検出回路5により、映像信号と1フレームまたは1フィールド遅延された映像信号(1フレームまたは1フィールド前の映像信号)との差分から検出するというものである。
特開2000−032494号公報 特開平11−069202号公報
In Japanese Patent Laid-Open No. 2004-260260, video noise including a three-dimensional noise reduction process that aims to prevent degradation of still image quality due to noise cancellation and to reduce video noise caused by noise reduction on the time axis. Reduction techniques are disclosed. That is, in the video signal processing circuit, when the input video signal is a still image, the motion detection circuit 3 turns off the operation of the horizontal noise canceller (horizontal NC) 3 or applies noise cancellation (NC) to the input video signal. An NC control signal is supplied to the horizontal NC 3 so as to be weakened, while a frame / field noise reduction (NR) circuit (noise reduction is performed using the correlation of patterns between frames or fields) 1 is noise reduction (NR) The NR control signal is supplied to the NR circuit 1 so as to be applied to the input video signal. If the input video signal is a moving image, the NR control signal is supplied to the NR circuit 1 so that the operation of the NR circuit 1 is turned off or compared with a still image to weaken the NR applied to the input video signal. An NC control signal is supplied to the horizontal NC 3 so as to strengthen the application of NC to the input video signal (moving image). Here, whether the image is a still image or a moving image is detected by the motion detection circuit 5 from the difference between the video signal and the video signal delayed by one frame or one field (one frame or one field previous video signal). That's it.
JP 2000-032494 A JP 11-0669202 A

しかしながら、上記従来の技術には、以下のような問題点があった。即ち、画像に3次元ノイズリダクション処理(以下、3D−DNRと称す)を実施する場合、従来は、フレーム単位もしくはフィールド単位で画像全体に3D−DNR処理を実施していた為、ノイズがある部分も無い部分も一様に3D−DNRが掛けられ、3D−DNR処理後の画像では、もともとノイズが無かった部分については、細かいディテールが失われるという問題点があった。また、従来の3D−DNR処理では、ビートノイズ等の固定ノイズを除去することが出来ないと言う問題点があった。また、従来の動き判定では、単に1フィールドあるいは1フレーム分遅延させた画像と現画像との差分を取って閾値と比較しているだけで、前後の画像との微妙な相関性は全く考慮されていない為、停止に向かう動きなど、微妙な動きをする画像を捉えて3D−DNR処理を実施することが出来ないという問題点があった。更に、動きの速い画像に対しては適切な3D−DNRを掛ける事が出来ない為、処理画像に残像が生じるという問題点があった。   However, the conventional technique has the following problems. That is, when 3D noise reduction processing (hereinafter referred to as 3D-DNR) is performed on an image, the 3D-DNR processing is conventionally performed on the entire image in units of frames or fields. 3D-DNR is uniformly applied to the non-existing portion, and in the image after the 3D-DNR processing, there is a problem that fine details are lost in a portion that originally has no noise. Further, the conventional 3D-DNR process has a problem that fixed noise such as beat noise cannot be removed. Further, in the conventional motion determination, the difference between the image delayed by one field or one frame and the current image is simply taken and compared with the threshold value, and the delicate correlation between the previous and subsequent images is completely taken into consideration. Therefore, there is a problem in that 3D-DNR processing cannot be performed by capturing an image that moves delicately, such as a movement toward a stop. Furthermore, there is a problem that an afterimage is generated in the processed image because an appropriate 3D-DNR cannot be applied to a fast moving image.

この発明は、上述の事情に鑑みてなされたものであって、1つの画像のなかで、3D−DNRの必要な部分に対してのみ適切な3D−DNRを適応的に実施することで、高品質な3D−DNR処理を行う画像処理装置を提供することを目的とする。   The present invention has been made in view of the above-mentioned circumstances, and adaptively performs an appropriate 3D-DNR only on a necessary portion of the 3D-DNR in one image. An object of the present invention is to provide an image processing apparatus that performs high-quality 3D-DNR processing.

上述の課題を解決するための、請求項1記載の発明は、画像処理装置に係り、画像データに3次元ノイズリダクション処理を行う画像処理装置であって、フレーム毎に3フレーム分の画像データを記憶する記憶手段に入力画像データを振り分ける画像選別手段と、前記各フレーム間の画像データの画素毎に自己相関係数値を計算する計算手段と、前記計算された自己相関係数値に基づき画素毎に3次元ノイズリダクション処理を行うか否かを判断する判断手段と、3次元ノイズリダクション処理を行うと判断された画素または画素の集合に3次元ノイズリダクション処理を適応的に実施する画像処理手段とを、有する事を特徴としている。   In order to solve the above-mentioned problem, the invention according to claim 1 relates to an image processing device, and is an image processing device that performs three-dimensional noise reduction processing on image data. Image selection means for distributing input image data to storage means for storing; calculation means for calculating an autocorrelation coefficient value for each pixel of the image data between the frames; and for each pixel based on the calculated autocorrelation coefficient value Determining means for determining whether or not to perform the three-dimensional noise reduction process; and image processing means for adaptively performing the three-dimensional noise reduction process on a pixel or a set of pixels determined to perform the three-dimensional noise reduction process. It is characterized by having.

また、請求項2記載の発明は、請求項1記載の画像処理装置に係り、前記判断手段が、前記計算された自己相関係数値から画像の動き判定をし、この画像の動き判定結果から静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴としている。   The invention according to claim 2 relates to the image processing apparatus according to claim 1, wherein the determining means determines the motion of the image from the calculated autocorrelation coefficient value, and the stationary motion is determined from the motion determination result of the image. Alternatively, it is characterized in that a pixel determined to stop moving is determined as a pixel on which a three-dimensional noise reduction process is performed.

また、請求項3記載の発明は、請求項1記載の画像処理装置に係り、前記判断手段が、任意のフレームの注目画素と他のフレームの周辺画素との間の自己相関係数値を注目画素間の自己相関係数値に反映させて動き判定をし、この動き判定結果から静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴としている。   The invention according to claim 3 relates to the image processing apparatus according to claim 1, wherein the determination unit calculates an autocorrelation coefficient value between a target pixel of an arbitrary frame and a peripheral pixel of another frame. It is characterized in that a motion is determined by reflecting it in the autocorrelation coefficient value between the pixels, and a pixel determined to be still or stopped from the result of the motion determination is determined as a pixel for performing a three-dimensional noise reduction process. .

更に、請求項4記載の発明は、請求項2または3記載の画像処理装置に係り、前記判断手段が、任意のフレームとこの前後の2フレームとの間の自己相関係数値がともに相関ありと判断される場合には、当該注目画素が静止していると判定し、前記任意のフレームとこの前のフレームとの間の自己相関係数値が相関なしと判断され、かつ前記任意のフレームとこれに続くフレームとの間の自己相関係数値が相関ありと判断される場合には、当該注目画素が動き停止となったと判定し、前記静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴としている。   Furthermore, the invention according to claim 4 relates to the image processing apparatus according to claim 2 or 3, wherein the determination means determines that autocorrelation coefficient values between an arbitrary frame and the two frames before and after this are correlated. If it is determined, the target pixel is determined to be stationary, the autocorrelation coefficient value between the arbitrary frame and the previous frame is determined to be uncorrelated, and the arbitrary frame and this If the autocorrelation coefficient value between the subsequent frames is determined to be correlated, it is determined that the pixel of interest has stopped moving, and the pixels that have been determined to be stationary or stopped are subjected to three-dimensional noise reduction. It is characterized in that it is determined as a pixel to be processed.

以上説明したような、この発明の構成によれば、第1の効果として、3D−DNR処理を実施する際、前後のフレームの画素値との自己相関関数を計算し、相関性の高い画素に対してのみ選択的に3D−DNR処理を行うため、処理が不要な箇所に処理を実施することが無くなり、処理画像の画質の向上を図ることが出来ることである。また、第2の効果として、必要な箇所にのみ3D−DNRを実施するため、処理の高速化を図ることが出来ることである。また、第3の効果として、3フレームの画像間の相関性を用いて動き判定を行うため、停止に向かう動きなど、微妙な動きをする画像を捉えて3D−DNR処理を実施することが出来るようになることである。更に、第4の効果として、注目画素間の自己相関係数値に、注目画素と周辺画素間の自己相関係数値を反映させることで、ノイズと画像との判別が可能となり、固定ビートノイズの除去が出来るようになることである。   According to the configuration of the present invention as described above, as a first effect, when performing the 3D-DNR process, an autocorrelation function with the pixel values of the preceding and succeeding frames is calculated, and pixels with high correlation are obtained. Since the 3D-DNR process is selectively performed only on the part, the process is not performed at a place where the process is unnecessary, and the image quality of the processed image can be improved. Further, as a second effect, since 3D-DNR is performed only in a necessary portion, the processing speed can be increased. Further, as a third effect, since the motion determination is performed using the correlation between the images of the three frames, it is possible to perform the 3D-DNR process by capturing an image that moves slightly, such as a motion toward a stop. It is to become. Further, as a fourth effect, by reflecting the autocorrelation coefficient value between the target pixel and the surrounding pixels in the autocorrelation coefficient value between the target pixels, it becomes possible to distinguish between noise and an image and to remove fixed beat noise. Is to be able to.

この発明は、1つの画像のなかで3D−DNRが必要な場所に対してのみ適切な3D−DNRを適応的に行うことで、高品質な3D−DNR処理を行う画像処理装置を提供する目的を、画像の3D−DNR処理を行う際、3フレーム分の画素データを記憶し、各フレーム画像間の相関関係を画素毎に調査して画像の動き判定を行い、この動き判定結果から当該画素が静止または動き停止と判定された場合に、画素毎もしくはそれらの画素の集合毎に適応的に3D−DNR処理を行うことで実現した。画像は、一般に画素間の水平方向及び垂直方向の相関性は高い事が知られている。その為、事前に処理画像と前後のフレーム画像において、注目画素の相関性、あるいは注目画素の相関性に加えて注目画素と周辺画素の相関性を調査し、画像の動き判定を実施した上で、静止または動き停止と判定された画素間の相関性が高い部分に対し、適応的に3D−DNR処理を実施する事により、3D−DNR処理の必要な画像の部分のみに3D−DNR処理を実施する事が出来るようにするとともに、処理画像の画質の向上および3D−DNR処理の高速化、さらには固定ビートノイズの除去を図ることが出来るようにしている。
以下、図面を参照して、この発明の実施の形態について説明する。説明は、実施例を用いて具体的に行う。
An object of the present invention is to provide an image processing apparatus that performs high-quality 3D-DNR processing by adaptively performing appropriate 3D-DNR only for a place where 3D-DNR is necessary in one image. When performing 3D-DNR processing of an image, pixel data for three frames is stored, a correlation between each frame image is investigated for each pixel, and image motion is determined. Is determined to be 3D-DNR processing adaptively for each pixel or for each set of pixels. It is known that an image generally has a high correlation between pixels in the horizontal direction and the vertical direction. Therefore, in the processed image and the previous and next frame images, in addition to the correlation of the target pixel or the correlation of the target pixel, the correlation between the target pixel and the surrounding pixels is investigated and the motion of the image is determined. By performing 3D-DNR processing adaptively on a portion having high correlation between pixels determined to be still or stopped, 3D-DNR processing is performed only on the portion of the image that requires 3D-DNR processing. In addition to being able to implement, it is possible to improve the quality of the processed image, speed up the 3D-DNR process, and eliminate fixed beat noise.
Embodiments of the present invention will be described below with reference to the drawings. The description will be made specifically with reference to examples.

まず、この発明の第1実施例を説明する。図1は、この実施例である画像処理装置の電気的構成を示すブロック図である。この実施例の画像処理装置は、外部のシステムバス7等に接続されて入力された3フレーム分の画像データを次に述べるフレームバッファに振り分けるデータセレクタ1と、振り分けられた画像データを1フレーム分ずつ保持する記憶手段としてのフレームバッファ(以下、FRBと称す)2,3,4と、各FRBに保持された1フレーム分の画像データを画素毎に読み出し、フレーム間の自己相関係数値を自己相関関数によって計算し、その結果に基づき画像の動き判定を行い、この動き判定結果に基づき、入力画像に対し画素毎に3D−DNR処理を実施するかどうか判断するコンパレータ5と、コンパレータ5の判断結果により、入力画像に対し画素毎またはそれらの画素の集合毎に3D−DNR処理を実行する3D−DNRユニット6とを有している。ここで、画像データの各画素データは、各々色情報を持つカラー画像データを構成するものであっても良いし、モノクロ画像データを構成するものであっても良い。   First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing an electrical configuration of the image processing apparatus according to this embodiment. The image processing apparatus of this embodiment is connected to an external system bus 7 or the like, and a data selector 1 that distributes input image data for three frames to a frame buffer described below, and the allocated image data for one frame. Frame buffers (hereinafter referred to as FRB) 2, 3, and 4 as storage means for holding each frame, image data for one frame held in each FRB is read for each pixel, and the autocorrelation coefficient value between frames is self Computation by a correlation function, image motion determination is performed based on the result, and based on the motion determination result, a comparator 5 that determines whether or not to perform 3D-DNR processing for each pixel on the input image, and determination by the comparator 5 As a result, a 3D-DNR unit that performs 3D-DNR processing for each pixel or a set of those pixels on the input image And it has a door. Here, each pixel data of the image data may constitute color image data having color information, or may constitute monochrome image data.

この画像処理装置では、3D−DNR処理を実施するに当たり、まず、データセレクタ1が、連続する入力画像3フレーム分の画像データFR0、FR1、FR2のそれぞれをFRB2,FRB3,FRB4に振り分けて格納する。コンパレータ5は、図2に示すように、FRB2,FRB3,FRB4に収納された3フレーム分の画像データを元に同一座標の各画素毎に自己相関係数値を計算する。自己相関係数値は、一般的に式(1)で表される自己相関関数により算出する。

Figure 2006237716
式(1)において、nはサンプリングポイント数、Nはデータ数、Y(n)、Y(n−k)は画素データ、kはずらし時間順を表す。なお、自己相関係数値は絶対値をとるものとする。 In this image processing apparatus, when performing 3D-DNR processing, the data selector 1 first sorts and stores image data FR0, FR1, and FR2 for three consecutive input images into FRB2, FRB3, and FRB4. . As shown in FIG. 2, the comparator 5 calculates an autocorrelation coefficient value for each pixel of the same coordinate based on the image data for three frames stored in FRB2, FRB3, and FRB4. The autocorrelation coefficient value is generally calculated by an autocorrelation function represented by the equation (1).
Figure 2006237716
In Expression (1), n represents the number of sampling points, N represents the number of data, Y (n) and Y (n−k) represent pixel data, and k represents the order of shifting time. It is assumed that the autocorrelation coefficient value takes an absolute value.

コンパレータ5は、式(1)より注目画素の自己相関係数値を算出し、各フレーム間の自己相関関数の値を比較する。算出した自己相関係数値(正規化したもの)が0.5未満(自己相関係数値<0.5)の場合は対象フレーム間に相関無しと判定し、0.5以上の場合(自己相関係数値≧0.5)は相関ありと判定する。この3フレーム間の相関判定の結果は、図3に示すように、4つにパターン分けすることが出来る。この4つのパターンのそれぞれについて、動き判定を行い、3D−DNRを掛けるか否かを、次のように判断する。   The comparator 5 calculates the autocorrelation coefficient value of the target pixel from the equation (1), and compares the autocorrelation function values between the frames. If the calculated autocorrelation coefficient value (normalized) is less than 0.5 (autocorrelation coefficient value <0.5), it is determined that there is no correlation between target frames, and if it is 0.5 or more (self-relationship) (Numerical value ≧ 0.5) is determined to be correlated. The correlation determination result between the three frames can be divided into four patterns as shown in FIG. For each of these four patterns, motion determination is performed, and whether or not 3D-DNR is to be applied is determined as follows.

(1)パターン#1:1フレーム目と2フレーム目、3フレーム目の画素の相関が高い場合である。この場合は静止画像の画素と見なし、注目画素に対し3D−DNRを掛けると判断する。
(2)パターン#2:1フレーム目と2フレーム目の相関が高く、2フレーム目と3フレーム目の相関が低い場合である。この場合は画像の動き開始と見なし、注目画素に対しては3D−DNRは掛けないと判断する。
(3)パターン#3:2フレーム目と3フレーム目の相関が高く、1フレーム目と2フレーム目の相関が低い場合である.この場合は画像の動き停止と見なし、注目画素に対し3D−DNRを掛けると判断する。
(4)パターン#4:1,2,3の各フレーム間で相関係数にばらつきがあり、相関が低い場合である。この場合は動画像と見なし、注目画素に対しては3D−DNRは掛けないと判断する。
(1) Pattern # 1: This is a case where the correlation between the pixels in the first frame, the second frame, and the third frame is high. In this case, it is regarded as a pixel of a still image, and it is determined that 3D-DNR is applied to the target pixel.
(2) Pattern # 2: A case where the correlation between the first frame and the second frame is high and the correlation between the second frame and the third frame is low. In this case, it is considered that the image starts moving, and it is determined that 3D-DNR is not applied to the target pixel.
(3) Pattern # 3: This is a case where the correlation between the second frame and the third frame is high and the correlation between the first frame and the second frame is low. In this case, it is considered that the motion of the image is stopped, and it is determined that 3D-DNR is applied to the target pixel.
(4) Pattern # 4: This is a case where the correlation coefficient varies between frames 1, 2, and 3, and the correlation is low. In this case, it is regarded as a moving image, and it is determined that 3D-DNR is not applied to the target pixel.

3D−DNRユニット6は、コンパレータ5での上記(1)〜(4)の相関判定のパターン分けでの判断結果に従い、FRB2,3,4から読み出した画像データを元に画素毎に、あるいは画素集合毎に適応的に3D−DNR処理を行う。3D−DNR処理を行うフレームはいずれのフレームでも構わないがフレーム2が好適である。以上の処理が終了すると、データセレクタ1は、最も古いフレームの画像データを格納しているFRBに、次のフレームの画像データを上書きする。コンパレータ5及び3D−DNRユニット6は、この上書きされた画像データを最新の画像データとする3フレームの画像データに対して、新たな動き判定と3D−DNRの一連の処理を実行する。 The 3D-DNR unit 6 performs pixel-by-pixel or pixel-based processing based on the image data read from the FRBs 2, 3, and 4 in accordance with the determination results in the correlation determination pattern classification (1) to (4) in the comparator 5. The 3D-DNR process is adaptively performed for each set. Any frame may be used for the 3D-DNR processing, but frame 2 is preferable. When the above processing is completed, the data selector 1 overwrites the FRB storing the image data of the oldest frame with the image data of the next frame. The comparator 5 and the 3D-DNR unit 6 execute a new motion determination and a series of 3D-DNR processes on the three frames of image data in which the overwritten image data is the latest image data.

以上のように、3フレームの画像を構成する各画素間の相関性の高さを利用し、注目画素間の自己相関係数値を算出して注目画素間の相関関係を判断した上で、3フレーム間の画素の動き判定を行い、1フレーム内の静止画像部分に対してのみ選択的に3D−DNRを掛ける事により、動きの速い画像に余分な3D−DNRを掛ける事が無くなり、元の画像のローカルディテールを保持して、3D−DNR処理後の画像の鮮鋭さを保ちつつノイズを除去し、適切な3D−DNR処理を行う事が出来るようになる。また、1つの画像のうち必要な箇所にのみ3D−DNRを実施するため、処理の高速化を図ることが出来るようになる。更に、3フレームの画像間の相関性を用いて動き判定を行うため、停止に向かう動きなど、微妙な動きをする画像を捉えて3D−DNR処理を実施することが出来るようになる。   As described above, the correlation between the pixels of interest is determined by calculating the autocorrelation coefficient value between the pixels of interest using the high degree of correlation between the pixels constituting the three-frame image. By determining the motion of pixels between frames and selectively multiplying a still image portion in one frame only by 3D-DNR, it is not necessary to multiply an extra 3D-DNR on a fast-moving image. It is possible to perform appropriate 3D-DNR processing by retaining local details of the image, removing noise while maintaining the sharpness of the image after 3D-DNR processing. In addition, since 3D-DNR is performed only on necessary portions of one image, the processing speed can be increased. Furthermore, since the motion determination is performed using the correlation between the images of the three frames, it is possible to perform the 3D-DNR process by capturing an image that moves delicately, such as a motion toward a stop.

次に、この発明の第2実施例として、上記のコンパレータ5の具体的な構成例について説明する。図4は、この実施例のコンパレータ5の電気的構成を示すブロック図である。この実施例の全体構成は、実施例1と同様であり、容易に類推できるのでコンパレータ5以外の構成および動作や作用効果についての説明は省略し、コンパレータ5の構成と動作についてのみ説明する。   Next, as a second embodiment of the present invention, a specific configuration example of the comparator 5 will be described. FIG. 4 is a block diagram showing the electrical configuration of the comparator 5 of this embodiment. The overall configuration of this embodiment is the same as that of the first embodiment and can be easily analogized. Therefore, the description of the configuration, operation, and effects other than the comparator 5 will be omitted, and only the configuration and operation of the comparator 5 will be described.

この実施例のコンパレータ5は、3フレーム間の同一位置の画素毎に実施例1の式(1)で表される自己相関関数による計算を行って、フレーム間の自己相関係数値を求め、これより動き判定を行い、この動き判定結果から当該注目画素に対して3D−DNR処理を行うか否かを判断するものである。このため、コンパレータ5は、FRB2,3,4から画像データを読み出して所定の乗算を行う3つの乗算器51,52,53と、これらの乗算結果を加算する加算器54と、加算結果を3で除算しフレーム間の相関係数値を求める除算器55と、算出されたフレーム間の相関係数値から動き判定を行い、実施例1で示した4つのパターンのいずれに属しているかを判定して、当該注目画素に対して3D−DNR処理を行うか否かを判断する相関判定部56とから構成されている。   The comparator 5 of this embodiment calculates the autocorrelation coefficient value between frames by performing calculation using the autocorrelation function represented by the expression (1) of Embodiment 1 for each pixel at the same position between three frames. More motion determination is performed, and it is determined from this motion determination result whether or not 3D-DNR processing is performed on the target pixel. Therefore, the comparator 5 reads out the image data from the FRBs 2, 3, and 4 and performs predetermined multiplication, an adder 54 that adds the multiplication results, and an addition result 3 A divider 55 for obtaining a correlation coefficient value between frames by dividing by the above and a motion determination from the calculated correlation coefficient value between frames to determine which one of the four patterns shown in the first embodiment belongs. The correlation determination unit 56 determines whether or not 3D-DNR processing is performed on the target pixel.

FRB2,3,4には、時間順にフレーム1の画像データFR0、フレーム2の画像データFR1、フレーム3の画像データFR2が振り分けられて格納されているものとする。図5(a)、(b)、(c)に注目画素データの一例を示す。図5(a)のk=0の画素データは、1フレーム目の元データ、図5(b)のk=1の画素データは、元データから1フレームずらした2フレーム目のもの、図5(c)のk=2の画素データは、元データから2フレームずらした3フレーム目のものである。nは、サンプリングポイント数を表す。   Assume that the FRB 2, 3, 4 store the image data FR 0 of the frame 1, the image data FR 1 of the frame 2, and the image data FR 2 of the frame 3 sorted in time order. FIGS. 5A, 5B, and 5C show examples of target pixel data. The pixel data of k = 0 in FIG. 5A is the original data of the first frame, the pixel data of k = 1 in FIG. 5B is that of the second frame shifted by one frame from the original data, FIG. The pixel data of k = 2 in (c) is the third frame shifted by 2 frames from the original data. n represents the number of sampling points.

図6に、図5(a)、(b)、(c)の場合の画像データの数値を示す。Ynはk=0の画素データ、Yn−1はk=1の画素データ、Yn−2はk=2の画素データであり、Ynは実施例1の式(1)のY(n)を、同様に、Yn−1はY(n−1)を、Yn−2はY(n−2)を表している。図5(a)を参照すると、Ynはn=0のとき0.5、n=1のとき1、n=2のとき0.25である。ここで、同時刻(n=0)の各フレームの画素データを参照すると、0.5であるのはフレーム1(FR0)、1であるのはフレーム2(FR1)、0.25であるのはフレーム3(FR2)である。また、図5(b)を参照すると、Yn−1はn=0のとき0.25、n=1のとき0.5、n=2のとき1である。ここで、同時刻(n=0)の各フレームの画素データを参照すると、0.25であるのはフレーム3(FR2)、0.5であるのはフレーム1(FR0)、1であるのはフレーム2(FR1)である。更に、図5(c)を参照すると、Yn−2はn=0のとき1、n=1のとき0.25、n=2のとき0.5である。ここで、同時刻(n=0)の各フレームの画素データを参照すると、1であるのはフレーム2(FR1)、0.25であるのはフレーム3(FR2)、0.5であるのはフレーム1(FR0)である。   FIG. 6 shows numerical values of the image data in the cases of FIGS. 5 (a), (b), and (c). Yn is pixel data of k = 0, Yn-1 is pixel data of k = 1, Yn-2 is pixel data of k = 2, and Yn is Y (n) in the expression (1) of the first embodiment. Similarly, Yn-1 represents Y (n-1) and Yn-2 represents Y (n-2). Referring to FIG. 5A, Yn is 0.5 when n = 0, 1 when n = 1, and 0.25 when n = 2. Here, referring to the pixel data of each frame at the same time (n = 0), 0.5 is frame 1 (FR0), 1 is frame 2 (FR1), and 0.25. Is frame 3 (FR2). Referring to FIG. 5B, Yn-1 is 0.25 when n = 0, 0.5 when n = 1, and 1 when n = 2. Here, referring to the pixel data of each frame at the same time (n = 0), 0.25 is frame 3 (FR2), and 0.5 is frame 1 (FR0). Is frame 2 (FR1). Further, referring to FIG. 5C, Yn-2 is 1 when n = 0, 0.25 when n = 1, and 0.5 when n = 2. Here, referring to the pixel data of each frame at the same time (n = 0), 1 is frame 2 (FR1), 0.25 is frame 3 (FR2), and 0.5. Is frame 1 (FR0).

図7に、上記の数値と式(1)を用いて、フレーム間の自己相関係数値の計算例を示す。まず、k=1のときのR(1)、即ち、フレーム1とフレーム2間の自己相関係数値を求めるため、乗算器55は、YnYn−1を算出する。図5を参照すると、n=0の場合は、画像データFR0、FR2の注目画素と同一位置の画素を読み出し、FR0*FR2の乗算を行えば良い。同様に、n=1の場合は、画像データFR1、FR0の注目画素と同一位置の画素を読み出し、FR1*FR0の乗算を行い、n=2の場合は、画像データFR2、FR1の注目画素と同一位置の画素を読み出し、FR2*FR1の乗算を行えば良い。加算器54は、k=1の場合について、これらの乗算結果を加算器54で加算し、除算器55で加算結果を1/N、即ち1/3にすることにより、R(1)、即ち、フレーム1とフレーム2間の自己相関係数値を求めることができる。なお、ここでは、k=2としたR(2)、即ち、フレーム1とフレーム3間の自己相関係数値を、YnYn−2から同様にして求めることもできる。図7の例では、自己相関係数値R(1)、R(2)は、それぞれ0.5未満であるため、相関なしと判定される。   FIG. 7 shows a calculation example of the autocorrelation coefficient value between frames using the above numerical values and the equation (1). First, in order to obtain R (1) when k = 1, that is, an autocorrelation coefficient value between frames 1 and 2, the multiplier 55 calculates YnYn-1. Referring to FIG. 5, when n = 0, a pixel at the same position as the target pixel of the image data FR0 and FR2 may be read and multiplied by FR0 * FR2. Similarly, when n = 1, the pixel at the same position as the target pixel of the image data FR1 and FR0 is read and multiplied by FR1 * FR0. When n = 2, the target pixel of the image data FR2 and FR1 It suffices to read out pixels at the same position and perform multiplication of FR2 * FR1. In the case of k = 1, the adder 54 adds these multiplication results by the adder 54, and makes the addition result 1 / N, that is, 1/3 by the divider 55, so that R (1), The autocorrelation coefficient value between frame 1 and frame 2 can be obtained. Here, R (2) with k = 2, that is, the autocorrelation coefficient value between frame 1 and frame 3 can be similarly obtained from YnYn−2. In the example of FIG. 7, since the autocorrelation coefficient values R (1) and R (2) are less than 0.5, it is determined that there is no correlation.

次に、相関判定部56の動作例について説明する。上記のように1回目の処理で、フレーム1とフレーム2の間の自己相関係数値が得られる。次の回の処理では、フレーム1を格納したFRBに次のフレーム4が格納されて、フレーム2を元データとしてフレーム3,4の画像データからフレーム2と3の間の自己相関係数値が得られる。これにより、フレーム1,2間およびフレーム2,3間の動き判定を行い、この動き判定の結果から、図3に示す4つのパターン#1〜#4のいずれに属するかを判断し、実施例1の(1)〜(4)で示したように、3D−DNRを掛けるか否かを判断して、3D−DNRユニットに判断結果を通知する。   Next, an operation example of the correlation determination unit 56 will be described. As described above, the autocorrelation coefficient value between frame 1 and frame 2 is obtained in the first process. In the next processing, the next frame 4 is stored in the FRB storing the frame 1, and the autocorrelation coefficient value between the frames 2 and 3 is obtained from the image data of the frames 3 and 4 with the frame 2 as the original data. It is done. Thereby, the motion determination between the frames 1 and 2 and between the frames 2 and 3 is performed. Based on the result of the motion determination, it is determined which of the four patterns # 1 to # 4 shown in FIG. 1 (1) to (4), it is determined whether or not 3D-DNR is applied, and the determination result is notified to the 3D-DNR unit.

なお、上述の相関判定部の動作例では、2回の処理で相関判定を行う例について説明したが、1回目の処理において、自己相関係数値R(1)、R(2)を求め、これにより、フレーム1,2間およびフレーム1,3間の動き判定を行い、この動き判定の結果から、図3とは異なる4つのパターン分けをして、例えば、フレーム1,2間およびフレーム1,3間の自己相関係数値が0.5以上と高い場合、または、フレーム1,2間の自己相関係数値は0.5未満と低いものの、フレーム1,3間の自己相関係数値が0.5以上と高い場合には、当該フレーム1の画素に対して3D−DNRを掛けると判断するようにしても良い。   In the above-described operation example of the correlation determination unit, the example in which the correlation determination is performed in two processes has been described. However, in the first process, the autocorrelation coefficient values R (1) and R (2) are obtained, To determine the motion between the frames 1 and 2 and between the frames 1 and 3, and from the result of the motion determination, divide the pattern into four patterns different from those in FIG. 3 is as high as 0.5 or more, or the autocorrelation coefficient between frames 1 and 2 is low, less than 0.5, but the autocorrelation coefficient between frames 1 and 3 is 0. If it is higher than 5, it may be determined that 3D-DNR is applied to the pixel of the frame 1.

次に、この発明の第3実施例について説明する。実施例1,2では、3フレーム分の画像データの注目画素と同一座標の画素について自己相関係数値を求め、この自己相関係数値から動き判定を行い、この動き判定結果から、静止もしくは動き停止と判断される画素に適応的に3D−DNRを実施するものであった。これに対して、この実施例では、3フレーム分の画像データの注目画素と同一座標の画素について自己相関係数値を求めるとともに、前後のフレームにおける注目画素の周辺画素間についても自己相関係数値を求め、注目画素と同一座標の画素間の自己相関係数値と注目画素の周辺画素間の自己相関係数値の平均値をフレーム間の自己相関係数値として算出し、この自己相関係数値から動き判定を行い、この動き判定結果から、静止もしくは動き停止と判断される画素に適応的に3D−DNRを実施するものである。   Next explained is the third embodiment of the invention. In the first and second embodiments, an autocorrelation coefficient value is obtained for a pixel having the same coordinates as the target pixel of the image data for three frames, and a motion is determined from the autocorrelation coefficient value. 3D-DNR is adaptively performed on the pixels that are determined to be. On the other hand, in this embodiment, the autocorrelation coefficient value is obtained for a pixel having the same coordinates as the target pixel of the image data for three frames, and the autocorrelation coefficient value is also calculated between the peripheral pixels of the target pixel in the preceding and following frames. Calculate the average value of the autocorrelation coefficient value between the pixels with the same coordinates as the target pixel and the autocorrelation coefficient value between the surrounding pixels of the target pixel as the autocorrelation coefficient value between frames, and determine the motion from this autocorrelation coefficient value. And 3D-DNR is adaptively performed on the pixel determined to be still or stopped from the motion determination result.

この実施例の基本的な構成は、図1と同様である。異なる部分は、コンパレータ5の構成および動作である。したがって、実施例1と同様な構成および動作については、容易に類推できるので、それらの説明は省略し、コンパレータ5の構成および動作についてのみ説明する。   The basic configuration of this embodiment is the same as that shown in FIG. The different part is the configuration and operation of the comparator 5. Therefore, since the configuration and operation similar to those of the first embodiment can be easily analogized, their description is omitted, and only the configuration and operation of the comparator 5 will be described.

この実施例のコンパレータ5は、実施例1と同様に、3フレーム分の画像データの注目画素と同一座標の画素をFRB2,3,4から読み出して自己相関係数値を求める。続いて、真中のフレームの注目画素と前後のフレームにおける注目画素の周辺画素をFRB2,3,4から読み出して自己相関係数値を求め、先に求めた注目画素と同一座標の画素間の自己相関係数値と、続いて求めた注目画素と周辺画素間の自己相関係数値の平均値をフレーム間の自己相関係数値として算出する。次に、この自己相関係数値から相関判定を行い、この相関判定結果から、図3のパターンのいずれに属するかを判断して動き判定を行い、動き判定結果が静止もしくは動き停止のパターンであると判断される画素に3D−DNRを実施すると判断する。   Similar to the first embodiment, the comparator 5 of this embodiment reads out pixels having the same coordinates as the target pixel of the image data for three frames from the FRBs 2, 3, and 4 and obtains an autocorrelation coefficient value. Subsequently, the target pixel in the middle frame and the peripheral pixels of the target pixel in the previous and subsequent frames are read from the FRBs 2, 3, and 4, and the autocorrelation coefficient value is obtained. The relational value and the average value of the autocorrelation coefficient values between the target pixel and the peripheral pixels obtained subsequently are calculated as autocorrelation coefficient values between frames. Next, a correlation determination is performed from the autocorrelation coefficient value, and from this correlation determination result, it is determined which of the patterns in FIG. 3 belongs, a motion determination is performed, and the motion determination result is a stationary or motion stop pattern. It is determined that 3D-DNR is to be performed on the pixel determined to be.

次に、この実施例を実施例2に適用した場合について説明する。この実施例のコンパレータ5は、実施例2と同様に構成し、最初にフレーム1とフレーム2の注目画素間の自己相関係数値を算出する。次に、FRBからフレーム1の注目画素の周辺画素データとフレーム2,3の注目画素データを読み出し、フレーム1の注目画素の周辺画素とフレーム2の注目画素間の自己相関係数値を算出し、先に求めたフレーム1とフレーム2の注目画素間の自己相関係数値と、次に求めたフレーム1の周辺画素とフレーム2の注目画素間の自己相関係数値との平均値をフレーム1,2間の自己相関係数値とする。続いて、実施例2と同様に、更新されたフレーム2,3,4の画像データに基づいて、フレーム2とフレーム3の注目画素間の自己相関係数値を算出する。次に、FRBからフレーム2の注目画素データとフレーム3,4の注目画素の周辺画素データを読み出し、フレーム2の注目画素とフレーム3の注目画素の周辺画素間の自己相関係数値を算出し、先に求めたフレーム2とフレーム3の注目画素間の自己相関係数値と、次に求めたフレーム2の注目画素とフレーム3の注目画素の周辺画素間の自己相関係数値との平均値を、フレーム2,3間の自己相関係数値とする。   Next, the case where this embodiment is applied to Embodiment 2 will be described. The comparator 5 of this embodiment is configured in the same manner as in the embodiment 2, and first calculates the autocorrelation coefficient value between the target pixels of the frames 1 and 2. Next, the peripheral pixel data of the target pixel of frame 1 and the target pixel data of frames 2 and 3 are read from the FRB, and the autocorrelation coefficient value between the peripheral pixel of the target pixel of frame 1 and the target pixel of frame 2 is calculated. The average value of the autocorrelation coefficient value between the pixel of interest of frame 1 and frame 2 previously obtained and the autocorrelation coefficient value between the peripheral pixel of frame 1 obtained next and the pixel of interest of frame 2 is obtained as frames 1 and 2. The autocorrelation coefficient value between. Subsequently, as in the second embodiment, the autocorrelation coefficient value between the target pixels of the frames 2 and 3 is calculated based on the updated image data of the frames 2, 3, and 4. Next, the pixel-of-interest pixel data of frame 2 and the pixel-of-interest pixel data of frames 3 and 4 are read from the FRB, and the autocorrelation coefficient value between the pixel of interest of frame 2 and the pixel of interest of frame 3 is calculated. The average value of the autocorrelation coefficient value between the pixel of interest of the frame 2 and the frame 3 previously obtained and the autocorrelation coefficient value between the pixel of interest of the frame 2 and the peripheral pixel of the pixel of interest of the frame 3 obtained next, The autocorrelation coefficient value between frames 2 and 3 is used.

コンパレータ5の相関判定部56は、上記で算出されたフレーム1,2間の自己相関係数値とフレーム2,3間の自己相関係数値とにより、フレーム1,2間およびフレーム2,3間の動き判定を行い、この動き判定の結果から、図3に示す4つのパターン#1〜#4のいずれに属するかを判断し、実施例1の(1)〜(4)で示したように、3D−DNRを掛けるか否かを判断し、3D−DNRユニットに判断結果を通知する。   The correlation determination unit 56 of the comparator 5 determines between the frames 1 and 2 and between the frames 2 and 3 based on the autocorrelation coefficient value between the frames 1 and 2 and the autocorrelation coefficient value between the frames 2 and 3 calculated above. A motion determination is performed, and from the result of the motion determination, it is determined which of the four patterns # 1 to # 4 shown in FIG. 3 belongs, and as shown in (1) to (4) of the first embodiment, It is determined whether or not 3D-DNR is applied, and the determination result is notified to the 3D-DNR unit.

この実施例のように、注目画素間の相関性だけでなく、周辺画素との間の相関性をも考慮して3D−DNRを掛けた場合には、ノイズと画像との判別が出来るようになるため、従来は除去することが出来なかった固定ビートノイズを容易に除去することが出来るようになる。   As in this embodiment, when 3D-DNR is applied in consideration of not only the correlation between the target pixels but also the correlation with the surrounding pixels, it is possible to discriminate between noise and an image. Therefore, it becomes possible to easily remove the fixed beat noise that could not be removed conventionally.

以上、この発明の実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、上述の実施例3では、注目画素間の自己相関係数値に周辺画素との間の自己相関係数値を反映させるために、両者の平均値を対象フレーム間の自己相関係数値としているが、加重平均値等の他の計算方法によって反映させるようにしてもよい。また、各実施例で、コンパレータ5は、ハードウェア構成として説明したが、コンパレータ5をコンピュータで構成し、図1もしくは図4によって説明したコンパレータ5の各機能構成部を当該コンピュータのプログラムによって実現することも可能である。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and the present invention can be changed even if there is a design change or the like without departing from the gist of the present invention. include. For example, in Example 3 described above, in order to reflect the autocorrelation coefficient value between the surrounding pixels in the autocorrelation coefficient value between the target pixels, the average value of both is used as the autocorrelation coefficient value between the target frames. Alternatively, it may be reflected by another calculation method such as a weighted average value. In each embodiment, the comparator 5 has been described as a hardware configuration. However, the comparator 5 is configured by a computer, and each functional component of the comparator 5 described with reference to FIG. 1 or 4 is realized by a program of the computer. It is also possible.

この発明は、画像データを大量にメモリセル等の記憶手段に書き込む必要のある装置等に限ることなく、例えば、3D−DNR処理が高速であることからテレビ受像機やビデオレコーダ等にも好適に利用可能である。   The present invention is not limited to a device that needs to write a large amount of image data in a storage means such as a memory cell, and is suitable for a television receiver, a video recorder, and the like because 3D-DNR processing is fast, for example. Is available.

この発明の第1実施例である画像処理装置の電気的構成を示すブロック図である。1 is a block diagram showing an electrical configuration of an image processing apparatus according to a first embodiment of the present invention. 同画像処理装置の動作を説明する図である。It is a figure explaining operation | movement of the image processing apparatus. 同実施例における3つのフレーム間の自己相関関係をパターン分けした図である。It is the figure which divided the autocorrelation between three frames in the Example into patterns. この発明の第2実施例である画像処理装置におけるコンパレータの電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of the comparator in the image processing apparatus which is 2nd Example of this invention. (a)、(b)、(c)は、同実施例における注目画素データの一例を示す図である。(A), (b), (c) is a figure which shows an example of the attention pixel data in the Example. 図5(a)、(b)、(c)のそれぞれの画像データを数値で示した図である。It is the figure which showed each image data of Fig.5 (a), (b), (c) numerically. 同実施例におけるフレーム間の自己相関係数値の計算例を示す図である。It is a figure which shows the example of calculation of the autocorrelation coefficient value between frames in the Example.

符号の説明Explanation of symbols

1 データセレクタ(画像選別手段)
2 フレームバッファ(記憶手段)
3 フレームバッファ(記憶手段)
4 フレームバッファ(記憶手段)
5 コンパレータ(判断手段)
6 3D−DNRユニット(画像処理手段)
1 Data selector (image selection means)
2 Frame buffer (memory means)
3 Frame buffer (memory means)
4 Frame buffer (memory means)
5 Comparator (Judgment means)
6 3D-DNR unit (image processing means)

Claims (4)

画像データに3次元ノイズリダクション処理を行う画像処理装置であって、フレーム毎に3フレーム分の画像データを記憶する記憶手段に入力画像データを振り分ける画像選別手段と、前記各フレーム間の画像データの画素毎に自己相関係数値を計算する計算手段と、前記計算された自己相関係数値に基づき画素毎に3次元ノイズリダクション処理を行うか否かを判断する判断手段と、3次元ノイズリダクション処理を行うと判断された画素または画素の集合に3次元ノイズリダクション処理を適応的に実施する画像処理手段とを、有する事を特徴とする画像処理装置。   An image processing apparatus for performing three-dimensional noise reduction processing on image data, wherein image selection means for distributing input image data to a storage means for storing image data for three frames for each frame, and image data between the frames Calculation means for calculating an autocorrelation coefficient value for each pixel, determination means for determining whether to perform a three-dimensional noise reduction process for each pixel based on the calculated autocorrelation coefficient value, and a three-dimensional noise reduction process. An image processing apparatus comprising image processing means for adaptively performing a three-dimensional noise reduction process on a pixel or a set of pixels determined to be performed. 前記判断手段が、前記計算された自己相関係数値から画像の動き判定をし、この画像の動き判定結果から静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴とする請求項1記載の画像処理装置。   The determination unit determines an image motion from the calculated autocorrelation coefficient value, and determines a pixel determined to be still or stopped from the image motion determination result as a pixel to be subjected to three-dimensional noise reduction processing. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus. 前記判断手段が、任意のフレームの注目画素と他のフレームの周辺画素との間の自己相関係数値を注目画素間の自己相関係数値に反映させて動き判定をし、この動き判定結果から静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴とする請求項1記載の画像処理装置。   The determination means performs a motion determination by reflecting an autocorrelation coefficient value between a target pixel of an arbitrary frame and peripheral pixels of another frame in an autocorrelation coefficient value between the target pixels, and determines a motion from the result of the motion determination. The image processing apparatus according to claim 1, wherein a pixel determined to stop moving is determined to be a pixel that performs a three-dimensional noise reduction process. 前記判断手段が、任意のフレームとこの前後の2フレームとの間の自己相関係数値がともに相関ありと判断される場合には、当該注目画素が静止していると判定し、前記任意のフレームとこの前のフレームとの間の自己相関係数値が相関なしと判断され、かつ前記任意のフレームとこれに続くフレームとの間の自己相関係数値が相関ありと判断される場合には、当該注目画素が動き停止となったと判定し、前記静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴とする請求項2または3記載の画像処理装置。   When the determination means determines that the autocorrelation coefficient values between an arbitrary frame and the two frames before and after the arbitrary frame are correlated, it determines that the target pixel is stationary, and the arbitrary frame If the autocorrelation coefficient value between the frame and the previous frame is determined to be uncorrelated and the autocorrelation coefficient value between the arbitrary frame and the subsequent frame is determined to be correlated, 4. The image according to claim 2, wherein it is determined that the pixel of interest has stopped moving, and the pixel that has been determined to be stationary or stopped is determined to be a pixel that performs three-dimensional noise reduction processing. Processing equipment.
JP2005045701A 2005-02-22 2005-02-22 Image processor Pending JP2006237716A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005045701A JP2006237716A (en) 2005-02-22 2005-02-22 Image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005045701A JP2006237716A (en) 2005-02-22 2005-02-22 Image processor

Publications (1)

Publication Number Publication Date
JP2006237716A true JP2006237716A (en) 2006-09-07

Family

ID=37044929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005045701A Pending JP2006237716A (en) 2005-02-22 2005-02-22 Image processor

Country Status (1)

Country Link
JP (1) JP2006237716A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956899B2 (en) 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP2011242295A (en) * 2010-05-19 2011-12-01 Kyoto Univ Spectrometer, measuring apparatus and data processing method
JP2013201724A (en) * 2012-03-26 2013-10-03 Toshiba Digital Media Engineering Corp Image processing device and image processing method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956899B2 (en) 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
US8411172B2 (en) 2007-08-29 2013-04-02 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP2011242295A (en) * 2010-05-19 2011-12-01 Kyoto Univ Spectrometer, measuring apparatus and data processing method
JP2013201724A (en) * 2012-03-26 2013-10-03 Toshiba Digital Media Engineering Corp Image processing device and image processing method

Similar Documents

Publication Publication Date Title
US7899122B2 (en) Method, apparatus and computer program product for generating interpolation frame
EP2164040B1 (en) System and method for high quality image and video upscaling
KR100739753B1 (en) Method and apparatus of bidirectional temporal noise reduction
JP6335504B2 (en) Image processing apparatus, image processing method, and program
US8295607B1 (en) Adaptive edge map threshold
KR20060076176A (en) A method of temporal noise reduction in video sequence ans system therefore
CN109963048B (en) Noise reduction method, noise reduction device and noise reduction circuit system
CN107979712B (en) Video noise reduction method and device
US20100150465A1 (en) Method and apparatus for removing image noise
JPH05236302A (en) Noise reducing method for video signal transmitted between frames
JPWO2009107487A1 (en) Motion blur detection device and method, image processing device, and image display device
US8411974B2 (en) Image processing apparatus, method, and program for detecting still-zone area
US8929662B2 (en) Method and apparatus for generating super-resolution image using prediction and stabilization of high-frequency information of image
KR20050085355A (en) Method and apparatus for removing false edges from a segmented image
EP1874039A1 (en) Image processing device and image processing program
JPWO2011155258A1 (en) Image processing apparatus and method, image display apparatus and method
JP2006237716A (en) Image processor
CN114514746B (en) System and method for motion adaptive filtering as pre-processing for video encoding
KR101517233B1 (en) Apparatus for removing noise using moving estimation
CN101141655A (en) Video signal picture element point chromatic value regulation means
JP2002223374A (en) Device and method for removing noise
US8013935B2 (en) Picture processing circuit and picture processing method
JP5197374B2 (en) Motion estimation
EP3599589A1 (en) Image processing apparatus, image processing method, and program
KR20110006869A (en) Apparatus for reducing noise in digital image processing device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090120