JP2006237716A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2006237716A JP2006237716A JP2005045701A JP2005045701A JP2006237716A JP 2006237716 A JP2006237716 A JP 2006237716A JP 2005045701 A JP2005045701 A JP 2005045701A JP 2005045701 A JP2005045701 A JP 2005045701A JP 2006237716 A JP2006237716 A JP 2006237716A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- frame
- image
- frames
- autocorrelation coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この発明は、画像データを大量にメモリセル等の記憶手段に書き込む必要のある装置等に好適に用いられる画像処理装置に係り、詳しくは、画像データに対して3次元ノイズリダクション処理を適応的に行い、画質の向上を図る画像処理装置に関する。 The present invention relates to an image processing apparatus suitably used for an apparatus or the like that needs to write a large amount of image data in a storage means such as a memory cell. More specifically, the present invention adaptively performs three-dimensional noise reduction processing on image data. The present invention relates to an image processing apparatus for improving image quality.
現在の画像データのノイズ低減の技術としては、下記の特許文献1、2に開示されているように、画像データに対して3次元ノイズリダクション処理を行うことが広く知られている。
As a current technique for reducing noise in image data, as disclosed in
特許文献1では、簡単な構成で画質を向上させることができる映像信号処理回路および映像処理方法を提供することを目的とした3次元ノイズリダクション処理技術が開示されている。即ち、動き検出回路102は、複合映像信号VDとフレームメモリ101からの1フレーム前の映像信号の2つのフレームの映像信号に基づいて、映像の動きの有無を検出する。3次元Y/C分離回路103は、動き検出回路102から出力される動き信号MS1に基づいて、複合映像信号VDから輝度信号Y1および色信号C1を分離する。動き検出回路107は、3次元Y/C分離回路から出力される輝度信号Y1とフレームメモリ105からの1フレーム前の輝度信号の2フレームの輝度信号に基づいて、映像の動きの有無を検出する。合成回路108は、動き検出回路102および動き検出回路107から出力される動き信号MS1,MS2を合成する。3次元ノイズリダクション回路106は、合成回路108の出力信号に基づいて、3次元Y/C分離回路103から出力される輝度信号Y1のノイズを低減させるというものである。
特許文献2では、ノイズキャンセルによる静止画の画質の劣化を防止し、かつ時間軸によるノイズリダクションに起因する動画ノイズの低減を可能にすることを目的とする3次元ノイズリダクション処理を含む動画ノイズの低減技術が開示されている。即ち、映像信号処理回路において、入力映像信号が静止画である場合、動き検出回路3は、水平ノイズキャンセラ(水平NC)3の動作をOFFまたはノイズキャンセル(NC)のかかりを入力映像信号に対して弱くするようNC制御信号を水平NC3に供給し、一方フレーム/フィールドノイズリダクション(NR)回路(フレーム間またはフィールド間の絵柄の相関性を利用してノイズリダクションを行う)1がノイズリダクション(NR)を入力映像信号に対して強くかけるようNR制御信号をNR回路1に供給する。入力映像信号が動画である場合、NR回路1の動作をOFFまたは静止画に比較してNRのかかりを入力映像信号に対して弱くするようNR制御信号をNR回路1に供給し、水平NC3がNCのかかりを入力映像信号(動画)に対して強めるようNC制御信号を水平NC3に供給している。ここで、静止画であるか動画であるかは、動き検出回路5により、映像信号と1フレームまたは1フィールド遅延された映像信号(1フレームまたは1フィールド前の映像信号)との差分から検出するというものである。
しかしながら、上記従来の技術には、以下のような問題点があった。即ち、画像に3次元ノイズリダクション処理(以下、3D−DNRと称す)を実施する場合、従来は、フレーム単位もしくはフィールド単位で画像全体に3D−DNR処理を実施していた為、ノイズがある部分も無い部分も一様に3D−DNRが掛けられ、3D−DNR処理後の画像では、もともとノイズが無かった部分については、細かいディテールが失われるという問題点があった。また、従来の3D−DNR処理では、ビートノイズ等の固定ノイズを除去することが出来ないと言う問題点があった。また、従来の動き判定では、単に1フィールドあるいは1フレーム分遅延させた画像と現画像との差分を取って閾値と比較しているだけで、前後の画像との微妙な相関性は全く考慮されていない為、停止に向かう動きなど、微妙な動きをする画像を捉えて3D−DNR処理を実施することが出来ないという問題点があった。更に、動きの速い画像に対しては適切な3D−DNRを掛ける事が出来ない為、処理画像に残像が生じるという問題点があった。 However, the conventional technique has the following problems. That is, when 3D noise reduction processing (hereinafter referred to as 3D-DNR) is performed on an image, the 3D-DNR processing is conventionally performed on the entire image in units of frames or fields. 3D-DNR is uniformly applied to the non-existing portion, and in the image after the 3D-DNR processing, there is a problem that fine details are lost in a portion that originally has no noise. Further, the conventional 3D-DNR process has a problem that fixed noise such as beat noise cannot be removed. Further, in the conventional motion determination, the difference between the image delayed by one field or one frame and the current image is simply taken and compared with the threshold value, and the delicate correlation between the previous and subsequent images is completely taken into consideration. Therefore, there is a problem in that 3D-DNR processing cannot be performed by capturing an image that moves delicately, such as a movement toward a stop. Furthermore, there is a problem that an afterimage is generated in the processed image because an appropriate 3D-DNR cannot be applied to a fast moving image.
この発明は、上述の事情に鑑みてなされたものであって、1つの画像のなかで、3D−DNRの必要な部分に対してのみ適切な3D−DNRを適応的に実施することで、高品質な3D−DNR処理を行う画像処理装置を提供することを目的とする。
The present invention has been made in view of the above-mentioned circumstances, and adaptively performs an appropriate 3D-DNR only on a necessary portion of the 3D-DNR in one image. An object of the present invention is to provide an image processing apparatus that performs high-
上述の課題を解決するための、請求項1記載の発明は、画像処理装置に係り、画像データに3次元ノイズリダクション処理を行う画像処理装置であって、フレーム毎に3フレーム分の画像データを記憶する記憶手段に入力画像データを振り分ける画像選別手段と、前記各フレーム間の画像データの画素毎に自己相関係数値を計算する計算手段と、前記計算された自己相関係数値に基づき画素毎に3次元ノイズリダクション処理を行うか否かを判断する判断手段と、3次元ノイズリダクション処理を行うと判断された画素または画素の集合に3次元ノイズリダクション処理を適応的に実施する画像処理手段とを、有する事を特徴としている。
In order to solve the above-mentioned problem, the invention according to
また、請求項2記載の発明は、請求項1記載の画像処理装置に係り、前記判断手段が、前記計算された自己相関係数値から画像の動き判定をし、この画像の動き判定結果から静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴としている。
The invention according to
また、請求項3記載の発明は、請求項1記載の画像処理装置に係り、前記判断手段が、任意のフレームの注目画素と他のフレームの周辺画素との間の自己相関係数値を注目画素間の自己相関係数値に反映させて動き判定をし、この動き判定結果から静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴としている。
The invention according to
更に、請求項4記載の発明は、請求項2または3記載の画像処理装置に係り、前記判断手段が、任意のフレームとこの前後の2フレームとの間の自己相関係数値がともに相関ありと判断される場合には、当該注目画素が静止していると判定し、前記任意のフレームとこの前のフレームとの間の自己相関係数値が相関なしと判断され、かつ前記任意のフレームとこれに続くフレームとの間の自己相関係数値が相関ありと判断される場合には、当該注目画素が動き停止となったと判定し、前記静止または動き停止と判定された画素を、3次元ノイズリダクション処理を行う画素と判断するものである事を特徴としている。
Furthermore, the invention according to
以上説明したような、この発明の構成によれば、第1の効果として、3D−DNR処理を実施する際、前後のフレームの画素値との自己相関関数を計算し、相関性の高い画素に対してのみ選択的に3D−DNR処理を行うため、処理が不要な箇所に処理を実施することが無くなり、処理画像の画質の向上を図ることが出来ることである。また、第2の効果として、必要な箇所にのみ3D−DNRを実施するため、処理の高速化を図ることが出来ることである。また、第3の効果として、3フレームの画像間の相関性を用いて動き判定を行うため、停止に向かう動きなど、微妙な動きをする画像を捉えて3D−DNR処理を実施することが出来るようになることである。更に、第4の効果として、注目画素間の自己相関係数値に、注目画素と周辺画素間の自己相関係数値を反映させることで、ノイズと画像との判別が可能となり、固定ビートノイズの除去が出来るようになることである。 According to the configuration of the present invention as described above, as a first effect, when performing the 3D-DNR process, an autocorrelation function with the pixel values of the preceding and succeeding frames is calculated, and pixels with high correlation are obtained. Since the 3D-DNR process is selectively performed only on the part, the process is not performed at a place where the process is unnecessary, and the image quality of the processed image can be improved. Further, as a second effect, since 3D-DNR is performed only in a necessary portion, the processing speed can be increased. Further, as a third effect, since the motion determination is performed using the correlation between the images of the three frames, it is possible to perform the 3D-DNR process by capturing an image that moves slightly, such as a motion toward a stop. It is to become. Further, as a fourth effect, by reflecting the autocorrelation coefficient value between the target pixel and the surrounding pixels in the autocorrelation coefficient value between the target pixels, it becomes possible to distinguish between noise and an image and to remove fixed beat noise. Is to be able to.
この発明は、1つの画像のなかで3D−DNRが必要な場所に対してのみ適切な3D−DNRを適応的に行うことで、高品質な3D−DNR処理を行う画像処理装置を提供する目的を、画像の3D−DNR処理を行う際、3フレーム分の画素データを記憶し、各フレーム画像間の相関関係を画素毎に調査して画像の動き判定を行い、この動き判定結果から当該画素が静止または動き停止と判定された場合に、画素毎もしくはそれらの画素の集合毎に適応的に3D−DNR処理を行うことで実現した。画像は、一般に画素間の水平方向及び垂直方向の相関性は高い事が知られている。その為、事前に処理画像と前後のフレーム画像において、注目画素の相関性、あるいは注目画素の相関性に加えて注目画素と周辺画素の相関性を調査し、画像の動き判定を実施した上で、静止または動き停止と判定された画素間の相関性が高い部分に対し、適応的に3D−DNR処理を実施する事により、3D−DNR処理の必要な画像の部分のみに3D−DNR処理を実施する事が出来るようにするとともに、処理画像の画質の向上および3D−DNR処理の高速化、さらには固定ビートノイズの除去を図ることが出来るようにしている。
以下、図面を参照して、この発明の実施の形態について説明する。説明は、実施例を用いて具体的に行う。
An object of the present invention is to provide an image processing apparatus that performs high-
Embodiments of the present invention will be described below with reference to the drawings. The description will be made specifically with reference to examples.
まず、この発明の第1実施例を説明する。図1は、この実施例である画像処理装置の電気的構成を示すブロック図である。この実施例の画像処理装置は、外部のシステムバス7等に接続されて入力された3フレーム分の画像データを次に述べるフレームバッファに振り分けるデータセレクタ1と、振り分けられた画像データを1フレーム分ずつ保持する記憶手段としてのフレームバッファ(以下、FRBと称す)2,3,4と、各FRBに保持された1フレーム分の画像データを画素毎に読み出し、フレーム間の自己相関係数値を自己相関関数によって計算し、その結果に基づき画像の動き判定を行い、この動き判定結果に基づき、入力画像に対し画素毎に3D−DNR処理を実施するかどうか判断するコンパレータ5と、コンパレータ5の判断結果により、入力画像に対し画素毎またはそれらの画素の集合毎に3D−DNR処理を実行する3D−DNRユニット6とを有している。ここで、画像データの各画素データは、各々色情報を持つカラー画像データを構成するものであっても良いし、モノクロ画像データを構成するものであっても良い。
First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing an electrical configuration of the image processing apparatus according to this embodiment. The image processing apparatus of this embodiment is connected to an external system bus 7 or the like, and a
この画像処理装置では、3D−DNR処理を実施するに当たり、まず、データセレクタ1が、連続する入力画像3フレーム分の画像データFR0、FR1、FR2のそれぞれをFRB2,FRB3,FRB4に振り分けて格納する。コンパレータ5は、図2に示すように、FRB2,FRB3,FRB4に収納された3フレーム分の画像データを元に同一座標の各画素毎に自己相関係数値を計算する。自己相関係数値は、一般的に式(1)で表される自己相関関数により算出する。
コンパレータ5は、式(1)より注目画素の自己相関係数値を算出し、各フレーム間の自己相関関数の値を比較する。算出した自己相関係数値(正規化したもの)が0.5未満(自己相関係数値<0.5)の場合は対象フレーム間に相関無しと判定し、0.5以上の場合(自己相関係数値≧0.5)は相関ありと判定する。この3フレーム間の相関判定の結果は、図3に示すように、4つにパターン分けすることが出来る。この4つのパターンのそれぞれについて、動き判定を行い、3D−DNRを掛けるか否かを、次のように判断する。
The
(1)パターン#1:1フレーム目と2フレーム目、3フレーム目の画素の相関が高い場合である。この場合は静止画像の画素と見なし、注目画素に対し3D−DNRを掛けると判断する。
(2)パターン#2:1フレーム目と2フレーム目の相関が高く、2フレーム目と3フレーム目の相関が低い場合である。この場合は画像の動き開始と見なし、注目画素に対しては3D−DNRは掛けないと判断する。
(3)パターン#3:2フレーム目と3フレーム目の相関が高く、1フレーム目と2フレーム目の相関が低い場合である.この場合は画像の動き停止と見なし、注目画素に対し3D−DNRを掛けると判断する。
(4)パターン#4:1,2,3の各フレーム間で相関係数にばらつきがあり、相関が低い場合である。この場合は動画像と見なし、注目画素に対しては3D−DNRは掛けないと判断する。
(1) Pattern # 1: This is a case where the correlation between the pixels in the first frame, the second frame, and the third frame is high. In this case, it is regarded as a pixel of a still image, and it is determined that 3D-DNR is applied to the target pixel.
(2) Pattern # 2: A case where the correlation between the first frame and the second frame is high and the correlation between the second frame and the third frame is low. In this case, it is considered that the image starts moving, and it is determined that 3D-DNR is not applied to the target pixel.
(3) Pattern # 3: This is a case where the correlation between the second frame and the third frame is high and the correlation between the first frame and the second frame is low. In this case, it is considered that the motion of the image is stopped, and it is determined that 3D-DNR is applied to the target pixel.
(4) Pattern # 4: This is a case where the correlation coefficient varies between
3D−DNRユニット6は、コンパレータ5での上記(1)〜(4)の相関判定のパターン分けでの判断結果に従い、FRB2,3,4から読み出した画像データを元に画素毎に、あるいは画素集合毎に適応的に3D−DNR処理を行う。3D−DNR処理を行うフレームはいずれのフレームでも構わないがフレーム2が好適である。以上の処理が終了すると、データセレクタ1は、最も古いフレームの画像データを格納しているFRBに、次のフレームの画像データを上書きする。コンパレータ5及び3D−DNRユニット6は、この上書きされた画像データを最新の画像データとする3フレームの画像データに対して、新たな動き判定と3D−DNRの一連の処理を実行する。
The 3D-
以上のように、3フレームの画像を構成する各画素間の相関性の高さを利用し、注目画素間の自己相関係数値を算出して注目画素間の相関関係を判断した上で、3フレーム間の画素の動き判定を行い、1フレーム内の静止画像部分に対してのみ選択的に3D−DNRを掛ける事により、動きの速い画像に余分な3D−DNRを掛ける事が無くなり、元の画像のローカルディテールを保持して、3D−DNR処理後の画像の鮮鋭さを保ちつつノイズを除去し、適切な3D−DNR処理を行う事が出来るようになる。また、1つの画像のうち必要な箇所にのみ3D−DNRを実施するため、処理の高速化を図ることが出来るようになる。更に、3フレームの画像間の相関性を用いて動き判定を行うため、停止に向かう動きなど、微妙な動きをする画像を捉えて3D−DNR処理を実施することが出来るようになる。 As described above, the correlation between the pixels of interest is determined by calculating the autocorrelation coefficient value between the pixels of interest using the high degree of correlation between the pixels constituting the three-frame image. By determining the motion of pixels between frames and selectively multiplying a still image portion in one frame only by 3D-DNR, it is not necessary to multiply an extra 3D-DNR on a fast-moving image. It is possible to perform appropriate 3D-DNR processing by retaining local details of the image, removing noise while maintaining the sharpness of the image after 3D-DNR processing. In addition, since 3D-DNR is performed only on necessary portions of one image, the processing speed can be increased. Furthermore, since the motion determination is performed using the correlation between the images of the three frames, it is possible to perform the 3D-DNR process by capturing an image that moves delicately, such as a motion toward a stop.
次に、この発明の第2実施例として、上記のコンパレータ5の具体的な構成例について説明する。図4は、この実施例のコンパレータ5の電気的構成を示すブロック図である。この実施例の全体構成は、実施例1と同様であり、容易に類推できるのでコンパレータ5以外の構成および動作や作用効果についての説明は省略し、コンパレータ5の構成と動作についてのみ説明する。
Next, as a second embodiment of the present invention, a specific configuration example of the
この実施例のコンパレータ5は、3フレーム間の同一位置の画素毎に実施例1の式(1)で表される自己相関関数による計算を行って、フレーム間の自己相関係数値を求め、これより動き判定を行い、この動き判定結果から当該注目画素に対して3D−DNR処理を行うか否かを判断するものである。このため、コンパレータ5は、FRB2,3,4から画像データを読み出して所定の乗算を行う3つの乗算器51,52,53と、これらの乗算結果を加算する加算器54と、加算結果を3で除算しフレーム間の相関係数値を求める除算器55と、算出されたフレーム間の相関係数値から動き判定を行い、実施例1で示した4つのパターンのいずれに属しているかを判定して、当該注目画素に対して3D−DNR処理を行うか否かを判断する相関判定部56とから構成されている。
The
FRB2,3,4には、時間順にフレーム1の画像データFR0、フレーム2の画像データFR1、フレーム3の画像データFR2が振り分けられて格納されているものとする。図5(a)、(b)、(c)に注目画素データの一例を示す。図5(a)のk=0の画素データは、1フレーム目の元データ、図5(b)のk=1の画素データは、元データから1フレームずらした2フレーム目のもの、図5(c)のk=2の画素データは、元データから2フレームずらした3フレーム目のものである。nは、サンプリングポイント数を表す。
Assume that the
図6に、図5(a)、(b)、(c)の場合の画像データの数値を示す。Ynはk=0の画素データ、Yn−1はk=1の画素データ、Yn−2はk=2の画素データであり、Ynは実施例1の式(1)のY(n)を、同様に、Yn−1はY(n−1)を、Yn−2はY(n−2)を表している。図5(a)を参照すると、Ynはn=0のとき0.5、n=1のとき1、n=2のとき0.25である。ここで、同時刻(n=0)の各フレームの画素データを参照すると、0.5であるのはフレーム1(FR0)、1であるのはフレーム2(FR1)、0.25であるのはフレーム3(FR2)である。また、図5(b)を参照すると、Yn−1はn=0のとき0.25、n=1のとき0.5、n=2のとき1である。ここで、同時刻(n=0)の各フレームの画素データを参照すると、0.25であるのはフレーム3(FR2)、0.5であるのはフレーム1(FR0)、1であるのはフレーム2(FR1)である。更に、図5(c)を参照すると、Yn−2はn=0のとき1、n=1のとき0.25、n=2のとき0.5である。ここで、同時刻(n=0)の各フレームの画素データを参照すると、1であるのはフレーム2(FR1)、0.25であるのはフレーム3(FR2)、0.5であるのはフレーム1(FR0)である。 FIG. 6 shows numerical values of the image data in the cases of FIGS. 5 (a), (b), and (c). Yn is pixel data of k = 0, Yn-1 is pixel data of k = 1, Yn-2 is pixel data of k = 2, and Yn is Y (n) in the expression (1) of the first embodiment. Similarly, Yn-1 represents Y (n-1) and Yn-2 represents Y (n-2). Referring to FIG. 5A, Yn is 0.5 when n = 0, 1 when n = 1, and 0.25 when n = 2. Here, referring to the pixel data of each frame at the same time (n = 0), 0.5 is frame 1 (FR0), 1 is frame 2 (FR1), and 0.25. Is frame 3 (FR2). Referring to FIG. 5B, Yn-1 is 0.25 when n = 0, 0.5 when n = 1, and 1 when n = 2. Here, referring to the pixel data of each frame at the same time (n = 0), 0.25 is frame 3 (FR2), and 0.5 is frame 1 (FR0). Is frame 2 (FR1). Further, referring to FIG. 5C, Yn-2 is 1 when n = 0, 0.25 when n = 1, and 0.5 when n = 2. Here, referring to the pixel data of each frame at the same time (n = 0), 1 is frame 2 (FR1), 0.25 is frame 3 (FR2), and 0.5. Is frame 1 (FR0).
図7に、上記の数値と式(1)を用いて、フレーム間の自己相関係数値の計算例を示す。まず、k=1のときのR(1)、即ち、フレーム1とフレーム2間の自己相関係数値を求めるため、乗算器55は、YnYn−1を算出する。図5を参照すると、n=0の場合は、画像データFR0、FR2の注目画素と同一位置の画素を読み出し、FR0*FR2の乗算を行えば良い。同様に、n=1の場合は、画像データFR1、FR0の注目画素と同一位置の画素を読み出し、FR1*FR0の乗算を行い、n=2の場合は、画像データFR2、FR1の注目画素と同一位置の画素を読み出し、FR2*FR1の乗算を行えば良い。加算器54は、k=1の場合について、これらの乗算結果を加算器54で加算し、除算器55で加算結果を1/N、即ち1/3にすることにより、R(1)、即ち、フレーム1とフレーム2間の自己相関係数値を求めることができる。なお、ここでは、k=2としたR(2)、即ち、フレーム1とフレーム3間の自己相関係数値を、YnYn−2から同様にして求めることもできる。図7の例では、自己相関係数値R(1)、R(2)は、それぞれ0.5未満であるため、相関なしと判定される。
FIG. 7 shows a calculation example of the autocorrelation coefficient value between frames using the above numerical values and the equation (1). First, in order to obtain R (1) when k = 1, that is, an autocorrelation coefficient value between
次に、相関判定部56の動作例について説明する。上記のように1回目の処理で、フレーム1とフレーム2の間の自己相関係数値が得られる。次の回の処理では、フレーム1を格納したFRBに次のフレーム4が格納されて、フレーム2を元データとしてフレーム3,4の画像データからフレーム2と3の間の自己相関係数値が得られる。これにより、フレーム1,2間およびフレーム2,3間の動き判定を行い、この動き判定の結果から、図3に示す4つのパターン#1〜#4のいずれに属するかを判断し、実施例1の(1)〜(4)で示したように、3D−DNRを掛けるか否かを判断して、3D−DNRユニットに判断結果を通知する。
Next, an operation example of the correlation determination unit 56 will be described. As described above, the autocorrelation coefficient value between
なお、上述の相関判定部の動作例では、2回の処理で相関判定を行う例について説明したが、1回目の処理において、自己相関係数値R(1)、R(2)を求め、これにより、フレーム1,2間およびフレーム1,3間の動き判定を行い、この動き判定の結果から、図3とは異なる4つのパターン分けをして、例えば、フレーム1,2間およびフレーム1,3間の自己相関係数値が0.5以上と高い場合、または、フレーム1,2間の自己相関係数値は0.5未満と低いものの、フレーム1,3間の自己相関係数値が0.5以上と高い場合には、当該フレーム1の画素に対して3D−DNRを掛けると判断するようにしても良い。
In the above-described operation example of the correlation determination unit, the example in which the correlation determination is performed in two processes has been described. However, in the first process, the autocorrelation coefficient values R (1) and R (2) are obtained, To determine the motion between the
次に、この発明の第3実施例について説明する。実施例1,2では、3フレーム分の画像データの注目画素と同一座標の画素について自己相関係数値を求め、この自己相関係数値から動き判定を行い、この動き判定結果から、静止もしくは動き停止と判断される画素に適応的に3D−DNRを実施するものであった。これに対して、この実施例では、3フレーム分の画像データの注目画素と同一座標の画素について自己相関係数値を求めるとともに、前後のフレームにおける注目画素の周辺画素間についても自己相関係数値を求め、注目画素と同一座標の画素間の自己相関係数値と注目画素の周辺画素間の自己相関係数値の平均値をフレーム間の自己相関係数値として算出し、この自己相関係数値から動き判定を行い、この動き判定結果から、静止もしくは動き停止と判断される画素に適応的に3D−DNRを実施するものである。 Next explained is the third embodiment of the invention. In the first and second embodiments, an autocorrelation coefficient value is obtained for a pixel having the same coordinates as the target pixel of the image data for three frames, and a motion is determined from the autocorrelation coefficient value. 3D-DNR is adaptively performed on the pixels that are determined to be. On the other hand, in this embodiment, the autocorrelation coefficient value is obtained for a pixel having the same coordinates as the target pixel of the image data for three frames, and the autocorrelation coefficient value is also calculated between the peripheral pixels of the target pixel in the preceding and following frames. Calculate the average value of the autocorrelation coefficient value between the pixels with the same coordinates as the target pixel and the autocorrelation coefficient value between the surrounding pixels of the target pixel as the autocorrelation coefficient value between frames, and determine the motion from this autocorrelation coefficient value. And 3D-DNR is adaptively performed on the pixel determined to be still or stopped from the motion determination result.
この実施例の基本的な構成は、図1と同様である。異なる部分は、コンパレータ5の構成および動作である。したがって、実施例1と同様な構成および動作については、容易に類推できるので、それらの説明は省略し、コンパレータ5の構成および動作についてのみ説明する。
The basic configuration of this embodiment is the same as that shown in FIG. The different part is the configuration and operation of the
この実施例のコンパレータ5は、実施例1と同様に、3フレーム分の画像データの注目画素と同一座標の画素をFRB2,3,4から読み出して自己相関係数値を求める。続いて、真中のフレームの注目画素と前後のフレームにおける注目画素の周辺画素をFRB2,3,4から読み出して自己相関係数値を求め、先に求めた注目画素と同一座標の画素間の自己相関係数値と、続いて求めた注目画素と周辺画素間の自己相関係数値の平均値をフレーム間の自己相関係数値として算出する。次に、この自己相関係数値から相関判定を行い、この相関判定結果から、図3のパターンのいずれに属するかを判断して動き判定を行い、動き判定結果が静止もしくは動き停止のパターンであると判断される画素に3D−DNRを実施すると判断する。
Similar to the first embodiment, the
次に、この実施例を実施例2に適用した場合について説明する。この実施例のコンパレータ5は、実施例2と同様に構成し、最初にフレーム1とフレーム2の注目画素間の自己相関係数値を算出する。次に、FRBからフレーム1の注目画素の周辺画素データとフレーム2,3の注目画素データを読み出し、フレーム1の注目画素の周辺画素とフレーム2の注目画素間の自己相関係数値を算出し、先に求めたフレーム1とフレーム2の注目画素間の自己相関係数値と、次に求めたフレーム1の周辺画素とフレーム2の注目画素間の自己相関係数値との平均値をフレーム1,2間の自己相関係数値とする。続いて、実施例2と同様に、更新されたフレーム2,3,4の画像データに基づいて、フレーム2とフレーム3の注目画素間の自己相関係数値を算出する。次に、FRBからフレーム2の注目画素データとフレーム3,4の注目画素の周辺画素データを読み出し、フレーム2の注目画素とフレーム3の注目画素の周辺画素間の自己相関係数値を算出し、先に求めたフレーム2とフレーム3の注目画素間の自己相関係数値と、次に求めたフレーム2の注目画素とフレーム3の注目画素の周辺画素間の自己相関係数値との平均値を、フレーム2,3間の自己相関係数値とする。
Next, the case where this embodiment is applied to
コンパレータ5の相関判定部56は、上記で算出されたフレーム1,2間の自己相関係数値とフレーム2,3間の自己相関係数値とにより、フレーム1,2間およびフレーム2,3間の動き判定を行い、この動き判定の結果から、図3に示す4つのパターン#1〜#4のいずれに属するかを判断し、実施例1の(1)〜(4)で示したように、3D−DNRを掛けるか否かを判断し、3D−DNRユニットに判断結果を通知する。
The correlation determination unit 56 of the
この実施例のように、注目画素間の相関性だけでなく、周辺画素との間の相関性をも考慮して3D−DNRを掛けた場合には、ノイズと画像との判別が出来るようになるため、従来は除去することが出来なかった固定ビートノイズを容易に除去することが出来るようになる。 As in this embodiment, when 3D-DNR is applied in consideration of not only the correlation between the target pixels but also the correlation with the surrounding pixels, it is possible to discriminate between noise and an image. Therefore, it becomes possible to easily remove the fixed beat noise that could not be removed conventionally.
以上、この発明の実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、上述の実施例3では、注目画素間の自己相関係数値に周辺画素との間の自己相関係数値を反映させるために、両者の平均値を対象フレーム間の自己相関係数値としているが、加重平均値等の他の計算方法によって反映させるようにしてもよい。また、各実施例で、コンパレータ5は、ハードウェア構成として説明したが、コンパレータ5をコンピュータで構成し、図1もしくは図4によって説明したコンパレータ5の各機能構成部を当該コンピュータのプログラムによって実現することも可能である。
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and the present invention can be changed even if there is a design change or the like without departing from the gist of the present invention. include. For example, in Example 3 described above, in order to reflect the autocorrelation coefficient value between the surrounding pixels in the autocorrelation coefficient value between the target pixels, the average value of both is used as the autocorrelation coefficient value between the target frames. Alternatively, it may be reflected by another calculation method such as a weighted average value. In each embodiment, the
この発明は、画像データを大量にメモリセル等の記憶手段に書き込む必要のある装置等に限ることなく、例えば、3D−DNR処理が高速であることからテレビ受像機やビデオレコーダ等にも好適に利用可能である。 The present invention is not limited to a device that needs to write a large amount of image data in a storage means such as a memory cell, and is suitable for a television receiver, a video recorder, and the like because 3D-DNR processing is fast, for example. Is available.
1 データセレクタ(画像選別手段)
2 フレームバッファ(記憶手段)
3 フレームバッファ(記憶手段)
4 フレームバッファ(記憶手段)
5 コンパレータ(判断手段)
6 3D−DNRユニット(画像処理手段)
1 Data selector (image selection means)
2 Frame buffer (memory means)
3 Frame buffer (memory means)
4 Frame buffer (memory means)
5 Comparator (Judgment means)
6 3D-DNR unit (image processing means)
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005045701A JP2006237716A (en) | 2005-02-22 | 2005-02-22 | Image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005045701A JP2006237716A (en) | 2005-02-22 | 2005-02-22 | Image processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006237716A true JP2006237716A (en) | 2006-09-07 |
Family
ID=37044929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005045701A Pending JP2006237716A (en) | 2005-02-22 | 2005-02-22 | Image processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006237716A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7956899B2 (en) | 2007-08-29 | 2011-06-07 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
JP2011242295A (en) * | 2010-05-19 | 2011-12-01 | Kyoto Univ | Spectrometer, measuring apparatus and data processing method |
JP2013201724A (en) * | 2012-03-26 | 2013-10-03 | Toshiba Digital Media Engineering Corp | Image processing device and image processing method |
-
2005
- 2005-02-22 JP JP2005045701A patent/JP2006237716A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7956899B2 (en) | 2007-08-29 | 2011-06-07 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
US8411172B2 (en) | 2007-08-29 | 2013-04-02 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
JP2011242295A (en) * | 2010-05-19 | 2011-12-01 | Kyoto Univ | Spectrometer, measuring apparatus and data processing method |
JP2013201724A (en) * | 2012-03-26 | 2013-10-03 | Toshiba Digital Media Engineering Corp | Image processing device and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7899122B2 (en) | Method, apparatus and computer program product for generating interpolation frame | |
EP2164040B1 (en) | System and method for high quality image and video upscaling | |
KR100739753B1 (en) | Method and apparatus of bidirectional temporal noise reduction | |
JP6335504B2 (en) | Image processing apparatus, image processing method, and program | |
US8295607B1 (en) | Adaptive edge map threshold | |
KR20060076176A (en) | A method of temporal noise reduction in video sequence ans system therefore | |
CN109963048B (en) | Noise reduction method, noise reduction device and noise reduction circuit system | |
CN107979712B (en) | Video noise reduction method and device | |
US20100150465A1 (en) | Method and apparatus for removing image noise | |
JPH05236302A (en) | Noise reducing method for video signal transmitted between frames | |
JPWO2009107487A1 (en) | Motion blur detection device and method, image processing device, and image display device | |
US8411974B2 (en) | Image processing apparatus, method, and program for detecting still-zone area | |
US8929662B2 (en) | Method and apparatus for generating super-resolution image using prediction and stabilization of high-frequency information of image | |
KR20050085355A (en) | Method and apparatus for removing false edges from a segmented image | |
EP1874039A1 (en) | Image processing device and image processing program | |
JPWO2011155258A1 (en) | Image processing apparatus and method, image display apparatus and method | |
JP2006237716A (en) | Image processor | |
CN114514746B (en) | System and method for motion adaptive filtering as pre-processing for video encoding | |
KR101517233B1 (en) | Apparatus for removing noise using moving estimation | |
CN101141655A (en) | Video signal picture element point chromatic value regulation means | |
JP2002223374A (en) | Device and method for removing noise | |
US8013935B2 (en) | Picture processing circuit and picture processing method | |
JP5197374B2 (en) | Motion estimation | |
EP3599589A1 (en) | Image processing apparatus, image processing method, and program | |
KR20110006869A (en) | Apparatus for reducing noise in digital image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090120 |