JP2011199349A

JP2011199349A - Unit and method for processing image, and computer program for image processing

Info

Publication number: JP2011199349A
Application number: JP2010060654A
Authority: JP
Inventors: Teruyuki Sato; 輝幸佐藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2010-03-17
Filing date: 2010-03-17
Publication date: 2011-10-06

Abstract

PROBLEM TO BE SOLVED: To provide an image processing unit capable of removing noise superposed on an image included in moving picture data, and of uniformizing a blurring degree within the image.SOLUTION: The image processing unit 1 obtains a motion vector for a first pixel on a first image between a first image included in the moving picture data and at least one second image, creates at least one motion compensation image by using the motion vector, creates a third image by temporal filtering of a group of values of pixels corresponding to the first pixel in the first image and the motion compensation image, calculates a dispersion degree of a pixel value included in the group, sets an edge emphasis degree so that the higher the dispersion degree becomes, the stronger the edge emphasis degree becomes, and emphasizes an edge of the pixel corresponding to the first pixel in the third image according to the set edge emphasis degree.

Description

本発明は、例えば、動画像データに含まれる複数の画像にわたる情報を用いて各画像を処理する画像処理装置、画像処理方法及び画像処理用コンピュータプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing computer program that process each image using information over a plurality of images included in moving image data, for example.

動画像データの画質を向上するために、動画像データに含まれる各画像に対して画像上に写っている物体の輪郭を強調するエッジ強調処理を行うことが知られている。このようなエッジ強調処理に関して、画像上の部分領域ごとに、その部分領域に写っている物体の動きに応じて、エッジ強調の度合いを変える技術が提案されている（例えば、特許文献１及び２を参照）。 In order to improve the image quality of moving image data, it is known to perform edge enhancement processing for enhancing the outline of an object appearing on the image for each image included in the moving image data. With regard to such edge enhancement processing, a technique has been proposed in which the degree of edge enhancement is changed for each partial area on the image in accordance with the movement of an object shown in the partial area (for example, Patent Documents 1 and 2). See).

しかし、ノイズが重畳された画像に対してエッジ強調のような空間的な強調処理が施されると、ちらつき、フリッカなどの画質を劣化させる現象も強調されてしまう。 However, when spatial enhancement processing such as edge enhancement is performed on an image on which noise is superimposed, phenomena such as flickering and flickering that deteriorate image quality are also enhanced.

そこで、動画像データに含まれる各画像のノイズを除去する技術が利用されている。そのようなノイズ除去技術の一例として、空間情報とともに時間軸方向の情報を用いる３次元ノイズリダクション（3-dimensional noise reduction、3DNR）方式が提案されている。3DNRの一例では、時間軸方向における各画素の画素値の揺らぎが除去すべきノイズとなる。3DNRは、空間情報として、各画像に写っている物体の位置の変位、すなわち「動き」を求めることにより、その空間情報を用いて各画像間で同一の物体が写っている画素を特定する。そして3DNRは、同一の物体が写っている画素に対して時間軸方向にフィルタ処理を行ってノイズを除去する。 Therefore, a technique for removing noise from each image included in the moving image data is used. As an example of such a noise removal technique, a three-dimensional noise reduction (3-DNR) method that uses information in the time axis direction together with spatial information has been proposed. In an example of 3DNR, fluctuation of the pixel value of each pixel in the time axis direction is noise to be removed. 3DNR obtains a displacement of a position of an object shown in each image, that is, “motion” as spatial information, and specifies pixels in which the same object is shown between the images using the spatial information. 3DNR removes noise by performing filtering in the time axis direction on pixels in which the same object is reflected.

静止している物体が写っている領域に対してフィルタ処理が行われると、その領域に含まれる画素の値は時間軸に対してあまり変化しないので、比較的良好にノイズが除去される。
しかしながら、動いている物体が写っている領域に対してフィルタ処理が行われると、その領域においてボケが生じるおそれがあった。なお、以下では、静止している物体が写っている領域を静領域と呼び、動いている物体が写っている領域を動領域と呼ぶ。
そこで、静領域に対する処理と動領域に対して適用するフィルタ処理を異ならせる技術が提案されている（例えば、特許文献３を参照）。 When the filtering process is performed on a region where a stationary object is captured, the value of the pixels included in the region does not change much with respect to the time axis, and thus noise is removed relatively well.
However, when the filtering process is performed on the area where the moving object is shown, there is a possibility that the area is blurred. In the following, a region where a stationary object is shown is called a static region, and a region where a moving object is shown is called a moving region.
In view of this, a technique has been proposed in which processing for a static region is different from filter processing applied to a moving region (see, for example, Patent Document 3).

特開２００３−５０５６０号公報JP 2003-50560 A 特開２００８−３０１４４１号公報JP 2008-301441 A 特開２００８−１９３１４２号公報JP 2008-193142 A

画像処理装置は、ノイズ除去技術を用いて動画像データの各画像からノイズを除去した後に、各画像に対してエッジ強調処理を行うことにより、フリッカなどの現象が強調されることを抑制できる。しかし、ノイズ除去処理が行われた動領域のボケ度合いは、動画像データに表された映像の内容に依存する。一般に、動領域に重畳されたノイズの量が少ないほど、ノイズ除去処理が実行された後のその動領域のボケ度合いも低くなる。そのため、ノイズ除去処理が行われた後の画像上の各動領域に対して一律にエッジ強調処理が行われると、一つの画像において、エッジが強く強調された領域と、エッジがあまり強調されていない領域とが生じるおそれがあった。また、エッジが強く強調された領域では、オーバーシュート、ジャギーといったアーティファクトが目立ち、結果として動画像の画質が低下してしまう。
そのため、動きに応じて強調度合いを変えるエッジ強調処理を用いたとしても、映像特性に依存したボケ度合いとエッジ強調度合いとは必ずしも相関しない。そのため、エッジ強調度合いが動きに応じて決定されたとしても、エッジ強調処理によって動領域間あるいは動領域と静領域間のボケ度合いの差を補償することは困難であった。その結果、ノイズ除去処理が施された後にエッジ強調処理が施された動画像は、奥行き感を欠いたものとなってしまうおそれがあった。 The image processing apparatus can suppress the enhancement of a phenomenon such as flicker by performing edge enhancement processing on each image after removing noise from each image of the moving image data using a noise removal technique. However, the degree of blur of the moving area that has been subjected to noise removal processing depends on the content of the video represented in the moving image data. In general, the smaller the amount of noise superimposed on the moving area, the lower the degree of blur of the moving area after the noise removal processing is executed. For this reason, when edge enhancement processing is uniformly performed on each moving area on the image after the noise removal processing is performed, in one image, the edge is strongly emphasized and the edge is not much emphasized. There was a risk that there would be no area. Further, in the region where the edge is strongly emphasized, artifacts such as overshoot and jaggy are conspicuous, and as a result, the image quality of the moving image is degraded.
For this reason, even if edge enhancement processing that changes the degree of enhancement according to movement is used, the degree of blurring depending on video characteristics and the degree of edge enhancement are not necessarily correlated. Therefore, even if the edge enhancement degree is determined according to the movement, it is difficult to compensate for the difference in the degree of blur between the moving areas or between the moving area and the static area by the edge enhancement processing. As a result, a moving image that has been subjected to the noise enhancement process and then the edge enhancement process may lack a sense of depth.

そこで、本明細書は、動画像データに含まれる画像に重畳されたノイズを除去するとともに、画像内でのボケ度合いを均一化可能な画像処理装置及び画像処理方法を提供することを目的とする。 Accordingly, the present specification aims to provide an image processing apparatus and an image processing method capable of removing noise superimposed on an image included in moving image data and making the degree of blurring in the image uniform. .

一つの実施形態によれば、画像処理装置が提供される。この画像処理装置は、動画像データに含まれる第１の画像と、第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求める動きベクトル計算部と、第２の画像について求められた動きベクトルを用いて、第２の画像において第１の画素に写っている物体と同一の物体が写っている画素を第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成する動き補償部と、第１の画像及び少なくとも１枚の動き補償画像における、第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成するノイズ除去部と、第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、第１の画素に対するバラツキ度として算出するバラツキ度算出部と、バラツキ度が高いほど強くなるようにエッジ強調度を設定する強調度制御部と、エッジ強調度に従って、第３の画像における第１の画素に対応する画素のエッジ強調を行うエッジ強調部とを有する。 According to one embodiment, an image processing apparatus is provided. The image processing apparatus converts a first image included in the moving image data into a first image between at least one second image temporally before or after the first image. A motion vector calculation unit that obtains a motion vector representing a spatial movement amount and a movement direction of an object shown in the first pixel included, and the second image using the motion vector obtained for the second image A motion compensation unit that creates at least one motion compensated image by moving a pixel in which the same object as the object in the first pixel appears to a position corresponding to the first pixel, A noise removing unit that creates a third image by performing temporal filtering on a group of pixel values corresponding to the first pixel in one image and at least one motion compensated image; The image corresponding to the pixel of And a degree of enhancement that sets the edge enhancement degree so as to be stronger as the degree of variation is higher, and a degree-of-variation calculation unit that calculates a statistic representing the variation of the pixel values included in the value group. A control unit; and an edge enhancement unit that performs edge enhancement of a pixel corresponding to the first pixel in the third image according to the edge enhancement degree.

また他の実施形態によれば、画像処理方法が提供される。この画像処理方法は、動画像データに含まれる第１の画像と、第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、第２の画像について求められた動きベクトルを用いて、第２の画像において第１の画素に写っている物体と同一の物体が写っている画素を第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、第１の画像及び少なくとも１枚の動き補償画像における、第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより第３の画像を作成し、第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を第１の画素に対するバラツキ度として算出し、バラツキ度が高いほど強くなるようにエッジ強調度を設定し、エッジ強調度に従って、第３の画像における第１の画素に対応する画素のエッジ強調を行うことを含む。 According to another embodiment, an image processing method is provided. In this image processing method, a first image is included between a first image included in moving image data and at least one second image temporally before or after the first image. A motion vector representing a spatial movement amount and a movement direction of an object shown in the first pixel included is obtained, and the first pixel in the second image is obtained using the motion vector obtained for the second image. Moving at least one motion-compensated image by moving a pixel in which the same object as the object in the image appears to a position corresponding to the first pixel, the first image and at least one motion Pixels included in the group of pixel values corresponding to the first pixel by creating a third image by performing temporal filtering on the group of pixel values corresponding to the first pixel in the compensation image A statistic representing the variation in values The degree of variation is calculated as the degree of variation with respect to the first pixel, the edge enhancement degree is set so as to increase as the degree of variation increases, and the edge enhancement of the pixel corresponding to the first pixel in the third image is performed according to the degree of edge enhancement. Including that.

さらに他の実施形態によれば、コンピュータに動画像データに対する画像処理を実行させる画像処理用コンピュータプログラムが提供される。このコンピュータプログラムは、動画像データに含まれる第１の画像と、第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、第２の画像について求められた動きベクトルを用いて、第２の画像において第１の画素に写っている物体と同一の物体が写っている画素を第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、第１の画像及び少なくとも１枚の動き補償画像における、第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより第３の画像を作成し、第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を第１の画素に対するバラツキ度として算出し、バラツキ度が高いほど強くなるようにエッジ強調度を設定し、エッジ強調度に従って、第３の画像における第１の画素に対応する画素のエッジ強調を行うことをコンピュータに実行させる命令を有する。 According to still another embodiment, an image processing computer program that causes a computer to perform image processing on moving image data is provided. The computer program is included in the first image between the first image included in the moving image data and at least one second image temporally before or after the first image. A motion vector representing a spatial movement amount and a movement direction of the object shown in the first pixel is obtained, and the motion vector obtained for the second image is used to determine the first pixel in the second image. At least one motion compensated image is created by moving a pixel in which the same object as the captured object is moved to a position corresponding to the first pixel, and the first image and at least one motion compensated Pixel values included in the group of pixel values corresponding to the first pixel by creating a third image by performing temporal filtering on the group of pixel values corresponding to the first pixel in the image The variation Statistic is calculated as the degree of variation with respect to the first pixel, the edge enhancement is set so as to increase as the variation increases, and the pixel corresponding to the first pixel in the third image is set according to the edge enhancement. Instructions for causing the computer to perform edge enhancement.

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。 The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.

本明細書に開示された画像処理装置及び画像処理方法は、動画像データに含まれる画像に重畳されたノイズを除去するとともに、画像内でのボケ度合いを均一化できる。 The image processing apparatus and the image processing method disclosed in this specification can remove noise superimposed on an image included in moving image data, and can make the degree of blurring in the image uniform.

一つの実施形態に係る画像処理装置の概略構成図である。1 is a schematic configuration diagram of an image processing apparatus according to one embodiment. ノイズ除去処理の概念図である。It is a conceptual diagram of a noise removal process. （ａ）は、画像上に写っている物体の境界の一部を表す図であり、（ｂ）は、（ａ）に示された物体の境界近傍に位置する画素の値の時間変化を表すグラフを示す図である。(A) is a figure showing a part of the boundary of the object shown on the image, (b) represents the time change of the value of the pixel located in the boundary of the object shown to (a). It is a figure which shows a graph. エッジ強調フィルタの一例を示す図である。It is a figure which shows an example of an edge emphasis filter. エッジ強調フィルタの他の一例を示す図である。It is a figure which shows another example of an edge emphasis filter. 画像処理装置により実行される、ノイズ除去・エッジ強調処理の動作フローチャートを示す。3 shows an operation flowchart of noise removal / edge enhancement processing executed by the image processing apparatus. 何れかの実施形態による画像処理装置が組み込まれた映像再生装置の概略構成図である。It is a schematic block diagram of the video reproduction apparatus incorporating the image processing apparatus by any embodiment.

以下、図を参照しつつ、一つの実施形態による、画像処理装置について説明する。
この画像処理装置は、動画像データに含まれる処理対象の画像の着目画素に対して、その処理対象の画像と時間的に前後する少なくとも一つの画像において着目画素に写っている物体と同じ物体が写っている画素を探索する。そしてこの画像処理装置は、同一の物体が写っているそれら複数の画素の値に基づいて着目画素に対するノイズ除去処理を行うとともに、それら複数の画素の値のバラツキ度合いに応じたエッジ強調度に従って、その着目画素に対してエッジ強調処理を実行する。 Hereinafter, an image processing apparatus according to an embodiment will be described with reference to the drawings.
In this image processing apparatus, for a target pixel of a processing target image included in moving image data, an object that is the same as the object reflected in the target pixel in at least one image temporally surrounding the processing target image is detected. Search for visible pixels. And this image processing device performs noise removal processing on the pixel of interest based on the values of the plurality of pixels in which the same object is reflected, and according to the edge enhancement degree according to the degree of variation in the values of the plurality of pixels. Edge enhancement processing is executed for the target pixel.

なお、画像は、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。 The image may be either a frame or a field. The frame is one still image in the moving image data, while the field is a still image obtained by extracting only odd-numbered data or even-numbered data from the frame.

図１は、一つの実施形態による画像処理装置の概略構成図である。画像処理装置１は、バッファ１０と、動きベクトル計算部１１と、動き補償部１２と、ノイズ除去部１３と、バラツキ度算出部１４と、強調度制御部１５と、エッジ強調部１６とを有する。 FIG. 1 is a schematic configuration diagram of an image processing apparatus according to an embodiment. The image processing apparatus 1 includes a buffer 10, a motion vector calculation unit 11, a motion compensation unit 12, a noise removal unit 13, a variation degree calculation unit 14, an enhancement degree control unit 15, and an edge enhancement unit 16. .

バッファ１０は、例えば、読み書き可能な半導体メモリを有する。そしてバッファ１０は、処理対象となる動画像データに含まれる画像が画像処理装置１に入力される度に、その画像を記憶する。そしてバッファ１０は、入力された動画像データのうち、着目する画像に対するノイズ除去処理を実行するために必要な所定枚数の画像を記憶する。またバッファ１０は、記憶されている画像の枚数が所定枚数を超えると、古い画像から順に廃棄する。 The buffer 10 includes, for example, a readable / writable semiconductor memory. The buffer 10 stores the image each time an image included in the moving image data to be processed is input to the image processing apparatus 1. The buffer 10 stores a predetermined number of images necessary for performing noise removal processing on the image of interest among the input moving image data. Further, when the number of stored images exceeds a predetermined number, the buffer 10 discards the oldest images in order.

動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６は、それぞれ別個の回路として形成される。あるいは動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６は、その各部に対応する回路が集積された一つの集積回路として画像処理装置１に実装されてもよい。さらに、動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６は、画像処理装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。 The motion vector calculation unit 11, the motion compensation unit 12, the noise removal unit 13, the variation degree calculation unit 14, the enhancement degree control unit 15, and the edge enhancement unit 16 are formed as separate circuits. Alternatively, the motion vector calculation unit 11, the motion compensation unit 12, the noise removal unit 13, the variation degree calculation unit 14, the enhancement degree control unit 15, and the edge enhancement unit 16 are configured as one integrated circuit in which circuits corresponding to the respective units are integrated. The image processing apparatus 1 may be mounted. Furthermore, the motion vector calculation unit 11, the motion compensation unit 12, the noise removal unit 13, the variation degree calculation unit 14, the enhancement degree control unit 15, and the edge enhancement unit 16 are computer programs that are executed on a processor included in the image processing apparatus 1. It may be a functional module realized by

動きベクトル計算部１１は、着目する画像の各画素について、その画素に写っている物体についての、着目画像と、着目画像よりも時間的に前または後の少なくとも一つの参照画像との間での空間的な移動量及び移動方向を表す動きベクトルを算出する。
動きベクトル計算部１１は、例えば、ブロックマッチング法を用いて動きベクトルを算出することができる。この場合、動きベクトル計算部１１は、着目画像を所定のサイズを持つ複数のブロックに分割する。所定のサイズは、例えば、１６画素×１６画素とすることができる。そして動きベクトル計算部１１は、複数のブロックのうち、着目するブロックをテンプレートとして、バッファ１０に記憶されている各参照画像とテンプレートマッチングを行う。動きベクトル計算部１１は、例えば、着目ブロックと各参照画像の対応画素間の画素値の差の絶対値の合計が最小となる各参照画像上の領域の位置を求める。動きベクトル計算部１１は、着目画像における着目ブロックの位置を基準として、その最も一致する位置のずれ量(mvx_ij,mvy_ij)を、着目ブロックに含まれる各画素についての各参照画像に対する動きベクトルとして求める。ただし、mvx_ijは、着目画像の画素jに対して求められた、参照画像iの動きベクトルの水平成分を表し、mvy_ijは、着目画像の画素jに対して求められた、参照画像iに対する動きベクトルの垂直成分を表す。 For each pixel of the image of interest, the motion vector calculation unit 11 calculates the relationship between the image of the object reflected in the pixel and at least one reference image temporally before or after the image of interest. A motion vector representing a spatial movement amount and a movement direction is calculated.
The motion vector calculation unit 11 can calculate a motion vector using, for example, a block matching method. In this case, the motion vector calculation unit 11 divides the target image into a plurality of blocks having a predetermined size. The predetermined size can be, for example, 16 pixels × 16 pixels. Then, the motion vector calculation unit 11 performs template matching with each reference image stored in the buffer 10 using a target block among the plurality of blocks as a template. For example, the motion vector calculation unit 11 obtains the position of the region on each reference image that minimizes the sum of absolute values of pixel values between corresponding pixels of the target block and each reference image. The motion vector calculation unit 11 uses the position of the block of interest in the image of interest as a reference, and uses the amount of shift (mvx _ij , mvy _ij ) of the closest match as the motion vector for each reference image for each pixel included in the block of interest. Asking. However, mvx _ij represents the horizontal component of the motion vector of the reference image i obtained for the pixel j of the target image, and mvy _ij represents the reference image i obtained for the pixel j of the target image. Represents the vertical component of the motion vector.

少なくとも一つの参照画像は、例えば、着目画像よりも１フレーム〜数フレーム前の画像とすることができる。なお、バッファ１０に所定枚数の画像がバッファされた後に動きベクトル計算部１１が動きベクトルを求める場合、参照画像には、着目画像よりも１フレーム〜数フレーム後の画像が含まれてもよい。
また、参照画像の枚数は、少なくとも１枚であり、ノイズ除去精度を向上するために、２枚以上、例えば、３枚、５枚、１０枚あるいは２０枚とすることが好ましい。 The at least one reference image can be, for example, an image one frame to several frames before the target image. When the motion vector calculation unit 11 obtains a motion vector after a predetermined number of images are buffered in the buffer 10, the reference image may include an image that is one frame to several frames after the target image.
Further, the number of reference images is at least one, and it is preferable that the number of reference images is two or more, for example, three, five, ten, or twenty in order to improve noise removal accuracy.

動きベクトル計算部１１は、動きベクトルを求めるための他の方法、例えば、勾配法または透視変換法を用いてもよい。
動きベクトル計算部１１は、着目画像の各画素について求めた動きベクトルを、その動きベクトルに対応する参照画像及び着目画像上の画素の位置を示す番号とともに動き補償部１２へ渡す。 The motion vector calculation unit 11 may use another method for obtaining a motion vector, such as a gradient method or a perspective transformation method.
The motion vector calculation unit 11 passes the motion vector obtained for each pixel of the target image to the motion compensation unit 12 together with a reference image corresponding to the motion vector and a number indicating the position of the pixel on the target image.

動き補償部１２は、バッファ１０から読み込んだ参照画像と、その参照画像について求められた各動きベクトルに基づいて補償画像を作成する。具体的には、動き補償部１０は、同一の物体に関して、着目画像上のその物体の位置と補償画像上のその物体の位置が同じとなるように、参照画像の各画素を対応する動きベクトルを用いて動き補償することにより補償画像を作成する。
具体的に、動き補償部１２は、次式に従って補償画像P_i(x_j,y_j)を作成する。

ここで、x_jは画素jの水平座標を表し、y_jは画素jの垂直座標を表す。またR_i(x_j,y_j)は、参照画像iを表す。そしてmvx_ijは、着目画像の画素jに対して求められた、参照画像iに対する動きベクトルの水平成分を表し、mvy_ijは、着目画像の画素jに対して求められた、参照画像iに対する動きベクトルの垂直成分を表す。
なお、(mvx_ij,mvy_ij)の少なくとも一方が小数である場合、動き補償部１２は、（１）式によって補償画像の画素jに少なくとも一部が重なる参照画像の各画素の値を用いて線形補間することにより、補償画像の画素jの値を決定する。
動き補償部１２は、作成した各補償画像をノイズ除去部１３及びバラツキ度算出部１４へ渡す。 The motion compensation unit 12 creates a compensation image based on the reference image read from the buffer 10 and each motion vector obtained for the reference image. Specifically, the motion compensation unit 10 associates each pixel of the reference image with a motion vector corresponding to the same object so that the position of the object on the target image is the same as the position of the object on the compensation image. A compensation image is created by performing motion compensation using.
Specifically, the motion compensation unit 12 creates a compensated image P _i (x _j , y _j ) according to the following equation.

Here, x _j represents the horizontal coordinate of the pixel j, and y _j represents the vertical coordinate of the pixel j. R _i (x _j , y _j ) represents the reference image i. Mvx _ij represents the horizontal component of the motion vector for the reference image i obtained for the pixel j of the target image, and mvy _ij represents the motion for the reference image i obtained for the pixel j of the target image. Represents the vertical component of the vector.
When at least one of (mvx _ij , mvy _ij ) is a decimal number, the motion compensation unit 12 uses the value of each pixel of the reference image that at least partially overlaps the pixel j of the compensated image according to equation (1). The value of pixel j of the compensation image is determined by linear interpolation.
The motion compensation unit 12 passes the created compensation images to the noise removal unit 13 and the variation degree calculation unit 14.

ノイズ除去部１３は、着目画像の各画素の値とともに補償画像の対応する画素の値を用いて時間フィルタ処理を行うことにより、着目画像に重畳した時間変動ノイズを除去する。
例えば、ノイズ除去部１３は、時間フィルタ処理として、着目する画像の着目画素の値と、その着目画素に対応する各補償画像の画素の値の組に対してメディアンフィルタ処理、あるいは平均化処理を実行する。そしてノイズ除去部１３は、時間フィルタ処理を行うことによって得られた値を、ノイズ除去後の着目画素の値とする。 The noise removing unit 13 removes time-varying noise superimposed on the image of interest by performing time filter processing using the value of each pixel of the image of interest and the value of the corresponding pixel of the compensation image.
For example, the noise removal unit 13 performs median filter processing or averaging processing on the set of the value of the target pixel of the target image and the value of the pixel of each compensation image corresponding to the target pixel as the time filter processing. Execute. Then, the noise removing unit 13 sets the value obtained by performing the time filter process as the value of the pixel of interest after noise removal.

図２は、ノイズ除去処理の概念図である。画像２０１は、ノイズ除去処理の対象となる着目画像であり、現時刻tの画像である。また画像２０２、２０３は、それぞれ、画像２０１に対する参照画像であり、時刻tよりも前の時刻(t-1)、時刻(t-2)の画像である。各画像２０１〜２０３には、それぞれ、同一の物体Ａが写っているが、この物体Ａは時間の経過にしたがって空間的に移動している。そのため、各画像２０１〜２０３において、物体Ａが写っている位置が異なっている。
画像２０２’、２０３’は、それぞれ、参照画像２０２、２０３に対して動き補償することにより作成された補償画像である。動き補償により、補償画像２０２’、２０３’及び画像２０１において物体Ａが写っている位置は同一となる。そのため、画像２０１、補償画像２０２’、２０３’のそれぞれにおける同じ位置の画素の値を用いて時間フィルタ処理を行うことにより、時間変動ノイズが除去された画像２０４が作成される。
ノイズ除去部１３は、ノイズ除去された画像をエッジ強調部１６へ渡す。 FIG. 2 is a conceptual diagram of noise removal processing. An image 201 is an image of interest that is a target of noise removal processing, and is an image at the current time t. The images 202 and 203 are reference images for the image 201, and are images at time (t-1) and time (t-2) before time t. Each of the images 201 to 203 includes the same object A, but this object A moves spatially as time passes. Therefore, in each of the images 201 to 203, the position where the object A is reflected is different.
Images 202 ′ and 203 ′ are compensation images created by performing motion compensation on the reference images 202 and 203, respectively. Due to the motion compensation, the positions where the object A appears in the compensated images 202 ′ and 203 ′ and the image 201 are the same. Therefore, by performing time filter processing using the values of pixels at the same position in each of the image 201 and the compensation images 202 ′ and 203 ′, an image 204 from which time variation noise has been removed is created.
The noise removal unit 13 passes the noise-removed image to the edge enhancement unit 16.

バラツキ度算出部１４は、バッファ１０からノイズ除去処理の対象となった着目画像を読み込むとともに、動き補償部１２から着目画像に対する補償画像を受け取る。そしてバラツキ度算出部１４は、画素ごとに、エッジ強調部１６によるエッジ強調処理の強調度合いを決定するために、着目画像と各補償画像の対応する画素の値のバラツキ度を算出する。 The variation degree calculation unit 14 reads the target image that has been subject to noise removal processing from the buffer 10 and receives a compensation image for the target image from the motion compensation unit 12. Then, the variation degree calculation unit 14 calculates, for each pixel, the degree of variation between the pixel values corresponding to the image of interest and each compensation image in order to determine the degree of enhancement of the edge enhancement processing by the edge enhancement unit 16.

ここで、図３（ａ）及び図３（ｂ）を参照しつつ、以下に述べる３通りのケースについて、ノイズ除去された画像において生じるボケについて説明する。
図３（ａ）は、ある時刻における画像上の物体Ｂが写っている領域の一部を表す図である。図３（ａ）において、領域３００のうち、物体Ｂが写っていない領域に含まれる各画素は比較的高い画素値を有する。着目する画素３０１は、このような物体Ｂが写っていない領域に含まれる。一方、物体Ｂが写っている領域に含まれる画素は、比較的低い画素値を有する。この物体Ｂは、時間が経つにつれて右から左へ移動し、時刻tの前後で画素３０１に物体Ｂが写るものとする。
図３（ｂ）は、ノイズ除去処理が行われた後での、図３（ａ）に示された画素３０１の値の時間変化を表すグラフを示す。図３（ｂ）において、横軸は時間を表し、縦軸は画素値を表す。そして実線で表されたグラフ３２１及び点線で表されたグラフ３２２、３２３は、それぞれ、画素３０１の画素値の時間変化を表す。 Here, with reference to FIG. 3A and FIG. 3B, blurs occurring in a noise-removed image will be described in the following three cases.
FIG. 3A is a diagram illustrating a part of a region where the object B on the image is captured at a certain time. In FIG. 3A, each pixel included in a region 300 in which the object B is not captured has a relatively high pixel value. The pixel 301 of interest is included in a region where the object B is not shown. On the other hand, the pixels included in the region where the object B is shown have a relatively low pixel value. It is assumed that the object B moves from right to left as time passes, and the object B appears on the pixel 301 before and after time t.
FIG. 3B shows a graph showing the change over time of the value of the pixel 301 shown in FIG. 3A after the noise removal processing is performed. In FIG. 3B, the horizontal axis represents time, and the vertical axis represents pixel values. A graph 321 represented by a solid line and graphs 322 and 323 represented by dotted lines represent temporal changes in the pixel value of the pixel 301, respectively.

・ケース１では、画像にノイズが重畳されておらず、かつ、動きベクトルの水平成分及び垂直成分が画素サイズの整数倍であっても、正確な動き補償が行えると仮定される。この場合には、画素３０１が物体Ｂと重なるとき、画素３０１に対応する各補償画像の画素にも物体Ｂが重なり、画素３０１に対応する着目画像及び各参照画像の画素の値は同一となる。そのため、画素３０１でボケは生じない。したがって、グラフ３２１に示されるように、時刻t以前では、画素３０１の値は、物体Ｂが写っていないときの値で一定であり、一方、時刻t以降では、画素３０１の値は、物体Ｂに対応する値で一定となる。
・ケース２では、画像にノイズが重畳されておらず、かつ物体Ｂの動きを補償するために、動きベクトルの水平成分または垂直成分が画素サイズの整数倍とならないと仮定される。この場合、画素３０１の近傍に物体Ｂの輪郭が位置する時刻tの前後では、画素３０１に対応する補償画像の画素の値は、物体Ｂが写っている画素の値と物体Ｂが写っていない画素の値に基づく補間によって求められ、中間的な値となる。そのため、画素３０１に対応する画素が、その中間的な値を持つ補償画像が作成されている期間中、ノイズ除去後の画素３０１も中間的な値を取り得る。したがって、時刻tの前後では、グラフ３２２に示されるように、画素３０１の値は漸減し、画素３０１に物体Ｂが写っていないときの残像が観察される。すなわち、画素３０１にはボケが生じる。しかしこの場合には、画素３０１に対応する着目画像及び各補償画像の画素の値のバラツキは小さいので、残像が観察される期間も短く、ボケ度合いも低い。
・ケース３では、画像にノイズが重畳されており、かつ動きベクトルの水平成分または垂直成分が画素サイズの整数倍とならないと仮定される。この場合、物体Ｂの同じ位置が写っている画素の値が、ノイズのために参照画像によって異なりうる。そのため、画素３０１に対応する、各補償画像の画素の値もばらつくことになる。この画素値のバラツキは、画素３０１における、時間方向のノイズ量を表している。そして、ノイズ除去処理によってこのノイズを除去することは、画素３０１近傍に物体Ｂの輪郭が存在する場合において、その輪郭近傍での空間的なノイズ除去処理を行うことに対応する。そのため、ノイズ除去処理により、画素３０１にはボケが生じる。この場合も、時刻tの前後では、グラフ３２３に示されるように、例えば、画素３０１の値は漸減する。また、ノイズの影響により、画素３０１に対応する補償画像の画素の値が、物体Ｂが写っている画素の値と物体Ｂが写っていない画素の値の中間的な値を持つ期間は、一般的に、ケース２においてその画素が中間的な値を持つ期間よりも長い。そのため、画素３０１において残像が観察される期間も長く、ボケの度合いも大きい。 In case 1, it is assumed that accurate motion compensation can be performed even if no noise is superimposed on the image and the horizontal and vertical components of the motion vector are integer multiples of the pixel size. In this case, when the pixel 301 overlaps the object B, the object B also overlaps the pixel of each compensation image corresponding to the pixel 301, and the pixel values of the target image and each reference image corresponding to the pixel 301 are the same. . Therefore, no blur occurs in the pixel 301. Therefore, as shown in the graph 321, before the time t, the value of the pixel 301 is constant at a value when the object B is not shown, while after the time t, the value of the pixel 301 is It becomes constant at a value corresponding to.
In case 2, it is assumed that no noise is superimposed on the image and that the horizontal or vertical component of the motion vector is not an integer multiple of the pixel size in order to compensate for the motion of the object B. In this case, before and after the time t when the contour of the object B is located in the vicinity of the pixel 301, the pixel value of the compensation image corresponding to the pixel 301 is not the pixel value in which the object B is reflected and the object B is not captured. An intermediate value is obtained by interpolation based on the pixel value. Therefore, during the period in which a compensation image having an intermediate value for the pixel corresponding to the pixel 301 is created, the pixel 301 after noise removal can also take an intermediate value. Therefore, before and after time t, as shown in the graph 322, the value of the pixel 301 gradually decreases, and an afterimage when the object B is not captured in the pixel 301 is observed. That is, the pixel 301 is blurred. However, in this case, since the variation in the pixel values of the target image and each compensation image corresponding to the pixel 301 is small, the period during which the afterimage is observed is short and the degree of blur is low.
In case 3, it is assumed that noise is superimposed on the image and that the horizontal or vertical component of the motion vector is not an integer multiple of the pixel size. In this case, the value of the pixel in which the same position of the object B is reflected may differ depending on the reference image due to noise. Therefore, the pixel value of each compensation image corresponding to the pixel 301 also varies. The variation in the pixel value represents the amount of noise in the time direction in the pixel 301. The removal of this noise by the noise removal processing corresponds to performing the spatial noise removal processing in the vicinity of the contour when the contour of the object B exists in the vicinity of the pixel 301. Therefore, the pixel 301 is blurred by the noise removal process. Also in this case, before and after time t, as shown in the graph 323, for example, the value of the pixel 301 gradually decreases. Further, due to the influence of noise, a period in which the pixel value of the compensation image corresponding to the pixel 301 has an intermediate value between the pixel value in which the object B is captured and the pixel value in which the object B is not captured is generally In particular, in case 2, the pixel is longer than the period having an intermediate value. For this reason, the afterimage is observed in the pixel 301 for a long period and the degree of blur is large.

上記のように、着目画像及び各補償画像における各画素の値のバラツキは、ノイズ除去処理によって生じるボケに影響する。そして、画素値のバラツキが大きいほど、生じるボケも大きくなる。そのため、その画素の値のバラツキ度を、エッジ強調度の指標とすることにより、適切なエッジ強調処理が行えることが分かる。
そこで、バラツキ度算出部１４は、画素値のバラツキ度として、例えば、着目する画素の値のグループから、画素値の最大値と最小値の差、分散、または標準偏差若しくは四分位数範囲といった値のバラツキを表す統計量を求める。そしてバラツキ度算出部１４は、求めた各画素のバラツキ度を強調度制御部１５へ渡す。 As described above, the variation in the value of each pixel in the image of interest and each compensation image affects blurring caused by noise removal processing. The larger the variation in pixel value, the greater the blurring that occurs. Therefore, it can be understood that appropriate edge enhancement processing can be performed by using the variation degree of the pixel value as an index of the edge enhancement degree.
Therefore, the variation degree calculation unit 14 may calculate, for example, the difference between the maximum value and the minimum value of the pixel value, the variance, the standard deviation or the quartile range from the group of pixel values of interest as the pixel value variation degree. Find a statistic that represents the variation in values. Then, the variation degree calculation unit 14 passes the obtained variation degree of each pixel to the enhancement degree control unit 15.

強調度制御部１５は、エッジ強調部１６により行われるエッジ強調処理で用いられるエッジ強調フィルタを作成する。その際、強調度制御部１５は、ノイズ除去処理によって生じたボケの度合いが高い画素に対するエッジ強調フィルタのエッジ強調度を、ノイズ除去処理によって生じたボケの度合いが低い画素に対するエッジ強調度よりも高く設定する。 The enhancement degree control unit 15 creates an edge enhancement filter used in the edge enhancement process performed by the edge enhancement unit 16. At that time, the enhancement degree control unit 15 sets the edge enhancement degree of the edge enhancement filter for pixels with a high degree of blur caused by the noise removal process to be higher than the edge enhancement degree for pixels with a low degree of blur caused by the noise removal process. Set high.

図４は、エッジ強調フィルタの一例を示す図である。図４において、エッジ強調フィルタ４００の各画素には、対応する画素に乗じる係数が示されている。このうち、中心の画素４０１が、エッジ強調処理の対象となる着目画素に対応する。すなわち、着目画素の値には、係数(1+4B)が乗じられ、着目画素の上下左右に隣接する各画素の値には、係数-Bが乗じられ、そしてそれらの積の和が、エッジ強調された着目画素の値となる。 FIG. 4 is a diagram illustrating an example of an edge enhancement filter. In FIG. 4, each pixel of the edge enhancement filter 400 shows a coefficient to be multiplied by the corresponding pixel. Among these, the center pixel 401 corresponds to the target pixel to be subjected to edge enhancement processing. That is, the value of the pixel of interest is multiplied by a coefficient (1 + 4B), the value of each pixel adjacent to the pixel of interest above, below, left and right is multiplied by a coefficient -B, and the sum of those products is the edge. This is the value of the emphasized pixel of interest.

図５は、エッジ強調フィルタの他の一例を示す図である。図５において、エッジ強調フィルタ５００の各画素には、対応する画素に乗じる係数が示されている。このうち、中心の画素５０１が、エッジ強調処理の対象となる着目画素に対応する。エッジ強調フィルタ５００は、着目画素から２画素離れた画素の値を参照する。そのため、５画素以上にわたって画素値が変化するエッジに対して、エッジ強調フィルタ５００を用いることにより、エッジ強調フィルタ４００を用いる場合よりもエッジが強調される。 FIG. 5 is a diagram illustrating another example of the edge enhancement filter. In FIG. 5, each pixel of the edge enhancement filter 500 shows a coefficient to be multiplied by the corresponding pixel. Among these, the center pixel 501 corresponds to the target pixel to be subjected to edge enhancement processing. The edge enhancement filter 500 refers to the value of a pixel that is two pixels away from the pixel of interest. Therefore, by using the edge enhancement filter 500 for edges whose pixel values change over 5 pixels or more, the edges are enhanced more than when the edge enhancement filter 400 is used.

また強調度制御部１５は、画素ごとに、その画素に対応するバラツキ度に応じてエッジ強調フィルタを調節する。例えば、強調度制御部１５は、エッジ強調フィルタとして図４に示したフィルタ４００を選択する。そして強調度制御部１５は、画素ごとに、バラツキ度が所定の閾値Th以上か否かに応じて、エッジ強調フィルタの係数に含まれるパラメータBの値をエッジ強調度として調節する。この場合、強調度制御部１５は、バラツキ度が所定の閾値Th未満であれば、例えば、パラメータBの値を、パラメータの基準値B₀に設定する。一方、バラツキ度が所定の閾値Th以上であれば、強調度制御部１５は、パラメータBの値を、基準値B₀に1よりも大きい係数αを乗じた値に設定する。係数αは、例えば、1.1〜2の範囲内の何れかに設定される。また基準値B₀は、例えば、0.1〜1の範囲内の何れかに設定される。 The enhancement degree control unit 15 adjusts the edge enhancement filter for each pixel according to the degree of variation corresponding to the pixel. For example, the enhancement degree control unit 15 selects the filter 400 shown in FIG. 4 as the edge enhancement filter. Then, the enhancement degree control unit 15 adjusts the value of the parameter B included in the coefficient of the edge enhancement filter as the edge enhancement degree according to whether or not the variation degree is greater than or equal to a predetermined threshold Th for each pixel. In this case, if the degree of variation is less than the predetermined threshold Th, the enhancement degree control unit 15 sets the value of the parameter B to the parameter reference value B ₀ , for example. On the other hand, when the variation degree is equal to or greater than the predetermined threshold Th, the enhancement degree control unit 15 sets the value of the parameter B to a value obtained by multiplying the reference value B ₀ by a coefficient α greater than 1. The coefficient α is set to any value within the range of 1.1 to 2, for example. The reference value B ₀ is set to, for example, any one of a range of 0.1-1.

あるいは、強調度制御部１５は、エッジ強調フィルタのサイズをエッジ強調度として調節してもよい。例えば、強調度制御部１５は、バラツキ度が所定の閾値Th以上であれば、図５に示したエッジ強調フィルタ５００を選択し、一方、バラツキ度が所定の閾値Th未満であれば、図４に示したエッジ強調フィルタ４００を選択してもよい。 Alternatively, the enhancement degree control unit 15 may adjust the size of the edge enhancement filter as the edge enhancement degree. For example, the enhancement degree control unit 15 selects the edge enhancement filter 500 shown in FIG. 5 if the variation degree is greater than or equal to a predetermined threshold Th, and on the other hand, if the variation degree is less than the predetermined threshold Th, FIG. The edge enhancement filter 400 shown in FIG.

なお、所定の閾値Thは、例えば、ノイズ除去部１３により実行されたノイズ除去処理が強く作用したと推定されるバラツキ度に設定される。例えば、所定の閾値Thは、観察者がノイズ除去処理が行われた動画像を観察して、ボケを検知できるバラツキ度の最小値に設定され、着目画素についてのバラツキ度がこの最小値よりも大きい場合、着目画素に対してノイズ除去処理が強く作用したと推定される。バラツキ度が最大値と最小値の差である場合、所定の閾値Thは、例えば、６４に設定される。 Note that the predetermined threshold Th is set to, for example, the degree of variation estimated that the noise removal processing executed by the noise removal unit 13 is strongly applied. For example, the predetermined threshold Th is set to the minimum value of the degree of variation by which an observer observes a moving image that has been subjected to noise removal processing and can detect blur, and the degree of variation for the pixel of interest is less than this minimum value. If it is larger, it is presumed that the noise removal processing has acted strongly on the pixel of interest. When the variation degree is the difference between the maximum value and the minimum value, the predetermined threshold Th is set to 64, for example.

強調度制御部１５は、各画素について決定したエッジ強調フィルタを、対応する画素と関連付けてエッジ強調部１６へ渡す。 The enhancement degree control unit 15 passes the edge enhancement filter determined for each pixel to the edge enhancement unit 16 in association with the corresponding pixel.

エッジ強調部１６は、強調度制御部１５から受け取った各画素についてのエッジ強調フィルタを用いて、ノイズ除去部１３から受け取ったノイズ除去画像の各画素に対して空間フィルタ処理を行う。そしてエッジ強調部１６は、空間フィルタ処理を行うことにより得られたエッジ強調画像を出力する。 The edge enhancement unit 16 performs a spatial filter process on each pixel of the noise-removed image received from the noise removal unit 13 using the edge enhancement filter for each pixel received from the enhancement degree control unit 15. Then, the edge enhancement unit 16 outputs an edge enhanced image obtained by performing the spatial filter process.

図６は、画像処理装置１により実行される、ノイズ除去処理及びエッジ強調処理の動作フローチャートを示す。なお、この動作フローチャートで表された処理は、動画像データに含まれる画像ごとに実行される。
先ず、動きベクトル計算部１１は、バッファ１０から読み込んだ着目画像と少なくとも一枚の参照画像とに基づいて、参照画像ごとに、着目画像の各画素に対応する動きベクトルを求める（ステップＳ１０１）。動きベクトル計算部１１は、求めた動きベクトルを動き補償部１２へ渡す。
動き補償部１２は、バッファ１０から読み込んだ各参照画像と、各参照画像に対応する動きベクトルに基づいて、補償画像を作成する（ステップＳ１０２）。動き補償部１２は、作成した補償画像をノイズ除去部１３及びバラツキ度算出部１４へ渡す。 FIG. 6 shows an operation flowchart of noise removal processing and edge enhancement processing executed by the image processing apparatus 1. Note that the processing shown in this operation flowchart is executed for each image included in the moving image data.
First, the motion vector calculation unit 11 obtains a motion vector corresponding to each pixel of the target image for each reference image based on the target image read from the buffer 10 and at least one reference image (step S101). The motion vector calculation unit 11 passes the obtained motion vector to the motion compensation unit 12.
The motion compensation unit 12 creates a compensation image based on each reference image read from the buffer 10 and a motion vector corresponding to each reference image (step S102). The motion compensation unit 12 passes the created compensation image to the noise removal unit 13 and the variation degree calculation unit 14.

ノイズ除去部１３は、バッファ１０から読み込んだ着目画像と、動き補償部１２から受け取った補償画像に基づいて、同じ位置にある画素の値を用いて時間フィルタ処理を行うことにより、ノイズ除去画像を作成する（ステップＳ１０３）。そしてノイズ除去部１３は、ノイズ除去画像をエッジ強調部１６へ渡す。
またバラツキ度算出部１４は、着目画像の各画素について、着目画像及び補償画像の対応する画素の値のバラツキを表す統計量を、その画素についてのバラツキ度として算出する（ステップＳ１０４）。そしてバラツキ度算出部１４は、各画素のバラツキ度を強調度制御部１５へ渡す。 Based on the image of interest read from the buffer 10 and the compensation image received from the motion compensation unit 12, the noise removal unit 13 performs time filter processing using the pixel values at the same position, thereby obtaining the noise removal image. Create (step S103). Then, the noise removal unit 13 passes the noise removal image to the edge enhancement unit 16.
Further, the variation degree calculation unit 14 calculates, for each pixel of the target image, a statistic that represents the variation in the value of the corresponding pixel of the target image and the compensation image as the variation degree for the pixel (step S104). Then, the variation degree calculation unit 14 passes the variation degree of each pixel to the enhancement degree control unit 15.

強調度制御部１５は、ノイズ除去画像に含まれる画素のうち、着目画素に設定されていない画素の何れかを着目画素に設定する（ステップＳ１０５）。そして強調度制御部１５は、着目画素に対応するバラツキ度が所定の閾値Th以上か否か判定する（ステップＳ１０６）。
バラツキ度が所定の閾値Th以上である場合（ステップＳ１０６−Ｙｅｓ）、強調度制御部１５は、相対的にエッジ強調度が強いエッジ強調フィルタを作成する（ステップＳ１０７）。一方、バラツキ度が所定の閾値Th未満である場合（ステップＳ１０６−Ｎｏ）、強調度制御部１５は、相対的にエッジ強調度が弱いエッジ強調フィルタを作成する（ステップＳ１０８）。 The enhancement degree control unit 15 sets any pixel that is not set as the target pixel among the pixels included in the noise-removed image as the target pixel (step S105). Then, the enhancement degree control unit 15 determines whether or not the variation degree corresponding to the pixel of interest is greater than or equal to a predetermined threshold value Th (step S106).
When the variation degree is equal to or greater than the predetermined threshold Th (step S106—Yes), the enhancement degree control unit 15 creates an edge enhancement filter having a relatively strong edge enhancement degree (step S107). On the other hand, when the variation degree is less than the predetermined threshold Th (step S106—No), the enhancement degree control unit 15 creates an edge enhancement filter having a relatively weak edge enhancement degree (step S108).

ステップＳ１０７またはＳ１０８の後、強調度制御部１５は、ノイズ除去画像の全ての画素が着目画素に設定されたか否か判定する（ステップＳ１０９）。何れかの画素が着目画素に設定されていなければ（ステップＳ１０９−Ｎｏ）、強調度制御部１５は、ステップＳ１０５〜Ｓ１０９の処理を繰り返す。
一方、全ての画素が着目画素に設定されている場合（ステップＳ１０９−Ｙｅｓ）、強調度制御部１５は、各画素に対するエッジ強調フィルタをエッジ強調部１６へ渡す。
エッジ強調部１６は、ノイズ除去画像の各画素に対して、対応するエッジ強調フィルタを用いて空間フィルタ処理を行うことにより、エッジ強調画像を作成する（ステップＳ１１０）。そしてエッジ強調部１６は、エッジ強調画像を出力する。その後、画像処理装置１は、ノイズ除去処理及びエッジ強調処理を終了する。 After step S107 or S108, the enhancement degree control unit 15 determines whether or not all the pixels of the noise-removed image are set as the target pixel (step S109). If any pixel is not set as the pixel of interest (step S109—No), the enhancement degree control unit 15 repeats the processes of steps S105 to S109.
On the other hand, when all the pixels are set as the target pixel (step S109—Yes), the enhancement degree control unit 15 passes the edge enhancement filter for each pixel to the edge enhancement unit 16.
The edge enhancement unit 16 creates an edge enhanced image by performing spatial filter processing on each pixel of the noise-removed image using a corresponding edge enhancement filter (Step S110). The edge enhancement unit 16 outputs an edge enhanced image. Thereafter, the image processing apparatus 1 ends the noise removal process and the edge enhancement process.

なお、強調度制御部１５は、一つの画素に対するエッジ強調フィルタを作成する度に、作成したエッジ強調フィルタをエッジ強調部１６に渡してもよい。そしてエッジ強調部１６は、エッジ強調フィルタを受け取る度に、対応する画素についてのエッジ強調処理を行ってもよい。これにより、画像処理装置１は、エッジ強調フィルタの作成とエッジ強調処理を並列に実行することができるので、処理時間を短縮することができる。 The enhancement degree control unit 15 may pass the created edge enhancement filter to the edge enhancement unit 16 every time an edge enhancement filter is created for one pixel. The edge enhancement unit 16 may perform an edge enhancement process for the corresponding pixel every time an edge enhancement filter is received. As a result, the image processing apparatus 1 can execute the creation of the edge enhancement filter and the edge enhancement processing in parallel, thereby shortening the processing time.

以上に説明してきたように、この画像処理装置は、ノイズ除去処理の対象となる着目画像及び補償画像の着目画素の値のバラツキ度が高いほど、その着目画素に対するエッジ強調度を強くする。画素値のバラツキ度が高いほど、ノイズ除去処理により生じるボケも大きくなるので、この画像処理装置は、ボケが大きい画素に対するエッジ強調の度合いを、ボケが小さい画素に対するエッジ強調の度合いよりも強くできる。したがって、この画像処理装置は、動画像データにおける、ノイズによる時間軸方向の画素値の揺らぎを低減できるとともに、ノイズ除去により生じるボケの度合いが画像全体で均一化されるように、ボケを適切に抑制できる。 As described above, the image processing apparatus increases the edge enhancement degree for the target pixel as the degree of variation in the value of the target pixel of the target image and the compensation image subjected to the noise removal process increases. As the degree of variation in pixel value increases, blurring caused by noise removal processing also increases. Therefore, the image processing apparatus can increase the degree of edge enhancement for pixels with large blurring than the degree of edge enhancement for pixels with small blurring. . Therefore, this image processing apparatus can reduce fluctuations in the pixel value in the time axis direction due to noise in moving image data, and appropriately reduce the blur so that the degree of blur caused by noise removal is uniform over the entire image. Can be suppressed.

なお、本発明は上記の実施形態に限定されるものではない。例えば、強調度制御部は、着目する画素のバラツキ度が高いほど、エッジ強調度も強くなるように、エッジ強調度を３段階以上に設定してもよい。例えば、強調度制御部は、バラツキ度を入力とし、図４または図５に示されたパラメータBを出力とする単調増加関数により、パラメータBの値をエッジ強調度として決定してもよい。
また、エッジ強調部は、他のエッジ強調方法を用いてエッジを強調してもよい。例えば、エッジ強調部は、ノイズ除去画像の着目画素を含む所定の領域の画素値の平均値をアンシャープ信号として求め、着目画素の値とアンシャープ信号との差に所定のエッジ強調度を乗じた値を着目画素の値に加算することにより、エッジ強調画像を作成してもよい。
この場合も、強調度制御部は、着目画素のバラツキ度が高いほど、エッジ強調度も強くなるように、そのエッジ強調度を決定する。 In addition, this invention is not limited to said embodiment. For example, the enhancement degree control unit may set the edge enhancement degree to three or more levels so that the edge enhancement degree becomes stronger as the variation degree of the pixel of interest becomes higher. For example, the emphasis degree control unit may determine the value of parameter B as the edge emphasis degree by a monotonically increasing function that receives the degree of variation and outputs the parameter B shown in FIG. 4 or FIG.
Further, the edge enhancement unit may enhance the edge using another edge enhancement method. For example, the edge enhancement unit obtains an average value of pixel values of a predetermined region including the target pixel of the noise-removed image as an unsharp signal, and multiplies a difference between the value of the target pixel and the unsharp signal by a predetermined edge enhancement degree. An edge-enhanced image may be created by adding the obtained value to the value of the target pixel.
Also in this case, the enhancement degree control unit determines the edge enhancement degree so that the edge enhancement degree becomes stronger as the variation degree of the target pixel becomes higher.

上述した画像処理装置は、テレビジョン、投影プロジェクタ、携帯電話機またはコンピュータなど、動画像を再生する様々な映像再生装置に利用できる。また、図６に示された動作フローチャートの処理を、プロセッサに実行させるコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。 The above-described image processing apparatus can be used for various video reproduction apparatuses that reproduce moving images, such as a television, a projection projector, a mobile phone, or a computer. In addition, a computer program that causes a processor to execute the process of the operation flowchart illustrated in FIG. 6 may be provided in a form recorded in a recording medium.

図７は、上述した画像処理装置が組み込まれた映像再生装置の概略構成図である。映像再生装置１００は、入力部２と、記憶部３と、復号部４と、画像処理部５と、出力部６とを有する。
入力部２は、例えば、映像再生装置１００をネットワークに接続するためのインターフェース回路を有する。また、入力部２は、無線信号により配信される動画像データを受信するために、アンテナ及び無線信号から動画像データを含む信号を再生するための復調回路を有していてもよい。そして入力部２は、ネットワークを介して受信した信号または無線信号から符号化された動画像データを抽出し、その符号化された動画像データを記憶部３に記憶する。なお、受信した動画像データに適用された符号化方式は、例えば、Moving Picture Experts Group(MPEG)-2、H.264/MPEG-4 AVCなど、所定の動画像圧縮規格に準拠した方式とすることができる。 FIG. 7 is a schematic configuration diagram of a video reproduction apparatus in which the above-described image processing apparatus is incorporated. The video reproduction device 100 includes an input unit 2, a storage unit 3, a decoding unit 4, an image processing unit 5, and an output unit 6.
The input unit 2 includes, for example, an interface circuit for connecting the video playback device 100 to a network. Further, the input unit 2 may include an antenna and a demodulation circuit for reproducing a signal including moving image data from the wireless signal in order to receive moving image data distributed by a wireless signal. Then, the input unit 2 extracts encoded moving image data from a signal or wireless signal received via the network, and stores the encoded moving image data in the storage unit 3. Note that the encoding method applied to the received moving image data is a method compliant with a predetermined moving image compression standard such as Moving Picture Experts Group (MPEG) -2, H.264 / MPEG-4 AVC, etc. be able to.

記憶部３は、例えば、読み書き可能な半導体メモリを有する。そして記憶部３は、受信した動画像データ、復号部４及び画像処理部５で生成された各種のデータなどを記憶する。 The storage unit 3 includes, for example, a readable / writable semiconductor memory. The storage unit 3 stores the received moving image data, various data generated by the decoding unit 4 and the image processing unit 5, and the like.

復号部４は、例えば、一つまたは複数のプロセッサ及びその周辺回路を有する。そして復号部４は、入力部２を介して受信した動画像データを復号する。そして復号部４は、復号された動画像データを記憶部３に記憶する。その際、動画像データに含まれる一部の画像が、例えば、MPEG-2、H.264/MPEG-4 AVCなどに従って、複数のマクロブロックに分割され、マクロブロックごとに動きベクトルを用いて符号化されていることもある。この場合、復号部４は、符号化された動画像データに含まれる動きベクトルも復号し、記憶部３に記憶する。 The decoding unit 4 includes, for example, one or a plurality of processors and their peripheral circuits. Then, the decoding unit 4 decodes the moving image data received via the input unit 2. Then, the decoding unit 4 stores the decoded moving image data in the storage unit 3. At that time, a part of the image included in the moving image data is divided into a plurality of macroblocks according to, for example, MPEG-2, H.264 / MPEG-4 AVC, etc., and encoded using a motion vector for each macroblock. Sometimes it has become. In this case, the decoding unit 4 also decodes the motion vector included in the encoded moving image data and stores it in the storage unit 3.

画像処理部５は、例えば、一つまたは複数のプロセッサ及びその周辺回路を有する。そして画像処理部５は、図１に示された画像処理装置１が有する構成要素のうち、動きベクトル計算部１１、動き補償部１２、ノイズ除去部１３、バラツキ度算出部１４、強調度制御部１５及びエッジ強調部１６の各部により実行される機能を実現する。
そして画像処理部５は、復号された動画像データに含まれる各画像のノイズを除去し、かつエッジを強調する。その際、画像処理部５は、演算量を減らすために、復号部４により復号された動きベクトルを、補償画像を作成するために利用してもよい。
なお、復号部４と画像処理部５とは、同じプロセッサ上で動作するプログラムモジュールであってもよい。 The image processing unit 5 includes, for example, one or more processors and their peripheral circuits. The image processing unit 5 includes a motion vector calculation unit 11, a motion compensation unit 12, a noise removal unit 13, a variation degree calculation unit 14, and an enhancement degree control unit among the components included in the image processing apparatus 1 illustrated in FIG. 1. 15 and the functions executed by the respective parts of the edge enhancement unit 16 are realized.
Then, the image processing unit 5 removes noise of each image included in the decoded moving image data and enhances the edge. At that time, the image processing unit 5 may use the motion vector decoded by the decoding unit 4 to create a compensation image in order to reduce the amount of calculation.
Note that the decoding unit 4 and the image processing unit 5 may be program modules that operate on the same processor.

出力部６は、表示部７を映像再生装置１００に接続するためのインターフェース回路を有する。表示部７は、例えば、液晶ディスプレイまたは有機ELディスプレイを有する。なお、表示部７は、映像再生装置１００の一部として、映像再生装置１００に一体的に組み込まれていてもよい。そして画像処理部５によりノイズ除去処理及びエッジ強調処理が施された動画像データは、出力部６を介して表示部７へ送信され、表示部７にて表示される。 The output unit 6 includes an interface circuit for connecting the display unit 7 to the video reproduction device 100. The display unit 7 includes, for example, a liquid crystal display or an organic EL display. The display unit 7 may be integrated into the video playback device 100 as a part of the video playback device 100. The moving image data that has been subjected to noise removal processing and edge enhancement processing by the image processing unit 5 is transmitted to the display unit 7 via the output unit 6 and displayed on the display unit 7.

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求める動きベクトル計算部と、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成する動き補償部と、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成するノイズ除去部と、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出するバラツキ度算出部と、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定する強調度制御部と、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行うエッジ強調部と、
を有する画像処理装置。
（付記２）
前記バラツキ度算出部は、前記バラツキ度として、前記第１の画素に対応する画素の値のグループに含まれる、前記画素の値の最大値と最小値の差を算出する、付記１に記載の画像処理装置。
（付記３）
前記強調度制御部は、前記バラツキ度が所定の閾値以上である場合、前記エッジ強調度を第１の値に設定し、前記バラツキ度が前記所定の閾値未満である場合、前記エッジ強調度を前記第１の値よりも小さい第２の値に設定する、付記１または２に記載の画像処理装置。
（付記４）
前記所定の閾値は、前記第３の画像においてボケが検知される前記バラツキ度の最小値である、付記３に記載の画像処理装置。
（付記５）
前記強調度制御部は、前記エッジ強調度が強いほど、前記第１の画素の値に対して乗じる第１の係数と前記第１の画素の近傍画素の値に対して乗じる第２の係数との差が大きくなるエッジ強調フィルタを作成し、
前記エッジ強調部は、前記エッジ強調フィルタを前記第３の画像に対して適用することにより、前記エッジ強調を行う、付記１〜４の何れか一項に記載の画像処理装置。
（付記６）
前記強調度制御部は、前記エッジ強調度が強いほど、サイズが大きくなるエッジ強調フィルタを作成し、
前記エッジ強調部は、前記エッジ強調フィルタを前記第３の画像に対して適用することにより、前記エッジ強調を行う、付記１〜４の何れか一項に記載の画像処理装置。
（付記７）
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成し、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出し、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定し、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行う、
ことを含む画像処理方法。
（付記８）
動画像データに含まれる第１の画像と、該第１の画像に対して時間的に前または後の少なくとも１枚の第２の画像との間で、該第１の画像に含まれる第１の画素に写っている物体の空間的な移動量及び移動方向を表す動きベクトルを求め、
前記第２の画像について求められた前記動きベクトルを用いて、前記第２の画像において前記第１の画素に写っている物体と同一の物体が写っている画素を前記第１の画素に対応する位置へ移動させることにより、少なくとも１枚の動き補償画像を作成し、
前記第１の画像及び前記少なくとも１枚の動き補償画像における、前記第１の画素に対応する画素の値のグループに対して時間フィルタ処理を行うことにより、第３の画像を作成し、
前記第１の画素に対応する画素の値のグループに含まれる画素値のバラツキを表す統計量を、前記第１の画素に対するバラツキ度として算出し、
前記バラツキ度が高いほど強くなるようにエッジ強調度を設定し、
前記エッジ強調度に従って、前記第３の画像における前記第１の画素に対応する画素のエッジ強調を行う、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。 The following supplementary notes are further disclosed regarding the embodiment described above and its modifications.
(Appendix 1)
The first image included in the first image between the first image included in the moving image data and at least one second image temporally before or after the first image. A motion vector calculation unit for obtaining a motion vector representing a spatial movement amount and a movement direction of an object reflected in the pixel;
Using the motion vector obtained for the second image, a pixel in the second image in which the same object as the object in the first pixel is reflected corresponds to the first pixel. A motion compensation unit that creates at least one motion compensation image by moving to a position;
A noise removing unit that creates a third image by performing time filter processing on a group of pixel values corresponding to the first pixel in the first image and the at least one motion compensated image. When,
A variation degree calculation unit that calculates a statistic representing a variation in pixel values included in a group of pixel values corresponding to the first pixel as a variation degree with respect to the first pixel;
An emphasis degree control unit that sets an edge emphasis degree so that the degree of variation is higher,
An edge enhancement unit that performs edge enhancement of a pixel corresponding to the first pixel in the third image according to the edge enhancement degree;
An image processing apparatus.
(Appendix 2)
The variation degree calculating unit calculates the difference between a maximum value and a minimum value of the pixel values included in a group of pixel values corresponding to the first pixel as the variation degree. Image processing device.
(Appendix 3)
The enhancement degree control unit sets the edge enhancement degree to a first value when the variation degree is equal to or greater than a predetermined threshold value, and sets the edge enhancement degree when the variation degree is less than the predetermined threshold value. The image processing apparatus according to appendix 1 or 2, wherein the image processing apparatus sets the second value smaller than the first value.
(Appendix 4)
The image processing apparatus according to appendix 3, wherein the predetermined threshold is a minimum value of the degree of variation at which blur is detected in the third image.
(Appendix 5)
The enhancement degree control unit is configured to multiply the value of the first pixel by a first coefficient and the second coefficient by which the value of a neighboring pixel of the first pixel is multiplied as the edge enhancement degree is higher. Create an edge enhancement filter that increases the difference between
The image processing apparatus according to claim 1, wherein the edge enhancement unit performs the edge enhancement by applying the edge enhancement filter to the third image.
(Appendix 6)
The enhancement degree control unit creates an edge enhancement filter that increases in size as the edge enhancement degree increases,
The image processing apparatus according to claim 1, wherein the edge enhancement unit performs the edge enhancement by applying the edge enhancement filter to the third image.
(Appendix 7)
The first image included in the first image between the first image included in the moving image data and at least one second image temporally before or after the first image. A motion vector representing the amount and direction of spatial movement of the object shown in the pixel of
Using the motion vector obtained for the second image, a pixel in the second image in which the same object as the object in the first pixel is reflected corresponds to the first pixel. Create at least one motion compensated image by moving it to a position,
Creating a third image by performing temporal filtering on a group of pixel values corresponding to the first pixel in the first image and the at least one motion compensated image;
Calculating a statistic representing a variation in pixel values included in a group of pixel values corresponding to the first pixel as a variation degree with respect to the first pixel;
Set the edge emphasis level so that the higher the variation degree is,
Performing edge enhancement of pixels corresponding to the first pixels in the third image according to the edge enhancement degree;
An image processing method.
(Appendix 8)
The first image included in the first image between the first image included in the moving image data and at least one second image temporally before or after the first image. A motion vector representing the amount and direction of spatial movement of the object shown in the pixel of
Using the motion vector obtained for the second image, a pixel in the second image in which the same object as the object in the first pixel is reflected corresponds to the first pixel. Create at least one motion compensated image by moving it to a position,
Creating a third image by performing temporal filtering on a group of pixel values corresponding to the first pixel in the first image and the at least one motion compensated image;
Calculating a statistic representing a variation in pixel values included in a group of pixel values corresponding to the first pixel as a variation degree with respect to the first pixel;
Set the edge emphasis level so that the higher the variation degree is,
Performing edge enhancement of pixels corresponding to the first pixels in the third image according to the edge enhancement degree;
A computer program for image processing that causes a computer to execute this.

１画像処理装置
１０バッファ
１１動きベクトル計算部
１２動き補償部
１３ノイズ除去部
１４バラツキ度算出部
１５強調度制御部
１６エッジ強調部
１００映像再生装置
２入力部
３記憶部
４復号部
５画像処理部
６出力部
７表示部 DESCRIPTION OF SYMBOLS 1 Image processing apparatus 10 Buffer 11 Motion vector calculation part 12 Motion compensation part 13 Noise removal part 14 Dispersion degree calculation part 15 Enhancement degree control part 16 Edge emphasis part 100 Video | video reproduction apparatus 2 Input part 3 Storage part 4 Decoding part 5 Image processing part 6 Output section 7 Display section

Claims

The first image included in the first image between the first image included in the moving image data and at least one second image temporally before or after the first image. A motion vector calculation unit for obtaining a motion vector representing a spatial movement amount and a movement direction of an object reflected in the pixel;
Using the motion vector obtained for the second image, a pixel in the second image in which the same object as the object in the first pixel is reflected corresponds to the first pixel. A motion compensation unit that creates at least one motion compensation image by moving to a position;
A noise removing unit that creates a third image by performing time filter processing on a group of pixel values corresponding to the first pixel in the first image and the at least one motion compensated image. When,
A variation degree calculation unit that calculates a statistic representing a variation in pixel values included in a group of pixel values corresponding to the first pixel as a variation degree with respect to the first pixel;
An emphasis degree control unit that sets an edge emphasis degree so that the degree of variation is higher,
An edge enhancement unit that performs edge enhancement of a pixel corresponding to the first pixel in the third image according to the edge enhancement degree;
An image processing apparatus.

The said variation degree calculation part calculates the difference of the maximum value of the value of the said pixel contained in the group of the value of the pixel corresponding to a said 1st pixel as said variation degree, and a minimum value. Image processing apparatus.

The enhancement degree control unit sets the edge enhancement degree to a first value when the variation degree is equal to or greater than a predetermined threshold value, and sets the edge enhancement degree when the variation degree is less than the predetermined threshold value. The image processing apparatus according to claim 1, wherein the image processing apparatus is set to a second value that is smaller than the first value.

The first image included in the first image between the first image included in the moving image data and at least one second image temporally before or after the first image. A motion vector representing the amount and direction of spatial movement of the object shown in the pixel of
Using the motion vector obtained for the second image, a pixel in the second image in which the same object as the object in the first pixel is reflected corresponds to the first pixel. Create at least one motion compensated image by moving it to a position,
Creating a third image by performing temporal filtering on a group of pixel values corresponding to the first pixel in the first image and the at least one motion compensated image;
Calculating a statistic representing a variation in pixel values included in a group of pixel values corresponding to the first pixel as a variation degree with respect to the first pixel;
Set the edge emphasis level so that the higher the variation degree is,
Performing edge enhancement of pixels corresponding to the first pixels in the third image according to the edge enhancement degree;
An image processing method.

The first image included in the first image between the first image included in the moving image data and at least one second image temporally before or after the first image. A motion vector representing the amount and direction of spatial movement of the object shown in the pixel of
Using the motion vector obtained for the second image, a pixel in the second image in which the same object as the object in the first pixel is reflected corresponds to the first pixel. Create at least one motion compensated image by moving it to a position,
Creating a third image by performing temporal filtering on a group of pixel values corresponding to the first pixel in the first image and the at least one motion compensated image;
Calculating a statistic representing a variation in pixel values included in a group of pixel values corresponding to the first pixel as a variation degree with respect to the first pixel;
Set the edge emphasis level so that the higher the variation degree is,
Performing edge enhancement of pixels corresponding to the first pixels in the third image according to the edge enhancement degree;
A computer program for image processing that causes a computer to execute this.