JP2009077240A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2009077240A JP2009077240A JP2007245347A JP2007245347A JP2009077240A JP 2009077240 A JP2009077240 A JP 2009077240A JP 2007245347 A JP2007245347 A JP 2007245347A JP 2007245347 A JP2007245347 A JP 2007245347A JP 2009077240 A JP2009077240 A JP 2009077240A
- Authority
- JP
- Japan
- Prior art keywords
- smoothing
- image processing
- filter
- image
- performs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000009499 grossing Methods 0.000 claims abstract description 69
- 230000033001 locomotion Effects 0.000 claims abstract description 42
- 238000009792 diffusion process Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 28
- 230000002123 temporal effect Effects 0.000 abstract description 11
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 241000255925 Diptera Species 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、フィルタ等によるノイズ除去を行い画像の高画質化を実現する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for realizing high image quality by removing noise using a filter or the like.
一般に映像、音声情報をデジタル化して記録・伝送する場合、デジタルデータを圧縮符号化してデータ量を低減し、これを受信・再生する場合は圧縮されたデータを復号化する圧縮符号化技術が用いられる。例えば非特許文献1には、H.264/AVC方式という高精細画像向けの高圧縮技術が開示されている。このような圧縮符号化技術によって圧縮された画像には、ブロックノイズ、モスキートノイズと呼ばれる圧縮によって生じるノイズが付加されてしまう。またカメラで撮像した画像においては、様々なノイズが乗っており、これを効果的に除去する必要がある。 In general, when video / audio information is digitized for recording / transmission, digital data is compression-encoded to reduce the amount of data, and when this is received / reproduced, compression encoding technology that decodes the compressed data is used. It is done. For example, Non-Patent Document 1 discloses H.264. A high compression technique for high-definition images such as H.264 / AVC format is disclosed. Noise generated by compression called block noise and mosquito noise is added to an image compressed by such a compression coding technique. In addition, various noises are present in the image captured by the camera, and it is necessary to effectively remove them.
これらのノイズを除去するために、次のようなポストフィルタ技術が提案されている。 In order to remove these noises, the following post filter technique has been proposed.
例えば特許文献1には、画像データの高周波成分を抽出するラプラシアンフィルタと、抽出された高周波成分のうち輪郭部分を表わす高周波成分のみを保存するメディアンフィルタとを備える画像圧縮装置が開示されている。 For example, Patent Document 1 discloses an image compression apparatus that includes a Laplacian filter that extracts a high-frequency component of image data and a median filter that stores only a high-frequency component that represents a contour portion of the extracted high-frequency component.
また特許文献2には、動きの大きい画像のノイズを低減するために、目標ブロックを識別する動き推定手段と、現在のブロックと重みフィルタリング係数により重み付けされた目標ブロックとの画像成分を平均化する動き補償ノイズ低減手段を備えるシステムが開示されている。 Further, in Patent Document 2, in order to reduce noise of an image with a large motion, an image component of a motion estimation unit that identifies a target block and a target block weighted by a current block and a weighting filtering coefficient is averaged. A system comprising motion compensated noise reduction means is disclosed.
上記特許文献1の技術によれば、ノイズを抑制した分だけ本来画像に含まれる輪郭(エッジ)を崩してしまう場合があり、必ずしも高い画質を実現することができない。また上記特許文献2では、動きの大きさを複数フレームにわたって検出し、さらに閾値によってパラメータを決めなければならず、簡単に高画質なフィルタを実現することは難しい。高画質なポストフィルタを実現するためには、時間方向と空間方向の両方に対して画素の連続性を反映することが望ましいが、今まで考慮されていなかった。 According to the technique of the above-mentioned patent document 1, there is a case where the outline (edge) originally included in the image is destroyed by the amount of noise suppression, and high image quality cannot always be realized. In Patent Document 2, the magnitude of motion must be detected over a plurality of frames, and parameters must be determined according to threshold values. It is difficult to easily realize a high-quality filter. In order to realize a high-quality post filter, it is desirable to reflect the continuity of pixels in both the time direction and the spatial direction, but this has not been taken into consideration.
従来の空間方向(二次元平面)の処理を行うフィルタでは、平滑化によって被写体のエッジが崩れ、画像の鮮鋭度が落ちてしまうという問題点がある。その際、非等方拡散フィルタを用いることによって比較的高精細な平滑化を行うことは可能であるが、空間方向の処理だけでは十分な精度を実現できない。一方、時間方向の処理を行うフィルタでは、比較的鮮鋭度を保つことはできるが、平滑化の能力が十分でなくノイズを十分除去できないという問題がある。 A conventional filter that performs processing in the spatial direction (two-dimensional plane) has a problem that the edge of the subject is broken by the smoothing and the sharpness of the image is lowered. At that time, although it is possible to perform relatively high-definition smoothing by using an anisotropic diffusion filter, sufficient accuracy cannot be realized only by processing in the spatial direction. On the other hand, a filter that performs processing in the time direction can maintain relatively sharpness, but has a problem that the smoothing ability is not sufficient and noise cannot be sufficiently removed.
本発明は、上記課題に鑑みてなされたものであり、その目的は時間方向と空間方向の両方に対して適応的に平滑化処理するポストフィルタを提供することにある。 The present invention has been made in view of the above problems, and an object thereof is to provide a post filter that performs adaptive smoothing processing in both the time direction and the spatial direction.
上記目的を達成するために、本発明の画像処理装置は、入力する画像に対して近接するフレーム間で対応する画素を推定する動き推定部と、動き推定部により推定した時間方向に対応する画素間でそれらの信号強度に応じて異なる平滑化処理を行うフィルタとを備え、フィルタは、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行う。 In order to achieve the above object, an image processing apparatus of the present invention includes a motion estimation unit that estimates corresponding pixels between adjacent frames to an input image, and a pixel that corresponds to a time direction estimated by the motion estimation unit. A filter that performs different smoothing processing depending on the signal strength between them, and the filter performs weak smoothing when the signal strength difference between the pixels is large, and strong smoothing when the signal strength difference is small. To do.
さらに前記フィルタは、フレーム内近接画素との間でエッジの方向に応じて異なる平滑化処理を行うものであって、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行う。 Further, the filter performs different smoothing processing depending on the direction of the edge between adjacent pixels in the frame, and performs strong smoothing in the direction parallel to the edge, and the direction perpendicular to the edge. Is weakly smoothed.
本発明の画像処理方法は、入力する画像に対して、近接するフレーム間で対応する画素を推定するステップと、推定した時間方向に対応する画素間でそれらの信号強度に応じて異なる平滑化処理を行うステップとを備え、平滑化処理ステップでは、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行う。 The image processing method of the present invention includes a step of estimating corresponding pixels between adjacent frames with respect to an input image, and a smoothing process that differs according to the signal strength between pixels corresponding to the estimated time direction. In the smoothing processing step, weak smoothing is performed when the signal intensity difference is large between pixels, and strong smoothing is performed when the signal intensity difference is small.
本発明によれば、画像に含まれるノイズを好適に除去し、高画質な画像を得ることができる。 According to the present invention, it is possible to suitably remove noise included in an image and obtain a high-quality image.
以下、本発明の実施例を図面を参照して説明する。
図1は、本発明による画像処理装置の一実施例を示す構成図である。画像処理装置100は、画像データを入力する画像入力部101と、入力した画像データをフレーム毎に保持するフレームバッファ102と、複数のフレームから対応する画素の動き推定を行う動き推定部103と、時間方向および空間方向に対して平滑化を行う時空間非等方拡散フィルタ104と、処理した画像データを出力する画像出力部105を備える。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing an embodiment of an image processing apparatus according to the present invention. The
画像入力部101は、入力された画像データをフレームバッファ102に渡す。フレームバッファ102は画像データをフレーム毎に保持しつつ、これらを動き推定部103に渡す。動き推定部103は、複数のフレームからブロック単位のマッチング、あるいは画素単位のマッチングを行うことによって、処理対象フレームの各画素について、近接するフレームに対する動きの対応点を推定する。これには通常用いられる動き推定の方法を用いればよい。動き推定には誤差や推定の失敗が発生するが、本実施例における方式では、時空間非等方拡散フィルタ104が誤差や推定の失敗の影響を回避するように作用するので問題ない。
The
次に、時空間非等方拡散フィルタ104は、時間方向および空間方向に対して適応的な平滑化処理を行う。処理対象画素に対し、動き推定部103で推定した時間方向に対応する画素と、空間方向に隣接する画素との間で、エッジや動きのギャップを反映して画像信号の平滑化処理を行う。すなわち、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行う。この平滑化処理は、スイッチ106,107を端子b側に接続して、所定回数だけ繰り返すのが好ましい。繰り返しにより平滑化の精度が上がり、画質がより向上する。繰り返しの回数は入力画像の画質に応じて適宜設定する。平滑化処理は、時間方向と空間方向の両方に対して同時に処理を行うことによって、最も画質を向上させることができる。ただし、入力画像によっては、時間方向に対してのみ、あるいは空間方向に対してのみ処理を行っても効果があり、フレームの特徴や画素の特徴に応じて、処理のパターンを切り替えることもできる。画像信号の平滑化処理を行った画像データは、画像出力部105から出力される。
Next, the spatio-temporal
このように本実施例の画像処理装置100では、動き推定部103からの動き情報を利用して時間方向および空間方向の平滑化処理を行う時空間非等方拡散フィルタ104を備えたことに特徴がある。
As described above, the
なお、画像入力部101に入力する画像データに圧縮符号化時の動き情報が含まれている場合には、動き推定部103はその動き情報を利用して動き推定を行うこともできる。それにより、回路構成を簡略化することができる。
Note that if the image data input to the
図2は、本発明による画像処理方法の一例を示すフローチャートである。
ステップ201において、画像入力部101によって画像データがフレームバッファ102に入力する。ステップ202において、動き推定部103によって動き推定処理を行う。動き推定処理は、複数のフレームからブロック単位のマッチング、あるいは画素単位のマッチングを行うことによって、処理対象フレームの各画素について、近接するフレームに対する動きの対応点を推定する処理である。
FIG. 2 is a flowchart showing an example of an image processing method according to the present invention.
In
ステップ203において、時空間非等方拡散フィルタ104を用いて、上記推定した動きの対応点を含む時空間領域での平滑化処理を行う。ステップ204において、平滑化処理の実行回数を判定する。所定回数に達していない場合は、ステップ203の平滑化処理を繰り返す。所定回数に達した場合は、ステップ205において、平滑化処理後の画像を画像出力部105から出力する。
In
本実施例の画像処理装置及び画像処理方法においては、複数のフレーム間について動き推定を行い、これによって得られた時間方向の対応点情報を利用して、時空間非等方拡散フィルタによる平滑化を行う。これより、画像が本来持っている物体の形状や物体と背景の境界といったエッジを保存しながら、圧縮によって生じたブロックノイズやモスキートノイズを削減することができ、画像を高精細化し、高画質な出力画像を得ることができる。 In the image processing apparatus and the image processing method of the present embodiment, motion estimation is performed between a plurality of frames, and smoothing by a spatio-temporal anisotropic diffusion filter is performed by using corresponding point information in the time direction obtained thereby. I do. As a result, block noise and mosquito noise caused by compression can be reduced while preserving edges such as the shape of the object originally held in the image and the boundary between the object and the background. An output image can be obtained.
ここで、時空間非等方拡散フィルタ104について説明する。時空間非等方拡散フィルタ104は、時間方向および空間方向に対して非等方拡散フィルタ処理を行うフィルタである。非等方拡散フィルタとは、非等方な熱拡散方程式に基づく偏微分方程式で表される処理を対象画素に施すフィルタであり、その定義式については参考文献1に記述されている。2次元平面に対する非等方拡散フィルタでは、線状のエッジを含む画像において、エッジの接線方向とエッジの垂直方向とで重みの異なる平滑化を行う。すなわち、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行うものである。
Here, the space-time
非等方拡散フィルタの例としては、例えば参考文献2に示されるトータルバリエーションフィルタ(Total Variation Filter、以下TVFと略す)がある。TVFは、処理対象画素と隣接する画素との絶対値差分(L1ノルム)を基準として、エッジに適応した平滑化を行うフィルタである。非等方拡散フィルタの他の例としては、Perona−Malikによって提案された非等方拡散法(Perona−Malik Diffusion;PMD)がある。 As an example of the anisotropic diffusion filter, for example, there is a total variation filter (Total Variation Filter, hereinafter abbreviated as TVF) shown in Reference Document 2. The TVF is a filter that performs smoothing adapted to an edge with reference to an absolute value difference (L1 norm) between a pixel to be processed and an adjacent pixel. As another example of the anisotropic diffusion filter, there is an anisotropic diffusion method (Perona-Malik Diffusion (PMD)) proposed by Perona-Malik.
これらの非等方拡散フィルタは、元々画像の復元等に用いられていたものであり、主に2次元平面内の画素の平滑化に対して適用されていた。本実施例では非等方拡散フィルタを2次元平面内の近傍画素だけでなく、時間方向の近傍画素にも同様に扱うことによって、時空間に適用可能な時空間非等方拡散フィルタに拡張したものである。 These anisotropic diffusion filters were originally used for image restoration or the like, and were mainly applied to smoothing pixels in a two-dimensional plane. In the present embodiment, the anisotropic diffusion filter is extended not only to neighboring pixels in the two-dimensional plane but also to neighboring pixels in the time direction in the same manner, thereby extending to a spatiotemporal anisotropic diffusion filter applicable to spatiotemporal. Is.
〔参考文献1〕辻,徳増,高橋,中嶋:“非等方拡散法に基づく空間平滑化フィルタの構築に関する基礎検討”,電子情報通信学会論文誌 D−II,Vol.J88−D−II,No.6,pp.1024−1034,(2005).
〔参考文献2〕L.Vese,S.Osher:“Modeling Textures with Total Variation Minimization and Oscillating Patterns in Image Processing”,Journal of Scientific Computing,19,pp.553−572,(2003).
[Reference 1] Tsuji, Tokumasa, Takahashi, Nakajima: “Basic study on construction of spatial smoothing filter based on anisotropic diffusion method”, IEICE Transactions D-II, Vol. J88-D-II, no. 6, pp. 1024-1034 (2005).
[Reference Document 2] Vese, S.M. Osher: “Modeling Textures with Total Variation Minimization and Oscillating Patterns in Image Processing”, Journal of Scientific Computing, 19, pp. 197 553-572 (2003).
以下、時空間非等方拡散フィルタによる平滑処理動作を説明する。ここでは、TVFの場合を説明し、そのフィルタ演算は数式1で表される。 Hereinafter, the smoothing operation by the space-time anisotropic diffusion filter will be described. Here, the case of TVF will be described, and the filter operation is expressed by Equation 1.
ここでαは処理を行う対象画素を示し、β,γはαの近傍の画素を示す。N(α)はαの近傍の画素の集合である。uは画素の信号強度(例えば輝度値)を示し、w(u)は画素間の信号強度(輝度)の差に反比例した関数である。よって、画素間で信号強度uの差が大きいときはw(u)は小さくなり、信号強度の差が小さいときはw(u)は大きくなる。λはフィルタリングの強度を調整するフィッティングパラメータである。TVFでは、数式1のフィルタを処理対象フレームの全ての画素に対して繰り返し施すことによってフィルタリングを行う。画素の輝度uは繰り返し処理された画像のものを用いるが、数式1の第2項については入力画像の画素を用いる。 Here, α indicates a target pixel to be processed, and β and γ indicate pixels in the vicinity of α. N (α) is a set of pixels in the vicinity of α. u represents the signal intensity (for example, luminance value) of the pixel, and w (u) is a function inversely proportional to the difference in signal intensity (luminance) between the pixels. Therefore, w (u) is small when the difference in signal intensity u is large between pixels, and w (u) is large when the difference in signal intensity is small. λ is a fitting parameter for adjusting the strength of filtering. In TVF, filtering is performed by repeatedly applying the filter of Formula 1 to all the pixels of the processing target frame. The luminance u of the pixel is that of the image that has been repeatedly processed, but the pixel of the input image is used for the second term of Equation 1.
図3は、TVFを用いた時空間の平滑化処理の一例を示す図である。
図3において、符号301が現フレームにおける処理対象画素αであり、符号302が現フレームに含まれる空間方向の近傍画素β、γであり、符号303が動き推定による前後フレームに含まれる時間方向の近傍画素β’、γ’である。従来は符号302で示す空間方向の近傍画素β、γでの処理であったが、本実施例では符号303で示す時間方向の近傍画素β’、γ’への処理を追加している。ここでは処理対象画素αを中心に、空間方向に4個の近傍画素と、時間方向に前後フレームの2個の近傍画素を処理範囲に含めている。
FIG. 3 is a diagram illustrating an example of a space-time smoothing process using a TVF.
In FIG. 3,
数式1において、平滑処理の重み係数hは、画素間の輝度の差に反比例した関数w(u)で決定する。よって、対象画素αと6個の近傍画素(β、γ、β’、γ’)を比較して、両者の輝度に大きな差がある方向、すなわち平面内ではエッジに垂直な方向、時間方向では動きのギャップがある方向に対しては、平滑化の重みを小さくし(弱い平滑処理)、輝度差が小さい方向に対しては平滑化の重みを大きくする(強い平滑処理)。これを繰り返し処理することによって画面の広い範囲に対してエッジや動きのギャップを反映したフィルタリングを実現する。 In Equation 1, the weighting factor h for smoothing is determined by a function w (u) that is inversely proportional to the luminance difference between pixels. Therefore, the target pixel α is compared with six neighboring pixels (β, γ, β ′, γ ′), and in the direction where there is a large difference in luminance between them, that is, in the direction perpendicular to the edge in the plane, in the time direction For a direction with a motion gap, the smoothing weight is decreased (weak smoothing process), and for a direction with a small luminance difference, the smoothing weight is increased (strong smoothing process). By repeating this process, filtering reflecting an edge and a gap of motion is realized over a wide range of the screen.
このように、空間方向だけでなく時間方向にも平滑化の近傍画素を拡張することにより、ブロックノイズやモスキートノイズといった空間方向のノイズだけでなく、画面のフリッカやドリフトノイズといった時間方向のノイズも除去することができる。 In this way, by expanding the neighboring pixels for smoothing not only in the spatial direction but also in the temporal direction, not only spatial noise such as block noise and mosquito noise, but also temporal noise such as screen flicker and drift noise. Can be removed.
本実施例の平滑化処理によれば、画像が本来持っている物体の形状や物体と背景の境界といったエッジや、物体の動きによる対応関係を保存しながら、圧縮によって生じたブロックノイズやモスキートノイズ、フリッカやドリフトノイズを削減することができ、高画質な出力画像を得ることができる。 According to the smoothing processing of the present embodiment, block noise and mosquito noise generated by compression while preserving the correspondence such as the shape of the object originally possessed by the image, the boundary between the object and the background, and the movement of the object. Flicker and drift noise can be reduced, and a high-quality output image can be obtained.
図4は、時空間非等方拡散フィルタを用いたいくつかの処理パターンの例を説明する。ここでも非等方拡散フィルタとしてTVFを用いている。 FIG. 4 illustrates examples of several processing patterns using a spatio-temporal anisotropic diffusion filter. Again, TVF is used as the anisotropic diffusion filter.
(a)は空間的な近傍画素を用いた画面内TVF401の場合(空間処理パターン)、(b)は時間的な動き補償位置(動き推定位置)を近傍画素として用いる動き補償時間TVF402の場合(時間処理パターン)、(c)は空間的な近傍と動き補償位置の両方を用いた動き補償時空間TVF403の場合(時空間処理パターン)である。
(A) is the case of the in-
上記実施例では、(c)の動き補償時空間TVF403によって時空間で高精度の平滑化を行うことを述べた。時間方向と空間方向の両方に対して同時に処理を行うことによって、最も画質を向上させることができるのは言うまでもない。一方で、(b)の動き補償時間TVF402の場合でも、非等方拡散フィルタの時間方向への適用ということで、新たな処理機能が可能となる。その場合、例えば(b)に示すように前後それぞれ2フレームを含む計5フレームでの処理が可能となり、時間方向に前後2近傍の処理を繰り返すことによって時間方向の平滑化を行う。
In the above embodiment, it has been described that high-precision smoothing is performed in space-time by the motion-compensated space-
以上の各処理パターン、(a)空間方向のみ、(b)時間方向のみ、(c)時間方向と空間方向の両方について、フレームの特徴や画素の特徴に応じて切り替えてもよい。これにより、フレームや画素によって適した処理パターンを選択することで、より効率的に画質を向上させることができる。 Each of the above processing patterns, (a) only in the spatial direction, (b) only in the temporal direction, and (c) both in the temporal direction and the spatial direction may be switched according to the characteristics of the frame and the characteristics of the pixels. Thereby, the image quality can be improved more efficiently by selecting a processing pattern suitable for each frame or pixel.
以上説明した各実施例は、単独でもまた組み合わせても有効に実施できる。また、時空間領域での平滑化処理に用いる時空間非等方拡散フィルタの具体構成は、実施例で述べたものに限定されず、同様の機能を有するフィルタであれば同様に使用できることは言うまでもない。 Each of the embodiments described above can be effectively implemented either alone or in combination. In addition, the specific configuration of the spatio-temporal anisotropic diffusion filter used for the smoothing process in the spatio-temporal region is not limited to that described in the embodiment, and it goes without saying that any filter having a similar function can be used in the same manner. Yes.
本実施例の画像処理装置及び画像処理方法によれば、例えば、高圧縮率で符号化された画質の低い復号画像を復号側で高画質に出力することができる。 According to the image processing apparatus and the image processing method of the present embodiment, for example, a decoded image with low image quality encoded at a high compression rate can be output with high image quality on the decoding side.
さらに、本実施例の画像処理装置及び画像処理方法は、画像記録装置、プレーヤ、携帯電話、携帯端末、デジタルカメラ、TV、プロジェクタ、各種ディスプレイ、ゲーム機等の各種の映像処理装置に適用することによって、精度の高い映像処理装置を提供することができる。 Furthermore, the image processing apparatus and the image processing method of the present embodiment are applied to various video processing apparatuses such as an image recording apparatus, a player, a mobile phone, a portable terminal, a digital camera, a TV, a projector, various displays, and a game machine. Therefore, it is possible to provide a video processing apparatus with high accuracy.
100…画像処理装置、101…画像入力部、102…フレームバッファ、103…動き推定部、104…時空間非等方拡散フィルタ、105…画像出力部。
DESCRIPTION OF
Claims (10)
該動き推定部により推定した時間方向に対応する画素間でそれらの信号強度に応じて異なる平滑化処理を行うフィルタとを備え、
該フィルタは、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行うことを特徴とする画像処理装置。 A motion estimation unit that estimates corresponding pixels between adjacent frames for an input image;
A filter that performs different smoothing processing according to the signal strength between pixels corresponding to the time direction estimated by the motion estimation unit,
An image processing apparatus characterized in that the filter performs weak smoothing when the signal intensity difference between pixels is large and performs strong smoothing when the signal intensity difference is small.
さらに前記フィルタは、フレーム内近接画素との間でエッジの方向に応じて異なる平滑化処理を行うものであって、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
Further, the filter performs different smoothing processing depending on the direction of the edge between adjacent pixels in the frame, and performs strong smoothing in the direction parallel to the edge, and the direction perpendicular to the edge. An image processing apparatus that performs weak smoothing on the image.
前記フィルタは、同一画像に対する平滑化処理を所定回数繰り返し行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1, wherein:
The image processing apparatus, wherein the filter repeatedly performs a smoothing process on the same image a predetermined number of times.
前記フィルタは非等方拡散フィルタであることを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 3,
The image processing apparatus, wherein the filter is an anisotropic diffusion filter.
前記非等方拡散フィルタはトータルバリエーションフィルタであることを特徴とする画像処理装置。 The image processing apparatus according to claim 4,
The image processing apparatus, wherein the anisotropic diffusion filter is a total variation filter.
該推定した時間方向に対応する画素間でそれらの信号強度に応じて異なる平滑化処理を行うステップとを備え、
該平滑化処理ステップでは、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行うことを特徴とする画像処理方法。 Estimating a corresponding pixel between adjacent frames for an input image;
Performing different smoothing processes depending on their signal strength between pixels corresponding to the estimated time direction,
An image processing method characterized in that, in the smoothing processing step, weak smoothing is performed when the signal intensity difference between pixels is large, and strong smoothing is performed when the signal intensity difference is small.
さらに、フレーム内近接画素との間でエッジの方向に応じて異なる平滑化処理を行うステップを備え、
該平滑化処理ステップでは、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行うことを特徴とする画像処理方法。 The image processing method according to claim 6,
Further, the method includes a step of performing different smoothing processing depending on the direction of the edge between adjacent pixels in the frame,
In the smoothing processing step, strong smoothing is performed in a direction parallel to the edge, and weak smoothing is performed in a direction perpendicular to the edge.
前記平滑化処理ステップでは、同一画像に対する平滑化処理を所定回数繰り返し行うことを特徴とする画像処理方法。 The image processing method according to claim 6 or 7,
In the smoothing process step, the smoothing process for the same image is repeatedly performed a predetermined number of times.
前記平滑化処理ステップにおいて非等方拡散フィルタを用いることを特徴とする画像処理方法。 The image processing method according to any one of claims 6 to 8, comprising:
An image processing method using an anisotropic diffusion filter in the smoothing step.
前記非等方拡散フィルタとしてトータルバリエーションフィルタを用いることを特徴とする画像処理方法。 The image processing method according to claim 9, comprising:
An image processing method using a total variation filter as the anisotropic diffusion filter.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007245347A JP5180550B2 (en) | 2007-09-21 | 2007-09-21 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007245347A JP5180550B2 (en) | 2007-09-21 | 2007-09-21 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009077240A true JP2009077240A (en) | 2009-04-09 |
JP5180550B2 JP5180550B2 (en) | 2013-04-10 |
Family
ID=40611775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007245347A Active JP5180550B2 (en) | 2007-09-21 | 2007-09-21 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5180550B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011029987A (en) * | 2009-07-27 | 2011-02-10 | Toshiba Corp | Compression distortion elimination apparatus |
JP2012005069A (en) * | 2010-06-21 | 2012-01-05 | Fujitsu Ltd | Image processing apparatus |
JP2013509763A (en) * | 2009-10-29 | 2013-03-14 | シコラ,トマス | Method and apparatus for processing video sequences |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07231450A (en) * | 1994-02-04 | 1995-08-29 | At & T Corp | Filter device and method for reducing artifact in moving video picture signal system |
JPH08251579A (en) * | 1995-03-08 | 1996-09-27 | Nippon Telegr & Teleph Corp <Ntt> | Image encoding device |
JPH09130648A (en) * | 1995-10-27 | 1997-05-16 | Toshiba Corp | Moving image signal processor |
JP2005216219A (en) * | 2004-02-02 | 2005-08-11 | Mori Net Kk | Adaptive smoothing filtering device and filtering method |
JP2005245041A (en) * | 2005-05-24 | 2005-09-08 | Sony Corp | Bandwidth-limiting processor, reproducing apparatus, bandwidth-limiting processing method, and reproducing method |
JP2007050110A (en) * | 2005-08-18 | 2007-03-01 | Pentax Corp | Image processor and electronic endoscope system |
JP2007143178A (en) * | 2001-11-29 | 2007-06-07 | Matsushita Electric Ind Co Ltd | Method for removing coding distortion |
JP2007150432A (en) * | 2005-11-24 | 2007-06-14 | Toshiba Corp | Method and device of encoding/decoding moving picture |
JP2007184800A (en) * | 2006-01-10 | 2007-07-19 | Hitachi Ltd | Image encoding device, image decoding device, image encoding method, and image decoding method |
-
2007
- 2007-09-21 JP JP2007245347A patent/JP5180550B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07231450A (en) * | 1994-02-04 | 1995-08-29 | At & T Corp | Filter device and method for reducing artifact in moving video picture signal system |
JPH08251579A (en) * | 1995-03-08 | 1996-09-27 | Nippon Telegr & Teleph Corp <Ntt> | Image encoding device |
JPH09130648A (en) * | 1995-10-27 | 1997-05-16 | Toshiba Corp | Moving image signal processor |
JP2007143178A (en) * | 2001-11-29 | 2007-06-07 | Matsushita Electric Ind Co Ltd | Method for removing coding distortion |
JP2005216219A (en) * | 2004-02-02 | 2005-08-11 | Mori Net Kk | Adaptive smoothing filtering device and filtering method |
JP2005245041A (en) * | 2005-05-24 | 2005-09-08 | Sony Corp | Bandwidth-limiting processor, reproducing apparatus, bandwidth-limiting processing method, and reproducing method |
JP2007050110A (en) * | 2005-08-18 | 2007-03-01 | Pentax Corp | Image processor and electronic endoscope system |
JP2007150432A (en) * | 2005-11-24 | 2007-06-14 | Toshiba Corp | Method and device of encoding/decoding moving picture |
JP2007184800A (en) * | 2006-01-10 | 2007-07-19 | Hitachi Ltd | Image encoding device, image decoding device, image encoding method, and image decoding method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011029987A (en) * | 2009-07-27 | 2011-02-10 | Toshiba Corp | Compression distortion elimination apparatus |
JP2013509763A (en) * | 2009-10-29 | 2013-03-14 | シコラ,トマス | Method and apparatus for processing video sequences |
JP2012005069A (en) * | 2010-06-21 | 2012-01-05 | Fujitsu Ltd | Image processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5180550B2 (en) | 2013-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3308921B2 (en) | Video data loop filtering method and apparatus | |
US7076113B2 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
JP4565010B2 (en) | Image decoding apparatus and image decoding method | |
JP5207942B2 (en) | Video data post-processing method and apparatus for reducing quantization effect | |
JP4455487B2 (en) | Decoding device, decoding method, and program | |
US8577168B2 (en) | System and method for in-loop deblocking in scalable video coding | |
JP5276170B2 (en) | Method and apparatus for detecting banding artifacts | |
JP2006229411A (en) | Image decoder and image decoding method | |
EP1506525B1 (en) | System for and method of sharpness enhancement for coded digital video | |
JP2008301336A (en) | Image processing device, image encoding device and image decoding device | |
JP5491506B2 (en) | Method and apparatus for detecting dark noise artifacts | |
JP5180550B2 (en) | Image processing apparatus and image processing method | |
JP4824708B2 (en) | Moving picture encoding method, apparatus, program, and computer-readable recording medium | |
TWI782853B (en) | Image encoding device, image encoding method, image decoding device, image decoding method | |
JP4528255B2 (en) | Video decoding apparatus and video decoding program | |
Võ et al. | Localized filtering for artifact removal in compressed images | |
Lee et al. | Pre-filtering with Contents-based Adaptive Filter Set for High Efficiency Video Coding Standard | |
JP5715533B2 (en) | Moving image quality restoration apparatus, moving image quality restoration method, and program | |
JP2001145104A (en) | Method and device for decoding image | |
JP2007538451A (en) | Algorithms to reduce artifacts in decoded video | |
JP2005006007A (en) | Image processing apparatus and image processing method | |
JPS6213167A (en) | Picture signal preprocessing system | |
JP2007312316A (en) | Video processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5180550 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |