JP2010251874A - Encoded image correction device, and program of the same - Google Patents
Encoded image correction device, and program of the same Download PDFInfo
- Publication number
- JP2010251874A JP2010251874A JP2009096587A JP2009096587A JP2010251874A JP 2010251874 A JP2010251874 A JP 2010251874A JP 2009096587 A JP2009096587 A JP 2009096587A JP 2009096587 A JP2009096587 A JP 2009096587A JP 2010251874 A JP2010251874 A JP 2010251874A
- Authority
- JP
- Japan
- Prior art keywords
- encoded image
- correction
- spatial frequency
- frequency component
- wavelet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
本発明は、符号化された画像である符号化画像における空間周波数成分の高周波数領域を低減する符号化画像補正装置及びそのプログラムに関する。 The present invention relates to an encoded image correction apparatus that reduces a high frequency region of a spatial frequency component in an encoded image that is an encoded image, and a program thereof.
従来から、肉眼が高周波数成分に対する感度が低いといった視覚特性を利用して、符号化画像の符号化効率を向上させる符号化画像フィルタが提案されている（特許文献１〜３参照）。例えば、特許文献１に記載の発明は、画像を符号化小ブロックに分割して、ＤＣＴ（Discrete Cosine Transform）等の直交変換及びその直交変換係数を量子化した後、この画像を解析してフィルタ特性を変更するものである。これによって、特許文献１に記載の発明は、隣接する符号化小ブロック間でフィルタ特性が極端に異なることを防止して、画質劣化を抑えている。 Conventionally, an encoded image filter that improves the encoding efficiency of an encoded image using visual characteristics that the naked eye has low sensitivity to high frequency components has been proposed (see Patent Documents 1 to 3). For example, in the invention described in Patent Document 1, an image is divided into encoded small blocks, orthogonal transform such as DCT (Discrete Cosine Transform) and its orthogonal transform coefficient are quantized, and then the image is analyzed and filtered. It changes the characteristics. As a result, the invention described in Patent Document 1 prevents image quality deterioration by preventing the filter characteristics from being extremely different between adjacent encoded small blocks.
また、特許文献２に記載の発明は、動き補償が行われない領域に対して、空間方向に強いローパスフィルタを適用するものである。さらに、特許文献３に記載の発明は、画面を複数のブロックに分割し、適宜フィルタ強度を設定してそのフィルタ強度でフィルタリングを行うものである。これら特許文献１〜３に記載の発明は、符号化小ブロックを用いてＤＣＴ等の直交変換を行う符号化方法では、画質の劣化を効果的に低減する。 The invention described in Patent Document 2 applies a low-pass filter that is strong in the spatial direction to a region where motion compensation is not performed. Furthermore, the invention described in Patent Document 3 divides the screen into a plurality of blocks, sets the filter strength as appropriate, and performs filtering with the filter strength. The inventions described in these Patent Documents 1 to 3 effectively reduce deterioration of image quality in an encoding method that performs orthogonal transform such as DCT using encoded small blocks.
しかし、特許文献１〜３に記載の発明は、ｄｉｒａｃ等のウェーブレット分解を用いる符号化方式では、画質の劣化を低減できないという問題がある。ここで、ＭＰＥＧ(Moving Picture Experts Group)−２、ＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）等の符号化方式では、直交変換歪等の符号化歪が、空間方向のブロック領域に存在する。一方、ウェーブレット分解を用いる符号化方式では、ウェーブレット分解された空間周波数成分に応じた空間周波数劣化が画面全体にわたって存在する。このため、特許文献１〜３に記載の発明では、この空間周波数劣化を効果的に防止できない。 However, the inventions described in Patent Documents 1 to 3 have a problem that image quality deterioration cannot be reduced by an encoding method using wavelet decomposition such as dirac. Here, in coding schemes such as MPEG (Moving Picture Experts Group) -2 and MPEG-4 AVC (Advanced Video Coding), coding distortion such as orthogonal transformation distortion exists in the block area in the spatial direction. On the other hand, in an encoding method using wavelet decomposition, spatial frequency degradation corresponding to the spatial frequency component subjected to wavelet decomposition exists over the entire screen. For this reason, the inventions described in Patent Documents 1 to 3 cannot effectively prevent this spatial frequency deterioration.
そこで、本発明は、ウェーブレット分解を用いる符号化方式において、画質の劣化を低減しつつ符号化効率を向上させる符号化画像補正装置及びそのプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an encoded image correction apparatus and a program thereof that improve encoding efficiency while reducing image quality deterioration in an encoding method using wavelet decomposition.
前記した課題を解決するため、本願第一発明に係る符号化画像補正装置は、符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減する符号化画像補正装置であって、ウェーブレット分解手段と、記憶手段と、符号化画像補正手段と、ウェーブレット再構成手段と、を備えることを特徴とする。 In order to solve the above-described problems, an encoded image correction apparatus according to the first invention of the present application is an encoded image correction apparatus that reduces a spatial frequency component in a high frequency region in an encoded image that is an encoded image. A wavelet decomposition unit, a storage unit, an encoded image correction unit, and a wavelet reconstruction unit.
かかる構成によれば、符号化画像補正装置は、ウェーブレット分解手段によって、符号化画像が入力されると共に、符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に符号化画像の空間周波数成分を算出する。また、符号化画像補正装置は、記憶手段によって、所定のコントラスト感度特性に基づいて算出した周波数領域毎のコントラスト感度値について正規化して予め設定した補正係数を記憶する。ここで、本発明では、例えば、所定のコントラスト感度特性（例えば、図２）から空間周波数（ＣＰＤ）に対するコントラスト感度値の基本値を求める。そして、本発明では、補正係数は、例えば、コントラスト感度値の基本値から、周波数領域毎のコントラスト感度値を求め、このコントラスト感度値を０〜１の範囲内で正規化して予め設定しておく。 According to such a configuration, the encoded image correction apparatus receives the encoded image by the wavelet decomposition means, performs two-dimensional multi-order discrete wavelet decomposition on the encoded image, and encodes each frequency domain decomposed into multiple orders. The spatial frequency component of the digitized image is calculated. Further, the encoded image correction apparatus stores the correction coefficient preset by normalizing the contrast sensitivity value for each frequency region calculated based on the predetermined contrast sensitivity characteristic by the storage unit. Here, in the present invention, for example, the basic value of the contrast sensitivity value for the spatial frequency (CPD) is obtained from a predetermined contrast sensitivity characteristic (for example, FIG. 2). In the present invention, the correction coefficient is set in advance by, for example, obtaining a contrast sensitivity value for each frequency region from the basic value of the contrast sensitivity value, normalizing the contrast sensitivity value within a range of 0 to 1. .
また、符号化画像補正装置は、符号化画像補正手段によって、ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算して補正する。つまり、符号化画像補正装置は、符号化画像補正手段によって、この補正係数を高周波数領域の空間周波数成分に乗算して、高周波数領域の空間周波数成分を低減する。そして、符号化画像補正装置は、ウェーブレット再構成手段によって、符号化画像補正手段が補正した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力する。つまり、符号化画像補正装置は、ウェーブレット再構成手段によって、補正された空間周波数成分をウェーブレット再構成し、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力する。 In the encoded image correction apparatus, the encoded image correction unit multiplies the spatial frequency component for each frequency domain calculated by the wavelet decomposition unit by a correction coefficient corresponding to the frequency domain. In other words, the encoded image correction apparatus multiplies the spatial frequency component in the high frequency region by the encoded coefficient correction means to reduce the spatial frequency component in the high frequency region. Then, the encoded image correction apparatus reconstructs the spatial frequency component corrected by the encoded image correction unit by the wavelet reconstruction unit, and outputs a corrected encoded image. That is, the encoded image correction device wavelet reconstructs the corrected spatial frequency component by the wavelet reconstruction unit, and outputs a corrected encoded image in which the spatial frequency component in the high frequency region is reduced.
また、本願第二発明に係る符号化画像補正装置は、水平方向と垂直方向との両方向に高周波数領域を有する解像度異方性領域の空間周波数成分については、記憶手段は、低周波数領域の位置を基準とした解像度異方性領域の位置に応じて予め設定された解像度異方性係数を記憶し、符号化画像補正手段は、解像度異方性領域の空間周波数成分に、補正係数と、解像度異方性領域の位置に応じた解像度異方性係数とを乗算することを特徴とする。 In addition, the encoded image correction apparatus according to the second invention of the present application is configured to store the spatial frequency component of the resolution anisotropy region having the high frequency region in both the horizontal direction and the vertical direction in the position of the low frequency region. A resolution anisotropy coefficient set in advance according to the position of the resolution anisotropy area with reference to the image is stored, and the encoded image correction means includes a correction coefficient and a resolution in the spatial frequency component of the resolution anisotropy area. The resolution anisotropy coefficient corresponding to the position of the anisotropic region is multiplied.
ここで、肉眼の斜め方向の感度は、水平方向及び垂直方向の感度の約半分となる。そこで、符号化画像補正装置は、符号化画像補正手段によって、この視覚特性を利用して、低周波数領域に対して斜め方向に位置する解像度異方性領域の空間周波数成分をより低減する。 Here, the sensitivity in the oblique direction of the naked eye is about half of the sensitivity in the horizontal direction and the vertical direction. Therefore, the encoded image correction apparatus further reduces the spatial frequency component of the resolution anisotropy region located in the oblique direction with respect to the low frequency region by using the visual characteristics by the encoded image correction unit.
また、前記した課題を解決するため、本願第三発明に係る符号化画像補正プログラムは、符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減するために、所定のコントラスト感度特性に基づいて算出した周波数領域毎のコントラスト感度値について正規化して予め設定した補正係数を記憶する記憶手段を備えるコンピュータを、ウェーブレット分解手段、符号化画像補正手段、ウェーブレット再構成手段、として機能させることを特徴とする。 In order to solve the above-described problem, the encoded image correction program according to the third invention of the present application is provided with a predetermined contrast in order to reduce a spatial frequency component in a high frequency region in an encoded image that is an encoded image. A computer having a storage means for storing a correction coefficient that is preset by normalizing the contrast sensitivity value for each frequency domain calculated based on the sensitivity characteristics, functions as a wavelet decomposition means, an encoded image correction means, and a wavelet reconstruction means It is characterized by making it.
かかる構成によれば、符号化画像補正プログラムは、ウェーブレット分解手段によって、符号化画像が入力されると共に、符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に符号化画像の空間周波数成分を算出する。そして、符号化画像補正プログラムは、符号化画像補正手段によって、ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算して補正する。つまり、符号化画像補正プログラムは、符号化画像補正手段によって、この補正係数を高周波数領域の空間周波数成分に乗算して、高周波数領域の空間周波数成分を低減する。さらに、符号化画像補正プログラムは、ウェーブレット再構成手段によって、符号化画像補正手段が補正した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力する。つまり、符号化画像補正プログラムは、ウェーブレット再構成手段によって、補正された空間周波数成分をウェーブレット再構成し、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力する。 According to such a configuration, the encoded image correction program receives the encoded image by the wavelet decomposing means, performs two-dimensional multi-order discrete wavelet decomposition on the encoded image, and performs encoding for each frequency domain decomposed into multi-orders. The spatial frequency component of the digitized image is calculated. The encoded image correction program corrects the encoded image correction unit by multiplying the spatial frequency component for each frequency domain calculated by the wavelet decomposition unit by a correction coefficient corresponding to the frequency domain. That is, the encoded image correction program reduces the spatial frequency component of the high frequency region by multiplying the spatial frequency component of the high frequency region by the correction coefficient by the encoded image correction unit. Further, the encoded image correction program reconstructs the spatial frequency component corrected by the encoded image correction means by the wavelet reconstruction means, and outputs a corrected encoded image. In other words, the encoded image correction program outputs a corrected encoded image in which the spatial frequency components corrected by the wavelet reconstruction unit are wavelet reconstructed and the spatial frequency components in the high frequency region are reduced.
本発明によれば、以下のような優れた効果を奏する。
本願第一，三発明によれば、ウェーブレット分解を用いる符号化方式において、肉眼のコントラスト感度特性が帯域通過特性を持ち、輝度が低いと低域通過特性になるという視覚特性を利用して、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力するため、画質の劣化を低減しつつ符号化効率を向上させることができる。
本願第二発明によれば、肉眼の斜め方向の感度が低くなるという視覚特性を利用して、解像度異方性領域の空間周波数成分をより低減するため、符号化効率をより向上させることができる。
According to the present invention, the following excellent effects can be obtained.
According to the first and third inventions of the present application, in the encoding method using wavelet decomposition, the visual sensitivity characteristic that the contrast sensitivity characteristic of the naked eye has a band pass characteristic and becomes low pass characteristic when the luminance is low is used. Since the corrected encoded image in which the spatial frequency component in the frequency domain is reduced is output, it is possible to improve the encoding efficiency while reducing the deterioration of the image quality.
According to the second invention of the present application, the spatial frequency component of the resolution anisotropy region is further reduced by utilizing the visual characteristic that the sensitivity in the oblique direction of the naked eye is lowered, so that the encoding efficiency can be further improved. .
［符号化画像補正装置の構成］
本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
以下、図１を参照して、本発明の実施形態に係る符号化画像補正装置１の構成について、説明する。符号化画像補正装置１は、符号化された画像である符号化画像における高周波数領域の空間周波数成分を低減するものである。図１に示すように、符号化画像補正装置１は、ガンマ値設定手段１１と、ウェーブレット階数設定手段１２と、補正係数記憶手段（記憶手段）１３と、逆ガンマ補正手段１４と、ウェーブレット分解手段１５と、符号化画像補正手段１６と、ウェーブレット再構成手段１７と、ガンマ補正手段１８とを備える。
[Configuration of Encoded Image Correction Device]
Embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
Hereinafter, the configuration of the encoded image correction apparatus 1 according to the embodiment of the present invention will be described with reference to FIG. The encoded image correction apparatus 1 reduces a spatial frequency component in a high frequency region in an encoded image that is an encoded image. As shown in FIG. 1, the encoded image correction apparatus 1 includes a gamma value setting unit 11, a wavelet rank setting unit 12, a correction coefficient storage unit (storage unit) 13, an inverse gamma correction unit 14, and a wavelet decomposition unit. 15, an encoded image correction unit 16, a wavelet reconstruction unit 17, and a gamma correction unit 18.
ガンマ値設定手段１１は、ガンマ補正前のガンマ値と、ガンマ補正後のガンマ値とが予め設定されると共に、これらガンマ値を後記する逆ガンマ補正手段１４及びガンマ補正手段１８に出力するものである。ここで、ガンマ値設定手段１１は、オペレータ等により、これらガンマ値が手動で設定される。そして、ガンマ値設定手段１１は、これらガンマ値を示すガンマ値設定信号を逆ガンマ補正手段１４及びガンマ補正手段１８に出力する。 The gamma value setting means 11 has a gamma value before gamma correction and a gamma value after gamma correction set in advance, and outputs these gamma values to an inverse gamma correction means 14 and a gamma correction means 18 described later. is there. Here, the gamma value setting means 11 manually sets these gamma values by an operator or the like. Then, the gamma value setting means 11 outputs a gamma value setting signal indicating these gamma values to the inverse gamma correction means 14 and the gamma correction means 18.
ウェーブレット階数設定手段１２は、ウェーブレット分解及びウェーブレット再構成の階数が予め設定されると共に、この階数を後記するウェーブレット分解手段１５及びウェーブレット再構成手段１７に出力するものである。ここで、ウェーブレット階数設定手段１２は、オペレータ等により、この階数が手動で設定される。そして、ウェーブレット階数設定手段１２は、この階数を示す階数設定信号をウェーブレット分解手段１５及びウェーブレット再構成手段１７に出力する。 The wavelet rank setting means 12 is for presetting the ranks of wavelet decomposition and wavelet reconstruction, and outputs the ranks to the wavelet decomposition means 15 and the wavelet reconstruction means 17 described later. Here, in the wavelet floor setting means 12, this floor is manually set by an operator or the like. Then, the wavelet floor setting unit 12 outputs a floor setting signal indicating this floor to the wavelet decomposition unit 15 and the wavelet reconstruction unit 17.
補正係数記憶手段１３は、予め設定された補正係数を記憶するメモリ、ハードディスク等の記憶手段である。この補正係数は、周波数領域毎のコントラスト感度値について高周波数領域の空間周波数成分が低周波数領域の空間周波数成分より小さな値となるように正規化して予め設定したものである。なお、補正係数記憶手段１３が、請求項に記載の記憶手段に相当する。 The correction coefficient storage unit 13 is a storage unit such as a memory or a hard disk that stores preset correction coefficients. This correction coefficient is preset by normalizing the contrast sensitivity value for each frequency region so that the spatial frequency component in the high frequency region is smaller than the spatial frequency component in the low frequency region. The correction coefficient storage unit 13 corresponds to the storage unit described in the claims.
＜補正係数の詳細＞
以下、図２〜図４を参照して、補正係数について、詳細に説明する（適宜図１参照）。ここで、図２では、空間周波数成分に対するコントラスト感度値を網膜照度（td：トロランド）で示した。この１（td）は、輝度１（cd／m２）の面を、１（mm２）の面積の瞳を通して見る場合の照度に相当する。つまり、図２では、９００（td）の曲線が約３００（cd／m２）に相当し、テレビ放送の最高輝度付近となる。ここで、コントラスト感度特性は、明るさによっても異なるが、９０（td）〜９００（td）ではあまり差は無い。また、９００（td）では暗所の雑音成分が目立つため、ここでは、９００（td）の曲線ではなく、９０（td）の曲線を基準値とする。
<Details of correction factor>
Hereinafter, the correction coefficient will be described in detail with reference to FIGS. 2 to 4 (see FIG. 1 as appropriate). Here, in FIG. 2, the contrast sensitivity value with respect to the spatial frequency component is represented by retinal illuminance (td: Toroland). This 1 (td) corresponds to the illuminance when a surface having a luminance of 1 (cd / m 2 ) is viewed through a pupil having an area of 1 (mm 2 ). That is, in FIG. 2, the curve of 900 (td) corresponds to about 300 (cd / m 2 ), which is near the maximum luminance of television broadcasting. Here, the contrast sensitivity characteristic varies depending on the brightness, but there is not much difference between 90 (td) and 900 (td). Further, since a noise component in a dark place is conspicuous at 900 (td), a curve of 90 (td) is used as a reference value instead of a curve of 900 (td).
また、図２のコントラスト感度値は、マイケルソンコントラストで定義される。このマイケルソンコントラストは、図３に示すように、正弦波コントラストの振幅に対する輝度であり、下記式（１）で表される。 The contrast sensitivity value in FIG. 2 is defined by Michelson contrast. As shown in FIG. 3, the Michelson contrast is a luminance with respect to the amplitude of the sine wave contrast, and is represented by the following formula (1).
ＭＣ＝（Ｌｍａｘ−Ｌｍｉｍ）／（Ｌｍａｘ＋Ｌｍｉｍ）・・・式（１） MC = (L max −L mim ) / (L max + L mim ) (1)
なお、式（１）では、ＭＣはマイケルソンコントラストを示し、Ｌｍａｘが正弦波コントラストの振幅の最大値を示し、Ｌｍｉｍが正弦波コントラストの振幅の最小値を示す。 In Equation (1), MC represents Michelson contrast, L max represents the maximum amplitude of the sine wave contrast, and L mim represents the minimum amplitude of the sine wave contrast.
ここで、図３上段のコントラストが高い画像では、正弦波コントラストの輝度の振幅Ａが大きくなるので、式（１）より、マイケルソンコントラストが０に近い小さな値となる。また、図３下段のコントラストが低い画像では、正弦波コントラストの輝度の振幅が小さくなるので、式（１）より、マイケルソンコントラストが１に近い大きな値となる。そして、図３中段の画像では、マイケルソンコントラストが、これらの中間値となる。 Here, in the image with high contrast in the upper part of FIG. 3, since the amplitude A of the luminance of the sine wave contrast is large, the Michelson contrast is a small value close to 0 from the equation (1). In the lower contrast image in FIG. 3, the amplitude of the luminance of the sine wave contrast is small, so that the Michelson contrast is a large value close to 1 from Equation (1). In the middle image of FIG. 3, the Michelson contrast is an intermediate value between them.
また、コントラスト感度値は、１／コントラスト閾値で表される。従って、図２に示すように、コントラスト感度値は、空間周波数成分が２２付近の場合、空間周波数成分が１１付近の場合に比べて、約３倍感度が低いことになる。言い換えると、明暗比が３倍あっても、肉眼では両者の差を検知できないことを意味する。なお、コントラスト閾値とは、肉眼で刺激を検出できる最低のコントラストである。 The contrast sensitivity value is represented by 1 / contrast threshold value. Therefore, as shown in FIG. 2, the contrast sensitivity value is approximately three times lower in sensitivity when the spatial frequency component is near 22 than when the spatial frequency component is near 11. In other words, even if the light / dark ratio is three times, it means that the difference between the two cannot be detected with the naked eye. The contrast threshold is the lowest contrast at which a stimulus can be detected with the naked eye.
また、図２の空間周波数成分は、視角１(deg.)あたりの空間周波数成分を示すＣＰＤ(Cycle Per Degree）で示している。以下、図４を参照し、空間周波数成分をＣＰＤで扱う利点について、説明する。 The spatial frequency component in FIG. 2 is indicated by CPD (Cycle Per Degree) indicating the spatial frequency component per viewing angle 1 (deg.). Hereinafter, with reference to FIG. 4, the advantage of handling the spatial frequency component by CPD will be described.
図４（ａ）に示すように、水平１９２０(pixels)×垂直１０８０(line)のハイビジョン（High Definition Television）解像度で標準観視距離が３(H)の場合、水平１９２０(pixels)に対して視角が約３３(deg.)になる。ここで、白と黒の対が最も高い周波数の１本の波となるので、水平１９２０(pixels)内で、「白黒白黒・・・」を表すと９６０本描けることになる。従って、水平１９２０(pixels)で表示可能な水平方向の最高周波数は９６０（CPD）となる。このため、空間周波数成分は、水平方向では、水平１９２０(pixels)／視角３３(deg.)／２の計算を行い、最大で約２９(CPD)となる。なお、Ｈは画面高を示す。 As shown in FIG. 4A, when the standard viewing distance is 3 (H) at a high definition (High Definition Television) resolution of horizontal 1920 (pixels) × vertical 1080 (line), the horizontal 1920 (pixels) The viewing angle is about 33 (deg.). Here, since a pair of white and black is one wave having the highest frequency, 960 lines can be drawn when "monochrome black and white ..." is represented in the horizontal 1920 (pixels). Accordingly, the maximum horizontal frequency that can be displayed in horizontal 1920 (pixels) is 960 (CPD). For this reason, the spatial frequency component is calculated as horizontal 1920 (pixels) / viewing angle 33 (deg.) / 2 in the horizontal direction, and is about 29 (CPD) at the maximum. H indicates the screen height.
また、垂直１０８０(line)に対して、視角は、約２０(deg.)になる。このため、空間周波数成分は、垂直方向では、垂直１０８０(line)／視角２０(deg.)／２の計算を行い、最大で約２７(CPD)となる。このことから、水平１９２０(pixels)に対して視角が約３０（deg.）で、水平方向の空間周波数成分を約３０（CPD）と扱い、垂直１０８０（line）に対して視角が約２０(deg.)で、垂直方向の空間周波数成分を約３０（CPD）として扱うことができる。 Further, with respect to the vertical 1080 (line), the viewing angle is about 20 (deg.). For this reason, the spatial frequency component is calculated to be vertical 1080 (line) / viewing angle 20 (deg.) / 2 in the vertical direction, and is about 27 (CPD) at the maximum. Accordingly, the viewing angle is about 30 (deg.) With respect to the horizontal 1920 (pixels), the spatial frequency component in the horizontal direction is about 30 (CPD), and the viewing angle is about 20 (with respect to the vertical 1080 (line). deg.), the vertical spatial frequency component can be treated as about 30 (CPD).
図４（ｂ）に示すように、水平７６８０(pixels)×垂直４３２０(line)のスーパーハイビジョン（Ultra High Definition Television）解像度で標準観視距離が０．７５(H）の場合、水平７６８０(pixels)に対して視角が約１００(deg.)なる。このため、空間周波数成分は、水平方向では、水平７６８０(pixels)／視角１００(deg.)／２の計算を行い、最大で約３８(CPD)となる。 As shown in FIG. 4B, when the standard viewing distance is 0.75 (H) at a resolution of Super High Definition Television (horizontal 7680 (pixels) × vertical 4320 (line)), horizontal 7680 (pixels). ) Is about 100 (deg.). For this reason, the spatial frequency component is calculated to be horizontal 7680 (pixels) / viewing angle 100 (deg.) / 2 in the horizontal direction, and is about 38 (CPD) at the maximum.
垂直４３２０（line）に対して、視角は、約６５(deg.)となる。このため、空間周波数成分は、垂直方向では、垂直４３２０(line)／視角６５(deg.)／２の計算を行い、最大で約３３(CPD)となる。このときも、ハイビジョン解像度と同様に、水平７６８０(pixels)に対して視角が約１００（deg.）で、水平方向の空間周波数成分を約３０（CPD）と扱い、垂直４３２０（line）に対して視角が約６５(deg.)で、垂直方向の空間周波数成分を約３０（CPD）として扱うことができる。以上のように、空間周波数成分をＣＰＤで扱うと、符号化画像の解像度に関わらず、水平方向又は垂直方向の空間周波数成分の最大値を等しく扱えるため、補正処理において都合が良い。 The viewing angle is about 65 (deg.) With respect to the vertical 4320 (line). For this reason, the spatial frequency component is calculated as vertical 4320 (line) / viewing angle 65 (deg.) / 2 in the vertical direction, and is about 33 (CPD) at the maximum. At this time, similarly to the high-definition resolution, the viewing angle is about 100 (deg.) With respect to the horizontal 7680 (pixels), the spatial frequency component in the horizontal direction is about 30 (CPD), and the vertical 4320 (line) The viewing angle is about 65 (deg.) And the vertical spatial frequency component can be handled as about 30 (CPD). As described above, when the spatial frequency component is handled by CPD, the maximum value of the spatial frequency component in the horizontal direction or the vertical direction can be treated equally regardless of the resolution of the encoded image, which is convenient in the correction processing.
以下、図２のコントラスト感度値より求めた補正係数の具体例を示す。なお、補正係数は、０以上１以下の値となるように、高周波数領域のコントラスト感度値を低周波数領域のコントラスト感度値で除算して、高周波数領域のコントラスト感度値を正規化したものである。言い換えると、補正係数は、殆どの周波数領域で、高周波数領域側が低周波数領域側より小さな値となる。 Hereinafter, a specific example of the correction coefficient obtained from the contrast sensitivity value of FIG. 2 will be shown. The correction coefficient is obtained by normalizing the contrast sensitivity value in the high frequency region by dividing the contrast sensitivity value in the high frequency region by the contrast sensitivity value in the low frequency region so that the correction coefficient is 0 or more and 1 or less. is there. In other words, the correction coefficient is smaller on the high frequency region side than on the low frequency region side in most frequency regions.
図２に示すように、９０（td）の曲線では、空間周波数成分が２２付近（基準空間周波数成分）で、コントラスト感度値が約０．８である。また、９０（td）の曲線では、空間周波数成分が１１付近（基準空間周波数成分）で、コントラスト感度値が約２．５である。さらに、また、９０（td）の曲線では、空間周波数成分が４付近（基準空間周波数成分）で、コントラスト感度値が約３である。以上より、二次元二階離散ウェーブレット分解に対応させて、表１に示すように、周波数領域毎に補正係数を算出したものである。 As shown in FIG. 2, in the curve of 90 (td), the spatial frequency component is around 22 (reference spatial frequency component), and the contrast sensitivity value is about 0.8. In the 90 (td) curve, the spatial frequency component is around 11 (reference spatial frequency component), and the contrast sensitivity value is about 2.5. Further, in the curve of 90 (td), the spatial frequency component is around 4 (reference spatial frequency component) and the contrast sensitivity value is about 3. As described above, the correction coefficient is calculated for each frequency domain as shown in Table 1 in association with the two-dimensional second-order discrete wavelet decomposition.
また、表２は、表１と同様に、二次元三階離散ウェーブレット分解に対応させて、周波数領域毎に補正係数を算出したものである。 Similarly to Table 1, Table 2 shows correction coefficients calculated for each frequency domain in correspondence with the two-dimensional third-order discrete wavelet decomposition.
表１及び表２では、空間周波数成分の周波数領域と、この周波数領域内でコントラスト感度値の基準となる基準空間周波数成分と、基準空間周波数成分でのコントラスト感度値と、この周波数領域に対応する補正係数とを示す。このとき、符号化画像補正装置１は、表１、表２等の補正係数を補正係数記憶手段１３に予め記憶（設定）しておく。なお、補正係数は、表１及び表２に限定されないことは言うまでも無い。 In Tables 1 and 2, the frequency region of the spatial frequency component, the reference spatial frequency component that is the reference for the contrast sensitivity value in this frequency region, the contrast sensitivity value in the reference spatial frequency component, and this frequency region The correction coefficient is shown. At this time, the encoded image correction apparatus 1 stores (sets) the correction coefficients in Tables 1 and 2 in the correction coefficient storage unit 13 in advance. Needless to say, the correction coefficient is not limited to Tables 1 and 2.
以下、図１に戻り、符号化画像補正装置１の構成について、説明を続ける。
逆ガンマ補正手段１４は、符号化画像が入力されると共に、この符号化画像を逆ガンマ補正するものである。この符号化画像は、例えば、任意の符号化方式で符号化された動画像を構成するフレーム画像である。通常、動画像は、撮影時にガンマ補正が行われているので、逆ガンマ補正手段１４は、この影響をなくすために逆ガンマ補正を行う。例えば、逆ガンマ補正手段１４は、符号化画像がＲＧＢ信号又は輝度信号の場合、その明度について、下記式（２）を用いて、逆ガンマ補正を行う。
Hereinafter, returning to FIG. 1, the description of the configuration of the encoded image correction apparatus 1 will be continued.
The inverse gamma correction unit 14 receives an encoded image and performs inverse gamma correction on the encoded image. This encoded image is, for example, a frame image that constitutes a moving image encoded by an arbitrary encoding method. Normally, since a moving image is subjected to gamma correction at the time of shooting, the reverse gamma correction means 14 performs reverse gamma correction to eliminate this influence. For example, when the encoded image is an RGB signal or a luminance signal, the inverse gamma correction unit 14 performs inverse gamma correction using the following formula (2) for the brightness.
Ｌ１＝Ｌ０（ｇ０／ｇ１）・・・式（２） L1 = L0 (g0 / g1) (2)
ここで、式（２）では、Ｌ０がガンマ補正前の明度（但し、０≦Ｌ０≦１）を示し、Ｌ１がガンマ補正後の明度（但し、０≦Ｌ１≦１）を示し、ｇ０はガンマ補正前のガンマ値を示し、ｇ１はガンマ補正後のガンマ値を示す。テレビ撮影系では、例えば、ｇ０が１であり、ｇ１が２．２となる。なお、式（２）のｇ０，ｇ１は、ガンマ値設定手段１１からのガンマ値設定信号に含まれている。 Here, in Expression (2), L0 indicates the brightness before gamma correction (where 0 ≦ L0 ≦ 1), L1 indicates the brightness after gamma correction (where 0 ≦ L1 ≦ 1), and g0 is the gamma The gamma value before correction is shown, and g1 is the gamma value after gamma correction. In the television shooting system, for example, g0 is 1, and g1 is 2.2. Note that g0 and g1 in Expression (2) are included in the gamma value setting signal from the gamma value setting means 11.
ウェーブレット分解手段１５は、逆ガンマ補正手段１４から符号化画像が入力されると共に、符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に符号化画像の空間周波数成分を算出するものである。ここで、ウェーブレット分解手段１５は、ウェーブレット階数設定手段１２が出力した階数設定信号が示す階数で、二次元離散ウェーブレット分解を行う。そして、ウェーブレット分解手段１５は、符号化画像の空間周波数成分を符号化画像補正手段１６に出力する。なお、ウェーブレット分解の詳細は、後記する The wavelet decomposition unit 15 receives the encoded image from the inverse gamma correction unit 14 and performs two-dimensional multi-order discrete wavelet decomposition on the encoded image, and spatial frequency components of the encoded image for each frequency region decomposed into multi-orders. Is calculated. Here, the wavelet decomposition means 15 performs two-dimensional discrete wavelet decomposition with the rank indicated by the rank setting signal output from the wavelet rank setting means 12. The wavelet decomposition unit 15 then outputs the spatial frequency component of the encoded image to the encoded image correction unit 16. Details of wavelet decomposition will be described later.
符号化画像補正手段１６は、ウェーブレット分解手段１５が算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算して補正するものである。このとき、符号化画像補正手段１６は、後記する解像度異方性領域の空間周波数成分について、補正係数と、解像度異方性領域の位置に応じた解像度異方性係数とを乗算して補正することが好ましい。そして、符号化画像補正手段１６は、補正した空間周波数成分を、ウェーブレット再構成手段１７に出力する。 The encoded image correction unit 16 corrects the spatial frequency component for each frequency domain calculated by the wavelet decomposition unit 15 by multiplying the correction coefficient corresponding to the frequency domain. At this time, the encoded image correction unit 16 corrects the spatial frequency component of the resolution anisotropic region described later by multiplying the correction coefficient by the resolution anisotropy coefficient corresponding to the position of the resolution anisotropic region. It is preferable. Then, the encoded image correction unit 16 outputs the corrected spatial frequency component to the wavelet reconstruction unit 17.
＜ウェーブレット分解及び補正の第一例：二次元二階離散ウェーブレット分解＞
以下、図５を参照し、ウェーブレット分解及び補正の第一例を説明する（適宜図１参照）。この第一例は、二次元二階離散ウェーブレット分解を行う例である。なお、図５では、水平方向と垂直方向との両方向に高周波数領域を有する解像度異方性領域を網掛けで図示した。また、図５では、低周波数領域側を「低」と図示し、高周波数領域側を「高」と図示した。
<First example of wavelet decomposition and correction: two-dimensional second-order discrete wavelet decomposition>
Hereinafter, a first example of wavelet decomposition and correction will be described with reference to FIG. 5 (see FIG. 1 as appropriate). This first example is an example in which two-dimensional second-order discrete wavelet decomposition is performed. In FIG. 5, a resolution anisotropy region having a high frequency region in both the horizontal direction and the vertical direction is shown by shading. In FIG. 5, the low frequency region side is illustrated as “low”, and the high frequency region side is illustrated as “high”.
まず、ウェーブレット分解手段１５は、図５（ａ）の符号化画像に対して一階目の二次元離散ウェーブレット分解を行う。具体的には、ウェーブレット分解手段１５は、図５（ｂ）に示すように、符号化画像から、Ｂ１，Ｂ２，Ｂ４，Ｂ５で構成された一つの低周波数領域の空間周波数成分と、三つの高周波数領域Ｂ３，Ｂ６，Ｂ７の空間周波数成分とを算出する。ここで、例えば、この低周波数領域は、水平方向及び垂直方向の空間周波数成分が０(CPD)以上１５(CPD)未満である。また、例えば、高周波数領域Ｂ３は、水平方向の空間周波数成分が１５(CPD)以上３０(CPD)未満である。また、例えば、高周波数領域Ｂ６は、垂直方向の空間周波数成分が１５(CPD)以上３０(CPD)未満である。さらに、例えば、高周波数領域Ｂ７は、水平方向及び垂直方向の空間周波数成分が１５(CPD)以上３０(CPD)未満である。 First, the wavelet decomposition means 15 performs first-order two-dimensional discrete wavelet decomposition on the encoded image of FIG. Specifically, as shown in FIG. 5B, the wavelet decomposing means 15 includes, from the encoded image, one low frequency region spatial frequency component composed of B1, B2, B4, and B5, and three The spatial frequency components of the high frequency regions B3, B6, B7 are calculated. Here, for example, in this low frequency region, the spatial frequency components in the horizontal direction and the vertical direction are 0 (CPD) or more and less than 15 (CPD). Further, for example, in the high frequency region B3, the spatial frequency component in the horizontal direction is 15 (CPD) or more and less than 30 (CPD). Further, for example, in the high frequency region B6, the spatial frequency component in the vertical direction is 15 (CPD) or more and less than 30 (CPD). Further, for example, in the high frequency region B7, the horizontal and vertical spatial frequency components are 15 (CPD) or more and less than 30 (CPD).
そして、ウェーブレット分解手段１５は、一階目の二次元離散ウェーブレット分解で求めた低周波数領域（Ｂ１〜Ｂ４で構成された領域）の空間周波数成分に対し、二階目の二次元離散ウェーブレット分解を行う。具体的には、ウェーブレット分解手段１５は、図５（ｂ）に示すように、Ｂ１，Ｂ２，Ｂ４，Ｂ５で構成された一つの低周波数領域の空間周波数成分から、低周波数領域Ｂ１の空間周波数成分と、三つの高周波数領域Ｂ２，Ｂ４，Ｂ５の空間周波数成分とを算出する。ここで、例えば、この低周波数領域Ｂ１は、水平方向及び垂直方向の空間周波数成分が０(CPD)以上７．５(CPD)未満である。また、例えば、高周波数領域Ｂ２は、水平方向の空間周波数成分が７．５(CPD)以上１５(CPD)未満である。また、例えば、高周波数領域Ｂ４は、垂直方向の空間周波数成分が７．５(CPD)以上１５(CPD)未満である。さらに、例えば、高周波数領域Ｂ５は、水平方向及び垂直方向の空間周波数成分が７．５(CPD)以上１５(CPD)未満である。 Then, the wavelet decomposition means 15 performs the second-order two-dimensional discrete wavelet decomposition on the spatial frequency components in the low-frequency region (region composed of B1 to B4) obtained by the first-order two-dimensional discrete wavelet decomposition. . Specifically, as shown in FIG. 5 (b), the wavelet decomposition means 15 uses the spatial frequency component of the low frequency region B1 from the spatial frequency component of one low frequency region composed of B1, B2, B4, and B5. The components and the spatial frequency components of the three high frequency regions B2, B4, B5 are calculated. Here, for example, in the low frequency region B1, the spatial frequency components in the horizontal direction and the vertical direction are 0 (CPD) or more and less than 7.5 (CPD). For example, in the high frequency region B2, the horizontal spatial frequency component is 7.5 (CPD) or more and less than 15 (CPD). Further, for example, in the high frequency region B4, the spatial frequency component in the vertical direction is 7.5 (CPD) or more and less than 15 (CPD). Further, for example, in the high frequency region B5, the horizontal and vertical spatial frequency components are 7.5 (CPD) or more and less than 15 (CPD).
つまり、ウェーブレット分解手段１５は、低周波数領域の空間周波数成分から、さらに、低周波数領域の空間周波数成分と高周波数領域の空間周波数成分とを算出する処理を、階数設定信号が示す階数分（ここでは、２回）、繰り返すことになる。これによって、ウェーブレット分解手段１５は、図５に示すように、符号化画像から、一つの低周波数領域Ｂ１の空間周波数成分と、六つの高周波数領域Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７の空間周波数成分とを算出する。 That is, the wavelet decomposition means 15 performs processing for calculating the spatial frequency component in the low frequency region and the spatial frequency component in the high frequency region from the spatial frequency component in the low frequency region for the number of floors indicated by the rank setting signal (here Then, twice). Thereby, as shown in FIG. 5, the wavelet decomposing means 15 generates a spatial frequency component of one low frequency region B1 and six high frequency regions B2, B3, B4, B5, B6, B7 from the encoded image. The spatial frequency component is calculated.
次に、符号化画像補正手段１６は、補正係数記憶手段１３から、二次元二階離散ウェーブレット分解に対応した補正係数として、表１を読み出す。そして、符号化画像補正手段１６は、高周波数領域Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７の空間周波数成分に、これらに応じた補正係数を乗算する。具体的には、符号化画像補正手段１６は、例えば、水平方向又は垂直方向の少なくとも一方が７．５(CPD)以上１５(CPD)未満である高周波数領域Ｂ２，Ｂ４，Ｂ５については、これら領域の空間周波数成分に補正係数０．８３を乗算する。また、例えば、符号化画像補正手段１６は、水平方向又は垂直方向の少なくとも一方が１５(CPD)以上３０(CPD)未満である高周波数領域Ｂ３，Ｂ６，Ｂ７については、これら領域の空間周波数成分に補正係数０．２７を乗算する。 Next, the encoded image correction unit 16 reads Table 1 from the correction coefficient storage unit 13 as a correction coefficient corresponding to the two-dimensional second-order discrete wavelet decomposition. Then, the encoded image correction unit 16 multiplies the spatial frequency components of the high frequency regions B2, B3, B4, B5, B6, and B7 by a correction coefficient corresponding to them. Specifically, the encoded image correction unit 16 performs, for example, high frequency regions B2, B4, and B5 in which at least one of the horizontal direction and the vertical direction is 7.5 (CPD) or more and less than 15 (CPD). Multiply the spatial frequency component of the region by a correction factor of 0.83. In addition, for example, the encoded image correction unit 16 uses the spatial frequency components of the high frequency regions B3, B6, and B7 in which at least one of the horizontal direction and the vertical direction is 15 (CPD) or more and less than 30 (CPD). Is multiplied by a correction factor of 0.27.
ここで、図６に示すように、肉眼の斜め方向の感度（解像度異方性係数）は、水平方向及び垂直方向の感度の約半分となる。なお、解像度異方性係数とは、水平方向及び垂直方向の肉眼の感度を１とした場合、解像度異方性係数の角度（位置）に応じた肉眼の感度を示す係数である。また、角度とは、低周波数領域内の左上頂点を基準として、高周波数領域の左上頂点の角度（位置）を示す。なお、図６では、角度０(deg.)が水平方向を示し、角度９０(deg.)が垂直方向を示す。また、図６では、解像度異方性係数は、０以上１以下の値となる。 Here, as shown in FIG. 6, the sensitivity (resolution anisotropy coefficient) in the oblique direction of the naked eye is about half of the sensitivity in the horizontal and vertical directions. The resolution anisotropy coefficient is a coefficient indicating the sensitivity of the naked eye according to the angle (position) of the resolution anisotropy coefficient when the sensitivity of the naked eye in the horizontal direction and the vertical direction is 1. The angle indicates the angle (position) of the upper left vertex in the high frequency region with the upper left vertex in the low frequency region as a reference. In FIG. 6, angle 0 (deg.) Indicates the horizontal direction, and angle 90 (deg.) Indicates the vertical direction. In FIG. 6, the resolution anisotropy coefficient is a value between 0 and 1.
ここで、低周波数領域Ｂ１に対して斜めに４５（deg．）に位置する解像度異方性領域Ｂ５，Ｂ７は、肉眼の感度が低くなるため、空間周波数成分をより多く低減できる。図６より、解像度異方性領域Ｂ５，Ｂ７の解像度異方性係数が０．５と求められるため、符号化画像補正手段１６は、解像度異方性領域Ｂ５については、その空間周波数成分に補正係数０．８３と解像度異方性係数０．５とを乗算する。また、同様に、符号化画像補正手段１６は、解像度異方性領域Ｂ７については、その空間周波数成分に補正係数０．２７と解像度異方性係数０．５とを乗算する。ここで、例えば、符号化画像補正装置１は、解像度異方性係数を補正係数記憶手段１３に予め記憶（設定）しておく。 Here, the resolution anisotropy regions B5 and B7 located at 45 (deg.) Obliquely with respect to the low frequency region B1 can reduce the spatial frequency component more because the sensitivity to the naked eye is low. From FIG. 6, since the resolution anisotropy coefficient of the resolution anisotropy areas B5 and B7 is determined to be 0.5, the encoded image correction means 16 corrects the resolution anisotropy area B5 to the spatial frequency component. Multiply coefficient 0.83 and resolution anisotropy coefficient 0.5. Similarly, for the resolution anisotropy region B7, the encoded image correction unit 16 multiplies the spatial frequency component by the correction coefficient 0.27 and the resolution anisotropy coefficient 0.5. Here, for example, the encoded image correction apparatus 1 stores (sets) the resolution anisotropy coefficient in the correction coefficient storage unit 13 in advance.
＜ウェーブレット分解及び補正の第二例：二次元三階離散ウェーブレット分解＞
以下、図７を参照し、ウェーブレット分解及び補正の第一例を説明する（適宜図１参照）。この第二例は、二次元三階離散ウェーブレット分解を行う例である。なお、図７では、水平方向と垂直方向との両方向に高周波数領域を有する解像度異方性領域を網掛けで図示した。また、図７では、低周波数領域側を「低」と図示し、高周波数領域側を「高」と図示した。
<Second example of wavelet decomposition and correction: two-dimensional third-order discrete wavelet decomposition>
Hereinafter, a first example of wavelet decomposition and correction will be described with reference to FIG. 7 (see FIG. 1 as appropriate). This second example is an example in which two-dimensional third-order discrete wavelet decomposition is performed. In FIG. 7, a resolution anisotropy region having a high frequency region in both the horizontal direction and the vertical direction is shown by shading. In FIG. 7, the low frequency region side is illustrated as “low”, and the high frequency region side is illustrated as “high”.
ウェーブレット分解手段１５は、図５と同様の手順で、一階目及び二階目の二次元離散ウェーブレット分解を行う。そして、ウェーブレット分解手段１５は、三階目の二次元離散ウェーブレット分解を行う。具体的には、ウェーブレット分解手段１５は、図７（ｂ）に示すように、Ｂ１１，Ｂ１２，Ｂ２１，Ｂ２２で構成された一つの低周波数領域の空間周波数成分から、低周波数領域Ｂ１１の空間周波数成分と、三つの高周波数領域Ｂ１２，Ｂ２１，Ｂ２２の空間周波数成分とを算出する。ここで、例えば、この低周波数領域Ｂ１１は、水平方向及び垂直方向の空間周波数成分が０(CPD)以上３．７５(CPD)未満である。また、例えば、高周波数領域Ｂ１２は、水平方向の空間周波数成分が３．７５(CPD)以上７．５(CPD)未満である。また、例えば、高周波数領域Ｂ２１は、垂直方向の空間周波数成分が３．７５(CPD)以上７．５(CPD)未満である。さらに、例えば、高周波数領域Ｂ２２は、水平方向及び垂直方向の空間周波数成分が３．７５(CPD)以上７．５(CPD)未満である。 The wavelet decomposition means 15 performs two-dimensional discrete wavelet decomposition on the first and second floors in the same procedure as in FIG. Then, the wavelet decomposition means 15 performs two-dimensional discrete wavelet decomposition on the third floor. Specifically, as shown in FIG. 7B, the wavelet decomposition means 15 uses the spatial frequency component of the low frequency region B11 from the spatial frequency component of one low frequency region configured by B11, B12, B21, and B22. The components and the spatial frequency components of the three high frequency regions B12, B21, B22 are calculated. Here, for example, in this low frequency region B11, the spatial frequency components in the horizontal direction and the vertical direction are 0 (CPD) or more and less than 3.75 (CPD). For example, in the high frequency region B12, the horizontal spatial frequency component is 3.75 (CPD) or more and less than 7.5 (CPD). Further, for example, in the high frequency region B21, the vertical spatial frequency component is 3.75 (CPD) or more and less than 7.5 (CPD). Further, for example, in the high frequency region B22, the spatial frequency components in the horizontal direction and the vertical direction are 3.75 (CPD) or more and less than 7.5 (CPD).
次に、符号化画像補正手段１６は、補正係数記憶手段１３から、二次元三階離散ウェーブレット分解に対応した補正係数として、表２を読み出す。そして、符号化画像補正手段１６は、高周波数領域Ｂ１２，Ｂ２１，Ｂ２２，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７の空間周波数成分に、これらに応じた補正係数を乗算する。具体的には、符号化画像補正手段１６は、例えば、水平方向又は垂直方向の少なくとも一方が３．７５(CPD)以上７．５(CPD)未満である高周波数領域Ｂ１２，Ｂ２１，Ｂ２２については、これら領域の空間周波数成分に補正係数０．８５を乗算する。また、例えば、符号化画像補正手段１６は、水平方向又は垂直方向の少なくとも一方が７．５(CPD)以上１５(CPD)未満である高周波数領域Ｂ２，Ｂ４，Ｂ５については、これら領域の空間周波数成分に補正係数０．７１を乗算する。さらに、例えば、水平方向又は垂直方向の少なくとも一方が１５(CPD)以上３０(CPD)未満である高周波数領域Ｂ３，Ｂ６，Ｂ７については、これら領域の空間周波数成分に補正係数０．２２を乗算する。 Next, the encoded image correction unit 16 reads Table 2 from the correction coefficient storage unit 13 as a correction coefficient corresponding to the two-dimensional third-order discrete wavelet decomposition. Then, the encoded image correction means 16 multiplies the spatial frequency components of the high frequency regions B12, B21, B22, B2, B3, B4, B5, B6, and B7 by a correction coefficient corresponding to them. Specifically, the encoded image correction unit 16 performs, for example, high frequency regions B12, B21, and B22 in which at least one of the horizontal direction and the vertical direction is 3.75 (CPD) or more and less than 7.5 (CPD). The spatial frequency components in these regions are multiplied by a correction coefficient of 0.85. In addition, for example, the encoded image correction unit 16 uses the space of these regions for the high frequency regions B2, B4, and B5 in which at least one of the horizontal direction and the vertical direction is 7.5 (CPD) or more and less than 15 (CPD). Multiply the frequency component by a correction factor of 0.71. Further, for example, for the high frequency regions B3, B6, and B7 in which at least one of the horizontal direction and the vertical direction is 15 (CPD) or more and less than 30 (CPD), the spatial frequency component of these regions is multiplied by the correction coefficient 0.22. To do.
また、図５と同様に、符号化画像補正手段１６は、解像度異方性領域Ｂ２２については、その空間周波数成分に補正係数０．８５と解像度異方性係数０．５とを乗算する。また、符号化画像補正手段１６は、解像度異方性領域Ｂ５については、その空間周波数成分に補正係数０．７１と解像度異方性係数０．５とを乗算する。さらに、符号化画像補正手段１６は、解像度異方性領域Ｂ７については、その空間周波数成分に補正係数０．２２と解像度異方性係数０．５とを乗算する。なお、解像度異方性係数は、０．５に限定されないことは言うまでもない。 Similarly to FIG. 5, the encoded image correction unit 16 multiplies the spatial frequency component of the resolution anisotropy region B22 by a correction coefficient 0.85 and a resolution anisotropy coefficient 0.5. The encoded image correction unit 16 multiplies the spatial frequency component by the correction coefficient 0.71 and the resolution anisotropy coefficient 0.5 for the resolution anisotropy region B5. Further, the encoded image correction means 16 multiplies the spatial frequency component of the resolution anisotropy region B7 by the correction coefficient 0.22 and the resolution anisotropy coefficient 0.5. Needless to say, the resolution anisotropy coefficient is not limited to 0.5.
以下、図１に戻り、符号化画像補正装置１の構成について、説明を続ける。
ウェーブレット再構成手段１７は、符号化画像補正手段１６が補正した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力するものである。ここで、ウェーブレット階数設定手段１２からの階数設定信号が示す階数分、ウェーブレット分解と逆の手順で、ウェーブレット再構成を行う。そして、ウェーブレット再構成手段１７は、高周波数領域の空間周波数成分を低減した補正後符号化画像を生成し、ガンマ補正手段１８に出力する。
Hereinafter, returning to FIG. 1, the description of the configuration of the encoded image correction apparatus 1 will be continued.
The wavelet reconstruction unit 17 reconstructs the spatial frequency component corrected by the encoded image correction unit 16 to reconstruct a two-dimensional multi-order discrete wavelet and outputs a corrected encoded image. Here, wavelet reconstruction is performed in the reverse order of wavelet decomposition by the number of floors indicated by the floor setting signal from the wavelet floor setting means 12. Then, the wavelet reconstruction unit 17 generates a corrected encoded image in which the spatial frequency component in the high frequency region is reduced, and outputs it to the gamma correction unit 18.
ガンマ補正手段１８は、ウェーブレット再構成手段１７からの補正後符号化画像を、ガンマ補正するものである。ここで、逆ガンマ補正手段１４が符号化画像を逆ガンマ補正したため、ガンマ補正手段１８は、逆ガンマ補正と逆の手順で、補正後符号化画像をガンマ補正する。このとき、ガンマ補正手段１８は、ガンマ値設定手段１１からのガンマ値設定信号に含まれるガンマ値を用いて、ガンマ補正しても良い。 The gamma correction unit 18 performs gamma correction on the corrected encoded image from the wavelet reconstruction unit 17. Here, since the inverse gamma correction unit 14 performs reverse gamma correction on the encoded image, the gamma correction unit 18 performs gamma correction on the post-correction encoded image in a procedure reverse to the reverse gamma correction. At this time, the gamma correction unit 18 may perform gamma correction using the gamma value included in the gamma value setting signal from the gamma value setting unit 11.
［符号化画像補正装置の動作］
以下、図８を参照して、図１の符号化画像補正装置１の動作について、説明する（適宜図１参照）。なお、図８では、補正係数記憶手段１３が補正係数及び解像度異方性係数を記憶しているものとして説明する。
[Operation of coded image correction apparatus]
Hereinafter, the operation of the encoded image correction apparatus 1 of FIG. 1 will be described with reference to FIG. 8 (see FIG. 1 as appropriate). In FIG. 8, the correction coefficient storage unit 13 will be described assuming that the correction coefficient and the resolution anisotropy coefficient are stored.
まず、符号化画像補正装置１は、逆ガンマ補正手段１４によって、入力された符号化画像を逆ガンマ補正する（ステップＳ１１：逆ガンマ補正）。また、符号化画像補正装置１は、ウェーブレット分解手段１５によって、ステップＳ１１で逆ガンマ補正した符号化画像を二次元多階離散ウェーブレット分解し、周波数領域毎に符号化画像の空間周波数成分を算出する（ステップＳ１２：ウェーブレット分解）。 First, the encoded image correction apparatus 1 performs inverse gamma correction on the input encoded image by the inverse gamma correction unit 14 (step S11: inverse gamma correction). Also, the encoded image correction apparatus 1 uses the wavelet decomposition unit 15 to perform two-dimensional multi-order discrete wavelet decomposition on the encoded image subjected to inverse gamma correction in step S11, and calculates a spatial frequency component of the encoded image for each frequency domain. (Step S12: wavelet decomposition).
ステップＳ１２の処理に続いて、符号化画像補正装置１は、符号化画像補正手段１６によって、ステップＳ１２で算出した周波数領域毎の空間周波数成分に、周波数領域に応じた補正係数を乗算して補正する（ステップＳ１３：符号化画像の補正）。 Following the process of step S12, the encoded image correction apparatus 1 corrects the encoded image correction unit 16 by multiplying the spatial frequency component for each frequency domain calculated in step S12 by a correction coefficient corresponding to the frequency domain. (Step S13: Correction of encoded image).
ステップＳ１３の処理に続いて、符号化画像補正装置１は、符号化画像補正手段１６によって、ステップＳ１３で補正した空間周波数成分に対し、解像度異方性係数の乗算を行う（ステップＳ１４：解像度異方性係数の乗算）。 Following the process of step S13, the encoded image correction apparatus 1 multiplies the spatial frequency component corrected in step S13 by the resolution anisotropy coefficient by the encoded image correction means 16 (step S14: resolution difference). Multiplying the isotropic coefficient).
ステップＳ１４の処理に続いて、符号化画像補正装置１は、ウェーブレット再構成手段１７によって、ステップＳ１４で乗算した空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力する（ステップＳ１５：ウェーブレット再構成）。また、符号化画像補正装置１は、ガンマ補正手段１８によって、ステップＳ１５で出力された補正後符号化画像を、ガンマ補正する（ステップＳ１６：ガンマ補正）。 Following the processing in step S14, the encoded image correction apparatus 1 uses the wavelet reconstruction unit 17 to reconstruct the spatial frequency component multiplied in step S14 in a two-dimensional multi-order discrete wavelet, and outputs a corrected encoded image. (Step S15: Wavelet reconstruction). The encoded image correction apparatus 1 performs gamma correction on the corrected encoded image output in step S15 by the gamma correction unit 18 (step S16: gamma correction).
以上のように、本発明の実施形態に係る符号化画像補正装置１は、ウェーブレット分解を用いる符号化方式において、高周波数領域の空間周波数成分を低減した補正後符号化画像を出力するため、画質の劣化を低減しつつ符号化効率を向上させることができる。 As described above, the encoded image correction apparatus 1 according to the embodiment of the present invention outputs an encoded image after correction in which a spatial frequency component in a high frequency region is reduced in an encoding method using wavelet decomposition. Coding efficiency can be improved while reducing degradation of the image.
また、本発明の実施形態に係る符号化画像補正装置１は、ウェーブレット分解を用いて、符号化画面全体を周波数領域毎に補正するため、ウェーブレット分解を用いるｄｉｒａｃ、ＪＰＥＧ（Joint Photographic Experts Group）２０００等の符号化方式の場合、従来の空間領域ブロック分割による補正フィルタと比べて、補正効果が優れる。さらに、本発明の実施形態に係る符号化画像補正装置１は、ウェーブレット分解を用いる符号化方式においては、ウェーブレット分解を行う回路やプログラムを共用できるため、構成を簡易にできると共に、この符号化方式と親和性が高い。 In addition, the encoded image correction apparatus 1 according to the embodiment of the present invention uses wavelet decomposition to correct the entire encoded screen for each frequency domain, and therefore, dirac and JPEG (Joint Photographic Experts Group) 2000 using wavelet decomposition. In the case of an encoding method such as the above, the correction effect is excellent as compared with a correction filter based on a conventional spatial domain block division. Furthermore, since the encoded image correction apparatus 1 according to the embodiment of the present invention can share a circuit and a program for performing wavelet decomposition in an encoding method using wavelet decomposition, the configuration can be simplified and the encoding method can be used. Affinity is high.
また、本発明の実施形態に係る符号化画像補正装置１は、ＭＰＥＧ−２、ＭＰＥＧ−４ＡＶＣ等の符号化方式においても、肉眼のコントラスト感度特性が帯域通過特性を持ち、輝度が低いと低域通過特性になるという視覚特性と、肉眼の斜め方向の感度が低くなる視覚特性とを利用しているため、直交変換及び動き検出エラーによるブロック状の符号化アーティファクト（高周波数雑音成分）に対し、優れた補正効果を発揮する。 Also, the encoded image correction apparatus 1 according to the embodiment of the present invention has a band-pass characteristic as a contrast sensitivity characteristic of the naked eye even in an encoding method such as MPEG-2, MPEG-4AVC, etc. Because it uses the visual characteristics that pass characteristics and the visual characteristics that lower the sensitivity in the oblique direction of the naked eye, against block-shaped coding artifacts (high frequency noise components) due to orthogonal transformation and motion detection errors, Excellent correction effect.
また、本発明の実施形態に係る符号化画像補正装置１は、雑音除去処理のプリフィルタとして用いることができる。さらに、本発明の実施形態に係る符号化画像補正装置１は、符号化処理のポストフィルタとして用いることもできる。 The encoded image correction apparatus 1 according to the embodiment of the present invention can be used as a prefilter for noise removal processing. Furthermore, the encoded image correction apparatus 1 according to the embodiment of the present invention can also be used as a post filter for encoding processing.
なお、本発明の実施形態では、ウェーブレット分解及びウェーブレット再構成の階数を二又は三として説明したが、特に制限されない。ここで、ウェーブレット分解及びウェーブレット再構成の階数は、二以上六以下の値とすることが一般的である。例えば、符号化画像補正装置１は、符号化画像がハイビジョン解像度であればこの階数を四とし、符号化画像がスーパーハイビジョン解像度であればこの階数を六とする。このとき、符号化画像補正装置１では、この階数に応じて、補正係数を予め設定しておくことは言うまでも無い。 In the embodiment of the present invention, the ranks of wavelet decomposition and wavelet reconstruction are described as two or three, but there is no particular limitation. Here, the ranks of wavelet decomposition and wavelet reconstruction are generally 2 to 6 in value. For example, the encoded image correction apparatus 1 sets the rank to four if the encoded image is a high-definition resolution, and sets the rank to six if the encoded image is a super high-definition resolution. At this time, it goes without saying that the encoded image correction apparatus 1 sets the correction coefficient in advance according to the rank.
なお、本発明の実施形態では、符号化画像補正装置１を独立した装置として説明したが、本発明は、これに限定されない。例えば、本発明は、補正係数記憶手段１３を備えるコンピュータにおいて、演算装置等のハードウェア資源を前記した各手段として協調動作させるプログラムによっても実現できる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。 In the embodiment of the present invention, the encoded image correction apparatus 1 has been described as an independent apparatus, but the present invention is not limited to this. For example, the present invention can be realized by a program that causes a hardware resource such as an arithmetic unit to operate in cooperation with each other as described above in a computer including the correction coefficient storage unit 13. This program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
１ 符号化画像補正装置
１１ ガンマ値設定手段
１２ ウェーブレット階数設定手段
１３ 補正係数記憶手段（記憶手段）
１４ 逆ガンマ補正手段
１５ ウェーブレット分解手段
１６ 符号化画像補正手段
１７ ウェーブレット再構成手段
１８ ガンマ補正手段
DESCRIPTION OF SYMBOLS 1 Coded image correction apparatus 11 Gamma value setting means 12 Wavelet rank setting means 13 Correction coefficient storage means (storage means)
14 Inverse gamma correction means 15 Wavelet decomposition means 16 Encoded image correction means 17 Wavelet reconstruction means 18 Gamma correction means
Claims (3)
前記符号化画像が入力されると共に、当該符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した周波数領域毎に前記符号化画像の空間周波数成分を算出するウェーブレット分解手段と、
所定のコントラスト感度特性に基づいて算出した前記周波数領域毎のコントラスト感度値について正規化して予め設定した補正係数を記憶する記憶手段と、
前記ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、当該周波数領域に応じた前記補正係数を乗算して補正する符号化画像補正手段と、
前記符号化画像補正手段が補正した前記空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力するウェーブレット再構成手段と、
を備えることを特徴とする符号化画像補正装置。 An encoded image correction apparatus that reduces a spatial frequency component of a high frequency region in an encoded image that is an encoded image,
The encoded image is input, and the encoded image is subjected to two-dimensional multi-order discrete wavelet decomposition, and wavelet decomposition means for calculating a spatial frequency component of the encoded image for each frequency region decomposed into multiple orders;
Storage means for storing a correction coefficient set in advance by normalizing a contrast sensitivity value for each frequency region calculated based on a predetermined contrast sensitivity characteristic;
Encoded image correction means for correcting the spatial frequency component for each frequency domain calculated by the wavelet decomposition means by multiplying the correction coefficient according to the frequency domain;
Wavelet reconstruction means for reconstructing the spatial frequency component corrected by the encoded image correction means, and outputting a corrected encoded image;
An encoded image correction apparatus comprising:
前記記憶手段は、前記低周波数領域の位置を基準とした前記解像度異方性領域の位置に応じて予め設定された解像度異方性係数を記憶し、
前記符号化画像補正手段は、前記解像度異方性領域の空間周波数成分に、前記補正係数と、当該解像度異方性領域の位置に応じた前記解像度異方性係数とを乗算することを特徴とする請求項１に記載の符号化画像補正装置。 Regarding the spatial frequency component of the resolution anisotropic region having the high frequency region in both the horizontal direction and the vertical direction,
The storage means stores a resolution anisotropy coefficient set in advance according to the position of the resolution anisotropy region with respect to the position of the low frequency region,
The encoded image correcting means multiplies the spatial frequency component of the resolution anisotropic region by the correction coefficient and the resolution anisotropy coefficient according to the position of the resolution anisotropic region. The encoded image correction apparatus according to claim 1.
前記符号化画像が入力されると共に、当該符号化画像を二次元多階離散ウェーブレット分解し、多階に分解した前記周波数領域毎に前記符号化画像の空間周波数成分を算出するウェーブレット分解手段、
前記ウェーブレット分解手段が算出した周波数領域毎の空間周波数成分に、当該周波数領域に応じた前記補正係数を乗算して補正する符号化画像補正手段、
前記符号化画像補正手段が補正した前記空間周波数成分を二次元多階離散ウェーブレット再構成し、補正後符号化画像を出力するウェーブレット再構成手段、
として機能させることを特徴とする符号化画像補正プログラム。 In order to reduce the spatial frequency component in the high frequency region in the encoded image, which is an encoded image, a correction coefficient preset by normalizing the contrast sensitivity value for each frequency region calculated based on a predetermined contrast sensitivity characteristic A computer comprising storage means for storing
Wavelet decomposition means for calculating the spatial frequency component of the encoded image for each of the frequency regions obtained by inputting the encoded image, performing two-dimensional multi-order discrete wavelet decomposition on the encoded image, and decomposing the encoded image into multiple orders;
Encoded image correction means for multiplying and correcting the spatial frequency component for each frequency domain calculated by the wavelet decomposition means by the correction coefficient corresponding to the frequency domain;
Wavelet reconstruction means for reconstructing the spatial frequency component corrected by the encoded image correction means and two-dimensional multi-order discrete wavelet and outputting a corrected encoded image;
An encoded image correction program characterized by causing the function to function as:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009096587A JP5155929B2 (en) | 2009-04-13 | 2009-04-13 | Encoded image correction apparatus and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009096587A JP5155929B2 (en) | 2009-04-13 | 2009-04-13 | Encoded image correction apparatus and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010251874A true JP2010251874A (en) | 2010-11-04 |
| JP5155929B2 JP5155929B2 (en) | 2013-03-06 |
Family
ID=43313752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009096587A Expired - Fee Related JP5155929B2 (en) | 2009-04-13 | 2009-04-13 | Encoded image correction apparatus and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5155929B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754422A (en) * | 2018-10-30 | 2019-05-14 | 兰州交通大学 | Fastener area localization method based on gray scale mutation |
| JP2019165383A (en) * | 2018-03-20 | 2019-09-26 | 日本放送協会 | Band limit device, band limit control device, and program |
| JP2019174933A (en) * | 2018-03-27 | 2019-10-10 | 日本放送協会 | Image noise removal device and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1141602A (en) * | 1997-07-23 | 1999-02-12 | Ricoh Co Ltd | Image processor |
| JP2001298366A (en) * | 2000-03-01 | 2001-10-26 | Sharp Corp | Method for compressing image data, and method and device for quantizing data |
| JP2006180470A (en) * | 2004-11-26 | 2006-07-06 | Canon Inc | Image processing apparatus and image processing method |
| JP2006310934A (en) * | 2005-04-26 | 2006-11-09 | Nippon Hoso Kyokai <Nhk> | Prefilter |
-
2009
- 2009-04-13 JP JP2009096587A patent/JP5155929B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1141602A (en) * | 1997-07-23 | 1999-02-12 | Ricoh Co Ltd | Image processor |
| JP2001298366A (en) * | 2000-03-01 | 2001-10-26 | Sharp Corp | Method for compressing image data, and method and device for quantizing data |
| JP2006180470A (en) * | 2004-11-26 | 2006-07-06 | Canon Inc | Image processing apparatus and image processing method |
| JP2006310934A (en) * | 2005-04-26 | 2006-11-09 | Nippon Hoso Kyokai <Nhk> | Prefilter |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019165383A (en) * | 2018-03-20 | 2019-09-26 | 日本放送協会 | Band limit device, band limit control device, and program |
| JP2019174933A (en) * | 2018-03-27 | 2019-10-10 | 日本放送協会 | Image noise removal device and program |
| JP7057694B2 (en) | 2018-03-27 | 2022-04-20 | 日本放送協会 | Image denoising device and program |
| CN109754422A (en) * | 2018-10-30 | 2019-05-14 | 兰州交通大学 | Fastener area localization method based on gray scale mutation |
| CN109754422B (en) * | 2018-10-30 | 2022-09-13 | 兰州交通大学 | Fastener region positioning method based on gray level mutation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5155929B2 (en) | 2013-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11259031B2 (en) | Image processing method, device, and system | |
| US20200314429A1 (en) | Quantization matrix design for hevc standard | |
| US7437013B2 (en) | Directional spatial video noise reduction | |
| US8237830B2 (en) | Video camera | |
| EP2327219B1 (en) | Reducing digital image noise | |
| JP6278972B2 (en) | Method, apparatus and processor readable medium for processing of high dynamic range images | |
| US10582168B2 (en) | Green image data processing | |
| US8897581B2 (en) | Guided post-prediction filtering in layered VDR coding | |
| US20110069752A1 (en) | Moving image encoding/decoding method and apparatus with filtering function considering edges | |
| KR101031438B1 (en) | Content adaptive noise reduction filtering for image signals | |
| CN1857004A (en) | Video comfort noise addition technique | |
| US20090285308A1 (en) | Deblocking algorithm for coded video | |
| JP2005166021A (en) | Method for classifying pixel in image | |
| JP5367667B2 (en) | Image processing device | |
| JP2006340345A (en) | Method of enhancing images extracted from video | |
| US10742986B2 (en) | High dynamic range color conversion correction | |
| JP5155929B2 (en) | Encoded image correction apparatus and program thereof | |
| JP2008079281A (en) | Adaptive reduction of local mpeg artifact | |
| US8811766B2 (en) | Perceptual block masking estimation system | |
| JP6574682B2 (en) | Contrast correction apparatus and program | |
| JP6730916B2 (en) | Contrast correction device and program | |
| JP6681774B2 (en) | Contrast correction device and program | |
| KR20110066924A (en) | Encoding method, encoding device, and encoding program for encoding interlaced image | |
| Palaparthi et al. | A simple deblocking method for reduction of blocking artifacts | |
| US10715772B2 (en) | High dynamic range color conversion correction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5155929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |