JP2017103717A - Image encoding device, image decoding device, and program - Google Patents

Image encoding device, image decoding device, and program Download PDF

Info

Publication number
JP2017103717A
JP2017103717A JP2015237699A JP2015237699A JP2017103717A JP 2017103717 A JP2017103717 A JP 2017103717A JP 2015237699 A JP2015237699 A JP 2015237699A JP 2015237699 A JP2015237699 A JP 2015237699A JP 2017103717 A JP2017103717 A JP 2017103717A
Authority
JP
Japan
Prior art keywords
image
unit
filter
prediction
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015237699A
Other languages
Japanese (ja)
Other versions
JP6643884B2 (en
Inventor
俊枝 三須
Toshie Misu
俊枝 三須
菊文 神田
Kikufumi Kanda
菊文 神田
境田 慎一
Shinichi Sakaida
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to JP2015237699A priority Critical patent/JP6643884B2/en
Publication of JP2017103717A publication Critical patent/JP2017103717A/en
Application granted granted Critical
Publication of JP6643884B2 publication Critical patent/JP6643884B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image encoding device capable of obtaining satisfactory encoding efficiency.SOLUTION: The image encoding device comprises: a division part which divides an image to be encoded and generates an encoding target area; a filter part which removes noise from a decoded image area by using a nonlinear filter; and a prediction part which obtains a prediction image by searching for an area similar to the encoding target area from within an image having the noise removed therefrom by the filter part.SELECTED DRAWING: Figure 1

Description

本発明は、映像符号化装置、映像復号装置およびプログラムに関する。   The present invention relates to a video encoding device, a video decoding device, and a program.

動画像や静止画像の圧縮符号化方式として、画像をブロック分割し、ブロック毎に離散コサイン変換(DCT; Discrete Cosine Transform)などの変換を施し、その結果である変換係数を量子化し、量子化された変換係数をエントロピー符号化する方式がある。このとき、DCTなどの変換に先だって、変換対象のブロックの属するフレームと異なる時刻のフレームや、同一フレームの別ブロック内の画素値情報を参照して当該ブロックの画素値パターンを予測し、該予測結果である予測画像の画素値列に対する変換対象ブロックの画素値列の残差を求め、この残差値列に対し、DCTなどの変換を施すことも行われる。   As a compression encoding method for moving images and still images, the image is divided into blocks, each block is subjected to a transform such as Discrete Cosine Transform (DCT), and the resulting transform coefficient is quantized and quantized. There is a method of entropy encoding the transformed coefficients. At this time, prior to conversion such as DCT, a pixel value pattern of the block is predicted by referring to a frame at a time different from the frame to which the block to be converted belongs, or pixel value information in another block of the same frame, and the prediction The residual of the pixel value sequence of the conversion target block with respect to the pixel value sequence of the predicted image as a result is obtained, and conversion such as DCT is performed on the residual value sequence.

上述の予測の方式としては、対象ブロックの属するフレームとは異なるフレーム(ピクチャ)やスライスを参照し、フレーム間の動き情報を利用する動き補償予測方式がある。また、対象ブロックの属するフレーム内において対象ブロックと空間的に隣接するブロックの画素値を参照し、テクスチャの方向性などに基づいて内挿または外挿的にブロック内のパターンを予測する画面内予測方式も採用されている。   As a prediction method described above, there is a motion compensation prediction method that refers to a frame (picture) or slice different from the frame to which the target block belongs and uses motion information between frames. Also, in-screen prediction that refers to pixel values of blocks spatially adjacent to the target block within the frame to which the target block belongs, and predicts the pattern in the block by interpolation or extrapolation based on the directionality of the texture, etc. The system is also adopted.

さらに、対象ブロックの属するフレーム内において、対象ブロックと類似するパターンを探索し、該類似パターンを対象ブロックの予測値として用いるイントラブロックコピー方式やその改善方式(例えば、特許文献1)も提案されている。
また、対象ブロックの属するフレームを水平または/および垂直方向に縮小した画像内において、対象ブロックと類似するパターンを探索し、該類似パターンを対象ブロックの予測値として用いる方式(例えば、特許文献2)も提案されている。
Furthermore, an intra block copy method that uses a similar pattern as a predicted value of the target block in a frame to which the target block belongs, and an improved method (for example, Patent Document 1) have been proposed. Yes.
Also, a method of searching for a pattern similar to the target block in an image obtained by reducing the frame to which the target block belongs in the horizontal or / and vertical direction, and using the similar pattern as a predicted value of the target block (for example, Patent Document 2) Has also been proposed.

特開2015−82714号公報Japanese Patent Laying-Open No. 2015-82714 特許第5321439号公報Japanese Patent No. 5321439

しかしながら、上述した動き補償予測方式や、画面内予測方式、イントラブロックコピー方式などの従来の予測方では、復号した画像領域を参照する。すなわち、量子化等の処理によりとくに高周波領域において信号劣化が生じた画像を参照するため、予測画像にも劣化に起因する独特の波形(例えば、リンギングやモスキートノイズ)が含まれてしまう。例えば、イントラブロックコピー方式は、ベタ塗りのスクリーンコンテンツ(計算機のモニタ画面やコンピュータグラフィックスなど)でとくに効を奏するが、参照した復号画像にリンギング等の劣化が含まれると、ベタ塗りの予測画像が得づらくなってしまう。その結果、予測残差を生じ、符号化効率が低下してしまう。   However, in the conventional prediction methods such as the motion compensation prediction method, the intra prediction method, and the intra block copy method described above, the decoded image region is referred to. That is, since an image in which signal degradation has occurred particularly in a high-frequency region due to processing such as quantization is referred to, the predicted image also includes a unique waveform (for example, ringing or mosquito noise) due to the degradation. For example, the intra block copy method is particularly effective for solid-screen content (computer monitor screens, computer graphics, etc.), but if the referenced decoded image contains deterioration such as ringing, a solid-colored predicted image It becomes difficult to get. As a result, a prediction residual is generated and the encoding efficiency is lowered.

本発明は、このような事情に鑑みてなされたもので、良好な符号化効率を得ることができる映像符号化装置、映像復号装置およびプログラムを提供する。   The present invention has been made in view of such circumstances, and provides a video encoding device, a video decoding device, and a program capable of obtaining good encoding efficiency.

(1)この発明は上述した課題を解決するためになされたもので、本発明の一態様は、符号化する映像を分割して、符号化対象領域を生成する分割部と、復号された画像領域に対して非線形フィルタによる雑音除去を施すフィルタ部と、前記フィルタ部が雑音除去を施した画像内から、前記符号化対象領域に類似する領域を探索して、予測画像とする予測部とを備える映像符号化装置である。 (1) The present invention has been made to solve the above-described problem, and one aspect of the present invention is to divide a video to be encoded and generate an encoding target region, and a decoded image. A filter unit that performs noise removal on a region by a non-linear filter, and a prediction unit that searches a region similar to the encoding target region from an image from which the filter unit has performed noise removal, and obtains a prediction image. A video encoding device provided.

(2)また、本発明の他の態様は、(1)に記載の映像符号化装置であって、前記フィルタ部は、前記雑音除去に加えて、解像度変換を施し、前記予測部は、前記雑音除去に加えて、前記解像度変換を施した画像内から、前記符号化対象領域に類似する領域を探索して、前記予測画像とする。 (2) Further, another aspect of the present invention is the video encoding device according to (1), wherein the filter unit performs resolution conversion in addition to the noise removal, and the prediction unit In addition to noise removal, a region similar to the encoding target region is searched from the image subjected to the resolution conversion, and is used as the predicted image.

(3)また、本発明の他の態様は、予測画像を取得するための参照位置を示す参照情報を取得する参照位置取得部と、復号された画像領域に対して非線形フィルタによる雑音除去を施した画像内から、前記参照情報が示す位置の画像を抽出して、予測画像とする予測部とを備える映像復号装置である。 (3) According to another aspect of the present invention, a reference position acquisition unit that acquires reference information indicating a reference position for acquiring a predicted image, and noise removal using a nonlinear filter are performed on the decoded image region. The video decoding device includes a prediction unit that extracts an image at a position indicated by the reference information from the image and sets it as a predicted image.

(4)また、本発明の他の態様は、(3)に記載の映像復号装置であって、前記予測部は、前記雑音除去に加えて、解像度変換を施した画像内から、前記参照情報が示す位置の画像を抽出して、前記予測画像とする。 (4) According to another aspect of the present invention, there is provided the video decoding device according to (3), wherein the prediction unit includes the reference information from an image subjected to resolution conversion in addition to the noise removal. The image at the position indicated by is extracted as the predicted image.

(5)また、本発明の他の態様は、コンピュータを、符号化する映像を分割して、符号化対象領域を生成する分割部、復号された画像領域に対して非線形フィルタによる雑音除去を施すフィルタ部、前記フィルタ部が雑音除去を施した画像内から、前記符号化対象領域に類似する領域を探索して、予測画像とする予測部として機能させるためのプログラムである。 (5) According to another aspect of the present invention, a computer divides a video to be encoded, generates a coding target region, and performs noise removal using a nonlinear filter on the decoded image region. A program for searching for a region similar to the encoding target region from a filter unit and an image from which noise has been removed by the filter unit, and causing the region to function as a prediction unit.

(6)また、本発明の他の態様はコンピュータを、予測画像を取得するための参照位置を示す参照情報を取得する参照位置取得部、復号された画像領域に対して非線形フィルタによる雑音除去を施した画像内から、前記参照情報が示す位置の画像を抽出して、予測画像とする予測部として機能させるためのプログラムである。 (6) Further, according to another aspect of the present invention, the computer performs a noise removal using a non-linear filter on a decoded image region, a reference position acquisition unit that acquires reference information indicating a reference position for acquiring a predicted image. It is a program for extracting an image at a position indicated by the reference information from the applied image and causing it to function as a prediction unit as a predicted image.

この発明によれば、良好な符号化効率を得ることができる。   According to the present invention, good coding efficiency can be obtained.

本発明の第1の実施形態による映像符号化装置1の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the video coding apparatus 1 by the 1st Embodiment of this invention. 同実施形態による映像復号装置2の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the video decoding apparatus 2 by the embodiment. 本発明の第2の実施形態による映像符号化装置1aの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the video coding apparatus 1a by the 2nd Embodiment of this invention. 同実施形態による映像復号装置2aの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the video decoding apparatus 2a by the embodiment. 同実施形態による符号化対象の画像例の模式図である。It is a schematic diagram of the example of an image of the encoding target by the same embodiment. 同実施形態による幾何変換を説明する模式図である。It is a schematic diagram explaining the geometric transformation by the embodiment.

[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態について説明する。図1、図2は、それぞれ、本実施形態による映像符号化装置1、映像復号装置2の構成を示す概略ブロック図である。映像符号化装置1は、映像を圧縮符号化する装置であり、映像復号装置2は、映像符号化装置1により圧縮符号化された映像を復号する装置である。なお、映像は、静止画像であってもよいし、動画像であってもよい。映像符号化装置1は、ブロック分割部31、減算部32、変換部33、量子化部34、エントロピー符号化部35、逆量子化部36、逆変換部37、加算部38、バッファ部39、フィルタ部40、予測部41を含む。
[First Embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. 1 and 2 are schematic block diagrams showing configurations of a video encoding device 1 and a video decoding device 2 according to the present embodiment, respectively. The video encoding device 1 is a device that compresses and encodes video, and the video decoding device 2 is a device that decodes video that has been compression-encoded by the video encoding device 1. The video may be a still image or a moving image. The video encoding device 1 includes a block division unit 31, a subtraction unit 32, a conversion unit 33, a quantization unit 34, an entropy encoding unit 35, an inverse quantization unit 36, an inverse conversion unit 37, an addition unit 38, a buffer unit 39, A filter unit 40 and a prediction unit 41 are included.

ブロック分割部31(分割部)は、入力された映像信号Piのフレーム(または、静止画像)を、以降の処理の単位に、空間的に分割して、ブロック列を生成する。例えば、ブロック分割部31は、一定の形状(例えば縦横とも8ピクセルなど、大きさの固定された矩形)で区切る。あるいは、ブロック分割部31は、大きさや形状の異なる部分領域に分割可能であっても構わない。ここで、ブロック分割部31により分割されたブロック列のうち、これから処理を行うブロックを対象ブロック(符号化対象領域)と呼ぶ。ブロック分割部31は、ブロック列を構成するブロックを、順次、対象ブロックとして、減算部32と、予測部41とに入力する。   The block dividing unit 31 (dividing unit) spatially divides the frame (or still image) of the input video signal Pi into subsequent processing units to generate a block sequence. For example, the block dividing unit 31 divides the data into a fixed shape (for example, a rectangle having a fixed size such as 8 pixels in both vertical and horizontal directions). Alternatively, the block dividing unit 31 may be capable of being divided into partial areas having different sizes and shapes. Here, out of the block string divided by the block dividing unit 31, a block to be processed from now on is called a target block (encoding target region). The block division unit 31 sequentially inputs the blocks constituting the block string to the subtraction unit 32 and the prediction unit 41 as target blocks.

減算部32は、ブロック分割部31から入力された対象ブロックの各画素値から、後述する予測部41から入力された予測ブロックの各画素値を減じ、その結果を残差ブロックとする。減算部32は、この残差ブロックを変換部33に入力する。変換部33は、減算部32から入力された残差ブロックに対し、変換処理を行う。変換部33は、この変換処理により得られた変換係数を量子化部34に入力する。この変換処理は、例えば離散コサイン変換、離散サイン変換、これらを整数近似したもの(整数変換)、あるいはカルーネン・レーベ変換などである。   The subtraction unit 32 subtracts each pixel value of the prediction block input from the prediction unit 41 described later from each pixel value of the target block input from the block division unit 31, and sets the result as a residual block. The subtraction unit 32 inputs this residual block to the conversion unit 33. The conversion unit 33 performs conversion processing on the residual block input from the subtraction unit 32. The conversion unit 33 inputs the conversion coefficient obtained by this conversion process to the quantization unit 34. This conversion process is, for example, discrete cosine transform, discrete sine transform, an integer approximation of these (integer transform), or Karhunen-Loeve transform.

量子化部34は、変換部33から入力された変換係数を量子化する。量子化部34は、この量子化の結果を量子化インデックスとし、エントロピー符号化部35と逆量子化部36とに入力する。この量子化における量子化ステップは、変換係数ごとに変化していてもよい。例えば、変換部33における変換処理が離散コサイン変換や離散サイン変換、あるいはこれらの整数変換である場合に、直流成分や低周波成分に対しては高周波成分に対するものよりも細かい量子化ステップを割り当ててもよい。   The quantization unit 34 quantizes the transform coefficient input from the transform unit 33. The quantization unit 34 uses the result of the quantization as a quantization index and inputs it to the entropy encoding unit 35 and the inverse quantization unit 36. The quantization step in this quantization may change for each transform coefficient. For example, when the conversion processing in the conversion unit 33 is discrete cosine transform, discrete sine transform, or integer conversion thereof, a smaller quantization step is assigned to the direct current component and the low frequency component than to the high frequency component. Also good.

エントロピー符号化部35は、量子化部34から入力された量子化インデックス(量子化された変換係数)と、後述する予測部41から入力された参照ベクトルとに対してエントロピー符号化を適用することで、データ圧縮を行い、ビット列を生成する。このビット列が、映像符号化装置1の出力データDoとなる。エントロピー符号化部35におけるエントロピー符号化には、例えばハフマン符号化や、その派生であるCAVLC(Context-Adaptive Variable Length Coding)、算術符号化や、その派生であるCABAC(Context-Adaptive Binary Arithmetic Coding)など、任意のエントロピー符号化方式を用いることができる。   The entropy encoding unit 35 applies entropy encoding to the quantization index (quantized transform coefficient) input from the quantization unit 34 and a reference vector input from the prediction unit 41 described later. Then, data compression is performed to generate a bit string. This bit string becomes the output data Do of the video encoding device 1. The entropy coding in the entropy coding unit 35 includes, for example, Huffman coding, derivation of CAVLC (Context-Adaptive Variable Length Coding), arithmetic coding, and derivation of CABAC (Context-Adaptive Binary Arithmetic Coding). Any entropy coding scheme can be used.

逆量子化部36は、量子化部34から入力された量子化インデックスに対し、量子化ステップを乗ずることにより変換係数に戻す(但し、量子化ステップに応じた量子化誤差を含む)。逆量子化部36は、この変換係数を逆変換部37に入力する。なお、逆量子化部36における量子化ステップは、量子化部34における量子化ステップと等しい。逆変換部37は、逆量子化部36から入力された変換係数に対し、変換部33における変換の逆変換を適用することで、残差ブロック(量子化に起因する誤差を含む)を復元する。例えば、変換部33における変換処理が離散コサイン変換である場合には、逆変換部37は逆離散コサイン変換を適用する。逆変換部37は、復元した残差ブロックを加算部38に入力する。   The inverse quantization unit 36 returns the transform coefficient to the transform coefficient by multiplying the quantization index input from the quantization unit 34 by a quantization step (including a quantization error corresponding to the quantization step). The inverse quantization unit 36 inputs this transform coefficient to the inverse transform unit 37. Note that the quantization step in the inverse quantization unit 36 is equal to the quantization step in the quantization unit 34. The inverse transform unit 37 restores a residual block (including an error caused by quantization) by applying inverse transform of the transform in the transform unit 33 to the transform coefficient input from the inverse quantization unit 36. . For example, when the conversion process in the conversion unit 33 is a discrete cosine transform, the inverse conversion unit 37 applies an inverse discrete cosine transform. The inverse transform unit 37 inputs the restored residual block to the adder unit 38.

加算部38は、後述する予測部41から入力された予測ブロックの各画素値と、逆変換部37から入力された残差ブロックの各画素値とを加算し、その結果を復号ブロックとする。加算部38は、この復号ブロックをバッファ部39に入力する。バッファ部39は、加算部38から入力された復号ブロックを記憶するメモリである。バッファ部39は、ブロック分割部31における対象ブロックの選定と連動して、当該対象ブロック位置に前記復号ブロックを追記することにより、順次復号画像を構築してゆく。   The adding unit 38 adds each pixel value of the prediction block input from the prediction unit 41 to be described later and each pixel value of the residual block input from the inverse transform unit 37, and uses the result as a decoded block. The adding unit 38 inputs this decoded block to the buffer unit 39. The buffer unit 39 is a memory that stores the decoded block input from the adding unit 38. The buffer unit 39 sequentially constructs decoded images by adding the decoded block to the target block position in conjunction with the selection of the target block in the block dividing unit 31.

フィルタ部40は、バッファ部39に記録された復号画像(対象ブロック位置の直前まで復号された部分画像、復号された画像領域)に対して非線形フィルタによる雑音除去を施し、その結果を雑音除去画像として予測部41に入力する。この非線形フィルタによる雑音除去としては、例えば所定の窓内における順序統計フィルタ(例えば、中央値フィルタ)が適用可能である。また、この非線形フィルタによる雑音除去の別の例として、モルフォロジ演算(例えば、膨張演算、収縮演算、もしくはこれらの組み合わせによるオープニング演算やクロージング演算)を適用してもよい。   The filter unit 40 performs noise removal by a non-linear filter on the decoded image (partial image decoded until immediately before the target block position, decoded image region) recorded in the buffer unit 39, and the result is the noise-removed image. To the prediction unit 41. As noise removal by this nonlinear filter, for example, an order statistical filter (for example, a median filter) within a predetermined window can be applied. Further, as another example of noise removal by this nonlinear filter, a morphological operation (for example, an opening operation or a closing operation using an expansion operation, a contraction operation, or a combination thereof) may be applied.

なお、フィルタ部40は、複数種類の非線形フィルタによる雑音除去を実行可能で、それらを画像または映像の部分単位(フレーム単位やブロック単位)で切り替えても構わない。その場合、フィルタ部40は、各単位でいずれの種類の非線形フィルタを用いたかを示す切り替え情報を、エントロピー符号化部35に入力し、エントロピー符号化部35は、この切り替え情報を、量子化インデックスや参照ベクトルとともに符号化する。もちろん、フィルタ部40には、単一の非線形フィルタによる雑音除去のみが実装されても構わない。   Note that the filter unit 40 can perform noise removal using a plurality of types of non-linear filters, and may switch them in image or video partial units (frame units or block units). In that case, the filter unit 40 inputs switching information indicating which type of nonlinear filter is used in each unit to the entropy encoding unit 35, and the entropy encoding unit 35 converts the switching information into a quantization index. And the reference vector. Of course, only noise removal by a single nonlinear filter may be mounted on the filter unit 40.

予測部41は、ブロック分割部31から入力された対象ブロックと、フィルタ部40から入力された雑音除去画像とを比較し、対象ブロックに類似する領域を雑音除去画像内から探索し、対応づけを行う。予測部41は、この対応づけを示す情報を、対象ブロックに類似する領域を取得するための参照位置を示す参照ベクトル(参照情報)として、エントロピー符号化部35に入力する。参照ベクトルとしては、例えば、対象ブロックと最も類似すると判定された雑音除去画像像内の領域(対応領域と称する)の代表点(例えば、領域が矩形である場合には左上の頂点)の画像座標を用いることができる。   The prediction unit 41 compares the target block input from the block division unit 31 with the noise-removed image input from the filter unit 40, searches for a region similar to the target block from the noise-removed image, and performs association. Do. The prediction unit 41 inputs information indicating this association to the entropy encoding unit 35 as a reference vector (reference information) indicating a reference position for acquiring a region similar to the target block. As the reference vector, for example, the image coordinates of the representative point (for example, the upper left vertex when the area is rectangular) in the noise-removed image image determined to be most similar to the target block (referred to as a corresponding area) Can be used.

予測部41が雑音除去画像内において対象ブロックと類似する領域を探索する方法としては、例えば、ブロックマッチング法によることができる。このとき、ブロック間の類似性の評価法としては、ブロック間の誤差(二乗誤差和や絶対値誤差和など)が小さいほど類似性が高いとする指標を用いてもよいし、ブロック間の相互相関値が高いほど類似性が高いとする指標を用いてもよい。また、ブロック間の類似性の評価手法として、両ブロックの特徴量の類似性を評価しても構わない。例えば、前記特徴量として、ブロック内の画素値の統計量で定義される数値(例えば、構造類似性指標(SSIM; Structural SIMilarity))を用いてもよい。さらには、ブロック間の誤差、相関、特徴量など、複数の評価指標の線形結合や非線形結合によって類似性の指標を定義してもよい。   As a method for the prediction unit 41 to search for a region similar to the target block in the noise-removed image, for example, a block matching method can be used. At this time, as a method of evaluating the similarity between blocks, an index may be used in which the similarity is higher as the error between blocks (such as the sum of square errors and the sum of absolute values of errors) is smaller. You may use the parameter | index that similarity is so high that a correlation value is high. Further, as a technique for evaluating the similarity between blocks, the similarity between the feature amounts of both blocks may be evaluated. For example, a numerical value (for example, a structural similarity index (SSIM)) defined by a statistic of pixel values in a block may be used as the feature amount. Furthermore, the similarity index may be defined by linear combination or non-linear combination of a plurality of evaluation indices such as an error between blocks, a correlation, and a feature amount.

さらに、予測部41は、雑音除去画像から対応領域を抽出した部分画像(予測画像)を減算部32に対して入力する。その結果、減算部32は、対象ブロックの各画素値から予測画像の各画素値を減じた画像(残差ブロック)となる。
なお、予測部41における類似領域の探索や、フィルタ部40における切り替え情報の決定は、必要に応じて、他の部(ブロック分割部31、変換部33、量子化部34など)とともにレート歪み最適化を行うことで最適値を決定しても構わない。
Further, the prediction unit 41 inputs a partial image (prediction image) obtained by extracting the corresponding region from the noise-removed image to the subtraction unit 32. As a result, the subtraction unit 32 becomes an image (residual block) obtained by subtracting each pixel value of the predicted image from each pixel value of the target block.
In addition, the search of the similar area in the prediction unit 41 and the determination of the switching information in the filter unit 40 are performed with the rate distortion optimum together with other units (block division unit 31, conversion unit 33, quantization unit 34, etc.) as necessary. The optimum value may be determined by performing the conversion.

次に、図2を参照して、映像復号装置2の構成を説明する。映像復号装置2は、エントロピー復号部53と、逆量子化部54と、逆変換部55と、加算部56と、バッファ部57と、フィルタ部58と、ブロック転写部59とを含む。エントロピー復号部53(参照位置取得部)は、入力データDiを復号して、エントロピー符号により圧縮されたデータを復元する。入力データDiは、映像符号化装置1が出力した出力データDoが、ネットワーク、デジタル放送、可搬記録媒体などを介して、映像復号装置2に入力されたものである。また、エントロピー復号部53における復号は、映像符号化装置1のエントロピー符号化部35における符号化の逆変換であり、この復号により、エントロピー符号化部35によるデータ圧縮の解凍(復元)が行われ、量子化インデックスと、参照ベクトルとが得られる。   Next, the configuration of the video decoding device 2 will be described with reference to FIG. The video decoding device 2 includes an entropy decoding unit 53, an inverse quantization unit 54, an inverse conversion unit 55, an addition unit 56, a buffer unit 57, a filter unit 58, and a block transfer unit 59. The entropy decoding unit 53 (reference position acquisition unit) decodes the input data Di and restores the data compressed by the entropy code. The input data Di is output data Do output from the video encoding device 1 and input to the video decoding device 2 via a network, digital broadcast, portable recording medium, or the like. Further, the decoding in the entropy decoding unit 53 is an inverse transformation of the encoding in the entropy encoding unit 35 of the video encoding device 1, and the compression (decompression) of data compression by the entropy encoding unit 35 is performed by this decoding. A quantization index and a reference vector are obtained.

エントロピー復号部53は、この復号により得られた量子化インデックスを、逆量子化部54に入力し、この復号により得られた参照ベクトルを、ブロック転写部59に入力する。逆量子化部54は、逆量子化部36の動作と同一であるので、詳細な説明を省略する。逆量子化部54は、逆量子化により得られた変換係数を、逆変換部55に入力する。逆変換部55は、逆変換部37の動作と同一であるので、詳細な説明を省略する。逆変換部55は、逆変換により得られた残差ブロックを、加算部56に入力する。   The entropy decoding unit 53 inputs the quantization index obtained by this decoding to the inverse quantization unit 54, and inputs the reference vector obtained by this decoding to the block transfer unit 59. Since the inverse quantization unit 54 is the same as the operation of the inverse quantization unit 36, detailed description thereof is omitted. The inverse quantization unit 54 inputs the transform coefficient obtained by the inverse quantization to the inverse transform unit 55. Since the reverse conversion unit 55 is the same as the operation of the reverse conversion unit 37, detailed description thereof is omitted. The inverse transformation unit 55 inputs the residual block obtained by the inverse transformation to the addition unit 56.

加算部56は、後述するブロック転写部59から入力された予測画像の各画素値と、逆変換部55から入力された残差ブロックの各画素値とを加算し、その結果を復号ブロックとしてバッファ部57に入力する。バッファ部57は、バッファ部39の動作と同一である。映像復号装置2がエントロピー復号部53からの1フレーム分のデータを処理し終えた時点で、バッファ部57には当該フレームの復号画像が記憶された状態となる。バッファ部57は、この復号画像を、映像像信号Poとして出力する。   The adding unit 56 adds each pixel value of the predicted image input from the block transfer unit 59 described later and each pixel value of the residual block input from the inverse transform unit 55, and buffers the result as a decoded block. Input to the unit 57. The buffer unit 57 is the same as the operation of the buffer unit 39. When the video decoding device 2 finishes processing one frame of data from the entropy decoding unit 53, the buffer unit 57 is in a state where the decoded image of the frame is stored. The buffer unit 57 outputs this decoded image as a video image signal Po.

フィルタ部58は、バッファ部57に記録された復号画像(対象ブロック位置の直前まで復号された部分画像)に対して非線形フィルタによる雑音除去を施し、その結果を雑音除去画像としてブロック転写部59に入力する。フィルタ部58の実行する非線形フィルタによる雑音除去は、映像符号化装置1のフィルタ部40の実行する非線形フィルタによる雑音除去と同一である。なお、映像符号化装置1のフィルタ部40が複数の非線形フィルタによる雑音除去を切り替えて実行する場合には、エントロピー復号部53は、復号により得られた切り替え情報を、フィルタ部58に入力する。フィルタ部58は、この切り替え情報に従って非線形フィルタを切り替えることで、各単位に対してフィルタ部40が適用した非線形フィルタと同一のフィルタを適用する。   The filter unit 58 performs noise removal by a non-linear filter on the decoded image (partial image decoded until just before the target block position) recorded in the buffer unit 57, and the result is sent to the block transfer unit 59 as a noise-removed image. input. The noise removal by the nonlinear filter performed by the filter unit 58 is the same as the noise removal by the nonlinear filter performed by the filter unit 40 of the video encoding device 1. Note that when the filter unit 40 of the video encoding device 1 switches and executes noise removal using a plurality of nonlinear filters, the entropy decoding unit 53 inputs the switching information obtained by decoding to the filter unit 58. The filter unit 58 applies the same filter as the nonlinear filter applied by the filter unit 40 to each unit by switching the nonlinear filter according to this switching information.

ブロック転写部59は、フィルタ部58から入力された雑音除去画像内から、エントロピー復号部53から入力された参照ベクトル情報が示す部分画像を切り出す。ブロック転写部59は、切り出した部分画像を予測画像として、加算部56に入力する。
なお、フィルタ部58は、バッファ部57に記録された復号画像のうち、ブロック転写部59が部分画像として切出す部分に対してのみ、非線形フィルタを適用するようにしてもよい。
The block transfer unit 59 cuts out a partial image indicated by the reference vector information input from the entropy decoding unit 53 from the noise-removed image input from the filter unit 58. The block transfer unit 59 inputs the cut out partial image to the adding unit 56 as a predicted image.
The filter unit 58 may apply the non-linear filter only to the portion of the decoded image recorded in the buffer unit 57 that is cut out by the block transfer unit 59 as a partial image.

このように、映像符号化装置1、映像復号装置2は、それぞれ復号画像に対して雑音除去を適用するフィルタ部40、58を有する。これにより、予測画像に含まれるモスキートノイズやリンギングノイズを低減させ、これらのノイズに起因する残差を抑えることができる。これにより、減算部32が算出する残差ブロックにおいて、各画素に対応する残差の値が抑えられ、良好な圧縮効率を得ることができる。例えば、アニメーションや、コンピュータグラフィックなどを符号化するときには、予測画像に対応する原画像のブロックと、対象ブロックとがほぼ同一になることがあるが、そのような場合に、ノイズに起因する成分により、残差が大きくなってしまうのを抑えることができる。   As described above, the video encoding device 1 and the video decoding device 2 include the filter units 40 and 58 that apply noise removal to the decoded images, respectively. As a result, mosquito noise and ringing noise included in the predicted image can be reduced, and residuals resulting from these noises can be suppressed. Thereby, in the residual block calculated by the subtraction unit 32, the value of the residual corresponding to each pixel is suppressed, and good compression efficiency can be obtained. For example, when encoding animation, computer graphics, etc., the block of the original image corresponding to the predicted image may be substantially the same as the target block. In such a case, due to the component due to noise, It is possible to suppress the residual from becoming large.

さらに、フィルタ部40、58は、非線形フィルタを備え、フィルタ部40、58による雑音除去は、この非線形フィルタを用いて行われる。
非線形フィルタによる雑音除去では、色が大きく変化する境界を残したまま雑音を除去することができるので、境界を鈍らせてしまうことで発生する残差を抑え、良好な圧縮効率を得ることができる。
Further, the filter units 40 and 58 include nonlinear filters, and noise removal by the filter units 40 and 58 is performed using the nonlinear filters.
Noise removal using a non-linear filter can remove noise while leaving a boundary where the color changes greatly, so it is possible to suppress residual generated by dulling the boundary and obtain good compression efficiency. .

[第2の実施形態]
以下、図面を参照して、本発明の第2の実施形態について説明する。第1の実施形態では、イントラ予測やインター予測を行う際に、復号画像に対して非線形フィルタによる雑音除去を行った雑音除去画像を用いたが、本実施形態では、復号画像に対して、雑音除去に加えて解像度変換を行った画像(以降、幾何変換画像という)を用いる点が異なる。
[Second Embodiment]
The second embodiment of the present invention will be described below with reference to the drawings. In the first embodiment, when performing intra prediction or inter prediction, a noise-removed image obtained by removing noise by a non-linear filter is used for a decoded image. However, in this embodiment, noise is reduced for a decoded image. The difference is that an image subjected to resolution conversion (hereinafter referred to as a geometrically converted image) is used in addition to the removal.

図3は、本実施形態による映像符号化装置1aの構成を示す概略ブロック図である。図3において、図1の各部に対応する部分には同一の符号を付し、説明を省略する。映像符号化装置1aは、映像符号化装置1とは、フィルタ部40に変えて、幾何変換部40aを有する点と、幾何変換部40aから切り替え情報がエントロピー符号化部35に入力される点とが異なる。   FIG. 3 is a schematic block diagram showing the configuration of the video encoding device 1a according to the present embodiment. 3, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted. The video encoding device 1a is different from the video encoding device 1 in that it has a geometric conversion unit 40a instead of the filter unit 40, and a point that switching information is input from the geometric conversion unit 40a to the entropy encoding unit 35. Is different.

幾何変換部40aは、バッファ部39に記録された復号画像(対象ブロック位置の直前まで復号された部分画像)に対して非線形フィルタによる雑音除去および幾何変換を施す。幾何変換部40aは、この変換結果の画像を、幾何変換画像として、予測部41に入力する。幾何変換部40aにおける非線形フィルタによる雑音除去は、第1の実施形態におけるフィルタ部40と同様である。また、幾何変換部40aは、予測部41が予測画像として切出した画像に適用した幾何変換を示す情報を切り替え情報として、エントロピー符号化部35に入力する。なお、幾何変換部40aは、複数種類の非線形フィルタを切り替えて用いる場合は、各単位に適用した非線形フィルタを示す情報を、切り替え情報に含める。なお、非線形フィルタを示す情報として、予測部41が予測画像として切出した画像に適用した非線形フィルタのみを示す情報を、切り替え情報に含めるようにしてもよい。   The geometric transformation unit 40a performs noise removal and geometric transformation by a non-linear filter on the decoded image (partial image decoded until just before the target block position) recorded in the buffer unit 39. The geometric conversion unit 40a inputs the image of the conversion result to the prediction unit 41 as a geometric conversion image. Noise removal by the nonlinear filter in the geometric conversion unit 40a is the same as that of the filter unit 40 in the first embodiment. Further, the geometric transformation unit 40a inputs information indicating the geometric transformation applied to the image extracted by the prediction unit 41 as a predicted image to the entropy encoding unit 35 as switching information. Note that when a plurality of types of nonlinear filters are used by switching, the geometric conversion unit 40a includes information indicating the nonlinear filter applied to each unit in the switching information. Note that information indicating only the nonlinear filter applied to the image extracted by the prediction unit 41 as the predicted image may be included in the switching information as the information indicating the nonlinear filter.

幾何変換部40aにおいて非線形フィルタによる雑音除去の後に適用される幾何変換は、例えば縮小変換である。縮小変換に先だって、画像に対して空間的な低域通過型フィルタを適用しても構わない。例えば、この低域通過型フィルタは、その遮断周波数を縮小変換時の再標本化のナイキスト周波数にとる。フィルタの形式としては、例えばLanczosフィルタ(Lanczos-3フィルタなど)や、打ち切りSinc関数、ガウシアンフィルタなどを用いることができる。幾何変換部40aは、複数種類の非線形フィルタによる雑音除去および幾何変換を実装し、それらを画像または映像の部分単位(フレーム単位やブロック単位)で切り替えても構わない。もちろん、幾何変換部40aには、単一の非線形フィルタによる雑音除去および幾何変換の組のみが実装されても構わない。   The geometric transformation applied after the noise removal by the nonlinear filter in the geometric transformation unit 40a is, for example, reduction transformation. Prior to the reduction conversion, a spatial low-pass filter may be applied to the image. For example, this low-pass filter uses the cut-off frequency as the Nyquist frequency for resampling at the time of reduction conversion. As a filter format, for example, a Lanczos filter (Lanczos-3 filter or the like), a truncated Sinc function, a Gaussian filter, or the like can be used. The geometric conversion unit 40a may implement noise removal and geometric conversion using a plurality of types of nonlinear filters, and may switch them in image or video partial units (frame units or block units). Of course, the geometric transformation unit 40a may be mounted with only a combination of noise removal and geometric transformation by a single nonlinear filter.

なお、参照ベクトルとして、対象ブロックの代表点の画像座標と、対応領域の代表点の画像座標を幾何変換部40aにおける変換を考慮してスケーリングや座標変換を行った結果の座標との間の差分ベクトルにより表現しても構わない。例えば、幾何変換部40aが水平、垂直それぞれ1/2の縮小を行った場合には、対応領域の代表点の画像座標を水平、垂直それぞれ2倍する。逆に、参照ベクトルとして、対象ブロックの代表点の画像座標を幾何変換部40aにおける変換を考慮してスケーリングや座標変換を行った結果の座標と、対応領域の代表点の画像座標との間の差分ベクトルにより表現しても構わない。例えば、幾何変換部40aが水平、垂直それぞれ1/2の縮小を行った場合には、対象領域の代表点の画像座標を水平、垂直それぞれ1/2倍する。   As a reference vector, the difference between the image coordinates of the representative point of the target block and the coordinates of the result of scaling and coordinate conversion of the image coordinates of the representative point of the corresponding area in consideration of the conversion in the geometric conversion unit 40a. It may be expressed by a vector. For example, when the geometric conversion unit 40a reduces the horizontal and vertical by ½, the image coordinates of the representative point of the corresponding area are doubled both horizontally and vertically. Conversely, as a reference vector, the image coordinates of the representative point of the target block between the coordinates obtained as a result of scaling and coordinate conversion in consideration of the conversion in the geometric conversion unit 40a and the image coordinates of the representative point of the corresponding region It may be expressed by a difference vector. For example, when the geometric conversion unit 40a reduces the horizontal and vertical by ½, the image coordinates of the representative point of the target area are halved both horizontally and vertically.

図4は、本実施形態による映像復号装置2aの構成を示す概略ブロック図である。図4において、図2の各部に対応する部分には同一の符号を付し、説明を省略する。映像復号装置2aは、映像復号装置2とは、フィルタ部58に変えて、幾何変換部58aを有する点と、エントロピー復号部53による復号により得られた切り替え情報が幾何変換部58aに入力される点とが異なる。   FIG. 4 is a schematic block diagram showing the configuration of the video decoding device 2a according to this embodiment. 4, parts corresponding to those in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted. The video decoding device 2a is different from the video decoding device 2 in that it has a geometric transformation unit 58a instead of the filter unit 58, and switching information obtained by decoding by the entropy decoding unit 53 is input to the geometric transformation unit 58a. The point is different.

幾何変換部58aは、バッファ部57に記録された復号画像(対象ブロック位置の直前まで復号された部分画像)に対して非線形フィルタによる雑音除去および幾何変換を施す。幾何変換部58aは、この変換結果の画像を、幾何変換画像として、ブロック転写部59に入力する。幾何変換部58aにおける非線形フィルタによる雑音除去は、第1の実施形態におけるフィルタ部58と同様である。幾何変換部58aにおける幾何変換は、例えば縮小変換である。幾何変換部58aの実行する非線形フィルタによる雑音除去および幾何変換は、幾何変換部40aの実行する非線形フィルタによる雑音除去および幾何変換と同一である。   The geometric transformation unit 58a performs noise removal and geometric transformation by a non-linear filter on the decoded image (partial image decoded until just before the target block position) recorded in the buffer unit 57. The geometric conversion unit 58a inputs the image of the conversion result to the block transfer unit 59 as a geometric conversion image. Noise removal by the nonlinear filter in the geometric conversion unit 58a is the same as that in the filter unit 58 in the first embodiment. The geometric transformation in the geometric transformation unit 58a is, for example, reduction transformation. The noise removal and geometric transformation by the nonlinear filter executed by the geometric transformation unit 58a are the same as the noise removal and geometric transformation by the nonlinear filter executed by the geometric transformation unit 40a.

なお、幾何変換部40aが複数の非線形フィルタによる雑音除去および幾何変換を切り替えて実行する場合には、エントロピー復号部53は、復号により得られた切り替え情報を幾何変換部58aに入力する。幾何変換部58aは、この切り替え情報に従って非線形フィルタと幾何変換とを切り替えることで、各単位に対して幾何変換部40aが適用した非線形フィルタによる雑音除去および幾何変換と同じ非線形フィルタによる雑音除去および幾何変換を適用する。   When the geometric transformation unit 40a switches between noise removal and geometric transformation by a plurality of nonlinear filters, the entropy decoding unit 53 inputs the switching information obtained by decoding to the geometric transformation unit 58a. The geometric transformation unit 58a switches between the nonlinear filter and the geometric transformation in accordance with this switching information, so that the noise removal by the nonlinear filter and the geometric transformation applied by the geometric transformation unit 40a for each unit and the noise removal and the geometry by the same nonlinear transformation are applied. Apply transformation.

図5の画像10は符号化対象の画像を模式的に表したものである。符号化はブロック単位で処理を行うものとし、太線の多角形で囲んだ領域は、すでに符号化済みの領域11である。対象ブロック12は、これから符号化する領域である。一般に予測処理は対象ブロック12内の画素値パターンと類似する領域を符号化済み領域11内から探索するものであるが、本実施形態に係る予測処理は対象ブロック12内の画素値パターンと相似(回転変換および鏡像変換は含めても含めなくても構わない。また、相似比は固定でも可変でも構わない。)なパターンを符号化済み領域11内から探索する。   An image 10 in FIG. 5 schematically represents an image to be encoded. Encoding is performed in units of blocks, and a region surrounded by a bold polygon is a region 11 that has already been encoded. The target block 12 is an area to be encoded. In general, the prediction process searches for an area similar to the pixel value pattern in the target block 12 from the encoded area 11, but the prediction process according to the present embodiment is similar to the pixel value pattern in the target block 12 ( Rotational transformation and mirror image transformation may or may not be included, and the similarity ratio may be fixed or variable).

図5は、回転変換なしかつ鏡像変換なしで、対象ブロック12の縦横各2倍の相似比を有するパターンを符号化済み領域11内から探索する例である。この例では、参照ブロック13が類似する領域として選択されている。このとき、対象ブロック12と参照ブロック13との位置関係も求めておく。前記位置関係は、例えば参照ブロック13の代表点(例えば左上の頂点)から対象ブロック12の代表点(例えば左上の頂点)へ至る相対的なベクトル14として表現しても構わないし、参照ブロック13の代表点(例えば左上の頂点)の絶対座標で表現しても構わない。   FIG. 5 shows an example in which a pattern having a similarity ratio twice as long as that of the target block 12 is searched from the encoded region 11 without rotational transformation and without mirror image transformation. In this example, the reference block 13 is selected as a similar region. At this time, the positional relationship between the target block 12 and the reference block 13 is also obtained. The positional relationship may be expressed, for example, as a relative vector 14 from the representative point of the reference block 13 (for example, the upper left vertex) to the representative point of the target block 12 (for example, the upper left vertex). You may express by the absolute coordinate of a representative point (for example, upper left vertex).

本実施形態のように参照ブロックと対象ブロックとで解像度を違えることの利点を、図6を用いて説明する。この例では、参照ブロックが対象ブロックに対して縦横それぞれ2倍の大きさ(よって画素数4倍)を有するものとする。参照ブロック21は復号済みの画像領域から切り出される。このため、参照ブロック21の画素値パターンは符号化前の同領域20の画素値パターンとは必ずしも一致しない。とくに、被写体輪郭付近にリンギングやモスキートノイズを生じていることが多い。   The advantage of changing the resolution between the reference block and the target block as in the present embodiment will be described with reference to FIG. In this example, it is assumed that the reference block has a size that is twice as long as that of the target block. The reference block 21 is cut out from the decoded image area. For this reason, the pixel value pattern of the reference block 21 does not necessarily match the pixel value pattern of the same region 20 before encoding. In particular, ringing and mosquito noise often occur near the contour of the subject.

一方、参照ブロック21を対応付けた対象ブロック22は、特に、コンピュータグラフィックなどのスクリーンコンテンツにおいては、輪郭付近はノイズの少ないステップ状の画素値変化を呈することが多い。参照ブロック21において生じるリンギングやモスキートノイズは、主にDCT等の変換係数を量子化する量子化処理で生じる。DCT等の変換係数は、とくに高い空間周波数の係数が粗く量子化される傾向がある。   On the other hand, the target block 22 associated with the reference block 21 often exhibits a step-like pixel value change with less noise near the contour, particularly in screen content such as computer graphics. Ringing and mosquito noise generated in the reference block 21 are mainly generated by quantization processing for quantizing transform coefficients such as DCT. For transform coefficients such as DCT, coefficients of high spatial frequencies tend to be roughly quantized.

本実施形態では、参照ブロック21を解像度変換してから予測ブロック23(予測画像)として利用する。この解像度変換は主に解像度削減(縮小変換)を想定している。参照ブロック21の解像度を削減すると、参照ブロック21に含まれていた高域成分が無視されて低域付近の成分のみが残るため、参照ブロック21においてリンギングやモスキートノイズの要因が取り除かれることとなる。その結果、縮小後のブロックである予測ブロック23においては、被写体輪郭付近はノイズの少ないステップ状の画素値変化を呈するようになる。その結果、対象ブロック22から予測ブロック23を減じた予測残差24は小さくなる。   In the present embodiment, the reference block 21 is used as the prediction block 23 (predicted image) after resolution conversion. This resolution conversion mainly assumes resolution reduction (reduction conversion). When the resolution of the reference block 21 is reduced, the high frequency component included in the reference block 21 is ignored and only the component near the low frequency remains, so that the cause of ringing and mosquito noise is removed in the reference block 21. . As a result, in the prediction block 23 that is a reduced block, the vicinity of the subject outline exhibits a step-like pixel value change with less noise. As a result, the prediction residual 24 obtained by subtracting the prediction block 23 from the target block 22 becomes small.

本実施形態における映像符号化装置1a、映像復号装置2aも、第1の実施形態における映像符号化装置1a、映像復号装置2と同様の効果が得られる。
さらに、映像符号化装置1a、映像復号装置2aは、それぞれ復号画像に対して雑音除去と幾何変換とを適用する幾何変換部40a、58aを有する。これにより、予測ブロックに含まれるモスキートノイズやリンギングノイズを、さらに低減させ、これらのノイズに起因する残差を抑えることができる。
The video encoding device 1a and the video decoding device 2a in the present embodiment can also obtain the same effects as the video encoding device 1a and the video decoding device 2 in the first embodiment.
Furthermore, the video encoding device 1a and the video decoding device 2a include geometric transformation units 40a and 58a that apply noise removal and geometric transformation to the decoded image, respectively. Thereby, the mosquito noise and the ringing noise included in the prediction block can be further reduced, and the residual due to these noises can be suppressed.

なお、幾何変換部40aおよび幾何変換部58aにおける変換には、解像度変換のほか、1画素未満精度の移相を含めても構わない。これにより、より詳細な位置合わせが可能となるほか、移相フィルタによる符号化劣化の平滑化作用により、残差が低減または平滑化し、エントロピー符号化における圧縮効果が高まって符号化効率が改善する   The conversion in the geometric conversion unit 40a and the geometric conversion unit 58a may include a phase shift with an accuracy of less than one pixel in addition to the resolution conversion. As a result, more detailed alignment is possible, and the residual is reduced or smoothed by the smoothing action of the coding deterioration by the phase shift filter, so that the compression effect in entropy coding is enhanced and the coding efficiency is improved.

上述の各実施形態において、映像が動画像である場合、予測部41、ブロック転写部59は、対象ブロックと同一のフレームから類似するブロックを探索したり、切り出したりするイントラ予測を用いていてもよいし、対象ブロックと異なるフレームから類似するブロックを探索したり、切り出したりするインター予測を用いていてもよい。   In each of the embodiments described above, when the video is a moving image, the prediction unit 41 and the block transfer unit 59 may use intra prediction that searches for or cuts out a similar block from the same frame as the target block. Alternatively, inter prediction in which a similar block is searched for or cut out from a frame different from the target block may be used.

また、図1における映像符号化装置1、図2における映像復号装置2、図3における映像符号化装置1a、図4における映像復号装置2aの各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化装置1、1a、映像復号装置2、2aを実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。   Further, the computer can read a program for realizing the function of each unit of the video encoding device 1 in FIG. 1, the video decoding device 2 in FIG. 2, the video encoding device 1a in FIG. 3, and the video decoding device 2a in FIG. The video encoding device 1, 1a and the video decoding device 2, 2a may be realized by recording on a recording medium, reading the program recorded on the recording medium into a computer system, and executing the program. Here, the “computer system” includes an OS and hardware such as peripheral devices.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。   The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

また、上述した図1における映像符号化装置1、図2における映像復号装置2、図3における映像符号化装置1a、図4における映像復号装置2aの各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、LSIに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。
Also, the above-described functional blocks of the video encoding device 1 in FIG. 1, the video decoding device 2 in FIG. 2, the video encoding device 1a in FIG. 3, and the video decoding device 2a in FIG. Alternatively, some or all of them may be integrated into a chip. Further, the method of circuit integration is not limited to LSI, and implementation using a dedicated circuit or a general-purpose processor is also possible. Either hybrid or monolithic may be used. Some of the functions may be realized by hardware and some by software.
In addition, when a technology such as an integrated circuit that replaces an LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology can be used.

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.

1、1a…映像符号化装置
2、2a…映像復号装置
31…ブロック分割部
32…減算部
33…変換部
34…量子化部
35…エントロピー符号化部
36…逆量子化部
37…逆変換部
38…加算部
39…バッファ部
40…フィルタ部
40a…幾何変換部
41…予測部
53…エントロピー復号部
54…逆量子化部
55…逆変換部
56…加算部
57…バッファ部
58…フィルタ部
58a…幾何変換部
59…ブロック転写部
DESCRIPTION OF SYMBOLS 1, 1a ... Video encoding device 2, 2a ... Video decoding device 31 ... Block division part 32 ... Subtraction part 33 ... Conversion part 34 ... Quantization part 35 ... Entropy encoding part 36 ... Inverse quantization part 37 ... Inverse conversion part DESCRIPTION OF SYMBOLS 38 ... Addition part 39 ... Buffer part 40 ... Filter part 40a ... Geometric transformation part 41 ... Prediction part 53 ... Entropy decoding part 54 ... Inverse quantization part 55 ... Inverse transformation part 56 ... Addition part 57 ... Buffer part 58 ... Filter part 58a ... Geometric transformation part 59 ... Block transfer part

Claims (6)

符号化する映像を分割して、符号化対象領域を生成する分割部と、
復号された画像領域に対して非線形フィルタによる雑音除去を施すフィルタ部と、
前記フィルタ部が雑音除去を施した画像内から、前記符号化対象領域に類似する領域を探索して、予測画像とする予測部と
を備える映像符号化装置。
A dividing unit that divides a video to be encoded and generates an encoding target region;
A filter unit that performs noise removal by a non-linear filter on the decoded image region;
A video encoding device comprising: a prediction unit that searches a region similar to the encoding target region from the image from which the filter unit has performed noise removal, and sets the region as a prediction image.
前記フィルタ部は、前記雑音除去に加えて、解像度変換を施し、
前記予測部は、前記雑音除去に加えて、前記解像度変換を施した画像内から、前記符号化対象領域に類似する領域を探索して、前記予測画像とする、請求項1に記載の映像符号化装置。
In addition to the noise removal, the filter unit performs resolution conversion,
2. The video code according to claim 1, wherein the prediction unit searches for an area similar to the encoding target area from the image subjected to the resolution conversion in addition to the noise removal, and sets the prediction image as the prediction image. Device.
予測画像を取得するための参照位置を示す参照情報を取得する参照位置取得部と、
復号された画像領域に対して非線形フィルタによる雑音除去を施した画像内から、前記参照情報が示す位置の画像を抽出して、予測画像とする予測部と
を備える映像復号装置。
A reference position acquisition unit that acquires reference information indicating a reference position for acquiring a predicted image;
A video decoding apparatus comprising: a prediction unit that extracts an image at a position indicated by the reference information from an image obtained by performing noise removal on a decoded image region using a non-linear filter, and uses the extracted image as a predicted image.
前記予測部は、前記雑音除去に加えて、解像度変換を施した画像内から、前記参照情報が示す位置の画像を抽出して、前記予測画像とする、請求項3に記載の映像復号装置。   The video decoding device according to claim 3, wherein the prediction unit extracts an image at a position indicated by the reference information from an image subjected to resolution conversion in addition to the noise removal, and uses the extracted image as the predicted image. コンピュータを、
符号化する映像を分割して、符号化対象領域を生成する分割部、
復号された画像領域に対して非線形フィルタによる雑音除去を施すフィルタ部、
前記フィルタ部が雑音除去を施した画像内から、前記符号化対象領域に類似する領域を探索して、予測画像とする予測部
として機能させるためのプログラム。
Computer
A dividing unit that divides a video to be encoded and generates an encoding target region;
A filter unit that performs noise removal by a non-linear filter on the decoded image region;
A program for searching a region similar to the encoding target region from an image from which the filter unit has performed noise removal, and causing the region to function as a prediction image.
コンピュータを、
予測画像を取得するための参照位置を示す参照情報を取得する参照位置取得部、
復号された画像領域に対して非線形フィルタによる雑音除去を施した画像内から、前記参照情報が示す位置の画像を抽出して、予測画像とする予測部
として機能させるためのプログラム。
Computer
A reference position acquisition unit that acquires reference information indicating a reference position for acquiring a predicted image;
A program for extracting an image at a position indicated by the reference information from an image obtained by performing noise removal on a decoded image region using a nonlinear filter, and causing the image to function as a prediction image.
JP2015237699A 2015-12-04 2015-12-04 Video encoding device and program Active JP6643884B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015237699A JP6643884B2 (en) 2015-12-04 2015-12-04 Video encoding device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015237699A JP6643884B2 (en) 2015-12-04 2015-12-04 Video encoding device and program

Publications (2)

Publication Number Publication Date
JP2017103717A true JP2017103717A (en) 2017-06-08
JP6643884B2 JP6643884B2 (en) 2020-02-12

Family

ID=59017614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015237699A Active JP6643884B2 (en) 2015-12-04 2015-12-04 Video encoding device and program

Country Status (1)

Country Link
JP (1) JP6643884B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023429A (en) * 1996-07-05 1998-01-23 Matsushita Electric Ind Co Ltd Picture encoder and picture decoder
JP2008527932A (en) * 2005-01-13 2008-07-24 株式会社エヌ・ティ・ティ・ドコモ Nonlinear In-Loop Denoising Filter for Quantization Noise Reduction in Hybrid Video Compression
JP2011129998A (en) * 2009-12-15 2011-06-30 Jvc Kenwood Holdings Inc Image encoding device, image decoding device, image encoding method, and image decoding method
JP2013524705A (en) * 2010-04-12 2013-06-17 パナソニック株式会社 Filter positioning and selection
JP2015082714A (en) * 2013-10-22 2015-04-27 ソニー株式会社 Image processing device and image processing method
WO2015143395A1 (en) * 2014-03-21 2015-09-24 Qualcomm Incorporated Using a current picture as a reference for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023429A (en) * 1996-07-05 1998-01-23 Matsushita Electric Ind Co Ltd Picture encoder and picture decoder
JP2008527932A (en) * 2005-01-13 2008-07-24 株式会社エヌ・ティ・ティ・ドコモ Nonlinear In-Loop Denoising Filter for Quantization Noise Reduction in Hybrid Video Compression
JP2011129998A (en) * 2009-12-15 2011-06-30 Jvc Kenwood Holdings Inc Image encoding device, image decoding device, image encoding method, and image decoding method
JP2013524705A (en) * 2010-04-12 2013-06-17 パナソニック株式会社 Filter positioning and selection
JP2015082714A (en) * 2013-10-22 2015-04-27 ソニー株式会社 Image processing device and image processing method
WO2015143395A1 (en) * 2014-03-21 2015-09-24 Qualcomm Incorporated Using a current picture as a reference for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENGHAO LIU ET AL.: "On operation of DPB in Screen Content Coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-U0100, JPN6019007120, June 2015 (2015-06-01), pages 1 - 4, ISSN: 0004116246 *
I.AMONOU ET AL.: "Description of video coding technology proposal by France Telecom, NTT, NTT DOCOMO, Panasonic and Te", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A114, JPN6019022992, April 2010 (2010-04-01), pages 1 - 12, ISSN: 0004116244 *
JUN XU ET AL.: "On intra block copying in RExt", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-O0232r1, JPN6019022989, October 2013 (2013-10-01), pages 1 - 12, ISSN: 0004116245 *

Also Published As

Publication number Publication date
JP6643884B2 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
JP6825064B2 (en) How to generate video data
TWI717586B (en) Deriving motion vector information at a video decoder
JP5296547B2 (en) Video encoding / decoding method and apparatus using single encoding mode
JP5823623B2 (en) Motion vector predictor candidate clipping removal for video coding
JP3997171B2 (en) Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program
JP2020022171A (en) Intra-prediction method and encoder and decoder using the same
RU2683591C1 (en) Method and device for predictive motion compensation
TWI665911B (en) Coding escape pixels for palette mode coding
KR102218696B1 (en) Methods and apparatus for video transform encoding/decoding
JP2017519447A (en) Intra-block copy block vector signaling for video coding
JP2005333622A (en) Predictive reversible encoding of image and video
CN114788264A (en) Method for signaling virtual boundary and surround motion compensation
KR101652183B1 (en) Coding syntax elements using vlc codewords
JP5800362B2 (en) Moving image sending device, moving image receiving device, moving image transmission system, moving image sending method, moving image receiving method, and program
CA3114816C (en) Video image component prediction method and apparatus, and computer storage medium
KR100717002B1 (en) Apparatus for encoding and decoding image, and method thereof, and a recording medium storing program to implement the method
KR20190140820A (en) A method and an apparatus for processing a video signal based on reference between components
JP6643884B2 (en) Video encoding device and program
US11528485B2 (en) Encoding apparatus and program
JP5698629B2 (en) Image processing apparatus, filter processing method, and program
JP6016488B2 (en) Video compression format conversion apparatus, video compression format conversion method, and program
JP5461721B2 (en) Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
JP5809574B2 (en) Encoding method, decoding method, encoding device, decoding device, encoding program, and decoding program
JP7310919B2 (en) Filter generation method, filter generation device and program
JP2014230031A (en) Image encoding device and image encoding program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200107

R150 Certificate of patent or registration of utility model

Ref document number: 6643884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250