JP2015027022A - Video encoder, video coding method, and program - Google Patents
Video encoder, video coding method, and program Download PDFInfo
- Publication number
- JP2015027022A JP2015027022A JP2013156514A JP2013156514A JP2015027022A JP 2015027022 A JP2015027022 A JP 2015027022A JP 2013156514 A JP2013156514 A JP 2013156514A JP 2013156514 A JP2013156514 A JP 2013156514A JP 2015027022 A JP2015027022 A JP 2015027022A
- Authority
- JP
- Japan
- Prior art keywords
- pixel value
- pixel
- value
- encoding
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、動画像符号化装置、動画像符号化方法、およびプログラムに関する。 The present invention relates to a moving image encoding device, a moving image encoding method, and a program.
非特許文献1には、符号化処理ブロックごとに映像圧縮符号化処理を行う手法が示されている。また、非特許文献2には、符号化処理ブロックに関して、ブロックサイズの上限を予め定めておき、上限のブロックサイズ(Coding Tree Unit ; CTU)に対して、四分木構造に従って符号化処理ブロックを分割する手法(図3参照)が示されている。
Non-Patent
非特許文献2に示されている手法では、非特許文献1に示されている手法と比べて、ブロックサイズの大きい符号化処理ブロックを許容することで、ブロックごとに付与される制御情報量を少なくして、符号化性能を向上させることができる。特に、高解像度かつ低ビットレートでの符号化では、非特許文献2に示されている手法では、非特許文献1に示されている手法と比べて、高い符号化性能を実現できる。
In the method shown in Non-Patent Document 2, the amount of control information given to each block can be reduced by allowing an encoding process block having a larger block size compared to the method shown in
符号化処理ブロックを分割する際には、例えば、RD最適化法が用いられる(例えば、非特許文献3参照)。このRD最適化法では、符号化による歪みおよび発生符号量をコスト関数で評価して、符号化性能を判断する。コスト関数については、発生符号量に対して量子化の粗さに応じた重み付けを行い、量子化が粗くなるに従って(ビットレートが低くなるに従って)、大きな重み付けを行う。 When the encoding processing block is divided, for example, an RD optimization method is used (see, for example, Non-Patent Document 3). In this RD optimization method, the encoding performance is judged by evaluating the distortion caused by encoding and the amount of generated code with a cost function. For the cost function, the generated code amount is weighted according to the roughness of quantization, and the weighting is increased as the quantization becomes coarser (as the bit rate becomes lower).
RD最適化法を用いて四分木構造の分割を行うことで、低ビットレート符号化時において、大きなブロックが採用されやすくなる。しかし、オブジェクトの境界を含むCTUを分割する場合に大きなブロックが採用されると、エッジ成分の欠損や、不適切な動き参照によるエッジ近傍でのノイズの発生につながってしまい、主観品質の著しい低下を招いてしまっていた。 By dividing the quadtree structure using the RD optimization method, a large block is easily adopted at the time of low bit rate coding. However, if a large block is used to divide a CTU that includes object boundaries, it will lead to missing edge components and noise near the edges due to improper motion reference, resulting in a significant reduction in subjective quality. Has been invited.
また、インター符号化ピクチャでは、RDコスト関数で発生符号量に大きな重み(ラグランジュ乗数)が設定されるため、大きなブロックが採用されやすくなる。特に低ビットレート符号化では、オブジェクトの境界近傍でも大きなブロックが採用されやすくなる。オブジェクトが動いている場合には、オブジェクトの境界近傍の大きなブロックに、オブジェクトの背後から出現するオクルージョン領域が含まれることになるので、オクルージョン領域で主観品質の著しい低下を招いてしまっていた。 In inter-coded pictures, a large weight (Lagrange multiplier) is set to the generated code amount by the RD cost function, so that a large block is easily adopted. In particular, in low bit rate encoding, a large block is likely to be adopted even near the boundary of an object. When the object is moving, an occlusion area that appears from behind the object is included in a large block near the boundary of the object, which causes a significant deterioration in subjective quality in the occlusion area.
そこで、本発明は、上述の課題に鑑みてなされたものであり、主観品質の低下の抑制しつつ、高い符号化性能を実現することを目的とする。 Accordingly, the present invention has been made in view of the above-described problems, and an object thereof is to realize high coding performance while suppressing deterioration in subjective quality.
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、符号化処理単位ブロックを木構造に従って分割することを許容する動画像符号化装置(例えば、図1の動画像符号化装置1に相当)であって、前記符号化処理単位ブロックごとに画素値の特徴量(例えば、後述の画素値勾配に相当)を評価し、互いに隣接する前記符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、当該符号化処理単位ブロックに適した分割種類(例えば、後述の分割回数(CU depth)bに相当)を推定することを特徴とする動画像符号化装置を提案している。
The present invention proposes the following matters in order to solve the above problems.
(1) The present invention is a moving image encoding device (e.g., corresponding to the moving
ここで、オブジェクトの境界を境にして、画素値の特徴量が大きく変化する。そこで、この発明によれば、互いに隣接する符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、これら符号化処理単位ブロックに適した分割種類を決定することとした。このため、オブジェクトの境界を考慮して符号化処理単位ブロックを木構造に従って分割することができる。したがって、主観品質の低下を抑制しつつ、高い符号化性能を実現できる。 Here, the feature value of the pixel value greatly changes at the boundary of the object. Therefore, according to the present invention, the division type suitable for these encoding processing unit blocks is determined based on the difference in the feature values of the pixel values between the encoding processing unit blocks adjacent to each other. For this reason, the encoding processing unit block can be divided according to the tree structure in consideration of the boundary of the object. Therefore, high encoding performance can be realized while suppressing a decrease in subjective quality.
(2) 本発明は、(1)の動画像符号化装置について、前記画素値の特徴量として、入力画像の各画素の画素値勾配を算出する画素値勾配評価手段(例えば、図2の画素値勾配評価部11に相当)と、前記画素値勾配評価手段により算出された各画素の画素値勾配に基づいて、オブジェクトの境界を含む符号化処理単位ブロックを検出するエッジ解析手段(例えば、図2のエッジ解析部12に相当)と、前記エッジ解析手段によりオブジェクトの境界を含むと検出された符号化処理単位ブロックについて、前記画素値勾配評価手段により算出された各画素の画素値勾配に基づいて木構造の分割サイズを決定する分割決定手段(例えば、図2の分割決定部13に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
(2) The present invention relates to a moving image encoding apparatus according to (1), wherein a pixel value gradient evaluation unit (for example, the pixel of FIG. 2) calculates a pixel value gradient of each pixel of the input image as the feature value of the pixel value. And an edge analysis unit that detects an encoding processing unit block including an object boundary based on the pixel value gradient of each pixel calculated by the pixel value gradient evaluation unit. 2) and an encoding processing unit block detected by the edge analysis means as including an object boundary, based on the pixel value gradient of each pixel calculated by the pixel value gradient evaluation means. In addition, there is proposed a moving picture encoding apparatus including a division determination unit (for example, equivalent to the
この発明によれば、(1)の動画像符号化装置において、入力画像の各画素の画素値勾配に基づいて、オブジェクトの境界を含む符号化処理単位ブロックを検出し、検出した符号化処理単位ブロックについての木構造の分割サイズを、各画素の画素値勾配に基づいて決定することとした。このため、オブジェクトの境界を含む符号化処理単位ブロックについて、オブジェクトの境界を考慮して木構造に従って分割することができる。 According to the present invention, in the moving image encoding apparatus according to (1), an encoding processing unit block including an object boundary is detected based on a pixel value gradient of each pixel of an input image, and the detected encoding processing unit is detected. The division size of the tree structure for the block is determined based on the pixel value gradient of each pixel. Therefore, an encoding processing unit block including an object boundary can be divided according to a tree structure in consideration of the object boundary.
(3) 本発明は、(2)の動画像符号化装置について、前記画素値勾配評価手段は、入力画像の各画素の画素値に対してsobelフィルタまたはラプラシアンフィルタを適用して、前記各画素の画素値勾配を算出することを特徴とする動画像符号化装置を提案している。 (3) In the moving image encoding device according to (2), the pixel value gradient evaluation unit applies a sobel filter or a Laplacian filter to a pixel value of each pixel of the input image, and Has proposed a moving picture coding apparatus characterized by calculating a pixel value gradient of the video.
この発明によれば、動画像符号化装置において、入力画像の各画素の画素値に対してsobelフィルタまたはラプラシアンフィルタを適用して、各画素の画素値勾配を算出することとした。このため、各画素の画素値勾配を適切に算出することができる。 According to the present invention, the moving image encoding apparatus calculates the pixel value gradient of each pixel by applying a sobel filter or a Laplacian filter to the pixel value of each pixel of the input image. For this reason, the pixel value gradient of each pixel can be calculated appropriately.
(4) 本発明は、(2)の動画像符号化装置について、前記画素値勾配評価手段は、入力画像の各画素の画素値に対してローパスフィルタを施した後に、sobelフィルタまたはラプラシアンフィルタを適用して、前記各画素の画素値勾配を算出することを特徴とする動画像符号化装置を提案している。 (4) The present invention relates to the moving picture coding apparatus according to (2), wherein the pixel value gradient evaluation unit performs a low-pass filter on a pixel value of each pixel of the input image, and then performs a sobel filter or a Laplacian filter. The present invention proposes a moving picture coding apparatus that is applied to calculate a pixel value gradient of each pixel.
この発明によれば、(2)の動画像符号化装置において、入力画像の各画素の画素値に対してローパスフィルタを施した後に、sobelフィルタまたはラプラシアンフィルタを適用して、各画素の画素値勾配を算出することとした。このため、各画素の画素値勾配を適切に算出することができる。 According to the present invention, in the moving image encoding device of (2), after applying a low-pass filter to the pixel value of each pixel of the input image, the sobel filter or Laplacian filter is applied to obtain the pixel value of each pixel. The slope was calculated. For this reason, the pixel value gradient of each pixel can be calculated appropriately.
(5) 本発明は、(2)から(4)のいずれかの動画像符号化装置について、前記エッジ解析手段は、符号化処理単位ブロック内の各画素の画素値勾配の絶対値の平均値または分散値が、予め定められた閾値以上であることと、隣接する符号化処理単位ブロックとの画素値勾配の絶対値の平均値または分散値の差分が予め定められた閾値以上であることと、の少なくともいずれかを満たす符号化処理単位ブロックを、前記オブジェクトの境界を含む符号化処理単位ブロックとして検出することを特徴とする動画像符号化装置を提案している。 (5) The present invention provides the moving image encoding device according to any one of (2) to (4), wherein the edge analysis means is an average value of absolute values of pixel value gradients of respective pixels in the encoding processing unit block. Alternatively, the variance value is greater than or equal to a predetermined threshold value, and the average value or absolute value of the absolute value of the pixel value gradient with the adjacent encoding processing unit block is greater than or equal to a predetermined threshold value. A moving picture encoding apparatus is proposed, which detects an encoding processing unit block satisfying at least one of the above as an encoding processing unit block including a boundary of the object.
この発明によれば、(2)から(4)のいずれかの動画像符号化装置において、符号化処理単位ブロック内の各画素の画素値勾配の絶対値の平均値または分散値が閾値以上であることと、隣接する符号化処理単位ブロックとの画素値勾配の絶対値の平均値または分散値の差分が閾値以上であることと、の少なくともいずれかを満たす符号化処理単位ブロックを、オブジェクトの境界を含む符号化処理単位ブロックとして検出することとした。このため、オブジェクトの境界を含む符号化処理単位ブロックを、適切に検出することができる。 According to the present invention, in any one of the moving picture encoding apparatuses according to (2) to (4), the average value or variance value of the absolute value of the pixel value gradient of each pixel in the encoding processing unit block is equal to or greater than the threshold value. An encoding processing unit block that satisfies at least one of the following: the difference in the average value or the variance value of the absolute value of the pixel value gradient from the adjacent encoding processing unit block is equal to or greater than a threshold value, The encoding process unit block including the boundary is detected. For this reason, the encoding process unit block containing the boundary of an object can be detected appropriately.
(6) 本発明は、(2)から(5)のいずれかの動画像符号化装置について、前記分割決定手段は、分割前のブロックの画素値勾配の絶対値の平均値または分散値と、分割後の各ブロックの画素値勾配の絶対値の平均値または分散値と、の差分の絶対値が、予め定められた閾値より大きいブロックが存在すれば、当該分割前のブロックを分割可能と判断することを特徴とする動画像符号化装置を提案している。 (6) In the video encoding device according to any one of (2) to (5), the division determination unit includes an average value or a variance value of absolute values of pixel value gradients of blocks before division, If there is a block in which the absolute value of the difference between the average value or the variance value of the absolute value of the pixel value gradient of each block after the division is larger than a predetermined threshold, it is determined that the block before the division can be divided. A video encoding device characterized by the above is proposed.
この発明によれば、(2)から(5)のいずれかの動画像符号化装置において、分割前のブロックの画素値勾配の絶対値の平均値または分散値と、分割後の各ブロックの画素値勾配の絶対値の平均値または分散値と、の差分の絶対値が閾値より大きいブロックが存在すれば、分割前のブロックを分割可能と判断することとした。このため、どのブロックにオブジェクトの境界が含まれており、分割可能なのかを、適切に判断することができる。 According to the present invention, in any one of the moving picture coding apparatuses according to (2) to (5), the average value or variance value of the absolute value of the pixel value gradient of the block before division, and the pixel of each block after division If there is a block in which the absolute value of the difference between the average value or the variance value of the absolute values of the value gradient is larger than the threshold, it is determined that the block before the division can be divided. Therefore, it is possible to appropriately determine which block contains the boundary of the object and can be divided.
(7) 本発明は、(2)から(6)のいずれかの動画像符号化装置について、前記エッジ解析手段によりオブジェクトの境界を含むと検出された符号化処理単位ブロックを分割したブロックごとに、前記画素値勾配評価手段により算出された各画素の画素値勾配に基づいて量子化パラメータを決定する量子化パラメータ決定手段を備えることを特徴とする動画像符号化装置を提案している。 (7) In the moving image encoding device according to any one of (2) to (6), the present invention provides, for each block obtained by dividing an encoding processing unit block detected as including an object boundary by the edge analysis unit. The video encoding apparatus is characterized by comprising quantization parameter determining means for determining a quantization parameter based on the pixel value gradient of each pixel calculated by the pixel value gradient evaluating means.
この発明によれば、(2)から(6)のいずれかの動画像符号化装置において、ブロックごとに、各画素の画素値勾配に基づいて量子化パラメータを決定することとした。このため、ブロックごとに適切な量子化パラメータを決定することができる。 According to the present invention, in any one of the moving picture encoding apparatuses according to (2) to (6), the quantization parameter is determined for each block based on the pixel value gradient of each pixel. For this reason, an appropriate quantization parameter can be determined for each block.
(8) 本発明は、(7)の動画像符号化装置について、前記量子化パラメータ決定手段は、前記エッジ解析手段によりオブジェクトの境界を含むと検出された符号化処理単位ブロックを分割したブロックごとに、画素値勾配の絶対値の平均値または分散値が、予め定められた閾値以上であるか否かにより、前記量子化パラメータを決定することを特徴とする動画像符号化装置を提案している。 (8) In the moving image encoding apparatus according to (7), the quantization parameter determination unit includes a block obtained by dividing the encoding processing unit block detected by the edge analysis unit as including an object boundary. In addition, a video encoding device is proposed in which the quantization parameter is determined based on whether an average value or a variance value of the absolute value of the pixel value gradient is equal to or greater than a predetermined threshold value. Yes.
この発明によれば、(7)の動画像符号化装置において、ブロックごとに、画素値勾配の絶対値の平均値または分散値が閾値以上であるか否かにより、量子化パラメータを決定することとした。このため、ブロックごとにさらに適切な量子化パラメータを決定することができる。 According to the present invention, in the moving picture coding apparatus according to (7), the quantization parameter is determined for each block depending on whether the average value or the variance value of the absolute value of the pixel value gradient is equal to or greater than the threshold value. It was. For this reason, a more appropriate quantization parameter can be determined for each block.
(9) 本発明は、符号化処理単位ブロックを木構造に従って分割することを許容する動画像符号化装置(例えば、図1の動画像符号化装置1に相当)における動画像符号化方法であって、前記符号化処理単位ブロックごとに画素値の特徴量(例えば、後述の画素値勾配に相当)を評価し、互いに隣接する前記符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、当該符号化処理単位ブロックに適した分割種類(例えば、後述の分割回数(CU depth)bに相当)を推定することを特徴とする動画像符号化方法を提案している。
(9) The present invention is a moving picture coding method in a moving picture coding apparatus (for example, equivalent to the moving
この発明によれば、互いに隣接する符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、これら符号化処理単位ブロックに適した分割種類を決定することとした。このため、オブジェクトの境界を考慮して符号化処理単位ブロックを木構造に従って分割することができる。したがって、主観品質の低下を抑制しつつ、高い符号化性能を実現できる。 According to the present invention, the division type suitable for these encoding processing unit blocks is determined based on the difference in the feature values of the pixel values between the encoding processing unit blocks adjacent to each other. For this reason, the encoding processing unit block can be divided according to the tree structure in consideration of the boundary of the object. Therefore, high encoding performance can be realized while suppressing a decrease in subjective quality.
(10) 本発明は、符号化処理単位ブロックを木構造に従って分割することを許容する動画像符号化装置(例えば、図1の動画像符号化装置1に相当)における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記符号化処理単位ブロックごとに画素値の特徴量(例えば、後述の画素値勾配に相当)を評価し、互いに隣接する前記符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、当該符号化処理単位ブロックに適した分割種類(例えば、後述の分割回数(CU depth)bに相当)を推定するためのプログラムを提案している。
(10) The present invention relates to a moving picture coding method in a moving picture coding apparatus (e.g., equivalent to the moving
この発明によれば、互いに隣接する符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、これら符号化処理単位ブロックに適した分割種類を決定することとした。このため、オブジェクトの境界を考慮して符号化処理単位ブロックを木構造に従って分割することができる。したがって、主観品質の低下を抑制しつつ、高い符号化性能を実現できる。 According to the present invention, the division type suitable for these encoding processing unit blocks is determined based on the difference in the feature values of the pixel values between the encoding processing unit blocks adjacent to each other. For this reason, the encoding processing unit block can be divided according to the tree structure in consideration of the boundary of the object. Therefore, high encoding performance can be realized while suppressing a decrease in subjective quality.
本発明によれば、主観品質の低下を抑制しつつ、高い符号化性能を実現できる。 According to the present invention, it is possible to realize high coding performance while suppressing deterioration in subjective quality.
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the constituent elements in the following embodiments can be appropriately replaced with existing constituent elements, and various variations including combinations with other existing constituent elements are possible. Accordingly, the description of the following embodiments does not limit the contents of the invention described in the claims.
[動画像符号化装置1の構成および動作]
図1は、本発明の一実施形態に係る動画像符号化装置1のブロック図である。動画像符号化装置1は、符号化処理単位ブロックを四分木構造に従って分割することを許容し、分割したブロックごとに量子化パラメータを制御可能な動画像符号化装置である。この動画像符号化装置1は、画質制御部10、映像分割部20、予測値生成部30、DCT/量子化部40、エントロピー符号化部50、逆DCT/逆量子化部60、およびローカルメモリ70を備える。
[Configuration and Operation of Video Encoding Device 1]
FIG. 1 is a block diagram of a
画質制御部10は、入力画像aを入力とする。この画質制御部10は、入力画像aの画素値に関する画素値勾配の評価値に基づいて、オブジェクトの境界を含むCTUを検出し、そのCTUで許容する分割回数(CU depth)bを求めて出力する。また、入力画像aの画素値に関する画素値勾配の評価値に基づいて、CU(Coding Unit)ごとに、量子化パラメータ(QP)に対する差分の情報(ΔQP)を決定し、量子化パラメータに対する差分情報cとして出力する。なお、量子化パラメータ(QP)に対する差分の情報(ΔQP)とは、処理スライスにおける量子化パラメータ(QP)と、そのCUで用いられる量子化パラメータと、の差分のことである。
The image
図2は、画質制御部10のブロック図である。画質制御部10は、画素値勾配評価部11、エッジ解析部12、分割決定部13、および量子化パラメータ決定部14を備える。
FIG. 2 is a block diagram of the image
画素値勾配評価部11は、入力画像aを入力とする。この画素値勾配評価部11は、入力画像aの全画素値について画素値勾配を算出し、各画素の画素値勾配jとして出力する。画素値勾配の算出は、例えば、入力画像aの全画素値に対して、ローパスフィルタを施した後に、sobelフィルタやラプラシアンフィルタなどを適用することで、実現できる。
The pixel value
エッジ解析部12は、各画素の画素値勾配jを入力とする。このエッジ解析部12は、各画素の画素値勾配jに基づいて、オブジェクトの境界を含むCTUを検出する。オブジェクトの境界を含むCTUの検出では、例えば、まず、各CTU内の各画素の画素値勾配の絶対値の平均値または分散値を算出し、算出した平均値または分散値が予め定められた閾値以上であるか否かを判別することにより、各CTUの画素値勾配の大小を判別する。次に、同一のオブジェクトが複数のCTUにまたがって存在する場合にはこれらCTUのそれぞれの画素値勾配の特徴が類似するという特徴を考慮して、互いに隣接するCTU同士の画素値勾配の絶対値の平均値または分散値の差分が予め定められた閾値以上であるか否かを判別する。次に、CTU内の画素値の絶対値の平均値または分散値が閾値以上で、かつ、隣接するCTUとの画素値勾配の絶対値の平均値または分散値の差分が閾値以上であるCTUを、オブジェクトの境界を含むCTUとして検出し、検出したCTUの座標を、オブジェクトの境界を含むCTUの座標kとして出力する。
The
分割決定部13は、各画素の画素値勾配jと、オブジェクトの境界を含むCTUの座標kと、を入力とする。この分割決定部13は、オブジェクトの境界を含むCTUについて、四分木構造に基づく四分割の可否を判断する。具体的には、まず、分割前のブロックの画素値勾配の絶対値の平均値または分散値と、分割後の各ブロックの画素値勾配の絶対値の平均値または分散値と、の差分の絶対値を算出する。次に、算出した差分の絶対値が予め定められた閾値より大きいブロックが存在すれば、分割前のブロックを分割可能と判断する。そして、分割不可能と判断するか、予め定められた分割回数の最大値まで、上述の差分の絶対値の算出と、上述の分割可否の判断と、を繰り返し、分割サイズが小さい方からN階層(ただし、NはN>0を満たす整数)の四分木構造表現までを、オブジェクトの境界を含むCTUの座標kで示されるCTUで許容する分割回数(CU depth)bとして出力する。
The
量子化パラメータ決定部14は、各画素の画素値勾配jと、オブジェクトの境界を含むCTUの座標kと、分割回数bと、を入力とする。また、量子化パラメータ決定部14には、処理スライスにおける量子化パラメータ(QP)も入力される(図示省略)。この量子化パラメータ決定部14は、分割回数bに従って、CUごとに画素値勾配の絶対値の平均値または分散値を算出し、閾値判定に基づいてCUごとに量子化パラメータに対する差分情報cを決定して出力する。
The quantization
図1に戻って、映像分割部20は、入力画像aと、分割回数bと、を入力とする。この映像分割部20は、まず、入力画像aをCTUに分割する。次に、CTUに分割された各画像について、分割回数bで示される回数を上限としてRD最適化法により分割回数を決定し、決定した分割回数だけ四分木構造で分割し、分割された入力画像dとして出力する。
Returning to FIG. 1, the
予測値生成部30は、分割された入力画像dと、ローカルメモリ70から供給される後述の符号化済み画像iと、を入力とする。この予測値生成部30は、イントラ予測やインター予測などのそれぞれの予測方法に基づいて予測値を生成し、最も高い符号化性能の期待される予測方法による予測値を、予測値eとして出力する。
The predicted
DCT/量子化部40は、予測残差信号と、量子化パラメータに対する差分情報cと、を入力とする。予測残差信号とは、分割された入力画像dと、予測値eと、の差分信号のことである。このDCT/量子化部40は、予測残差信号に対して直交変換処理を行い、この直交変換処理により得られた変換係数について量子化処理を行って、量子化された変換係数fを出力する。なお、量子化処理では、量子化パラメータに対する差分情報cとしてのΔQPだけ処理スライスの量子化パラメータ(QP)に対して変化させた量子化パラメータ値を、用いる。
The DCT /
エントロピー符号化部50は、量子化された変換係数fを入力とする。このエントロピー符号化部50は、量子化された変換係数fに対してエントロピー符号化処理を行って、その結果について、符号化データへの記述規則(符号化シンタックス)に従って符号化データに記述し、符号化データgとして出力する。
The
逆DCT/逆量子化部60は、量子化された変換係数fと、量子化パラメータに対する差分情報cと、を入力とする。この逆DCT/逆量子化部60は、量子化された変換係数fについて逆量子化処理を行い、この逆量子化処理により得られた変換係数に対して逆変換処理を行って、逆直交変換された変換係数hとして出力する。なお、逆量子化処理では、量子化パラメータに対する差分情報cとしてのΔQPだけ処理スライスの量子化パラメータ(QP)に対して変化させた量子化パラメータ値を、用いる。
The inverse DCT /
ローカルメモリ70は、フィルタ処理済みのローカルデコード画像である符号化済み画像iを入力とする。このローカルメモリ70は、入力された符号化済み画像iを蓄積する。そして、次の符号化処理単位ブロック以降において過去の符号化済み画像iを参照する必要がある場合に、適宜、予測値生成部30に符号化済み画像iを供給する。
The
以上の動画像符号化装置1によれば、以下の効果を奏することができる。
According to the above moving
動画像符号化装置1は、互いに隣接するCTU同士の画素値勾配の絶対値の平均値または分散値の差分に基づいて、これらCTUに適した分割種類を決定する。このため、オブジェクトの境界を考慮してCTUを四分木構造に従って分割することができる。したがって、主観品質の低下を抑制しつつ、高い符号化性能を実現できる。
The moving
また、動画像符号化装置1は、入力画像aの各画素の画素値勾配に基づいて、オブジェクトの境界を含むCTUを検出し、検出したCTUについての四分木構造の分割サイズを、各画素の画素値勾配に基づいて決定する。このため、オブジェクトの境界を含むCTUについて、オブジェクトの境界を考慮して四分木構造に従って分割することができる。
In addition, the moving
また、動画像符号化装置1は、入力画像aの各画素の画素値に対してローパスフィルタを施した後に、sobelフィルタまたはラプラシアンフィルタを適用して、各画素の画素値勾配を算出する。このため、各画素の画素値勾配を適切に算出することができる。
In addition, the moving
また、動画像符号化装置1は、CTU内の各画素の画素値勾配の絶対値の平均値または分散値が閾値以上であることと、隣接するCTUとの画素値勾配の絶対値の平均値または分散値の差分が閾値以上であることと、の少なくともいずれかを満たすCTUを、オブジェクトの境界を含むCTUとして検出する。このため、オブジェクトの境界を含むCTUを、適切に検出することができる。
In addition, the moving
また、動画像符号化装置1は、分割前のブロックの画素値勾配の絶対値の平均値または分散値と、分割後の各ブロックの画素値勾配の絶対値の平均値または分散値と、の差分の絶対値が閾値より大きいブロックが存在すれば、分割前のブロックを分割可能と判断する。このため、どのブロックにオブジェクトの境界が含まれており、分割可能なのかを、適切に判断することができる。
In addition, the moving
また、動画像符号化装置1は、ブロックごとに、画素値勾配の絶対値の平均値または分散値が閾値以上であるか否かにより、量子化パラメータを決定する。このため、ブロックごとにさらに適切な量子化パラメータを決定することができる。
Further, the moving
なお、本発明の動画像符号化装置1の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置1に読み込ませ、実行することによって、本発明を実現できる。
The processing of the moving
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置1に設けられたプロセッサによって行われる。
Here, for example, a nonvolatile memory such as an EPROM or a flash memory, a magnetic disk such as a hard disk, a CD-ROM, or the like can be applied to the above-described recording medium. Further, reading and execution of the program recorded on the recording medium is performed by a processor provided in the moving
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置1から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
Further, the above-described program may be transmitted from the moving
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置1にすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Further, the above-described program may be for realizing a part of the above-described function. Furthermore, what can implement | achieve the above-mentioned function in combination with the program already recorded on the moving
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes a design that does not depart from the gist of the present invention.
例えば、上述の実施形態では、符号化処理ブロックを木構造に基づいて分割する例として、非特許文献2に示されている四分木構造の分割を示した。しかし、これに限らず、二分木構造といった任意の分岐数に基づく木構造の分割に、本発明は適用することができる。 For example, in the above-described embodiment, the quadtree structure division shown in Non-Patent Document 2 is shown as an example of dividing the encoding processing block based on the tree structure. However, the present invention is not limited to this, and the present invention can be applied to division of a tree structure based on an arbitrary number of branches such as a binary tree structure.
また、上述の実施形態では、画質制御部10には入力画像aが入力されるものとしたが、これに限らず、例えば入力画像aの構造成分のみで構成される画像が入力されてもよい。これによれば、画質制御部10によるオブジェクトの境界の検出性能を向上させることができ、その結果、主観品質をさらに向上させることができる。なお、入力画像aから構造成分を抽出する手法としては、例えばTotal Variationを適用することができる。
In the above-described embodiment, the input image a is input to the image
1・・・動画像符号化装置
10・・・画質制御部
11・・・画素値勾配評価部
12・・・エッジ解析部
13・・・分割決定部
14・・・量子化パラメータ決定部
20・・・映像分割部
30・・・予測値生成部
40・・・DCT/量子化部
50・・・エントロピー符号化部
60・・・逆DCT/逆量子化部
70・・・ローカルメモリ
DESCRIPTION OF
Claims (10)
前記符号化処理単位ブロックごとに画素値の特徴量を評価し、互いに隣接する前記符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、当該符号化処理単位ブロックに適した分割種類を推定することを特徴とする動画像符号化装置。 A video encoding device that allows an encoding processing unit block to be divided according to a tree structure,
A feature type of a pixel value is evaluated for each encoding process unit block, and a division type suitable for the encoding process unit block based on a difference in feature value of a pixel value between the encoding process unit blocks adjacent to each other A moving picture coding apparatus characterized by estimating.
前記画素値勾配評価手段により算出された各画素の画素値勾配に基づいて、オブジェクトの境界を含む符号化処理単位ブロックを検出するエッジ解析手段と、
前記エッジ解析手段によりオブジェクトの境界を含むと検出された符号化処理単位ブロックについて、前記画素値勾配評価手段により算出された各画素の画素値勾配に基づいて木構造の分割サイズを決定する分割決定手段と、を備えることを特徴とする請求項1に記載の動画像符号化装置。 A pixel value gradient evaluation means for calculating a pixel value gradient of each pixel of the input image as the feature value of the pixel value;
An edge analysis unit that detects an encoding processing unit block including an object boundary based on a pixel value gradient of each pixel calculated by the pixel value gradient evaluation unit;
Division determination for determining the division size of the tree structure based on the pixel value gradient of each pixel calculated by the pixel value gradient evaluation unit for the encoding processing unit block detected by the edge analysis unit as including an object boundary The moving picture coding apparatus according to claim 1, further comprising: means.
符号化処理単位ブロック内の各画素の画素値勾配の絶対値の平均値または分散値が、予め定められた閾値以上であることと、
隣接する符号化処理単位ブロックとの画素値勾配の絶対値の平均値または分散値の差分が予め定められた閾値以上であることと、
の少なくともいずれかを満たす符号化処理単位ブロックを、前記オブジェクトの境界を含む符号化処理単位ブロックとして検出することを特徴とする請求項2から4のいずれかに記載の動画像符号化装置。 The edge analysis means includes
The average value or variance value of the absolute value of the pixel value gradient of each pixel in the encoding processing unit block is equal to or greater than a predetermined threshold;
The difference between the average value or the variance value of the absolute value of the pixel value gradient with the adjacent encoding processing unit block is equal to or greater than a predetermined threshold;
5. The moving picture encoding apparatus according to claim 2, wherein an encoding processing unit block satisfying at least one of the following is detected as an encoding processing unit block including a boundary of the object.
前記符号化処理単位ブロックごとに画素値の特徴量を評価し、互いに隣接する前記符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、当該符号化処理単位ブロックに適した分割種類を推定することを特徴とする動画像符号化方法。 A moving picture coding method in a moving picture coding apparatus that allows a coding processing unit block to be divided according to a tree structure,
A feature type of a pixel value is evaluated for each encoding process unit block, and a division type suitable for the encoding process unit block based on a difference in feature value of a pixel value between the encoding process unit blocks adjacent to each other A moving picture coding method characterized by estimating.
前記符号化処理単位ブロックごとに画素値の特徴量を評価し、互いに隣接する前記符号化処理単位ブロック同士の画素値の特徴量の差異に基づいて、当該符号化処理単位ブロックに適した分割種類を推定するためのプログラム。 A program for causing a computer to execute a moving picture coding method in a moving picture coding apparatus that allows a coding processing unit block to be divided according to a tree structure,
A feature type of a pixel value is evaluated for each encoding process unit block, and a division type suitable for the encoding process unit block based on a difference in feature value of a pixel value between the encoding process unit blocks adjacent to each other A program for estimating.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013156514A JP2015027022A (en) | 2013-07-29 | 2013-07-29 | Video encoder, video coding method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013156514A JP2015027022A (en) | 2013-07-29 | 2013-07-29 | Video encoder, video coding method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015027022A true JP2015027022A (en) | 2015-02-05 |
Family
ID=52491326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013156514A Pending JP2015027022A (en) | 2013-07-29 | 2013-07-29 | Video encoder, video coding method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015027022A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005505A (en) * | 2015-06-10 | 2017-01-05 | 日本電信電話株式会社 | Video encoding device, video encoding method and video encoding program |
WO2017142262A1 (en) * | 2016-02-16 | 2017-08-24 | 삼성전자 주식회사 | Adaptive block partitioning method and apparatus |
JP2021516504A (en) * | 2018-04-02 | 2021-07-01 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | A method for determining the coding cost of a coding unit and its device, computer-readable storage medium, terminal, and computer program. |
JPWO2021171360A1 (en) * | 2020-02-25 | 2021-09-02 | ||
CN114071189A (en) * | 2020-08-03 | 2022-02-18 | 纬创资通股份有限公司 | Video processing device and video streaming processing method |
US11880966B2 (en) | 2020-08-03 | 2024-01-23 | Wistron Corporation | Image quality assessment apparatus and image quality assessment method thereof |
-
2013
- 2013-07-29 JP JP2013156514A patent/JP2015027022A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005505A (en) * | 2015-06-10 | 2017-01-05 | 日本電信電話株式会社 | Video encoding device, video encoding method and video encoding program |
WO2017142262A1 (en) * | 2016-02-16 | 2017-08-24 | 삼성전자 주식회사 | Adaptive block partitioning method and apparatus |
JP2021516504A (en) * | 2018-04-02 | 2021-07-01 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | A method for determining the coding cost of a coding unit and its device, computer-readable storage medium, terminal, and computer program. |
JP7080542B2 (en) | 2018-04-02 | 2022-06-06 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | A method for determining the coding cost of a coding unit and its device, computer-readable storage medium, terminal, and computer program. |
JPWO2021171360A1 (en) * | 2020-02-25 | 2021-09-02 | ||
JP7453581B2 (en) | 2020-02-25 | 2024-03-21 | 日本電信電話株式会社 | Encoding method, encoding device and program |
CN114071189A (en) * | 2020-08-03 | 2022-02-18 | 纬创资通股份有限公司 | Video processing device and video streaming processing method |
US11880966B2 (en) | 2020-08-03 | 2024-01-23 | Wistron Corporation | Image quality assessment apparatus and image quality assessment method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11102515B2 (en) | In loop chroma deblocking filter | |
TWI782904B (en) | Merging filters for multiple classes of blocks for video coding | |
JP6588523B2 (en) | Intra-prediction method and encoder and decoder using the same | |
KR102469145B1 (en) | Method and device for encoding or decoding image | |
KR102570202B1 (en) | Selection of motion vector precision | |
JP6345694B2 (en) | Blockiness metrics for large HEVC block artifacts | |
KR20170021337A (en) | Encoder decisions based on results of hash-based block matching | |
EP3523977A1 (en) | Deringing filter for video coding | |
KR20160132915A (en) | Deblock filtering using pixel distance | |
JP2015027022A (en) | Video encoder, video coding method, and program | |
KR102344190B1 (en) | Video signal processing method and apparatus using reference sample | |
WO2018117938A1 (en) | Deringing filter for video coding | |
EP2099225A1 (en) | Method for intra prediction coding of image data | |
KR20180040517A (en) | Video encoding and decoding method and apparatus | |
Lainema et al. | Intra-picture prediction in HEVC | |
JP2014239338A (en) | Video encoder, video decoder, video system, video coding method, video decoding method, and program | |
JP6459761B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture coding computer program | |
US8687910B2 (en) | Image filtering method using pseudo-random number filter and apparatus thereof | |
JP5627507B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, and program | |
JP6564315B2 (en) | Encoding device, decoding device, and program | |
US10057573B2 (en) | Moving image coding device, moving image decoding device, moving image coding method and moving image decoding method | |
JP6200220B2 (en) | Image processing apparatus, encoding apparatus, decoding apparatus, and program | |
JP6357133B2 (en) | Intra prediction processing device, intra prediction processing method, intra prediction processing program, image encoding device, and image decoding device | |
KR20220130067A (en) | Video encoding/decoding method using error-resilient in-loop filter and signaling method relating to the same | |
JP2013223149A (en) | Image encoding device, image decoding device, image encoding program, and image decoding program |