JP2020088804A - Image encoding device, image encoding method, and image encoding program - Google Patents
Image encoding device, image encoding method, and image encoding program Download PDFInfo
- Publication number
- JP2020088804A JP2020088804A JP2018225464A JP2018225464A JP2020088804A JP 2020088804 A JP2020088804 A JP 2020088804A JP 2018225464 A JP2018225464 A JP 2018225464A JP 2018225464 A JP2018225464 A JP 2018225464A JP 2020088804 A JP2020088804 A JP 2020088804A
- Authority
- JP
- Japan
- Prior art keywords
- block
- division
- divided
- image
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 description 17
- 238000013139 quantization Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Abstract
Description
本発明は、画像をブロックに分割し、分割されたブロック単位で符号化及び復号化を行う技術に関する。 The present invention relates to a technique of dividing an image into blocks and performing encoding and decoding in units of the divided blocks.
画像の符号化及び復号化では、所定数の画素の集合であるブロックに画像を分割し、ブロック単位で処理をする。その際、適切なブロック単位で分割することにより、イントラ予測、インター予測、直交変換、エントロピー符号化、等の効率が向上し、結果として符号化効率が向上する。 In image encoding and decoding, an image is divided into blocks that are a set of a predetermined number of pixels, and processing is performed in block units. At that time, the efficiency of intra-prediction, inter-prediction, orthogonal transformation, entropy coding, and the like is improved by dividing in appropriate block units, and as a result, coding efficiency is improved.
適切な大きさ及び形状でブロックを分割しなければ、符号化効率が低下する。特に、画面端において、ピクチャ境界を超える位置の画素を含むブロックが不適切な大きさ及び形状となり、符号化効率が低下していた。 If the block is not divided into an appropriate size and shape, the coding efficiency will decrease. In particular, at the edge of the screen, the block including pixels at the position beyond the picture boundary has an inappropriate size and shape, and the coding efficiency is reduced.
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for improving coding efficiency by performing block division suitable for image coding and decoding.
上記課題を解決するための、本発明のある態様は、画像符号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、所定サイズの矩形に再帰的に前記画像を分割して符号化対象ブロックを生成するブロック分割部（１０１）と、符号化対象のブロック分割情報を符号化する符号化部（１０５）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。前記４分割部は、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。 An aspect of the present invention for solving the above problem is an image encoding device. This device is an image coding device that divides an image into blocks and performs coding on a divided block basis, and recursively divides the image into rectangles of a predetermined size to generate a coding target block. A block division unit (101) and an encoding unit (105) for encoding block division information to be encoded are provided. The block division unit divides the target block in the recursive division into four blocks in each of the horizontal direction and the vertical direction to generate four blocks, and the target block in the recursive division in the horizontal direction or the vertical direction. 2 to 3 divisions to generate 2 or 3 blocks. When the pixel at a position beyond an arbitrary boundary is divided by either the horizontal direction or the vertical direction, the four division unit limits the block division in that direction.
本発明のさらに別の態様は、画像符号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化方法であって、所定サイズの矩形に再帰的に前記画像を分割して符号化対象ブロックを生成するブロック分割ステップと、符号化対象のブロック分割情報を符号化する符号化ステップとを有する。前記ブロック分割ステップは、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含む。前記４分割ステップは、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。 Yet another aspect of the present invention is an image coding method. This method is an image coding method in which an image is divided into blocks and coding is performed for each divided block, and the image is recursively divided into rectangles of a predetermined size to generate a coding target block. It has a block division step and an encoding step of encoding block division information to be encoded. The block dividing step is a 4-division step of dividing the target block in the recursive division into four in each of the horizontal direction and the vertical direction to generate four blocks, and the target block in the recursive division in the horizontal direction or the vertical direction. 2 to 3 divisions to generate 2 or 3 blocks. In the four-division step, when a pixel at a position beyond an arbitrary boundary is divided by either the horizontal direction or the vertical direction, the block division in that direction is limited.
本発明のさらに別の態様は、画像復号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、復号化対象のブロック分割情報を復号化する復号化部（２０１）と、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して復号化対象ブロックを生成するブロック分割部（２０２）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。前記４分割部は、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。 Yet another aspect of the present invention is an image decoding apparatus. This apparatus is an image decoding apparatus that divides an image into blocks and performs decoding on a divided block basis, and includes a decoding unit (201) that decodes block division information to be decoded, and the block. And a block dividing unit (202) that recursively divides the image into rectangles of a predetermined size based on the division information to generate a decoding target block. The block division unit divides the target block in the recursive division into four blocks in each of the horizontal direction and the vertical direction to generate four blocks, and the target block in the recursive division in the horizontal direction or the vertical direction. 2 to 3 divisions to generate 2 or 3 blocks. When the pixel at a position beyond an arbitrary boundary is divided by either the horizontal direction or the vertical direction, the four division unit limits the block division in that direction.
本発明のさらに別の態様は、画像復号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、復号化対象のブロック分割情報を復号化する復号化ステップと、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して復号化対象ブロックを生成するブロック分割ステップとを有する。前記ブロック分割ステップは、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含む。前記４分割ステップは、水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。 Yet another aspect of the present invention is an image decoding method. This method is an image decoding method in which an image is divided into blocks and decoding is performed for each divided block, and a decoding step of decoding block division information to be decoded and the block division information A block dividing step of recursively dividing the image into rectangles of a predetermined size to generate a decoding target block. The block dividing step is a 4-division step of dividing the target block in the recursive division into four in each of the horizontal direction and the vertical direction to generate four blocks, and the target block in the recursive division in the horizontal direction or the vertical direction. 2 to 3 divisions to generate 2 or 3 blocks. In the four-division step, when a pixel at a position beyond an arbitrary boundary is divided by either the horizontal direction or the vertical direction, the block division in that direction is limited.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above constituent elements, and the expression of the present invention converted between a method, a device, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、画像符号化及び復号化に適したブロック分割が可能になり、符号化効率を向上させることができる。 According to the present invention, it is possible to perform block division suitable for image encoding and decoding, and it is possible to improve encoding efficiency.
本発明の実施の形態は、画像を矩形のブロックに分割し、分割されたブロックを符号化、復号化する画像符号化技術を提供する。 Embodiments of the present invention provide an image encoding technique for dividing an image into rectangular blocks and encoding and decoding the divided blocks.
（第１の実施の形態）
本発明の第１の実施の形態に係る画像符号化装置１００及び画像復号化装置２００について説明する。第１の実施の形態では、ブロックを４分割する際に、ブロック分割を制限する。
(First embodiment)
The image coding apparatus 100 and the image decoding apparatus 200 according to the first embodiment of the present invention will be described. In the first embodiment, when the block is divided into four, the block division is limited.
図１は、第１の実施の形態に係る画像符号化装置１００のブロック図である。図１は、画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなどの画像信号以外の付加情報に関するデータの流れは図示していない。画像符号化装置１００には、少なくとも画面１枚分の画像信号が入力される。 FIG. 1 is a block diagram of an image encoding device 100 according to the first embodiment. FIG. 1 shows only the data flow relating to the image signal, and the data flow relating to additional information other than the image signal such as the motion vector and the prediction mode is not shown. An image signal for at least one screen is input to the image encoding device 100.
ブロック分割部１０１は、符号化の処理単位となる符号化対象ブロックに画像を分割し、符号化対象ブロック内の画像信号を残差信号生成部１０３に供給する。また、ブロック分割部１０１は、予測画像の一致度を評価するために、符号化対象ブロックの画像信号を予測画像生成部１０２に供給する。 The block division unit 101 divides an image into coding target blocks that are processing units for coding, and supplies an image signal in the coding target block to the residual signal generation unit 103. In addition, the block division unit 101 supplies the image signal of the encoding target block to the predicted image generation unit 102 in order to evaluate the degree of coincidence of the predicted images.
ブロック分割部１０１は、所定サイズの矩形に再帰的に画像を分割して、符号化対象ブロックを生成する。ブロック分割部１０１は、再帰的分割における対象ブロックを４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。ブロック分割部１０１の詳細の動作については後述する。 The block division unit 101 recursively divides an image into rectangles of a predetermined size to generate a block to be encoded. The block dividing unit 101 divides the target block in the recursive division into four to generate four blocks, and the target block in the recursive division into two or three to generate two or three blocks. 2 to 3 division unit. The detailed operation of the block division unit 101 will be described later.
予測画像生成部１０２は、ブロック分割部１０１から符号化対象ブロックの画像信号と、復号画像メモリ１０８から復号画像信号とが供給される。予測画像生成部１０２は供給される信号を用いて、予測モードに基づくイントラ予測（画面内予測）やインター予測（画面間予測）を行い、予測画像信号を生成する。イントラ予測では、符号化対象ブロックと同じピクチャ（符号化ピクチャ）における、符号化対象ブロックに近接する符号化済みブロックの画像信号が、復号画像メモリ１０８から予測画像生成部１０２に供給される。そして、予測画像生成部１０２は、この画像信号とブロック分割部１０１から供給される符号化対象ブロックの画像信号とを用いて、予測画像信号を生成する。インター予測では、符号化ピクチャに対して時系列で前または後ろにある符号化済みピクチャ（参照画像）の画像信号が、復号画像メモリ１０８から予測画像生成部１０２に供給される。そして、予測画像生成部１０２は、この画像信号とブロック分割部１０１から供給される符号化対象ブロックとを用いて、ブロックマッチング等により一致度を評価して、動き量を示す動きベクトルを求める。予測画像生成部１０２は、この動きベクトルを基に参照画像から動き補償をして、予測画像信号を生成する。予測画像生成部１０２は、こうして生成された予測画像信号を残差信号生成部１０３に供給する。 The prediction image generation unit 102 is supplied with the image signal of the encoding target block from the block division unit 101 and the decoded image signal from the decoded image memory 108. The predicted image generation unit 102 uses the supplied signal to perform intra prediction (intra-screen prediction) and inter prediction (inter-screen prediction) based on the prediction mode to generate a predicted image signal. In intra prediction, an image signal of a coded block that is adjacent to the current block in the same picture (encoded picture) as the current block is supplied from the decoded image memory 108 to the predicted image generation unit 102. Then, the predicted image generation unit 102 generates a predicted image signal by using this image signal and the image signal of the coding target block supplied from the block division unit 101. In inter prediction, an image signal of a coded picture (reference image) that precedes or follows a coded picture in time series is supplied from the decoded image memory 108 to the predicted image generation unit 102. Then, the predicted image generation unit 102 uses the image signal and the encoding target block supplied from the block division unit 101 to evaluate the degree of coincidence by block matching or the like to obtain a motion vector indicating the amount of motion. The predicted image generation unit 102 performs motion compensation on the reference image based on this motion vector to generate a predicted image signal. The prediction image generation unit 102 supplies the prediction image signal thus generated to the residual signal generation unit 103.
残差信号生成部１０３は、符号化する画像信号と予測画像生成部１０２にて生成された予測信号とを減算して残差信号を生成し、直交変換・量子化部１０４に供給する。 The residual signal generation unit 103 subtracts the image signal to be encoded from the prediction signal generated by the prediction image generation unit 102 to generate a residual signal, and supplies the residual signal to the orthogonal transformation/quantization unit 104.
直交変換・量子化部１０４は、残差信号生成部１０３から供給される残差信号を直交変換・量子化する。直交変換・量子化部１０４は、直交変換・量子化された残差信号を符号化部１０５及び逆量子化・逆直交変換部１０６に供給する。 The orthogonal transformation/quantization unit 104 orthogonally transforms/quantizes the residual signal supplied from the residual signal generation unit 103. The orthogonal transformation/quantization unit 104 supplies the orthogonal transformation/quantized residual signal to the coding unit 105 and the inverse quantization/inverse orthogonal transformation unit 106.
符号化部１０５は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号に対応する符号化ビットストリームを生成する。また、符号化部１０５は、各構成要素から供給された動きベクトルや予測モード、ブロック分割情報などの付加情報について、対応する符号化ビットストリームを生成する。そして、符号化部１０５は、符号化ビットストリームを画像符号化装置１００から出力する。 The encoding unit 105 generates an encoded bit stream corresponding to the orthogonal transform/quantized residual signal supplied from the orthogonal transform/quantization unit 104. The encoding unit 105 also generates a corresponding encoded bitstream for the additional information such as the motion vector, the prediction mode, and the block division information supplied from each component. Then, the encoding unit 105 outputs the encoded bitstream from the image encoding device 100.
逆量子化・逆直交変換部１０６は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号を逆量子化・逆直交変換して、残差信号を得る。逆量子化・逆直交変換部１０６は、残差信号を復号画像信号重畳部１０７に供給する。 The inverse quantization/inverse orthogonal transformation unit 106 obtains a residual signal by performing inverse quantization/inverse orthogonal transformation on the orthogonal transformation/quantized residual signal supplied from the orthogonal transformation/quantization unit 104. The inverse quantization/inverse orthogonal transformation unit 106 supplies the residual signal to the decoded image signal superposition unit 107.
復号画像信号重畳部１０７は、予測画像生成部１０２により生成された予測画像信号と逆量子化・逆直交変換部１０６で得られた残差信号とを重畳して復号画像を生成し、復号画像メモリ１０８に格納する。なお、復号画像信号重畳部１０７は、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ１０８に格納してもよい。 The decoded image signal superposition unit 107 superimposes the predicted image signal generated by the predicted image generation unit 102 and the residual signal obtained by the inverse quantization/inverse orthogonal transformation unit 106 to generate a decoded image, and the decoded image It is stored in the memory 108. Note that the decoded image signal superimposing unit 107 may perform a filtering process on the decoded image to reduce block distortion due to encoding, and store the decoded image in the decoded image memory 108.
図２は、実施の形態１に係る画像復号化装置２００のブロック図である。図２は、画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなどの画像信号以外の付加情報に関するデータの流れは図示していない。画像復号化装置２００には、符号化ビットストリームが入力される。 FIG. 2 is a block diagram of the image decoding device 200 according to the first embodiment. FIG. 2 shows only the data flow relating to the image signal, and the data flow relating to additional information other than the image signal such as the motion vector and the prediction mode is not shown. The encoded bit stream is input to the image decoding device 200.
復号化部２０１は、供給された符号化ビットストリームを復号化して、直交変換・量子化された残差信号をブロック分割部２０２に供給する。また、復号化部２０１は、動きベクトルや予測モード、ブロック分割情報などの付加情報を各構成要素に供給して、付加情報と対応する処理に用いる。 The decoding unit 201 decodes the supplied encoded bitstream and supplies the orthogonally transformed/quantized residual signal to the block division unit 202. In addition, the decoding unit 201 supplies additional information such as a motion vector, a prediction mode, and block division information to each component, and uses the additional information in a process corresponding to the additional information.
ブロック分割部２０２は、復号化したブロック分割情報に基づいて復号化対象ブロックの形状を決定し、決定された復号化対象ブロックの直交変換・量子化された残差信号を逆量子化・逆直交変換部２０３に供給する。 The block division unit 202 determines the shape of the decoding target block based on the decoded block division information, and inversely quantizes and inversely orthogonalizes the orthogonal transformation/quantized residual signal of the determined decoding target block. It is supplied to the conversion unit 203.
ブロック分割部２０２は、復号化されたブロック分割の情報に基づいて、所定サイズの矩形に再帰的に画像を分割して、復号化対象ブロックを生成する。ブロック分割部２０２は、再帰的分割における対象ブロックを４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含む。ブロック分割部２０２の詳細の動作については後述する。 The block division unit 202 recursively divides the image into rectangles of a predetermined size based on the decoded block division information to generate a decoding target block. The block division unit 202 divides the target block in the recursive division into four to generate four blocks, and the target block in the recursive division into two or three to generate two or three blocks. 2 to 3 division unit. The detailed operation of the block division unit 202 will be described later.
逆量子化・逆直交変換部２０３は、供給される直交変換・量子化された残差信号を逆量子化・逆直交変換して、残差信号を得る。それを復号画像信号重畳部２０５に供給する。 The inverse quantization/inverse orthogonal transformation unit 203 obtains a residual signal by performing inverse quantization/inverse orthogonal transformation on the supplied orthogonal transformation/quantized residual signal. It is supplied to the decoded image signal superimposing unit 205.
予測画像生成部２０４は、復号画像メモリ２０６から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０５に供給する。 The predicted image generation unit 204 generates a predicted image signal from the decoded image signal supplied from the decoded image memory 206, and supplies the predicted image signal to the decoded image signal superposition unit 205.
復号画像信号重畳部２０５は、予測画像生成部２０４で生成された予測画像信号と、逆量子化・逆直交変換部２０３で得られた残差信号とを重畳して復号画像信号を生成する。また、復号画像信号重畳部２０５は、復号画像信号を復号画像メモリ２０６に格納する。なお、復号画像信号重畳部２０５は、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２０６に格納してもよい。そして、復号画像信号重畳部２０５は、復号画像を画像復号化装置２００から出力する。 The decoded image signal superimposing unit 205 superimposes the predicted image signal generated by the predicted image generating unit 204 and the residual signal obtained by the inverse quantization/inverse orthogonal transform unit 203 to generate a decoded image signal. Further, the decoded image signal superimposing unit 205 stores the decoded image signal in the decoded image memory 206. Note that the decoded image signal superimposing unit 205 may perform filtering processing on the decoded image to reduce block distortion or the like due to encoding, and store the decoded image in the decoded image memory 206. Then, the decoded image signal superimposing unit 205 outputs the decoded image from the image decoding device 200.
次に、画像符号化装置１００におけるブロック分割部１０１の動作について、図３を用いて説明する。図３は、ブロック分割部１０１が画像をツリーブロックへ分割し、その内部をブロック分割する動作を示す。 Next, the operation of the block division unit 101 in the image encoding device 100 will be described with reference to FIG. FIG. 3 shows an operation in which the block dividing unit 101 divides an image into tree blocks and divides the inside into blocks.
まず、入力された画像を、所定サイズのツリーブロックに分割する（Ｓ１０００）。ここで、ツリーブロックは１２８ｘ１２８画素とする。ただし、ツリーブロックはこの大きさに限定されず、矩形であればどのような大きさや縦横比を用いてもよい。また、符号化装置と復号化装置の間で、ツリーブロックの大きさを予め定めておいてもよい。さらに、符号化装置がツリーブロックの大きさを決定して符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録されたツリーブロックの大きさを用いる構成にしてもよい。入力された画像をツリーブロックに分割する様子を図４に示す。ツリーブロックは、ラスタスキャン順、すなわち左から右、上から下に符号化される。 First, the input image is divided into tree blocks of a predetermined size (S1000). Here, the tree block has 128×128 pixels. However, the tree block is not limited to this size, and any size and aspect ratio may be used as long as it is a rectangle. Further, the size of the tree block may be predetermined between the encoding device and the decoding device. Furthermore, the encoding device may determine the size of the tree block and record it in the encoded bit stream, and the decoding device may use the size of the tree block recorded in the encoded bit stream. FIG. 4 shows how the input image is divided into tree blocks. The tree blocks are encoded in raster scan order, left to right, top to bottom.
ツリーブロックの内部をさらに矩形のブロックに分割する。ツリーブロック内部は、図５に示すｚ−スキャン順に符号化する。ｚ−スキャン順とは、左上、右上、左下、右下、の順序を示す。ツリーブロック内部の分割は、４分割、２分割または３分割が可能である。 The inside of the tree block is further divided into rectangular blocks. The inside of the tree block is encoded in the z-scan order shown in FIG. The z-scan order indicates the order of upper left, upper right, lower left, lower right. The division inside the tree block can be divided into four, two or three.
ブロックの４分割は、図６（ａ）のように水平方向と垂直方向とを各々半分にして４分割し、４つのブロックを生成することによりなされる。 The block is divided into four by dividing the block into halves in the horizontal direction and the vertical direction to generate four blocks as shown in FIG. 6A.
ブロックの２分割または３分割は、水平方向または垂直方向に分割することによりなされる。水平方向にブロックを２分割する場合、図６（ｂ）のように半分に分割し、２つのブロックを生成する。また、水平方向にブロックを３分割する場合、図６（ｃ）のように１：２：１に分割し、３つのブロックを生成する。一方、垂直方向にブロックを２分割する場合、図６（ｄ）のように半分に分割し、２つのブロックを生成する。また、垂直方向にブロックを３分割する場合、図６（ｅ）のように１：２：１に分割し、３つのブロックを生成する。 The block is divided into two or three by dividing the block in the horizontal direction or the vertical direction. When the block is divided into two in the horizontal direction, the block is divided in half as shown in FIG. 6B to generate two blocks. Further, when the block is divided into three in the horizontal direction, it is divided into 1:2:1 as shown in FIG. 6C to generate three blocks. On the other hand, when the block is vertically divided into two, as shown in FIG. 6D, the block is divided in half to generate two blocks. Further, when the block is divided into three in the vertical direction, it is divided into 1:2:1 as shown in FIG. 6E, and three blocks are generated.
再び図３を参照し、ブロック分割部１０１の動作について説明する。まず、ツリーブロック内部を水平方向と垂直方向とを各々半分に４分割するか否かを判断する（Ｓ１００１）。 The operation of the block division unit 101 will be described with reference to FIG. 3 again. First, it is determined whether or not the inside of the tree block is divided into four in each of the horizontal direction and the vertical direction (S1001).
ブロックを４分割するか否かの判断を含め、複数の条件から最適な場合を判断するには、Ｒ−Ｄ最適化（Rate-Distortion Optimization）と呼ばれる既存の方法がある。Ｒ−Ｄ最適化では、符号量と符号化歪から、符号化コストが算出される。そして、複数の条件で符号化した場合について、それぞれ符号化コストを算出し、符号化コストが最小となる場合を選択する。つまり、ブロックを４分割するか否かの判断は、ブロックを４分割する場合の符号化コストと、ブロックを４分割しない場合の符号化コストを算出し、符号化コストが最小となる場合を選択することによりなされる。複数の条件から最適な場合を判断するには、Ｒ−Ｄ最適化以外の方法を用いても良い。
ツリーブロック内部を４分割すると判断した場合（Ｓ１００１：Ｙｅｓ）、ツリーブロック内部を４分割する（Ｓ１００２）。４分割されたブロックの再分割処理については後述する（図７）。
There is an existing method called RD optimization (Rate-Distortion Optimization) for judging the optimum case from a plurality of conditions including the judgment as to whether or not the block is divided into four. In the RD optimization, the coding cost is calculated from the code amount and the coding distortion. Then, the coding cost is calculated for each of the cases where the coding is performed under a plurality of conditions, and the case where the coding cost is minimized is selected. In other words, whether or not to divide the block into four is determined by calculating the coding cost when the block is divided into four and the coding cost when the block is not divided into four and selecting the case where the coding cost is the minimum. Done by doing. A method other than the RD optimization may be used to determine the optimum case from a plurality of conditions.
When it is determined that the inside of the tree block is divided into four (S1001: Yes), the inside of the tree block is divided into four (S1002). The subdivision processing of the block divided into four will be described later (FIG. 7).
ツリーブロック内部を４分割しないと判断した場合（Ｓ１００１：Ｎｏ）、ツリーブロック内部を２分割または３分割するか否かを判断する（Ｓ１００３）。 When it is determined that the inside of the tree block is not divided into four (S1001: No), it is determined whether the inside of the tree block is divided into two or three (S1003).
ツリーブロック内部を２分割または３分割すると判断した場合（Ｓ１００３：Ｙｅｓ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１００４）。 When it is determined that the inside of the tree block is divided into two or three (S1003: Yes), it is determined whether the division direction is the vertical direction (S1004).
分割する方向を垂直方向と判断した場合（Ｓ１００４：Ｙｅｓ）、ツリーブロック内部を２分割するか否かを判断する（Ｓ１００５）。 When it is determined that the splitting direction is the vertical direction (S1004: Yes), it is determined whether or not the inside of the tree block is split into two (S1005).
ツリーブロック内部を２分割すると判断した場合（Ｓ１００５：Ｙｅｓ）、ツリーブロック内部を垂直方向に２分割する（Ｓ１００６）。一方、ツリーブロック内部を３分割すると判断した場合（Ｓ１００５：Ｎｏ）、ツリーブロック内部を垂直方向に３分割する（Ｓ１００７）。垂直方向に２分割または３分割されたブロックの再分割処理については後述する（図８）。 When it is determined that the inside of the tree block is divided into two (S1005: Yes), the inside of the tree block is vertically divided into two (S1006). On the other hand, when it is determined that the inside of the tree block is divided into three (S1005: No), the inside of the tree block is vertically divided into three (S1007). The subdivision processing of the block divided into two or three in the vertical direction will be described later (FIG. 8).
分割する方向を水平方向と判断した場合（Ｓ１００４：Ｎｏ）、ツリーブロック内部を２分割するか否かを判断する（Ｓ１００８）。 When it is determined that the dividing direction is the horizontal direction (S1004: No), it is determined whether or not the inside of the tree block is divided into two (S1008).
ツリーブロック内部を２分割すると判断した場合（Ｓ１００８：Ｙｅｓ）、ツリーブロック内部を水平方向に２分割する（Ｓ１００９）。一方、ツリーブロック内部を３分割すると判断した場合（Ｓ１００８：Ｎｏ）、ツリーブロック内部を水平方向に３分割する（Ｓ１０１０）。水平方向に２分割または３分割されたブロックの再分割処理については後述する（図８）。 When it is determined that the inside of the tree block is divided into two (S1008: Yes), the inside of the tree block is divided into two in the horizontal direction (S1009). On the other hand, when it is determined that the inside of the tree block is divided into three (S1008: No), the inside of the tree block is horizontally divided into three (S1010). The subdivision processing of the block divided into two or three in the horizontal direction will be described later (FIG. 8).
ツリーブロック内部を２分割または３分割しないと判断した場合（Ｓ１００３：Ｎｏ）、ツリーブロックの内部をブロック分割せずにブロック分割処理を終了する（Ｓ１０１１）。 If it is determined that the inside of the tree block is not divided into two or three (S1003: No), the inside of the tree block is not divided into blocks and the block division processing is ended (S1011).
続いて、ツリーブロックを水平方向と垂直方向とを各々半分に４分割した場合の分割された各ブロックの処理について、図７のフローチャートを用いて説明する。 Next, processing of each divided block when the tree block is divided into four in the horizontal direction and in the vertical direction will be described with reference to the flowchart of FIG. 7.
まず、ブロック内部を再び水平方向と垂直方向とを各々半分に４分割するか否かを判断する（Ｓ１１０１）。 First, it is determined whether or not the inside of the block is again divided into four in each of the horizontal direction and the vertical direction (S1101).
ブロック内部を再び４分割すると判断した場合（Ｓ１１０１：Ｙｅｓ）、ブロック内部を再び４分割する（Ｓ１１０２）。 When it is determined that the inside of the block is again divided into four (S1101: Yes), the inside of the block is again divided into four (S1102).
ブロック内部を再び４分割しないと判断した場合（Ｓ１１０１：Ｎｏ）、ブロック内部を２分割または３分割するか否かを判断する（Ｓ１１０３）。 When it is determined that the inside of the block is not divided into four again (S1101: No), it is determined whether the inside of the block is divided into two or three (S1103).
ブロック内部を２分割または３分割すると判断した場合（Ｓ１１０３：Ｙｅｓ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１１０４）。 When it is determined that the inside of the block is divided into two or three (S1103: Yes), it is determined whether the dividing direction is the vertical direction (S1104).
分割する方向を垂直方向と判断した場合（Ｓ１１０４：Ｙｅｓ）、ブロック内部を２分割するか否かを判断する（Ｓ１１０５）。 When it is determined that the dividing direction is the vertical direction (S1104: Yes), it is determined whether or not the inside of the block is divided into two (S1105).
ブロック内部を２分割すると判断した場合（Ｓ１１０５：Ｙｅｓ）、ブロック内部を垂直方向に２分割する（Ｓ１１０６）。一方、ブロック内部を３分割すると判断した場合（Ｓ１１０５：Ｎｏ）、ブロック内部を垂直方向に３分割する（Ｓ１１０７）。 When it is determined that the inside of the block is divided into two (S1105: Yes), the inside of the block is vertically divided into two (S1106). On the other hand, when it is determined that the inside of the block is divided into three (S1105: No), the inside of the block is divided into three in the vertical direction (S1107).
分割する方向を水平方向と判断した場合（Ｓ１１０４：Ｎｏ）、ブロック内部を２分割するか否かを判断する（Ｓ１１０８）。 When it is determined that the dividing direction is the horizontal direction (S1104: No), it is determined whether or not the inside of the block is divided into two (S1108).
ブロック内部を２分割すると判断した場合（Ｓ１１０８：Ｙｅｓ）、ブロック内部を水平方向に２分割する（Ｓ１１０９）。一方、ブロック内部を３分割すると判断した場合（Ｓ１１０８：Ｎｏ）、ブロック内部を水平方向に３分割する（Ｓ１１１０）。 When it is determined that the inside of the block is divided into two (S1108: Yes), the inside of the block is divided into two in the horizontal direction (S1109). On the other hand, when it is determined that the inside of the block is divided into three (S1108: No), the inside of the block is divided into three in the horizontal direction (S1110).
ブロック内部を２分割または３分割しないと判断した場合（Ｓ１１０３：Ｎｏ）、ブロックの内部を再分割せずにブロック分割処理を終了する（Ｓ１１１１）。 When it is determined that the inside of the block is not divided into two or three (S1103: No), the block dividing process is terminated without re-dividing the inside of the block (S1111).
４分割された各ブロックについて、図７のフローチャートに示す処理が再帰的に実行される。４分割されたブロックの内部は、ｚ−スキャン順に符号化する。 The process shown in the flowchart of FIG. 7 is recursively executed for each of the four divided blocks. The inside of the block divided into four is encoded in the z-scan order.
続いて、ツリーブロックを垂直方向に２分割または３分割した場合の分割された各ブロックの処理について図８のフローチャートを用いて説明する。 Next, processing of each divided block when the tree block is divided into two or three in the vertical direction will be described with reference to the flowchart of FIG.
ツリーブロックを垂直方向に２分割または３分割した場合、分割された各ブロックについて、ブロック内部を再び２分割または３分割するか否かを判断する（Ｓ１２０１）。 When the tree block is vertically divided into two or three, it is determined whether or not the inside of each divided block is divided into two or three again (S1201).
ブロック内部を２分割または３分割すると判断した場合（Ｓ１２０１：Ｙｅｓ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１２０２）。 When it is determined that the inside of the block is divided into two or three (S1201: Yes), it is determined whether the dividing direction is the vertical direction (S1202).
分割する方向を垂直方向と判断した場合（Ｓ１２０２：Ｙｅｓ）、ブロック内部を２分割するか否かを判断する（Ｓ１２０３）。 When it is determined that the dividing direction is the vertical direction (S1202: Yes), it is determined whether or not the inside of the block is divided into two (S1203).
ブロック内部を２分割すると判断した場合（Ｓ１２０３：Ｙｅｓ）、ブロック内部を垂直方向に２分割する（Ｓ１２０４）。一方、ブロック内部を３分割すると判断した場合（Ｓ１２０３：Ｎｏ）、ブロック内部を垂直方向に３分割する（Ｓ１２０５）。 When it is determined that the inside of the block is divided into two (S1203: Yes), the inside of the block is vertically divided into two (S1204). On the other hand, when it is determined that the inside of the block is divided into three (S1203: No), the inside of the block is vertically divided into three (S1205).
分割する方向を水平方向と判断した場合（Ｓ１２０２：Ｎｏ）、ブロック内部を２分割するか否かを判断する（Ｓ１２０６）。 When it is determined that the dividing direction is the horizontal direction (S1202: No), it is determined whether or not the inside of the block is divided into two (S1206).
ブロック内部を２分割すると判断した場合（Ｓ１２０６：Ｙｅｓ）、ブロック内部を水平方向に２分割する（Ｓ１２０７）。一方、ブロック内部を３分割すると判断した場合（Ｓ１２０６：Ｎｏ）、ブロック内部を水平方向に３分割する（Ｓ１２０８）。 When it is determined that the inside of the block is divided into two (S1206: Yes), the inside of the block is divided into two in the horizontal direction (S1207). On the other hand, when it is determined that the inside of the block is divided into three (S1206: No), the inside of the block is horizontally divided into three (S1208).
ブロック内部を再び２分割または３分割しないと判断した場合（Ｓ１２０１：Ｎｏ）、ブロックの内部を再分割せずにブロック分割処理を終了する（Ｓ１２０９）。 When it is determined that the inside of the block is not divided into two or three again (S1201: No), the block division processing is ended without re-dividing the inside of the block (S1209).
垂直方向に２分割または３分割した場合の分割された各ブロックについて、図８のフローチャートに示す処理が再帰的に実行される。２分割または３分割されたブロックの内部は、左から右の順に符号化する。 The process shown in the flowchart of FIG. 8 is recursively executed for each divided block in the case of being divided into two or three in the vertical direction. The inside of the block divided into two or three is encoded in order from left to right.
同様に、水平方向に２分割または３分割した場合の分割された各ブロックについて、図８のフローチャートに示す処理が再帰的に実行される。２分割または３分割されたブロックの内部は、上から下の順に符号化する。 Similarly, the process shown in the flowchart of FIG. 8 is recursively executed for each of the divided blocks when the image is divided into two or three in the horizontal direction. The inside of the block divided into two or three is encoded in order from top to bottom.
なお、ツリーブロックが分割された時の分割されたブロックの再分割について説明したが、親ブロックがツリーブロックでなくてもよい。例えば、ツリーブロック（１２８ｘ１２８画素）を４分割し、４分割されたブロック（６４ｘ６４画素）をさらに分割した場合に、再分割されたブロックの分割にも上記処理を適用する。 Although the re-division of the divided block when the tree block is divided has been described, the parent block may not be the tree block. For example, when the tree block (128×128 pixels) is divided into four and the block divided into four (64×64 pixels) is further divided, the above processing is applied to the division of the subdivided block.
再帰的なブロック分割は、分割する回数を定めて、分割する回数を制限しても良い。また、符号化装置と復号化装置の間で、分割する回数を予め定めておいても良い。さらに、符号化装置が分割する回数を決定して符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録された分割する回数を用いる構成にしても良い。 In the recursive block division, the number of divisions may be set and the number of divisions may be limited. Further, the number of divisions may be set in advance between the encoding device and the decoding device. Further, the encoding device may determine the number of divisions and record it in the encoded bitstream, and the decoding device may use the number of divisions recorded in the encoded bitstream.
次に、画面端におけるブロック分割について説明する。図９は、画像をツリーブロックに分割したときのピクチャ境界との関係を示す。この図に示すように、画像の大きさはツリーブロックの大きさの整数倍とは限らないので、画面端におけるツリーブロックは、ピクチャ境界を隔てて画面内と画面外の部分を含むことがある。この場合は図１０に示すように、画面外の部分は、画面内の最も外側の画素値と同じとして扱う。 Next, the block division at the screen edge will be described. FIG. 9 shows the relationship with the picture boundary when the image is divided into tree blocks. As shown in this figure, since the size of the image is not always an integral multiple of the size of the tree block, the tree block at the screen edge may include a part inside the screen and a part outside the screen with a picture boundary. .. In this case, as shown in FIG. 10, the portion outside the screen is treated as the same as the outermost pixel value in the screen.
そして、ブロックを４分割する際に、ブロック分割を制限する。これにより、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。 Then, when the block is divided into four, the block division is limited. As a result, the block at the screen edge can be divided into appropriate sizes and shapes, and the coding efficiency can be improved.
ブロック分割の制限は、画面端においてブロックを４分割する際に適用される。つまり、図３における４分割の処理（Ｓ１００２）や、図７における４分割の処理（Ｓ１１０２）が、以下に説明する処理に置き換わる。 The restriction of block division is applied when dividing a block into four at the screen edge. That is, the four-division processing (S1002) in FIG. 3 and the four-division processing (S1102) in FIG. 7 are replaced by the processing described below.
ブロック分割の制限について、図１１を用いて説明する。まず、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割されるか否かを判定する（Ｓ１３０１）。 The restriction on block division will be described with reference to FIG. First, when the block is divided into four, it is determined whether the pixel at the position beyond the picture boundary is divided by either the horizontal direction or the vertical direction (S1301).
画素が分割されない場合（Ｓ１３０１：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１３０２）。 When the pixel is not divided (S1301: No), the block division is not limited and the block is divided into four (S1302).
画素が分割される場合（Ｓ１３０１：Ｙｅｓ）、画素を分割する方向が垂直か否かを判定する（Ｓ１３０３）。 When the pixel is divided (S1301: Yes), it is determined whether the direction of dividing the pixel is vertical (S1303).
垂直方向の場合（Ｓ１３０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１３０４）。一方、水平方向の場合（Ｓ１３０３：Ｎｏ）、水平方向の分割は制限し、ブロックを垂直方向に２分割する（Ｓ１３０５）。 In the case of the vertical direction (S1303: Yes), the division in the vertical direction is limited, and the block is divided into two in the horizontal direction (S1304). On the other hand, in the case of the horizontal direction (S1303: No), the horizontal division is limited, and the block is divided into two in the vertical direction (S1305).
つまり、水平方向または垂直方向のどちらか一方のブロック分割によってピクチャ境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。 In other words, when a pixel at a position beyond the picture boundary is divided by either horizontal or vertical block division, block division in that direction is limited.
ここで、具体例を説明する。図１２（ａ）は、画面の下端におけるツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このツリーブロックを４分割する際には、ピクチャ境界を超えた位置の画素が分割される。ただし、その方向は、水平方向と垂直方向の両方である。よって、ブロック分割を制限する条件に当てはまらない（Ｓ１３０１：Ｎｏ）ので、ブロックを４分割する（Ｓ１３０２）。 Here, a specific example will be described. FIG. 12A shows a state in which the tree block at the lower end of the screen includes a part inside the screen and a part outside the screen with a picture boundary. When this tree block is divided into four, pixels at positions beyond the picture boundary are divided. However, the direction is both horizontal and vertical. Therefore, the condition that restricts the block division is not satisfied (S1301: No), so the block is divided into four (S1302).
続いて、４分割された各ブロックの左上のブロックをさらに４分割する際の様子を図１２（ｂ）に示す。このとき、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する条件に当てはまる（Ｓ１３０１：Ｙｅｓ）。そして、画素を分割する方向は垂直であるから（Ｓ１３０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１３０４）。このときのブロック分割の様子を図１２（ｃ）に示す。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。 Next, FIG. 12B shows a state when the upper left block of each of the four divided blocks is further divided into four. At this time, the pixel in the position beyond the picture boundary is divided by the vertical division. Further, at this time, the pixels in the positions beyond the picture boundary are not divided by the horizontal division. Therefore, the condition for limiting the block division is satisfied (S1301: Yes). Since the direction of dividing the pixel is vertical (S1303: Yes), the division in the vertical direction is restricted and the block is divided into two in the horizontal direction (S1304). The state of block division at this time is shown in FIG. This restriction of block division prevents the divided blocks from becoming too small.
このブロック分割の制限は、画面の右端でも同様である。図１２（ｄ）のように、ツリーブロックを４分割した後、さらに左上のブロックを４分割する場合を考える。このとき、水平方向にブロックを分割すると、ピクチャ境界を超えた位置の画素を分割することになる。よって、水平方向の分割は制限し、ブロックを垂直方向に２分割する。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。 This restriction on block division is the same at the right end of the screen. As shown in FIG. 12D, consider a case where the tree block is divided into four and the upper left block is further divided into four. At this time, when the block is divided in the horizontal direction, the pixels at positions beyond the picture boundary are divided. Therefore, the horizontal division is limited, and the block is divided into two in the vertical direction. This restriction of block division prevents the divided blocks from becoming too small.
次に、画像復号化装置２００のブロック分割部２０２の動作について説明する。ブロック分割部２０２は、前述の画像符号化装置１００におけるブロック分割部１０１と同じ処理手順でブロックを分割する。ブロック分割部１０１では、ブロック分割のパターンを選択し、選択したブロック分割情報を出力する。一方、ブロック分割部２０２は、符号化ビットストリームから復号化されたブロック分割情報を用いてブロックを分割する。ブロック分割の制限は、前述の画像符号化装置１００と同様である。 Next, the operation of the block division unit 202 of the image decoding device 200 will be described. The block division unit 202 divides the block according to the same processing procedure as the block division unit 101 in the image encoding device 100 described above. The block division unit 101 selects a block division pattern and outputs the selected block division information. On the other hand, the block division unit 202 divides a block using the block division information decoded from the encoded bitstream. The restriction of block division is the same as that of the image encoding device 100 described above.
第１の実施の形態のブロック分割に関するシンタックス（符号化ビットストリームの構文規則）を図１３に示す。図１３において、QT()はブロックの４分割処理にかかるシンタックスを表し、MTT()はブロックの２分割または３分割処理にかかるシンタックスを表す。画像符号化装置１００はこのシンタックスに従って符号化し、画像復号化装置２００はこのシンタックスに従って復号化する。 FIG. 13 shows the syntax (syntax rule of coded bitstream) related to block division according to the first embodiment. In FIG. 13, QT() represents the syntax for the block 4-division processing, and MTT() represents the syntax for the block 2-division or 3-division processing. The image coding apparatus 100 codes according to this syntax, and the image decoding apparatus 200 decodes according to this syntax.
まず、ブロックを４分割するか否かはQTflagで表される。４分割する場合はQTflag=1、４分割しない場合はQTflag=0とする。４分割においてブロック分割を制限した場合は、QTflag=1とする。４分割する場合(QTflag=1)、４分割した各ブロックについてさらに４分割可能であれば(QTvalid=1)、再帰的に４分割処理をする。４分割しない場合(QTflag=0)、２分割または３分割するか否かはMTTflagで表される。２分割または３分割する場合(MTTflag=1)、垂直方向に分割するか否かはvertical_flagで表され、２分割するか否かはBTflagで表される。垂直方向に分割する場合はvertical_flag=1、水平方向に分割する場合はvertical_flag=0とする。また、２分割する場合はBTflag=1、３分割する場合はBTflag=0とする。２分割または３分割した各ブロックについてさらに２分割または３分割可能であれば(MTTvalid=1)、再帰的に２分割または３分割処理をする。 First, QTflag indicates whether or not the block is divided into four. When dividing into four, QTflag=1, and when not dividing into four, QTflag=0. When block division is limited in four divisions, QTflag=1. When it is divided into four (QTflag=1), if each of the four divided blocks can be further divided into four (QTvalid=1), recursive division into four is performed. When not divided into 4 (QTflag=0), whether to divide into 2 or 3 is represented by MTTflag. When dividing into two or three (MTTflag=1), whether to divide in the vertical direction is represented by vertical_flag, and whether to divide into two is represented by BTflag. Vertical_flag=1 when dividing vertically, and vertical_flag=0 when dividing horizontally. In addition, BTflag=1 when dividing into two and BTflag=0 when dividing into three. If each block divided into two or three can be further divided into two or three (MTTvalid=1), it is recursively divided into two or three.
ここで、４分割した各ブロックが、さらに４分割可能か否かを示す変数QTvalidについて説明する。QTvalidは、４分割した各ブロックごとに定義される。４分割するブロックに画面内の画素が含まれない場合は、QTvalid=0となる。また、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割される場合は、QTvalid=0となる。上記以外の場合は、QTvalid=1となる。 Here, a variable QTvalid that indicates whether or not each block divided into four can be further divided into four will be described. QTvalid is defined for each block divided into four. If the block to be divided into four does not include pixels in the screen, QTvalid=0. Further, when the block is divided into four, if the pixel at the position beyond the picture boundary is divided by either the horizontal direction or the vertical direction, QTvalid=0. In cases other than the above, QTvalid=1.
また、２分割または３分割した各ブロックが、さらに２分割または３分割可能か否かを示す変数MTTvalidについて説明する。MTTvalidは、２分割または３分割した各ブロックごとに定義される。２分割または３分割するブロックに画面内の画素が含まれない場合は、MTTvalid=0となる。上記以外の場合は、MTTvalid=1となる。 In addition, a variable MTTvalid indicating whether each block divided into two or three can be further divided into two or three will be described. MTTvalid is defined for each block divided into two or three. When the block divided into two or three does not include the pixel in the screen, MTTvalid=0. In all other cases, MTTvalid=1.
こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。従って、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。 This restriction of block division prevents the divided blocks from becoming too small. Therefore, the block at the screen edge can be divided into an appropriate size and shape, and the coding efficiency can be improved.
画像符号化装置１００及び画像復号化装置２００において、分割されたブロックを用いてイントラ予測やインター予測が行われる。イントラ予測、インター予測ともにメモリからの画素のコピーを伴う。 In the image encoding device 100 and the image decoding device 200, intra prediction and inter prediction are performed using the divided blocks. Both intra and inter prediction involve copying pixels from memory.
図１４にイントラ予測の一例を示す。図１４（ａ）と図１４（ｂ）は、イントラ予測の予測方向とモード番号を示す。イントラ予測は、図１４（ｃ）や図１４（ｄ）に示すように、符号化・復号化対象ブロックの左や上などの近接する符号化・復号化済の画素から画素をコピーすることで、符号化・復号化対象ブロックの予測画像を生成する。このイントラ予測では、予測画像の生成から符号化・復号化の画素生成という一連の処理をブロック単位で順次繰り返す。そのため、ブロックを小さく分割するほど上記の処理を繰り返す回数が増加して、必要となるメモリ帯域が増加する。よって、ブロックを小さく分割しすぎないことによって、イントラ予測で必要となるメモリ帯域の増加を防止することができる。 FIG. 14 shows an example of intra prediction. FIG. 14A and FIG. 14B show the prediction direction and the mode number of intra prediction. Intra prediction is performed by copying pixels from adjacent encoded/decoded pixels on the left or upper side of the encoding/decoding target block, as shown in FIGS. 14C and 14D. , Generates a predicted image of the encoding/decoding target block. In this intra-prediction, a series of processes from generation of a predicted image to pixel generation of encoding/decoding is sequentially repeated in block units. Therefore, the smaller the block is divided, the more the number of times the above process is repeated increases, and the required memory band increases. Therefore, it is possible to prevent an increase in the memory band required for intra prediction by not dividing the block into smaller parts.
また、ブロックを小さく分割するほどイントラ予測の単位が小さくなり、画面内の細かい画素の変化を符号化できる。しかし、画面外の画素を含むブロックにおいて、画面外の部分の画素値は一定である。そのため、そのブロックの画面内の部分の画素値の変化は、画面外の画素を含まないブロックに対して相対的に小さい。よって、細かい画素の変化を符号化する必要性は少なく、むしろブロックを小さく分割しすぎないことによって符号量を小さくし、符号化効率を向上させることができる。 Further, the smaller the block is divided into, the smaller the unit of intra prediction becomes, and the finer pixel changes in the screen can be coded. However, in the block including pixels outside the screen, the pixel value in the portion outside the screen is constant. Therefore, the change in the pixel value of the portion of the block within the screen is relatively small compared to the block that does not include the pixel outside the screen. Therefore, it is not necessary to code a fine pixel change, and rather the block is not divided too small, so that the code amount can be reduced and the coding efficiency can be improved.
図１５にインター予測の一例を示す。インター予測は、参照画像からブロック単位で画素をコピーすることで、符号化・復号化対象ブロックの予測画像を生成する。参照画像から画素をコピーする処理において、参照画像が格納されているメモリから、予測に必要な画素を取得する。その際、メモリはその管理単位に沿ってアクセスするように装置を構成することが多い。そして、ブロックを小さく分割するほど前記のコピー処理の回数が増加して、必要となるメモリ帯域が増加する。また、参照画像に対して補間フィルタを用いた小数精度の動き補償を行う場合には、ブロック内に含まれる画素に数画素を加えた画素のコピーが必要となる。そのため、ブロックが小さいほど追加する画素の相対的な比率が大きくなり、必要となるメモリ帯域が増加する。よって、ブロックを小さく分割しすぎないことによって、インター予測で必要となるメモリ帯域の増加を防止することができる。 FIG. 15 shows an example of inter prediction. In inter prediction, pixels are copied in block units from a reference image to generate a predicted image of an encoding/decoding target block. In the process of copying pixels from the reference image, the pixels required for prediction are acquired from the memory in which the reference image is stored. At that time, the memory is often configured so that the memory is accessed along the management unit. Then, the smaller the block is divided, the more the number of times of the above-mentioned copy processing is increased, and the required memory band is increased. Further, when performing decimal precision motion compensation using an interpolation filter on a reference image, it is necessary to copy pixels obtained by adding several pixels to pixels included in a block. Therefore, the smaller the block is, the larger the relative ratio of the added pixel is, and the required memory band is increased. Therefore, it is possible to prevent an increase in the memory band required for inter prediction by not dividing the block into smaller parts.
また、ブロックを小さく分割するほどインター予測の単位が小さくなり、画面間の細かい画素の変化を符号化できる。しかし、画面外の画素を含むブロックにおいて、画面外の部分の動きは無い。そのため、そのブロックの画面内の部分の画素値の変化は、画面外の画素を含まないブロックに対して相対的に小さい。よって、細かい画素の変化を符号化する必要性は少なく、むしろブロックを小さく分割しすぎないことによって符号量を小さくし、符号化効率を向上させることができる。 Further, the smaller the block is divided into, the smaller the unit of inter prediction becomes, and it is possible to code the fine pixel change between screens. However, in the block including pixels outside the screen, the portion outside the screen does not move. Therefore, the change in the pixel value of the portion of the block within the screen is relatively small compared to the block that does not include the pixel outside the screen. Therefore, it is not necessary to code a fine pixel change, and rather the block is not divided too small, so that the code amount can be reduced and the coding efficiency can be improved.
（第２の実施の形態）
本発明の第２の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第２の実施の形態では、ブロックを４分割する際に、ブロック分割の一部を制限する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
(Second embodiment)
An image coding apparatus and an image decoding apparatus according to the second embodiment of the present invention will be described. In the second embodiment, when dividing a block into four, a part of the block division is limited. The configuration other than this is the same as that of the first embodiment, and therefore the description is omitted.
ブロック分割の制限は、画面端においてブロックを４分割する際に適用される。つまり、図３における４分割の処理（Ｓ１００２）や、図７における４分割の処理（Ｓ１１０２）が、以下に説明する処理に置き換わる。 The restriction of block division is applied when dividing a block into four at the screen edge. That is, the four-division processing (S1002) in FIG. 3 and the four-division processing (S1102) in FIG. 7 are replaced by the processing described below.
ブロック分割の制限について、図１６を用いて説明する。まず、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割されるか否かを判定する（Ｓ１４０１）。 The restriction on block division will be described with reference to FIG. First, when the block is divided into four, it is determined whether the pixel at a position beyond the picture boundary is divided by either one of the horizontal direction and the vertical direction (S1401).
画素が分割されない場合（Ｓ１４０１：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１４０２）。 When the pixel is not divided (S1401: No), the block division is not limited and the block is divided into four (S1402).
画素が分割される場合（Ｓ１４０１：Ｙｅｓ）、画素を分割する方向が垂直か否かを判定する（Ｓ１４０３）。 When the pixel is divided (S1401: Yes), it is determined whether the direction of dividing the pixel is vertical (S1403).
垂直方向の場合（Ｓ１４０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１４０４）。さらに、水平方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを垂直方向に２分割する（Ｓ１４０５）。 In the case of the vertical direction (S1403: Yes), the vertical division is limited and the block is divided into two in the horizontal direction (S1404). Further, among the blocks divided into two in the horizontal direction, the block not including the pixel at the position exceeding the picture boundary is divided into two in the vertical direction (S1405).
一方、水平方向の場合（Ｓ１４０３：Ｎｏ）、水平方向の分割は制限し、ブロックを垂直方向に２分割する（Ｓ１４０６）。さらに、垂直方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを水平方向に２分割する（Ｓ１４０７）。 On the other hand, in the case of the horizontal direction (S1403: No), the horizontal division is restricted and the block is divided into two in the vertical direction (S1406). Further, among the blocks divided into two in the vertical direction, a block not including a pixel at a position exceeding the picture boundary is divided into two in the horizontal direction (S1407).
つまり、水平方向または垂直方向のどちらか一方のブロック分割によってピクチャ境界を超えた位置の画素が分割される場合、その画素を分割する位置のブロック分割を制限する。 That is, when a pixel at a position beyond the picture boundary is divided by either the horizontal direction or the vertical direction block division, the block division at the position where the pixel is divided is limited.
ここで、具体例を説明する。図１２（ａ）は、画面の下端におけるツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このツリーブロックを４分割する際には、ピクチャ境界を超えた位置の画素が分割される。ただし、その方向は、水平方向と垂直方向の両方である。よって、ブロック分割を制限する条件に当てはまらないので（Ｓ１４０１：Ｎｏ）、ブロックを４分割する（Ｓ１４０２）。 Here, a specific example will be described. FIG. 12A shows a state in which the tree block at the lower end of the screen includes a part inside the screen and a part outside the screen with a picture boundary. When this tree block is divided into four, pixels at positions beyond the picture boundary are divided. However, the direction is both horizontal and vertical. Therefore, since the condition that restricts the block division is not satisfied (S1401: No), the block is divided into four (S1402).
続いて、４分割された各ブロックの左上のブロックを４分割する際の様子を、図１２（ｂ）に示す。このとき、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する条件に当てはまる（Ｓ１４０１：Ｙｅｓ）。そして、画素を分割する方向は垂直であるから（Ｓ１４０３：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１４０４）。さらに、水平方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを垂直方向に２分割する（Ｓ１４０５）。このときのブロック分割の様子を図１７（ａ）に示す。こうしたブロック制限により、分割されたブロックが小さくなりすぎることを防止する。 Next, FIG. 12B shows how the upper left block of each of the four blocks is divided into four. At this time, the pixel in the position beyond the picture boundary is divided by the vertical division. Further, at this time, the pixels in the positions beyond the picture boundary are not divided by the horizontal division. Therefore, the condition that limits the block division is satisfied (S1401: Yes). Then, since the direction of dividing the pixel is vertical (S1403: Yes), the division in the vertical direction is limited, and the block is divided into two in the horizontal direction (S1404). Further, among the blocks divided into two in the horizontal direction, the block not including the pixel at the position exceeding the picture boundary is divided into two in the vertical direction (S1405). The state of block division at this time is shown in FIG. Such block restrictions prevent the divided blocks from becoming too small.
このブロック分割の制限は、画面の右端でも同様である。図１７（ｂ）のように、ツリーブロックを４分割した後、さらに左上のブロックを４分割する場合を考える。このとき、水平方向にブロックを分割すると、ピクチャ境界を超えた位置の画素を分割することになる。よって、水平方向の分割は制限し、ブロックを垂直方向に２分割する。さらに、垂直方向に２分割されたブロックのうち、ピクチャ境界を超える位置の画素を含まないブロックを水平方向に２分割する。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。 This restriction on block division is the same at the right end of the screen. As shown in FIG. 17B, consider a case where the tree block is divided into four and the upper left block is further divided into four. At this time, when the block is divided in the horizontal direction, the pixels at positions beyond the picture boundary are divided. Therefore, the horizontal division is limited, and the block is divided into two in the vertical direction. Further, of blocks vertically divided into two, a block that does not include a pixel at a position exceeding the picture boundary is horizontally divided into two. This restriction of block division prevents the divided blocks from becoming too small.
第１の実施の形態では、ブロック分割の方向を制限する。一方、本実施の形態では、ブロック分割の方向の一部を制限する。これにより、画面外の画素を含まないブロックは分割し、画面外の画素を含むブロックは分割しないようにして、分割されたブロックが小さくなりすぎることを防止する。従って、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。 In the first embodiment, the direction of block division is limited. On the other hand, in the present embodiment, part of the block division direction is limited. As a result, blocks that do not include pixels outside the screen are divided, blocks that include pixels outside the screen are not divided, and the divided blocks are prevented from becoming too small. Therefore, the block at the screen edge can be divided into an appropriate size and shape, and the coding efficiency can be improved.
（第３の実施の形態）
本発明の第３の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第３の実施の形態では、ブロック分割の深度が制限深度に達した場合に、ブロック分割を制限する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
(Third Embodiment)
An image coding apparatus and an image decoding apparatus according to the third embodiment of the present invention will be described. In the third embodiment, when the depth of block division reaches the limit depth, the block division is limited. The configuration other than this is the same as that of the first embodiment, and therefore the description is omitted.
ここで、ブロック分割の深度について説明する。第１の実施の形態において、ブロックを４分割した後、４分割された各ブロックに対して再帰的に４分割する処理について説明した。この処理において、１回目の４分割処理を深度０と定義する。また、１回目の４分割処理によって分割された各ブロックに対する２回目の４分割処理を深度１と定義し、２回目の４分割処理によって分割された各ブロックに対する３回目の４分割処理を深度２と定義し、以下同様にして深度を定義する。また、ブロック分割を制限する深度を予め定めて、これを制限深度と定義する。 Here, the depth of block division will be described. In the first embodiment, the process of dividing a block into four and then recursively dividing each block into four has been described. In this process, the first 4-division process is defined as a depth of 0. The second 4-division processing for each block divided by the first 4-division processing is defined as depth 1, and the third 4-division processing for each block divided by the second 4-division processing is depth 2. And the depth is defined in the same way. In addition, the depth that limits the block division is determined in advance, and this is defined as the limited depth.
ブロック分割の制限は、画面端においてブロックを４分割する際に適用される。つまり、図３における４分割の処理（Ｓ１００２）や、図７における４分割の処理（Ｓ１１０２）が、以下に説明する処理に置き換わる。 The restriction of block division is applied when dividing a block into four at the screen edge. That is, the four-division processing (S1002) in FIG. 3 and the four-division processing (S1102) in FIG. 7 are replaced by the processing described below.
ブロック分割の制限について、図１８を用いて説明する。まず、ブロックを４分割する際に、水平方向または垂直方向のどちらか一方の分割によってピクチャ境界を超えた位置の画素が分割されるか否かを判定する（Ｓ１５０１）。 The restriction on block division will be described with reference to FIG. First, when the block is divided into four, it is determined whether the pixel at a position beyond the picture boundary is divided by either the horizontal direction or the vertical direction (S1501).
画素が分割されない場合（Ｓ１５０１：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１５０２）。 If the pixel is not divided (S1501: No), the block is not divided and the block is divided into four (S1502).
画素が分割される場合（Ｓ１５０１：Ｙｅｓ）、深度が制限深度に達しているか否かを判定する（Ｓ１５０３）。 When the pixel is divided (S1501: Yes), it is determined whether the depth has reached the limit depth (S1503).
制限深度に達していない場合（Ｓ１５０３：Ｎｏ）、ブロック分割は制限せずに、ブロックを４分割する（Ｓ１５０２）。制限深度に達した場合（Ｓ１５０３：Ｙｅｓ）、画素を分割する方向が垂直か否かを判定する（Ｓ１５０４）。 If the limit depth is not reached (S1503: No), the block division is not limited and the block is divided into four (S1502). When the limit depth is reached (S1503: Yes), it is determined whether the pixel division direction is vertical (S1504).
垂直方向の場合（Ｓ１５０４：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１５０５）。一方、水平方向の場合（Ｓ１５０４：Ｎｏ）、水平方向の分割は制限し、ブロックを垂直方向に２分割する（Ｓ１５０６）。 In the case of the vertical direction (S1504: Yes), the vertical division is limited and the block is divided into two in the horizontal direction (S1505). On the other hand, in the case of the horizontal direction (S1504: No), the horizontal division is restricted and the block is divided into two in the vertical direction (S1506).
つまり、水平方向または垂直方向のどちらか一方のブロック分割によってピクチャ境界を超えた位置の画素が分割され、かつブロック分割の深度が制限深度に達した場合、その方向のブロック分割を制限する。 That is, when a pixel at a position beyond the picture boundary is divided by either horizontal or vertical block division and the block division depth reaches the limit depth, the block division in that direction is limited.
ここで、具体例を説明する。いま、制限深度は１とする。図１９（ａ）は、画面の下端におけるツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このツリーブロックを４分割する際には、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する１つの条件に当てはまる（Ｓ１５０１：Ｙｅｓ）。ただし、深度は０であり、制限深度の１に達していない（Ｓ１５０３：Ｎｏ）。よって、ブロック分割は制限せず、ツリーブロックを４分割する（Ｓ１５０２）。 Here, a specific example will be described. Now, the limit depth is 1. FIG. 19A shows a state in which the tree block at the lower end of the screen includes a part inside the screen and a part outside the screen with a picture boundary. When this tree block is divided into four, the pixels in the positions beyond the picture boundary are divided by the vertical division. Further, at this time, the pixels in the positions beyond the picture boundary are not divided by the horizontal division. Therefore, one condition that limits the block division is satisfied (S1501: Yes). However, the depth is 0 and has not reached the limit depth of 1 (S1503: No). Therefore, the block division is not limited, and the tree block is divided into four (S1502).
続いて、４分割された各ブロックの左下のブロックを４分割する際の様子を、図１９（ｂ）に示す。このとき、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。またこのとき、水平方向の分割によって、ピクチャ境界を超えた位置の画素は分割されない。従って、ブロック分割を制限する１つの条件に当てはまる（Ｓ１５０１：Ｙｅｓ）。そして、深度は1であり、制限深度の１に達している（Ｓ１５０３：Ｙｅｓ）。また、画素を分割する方向は垂直であるから（Ｓ１５０４：Ｙｅｓ）、垂直方向の分割は制限し、ブロックを水平方向に２分割する（Ｓ１５０５）。こうしたブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。 Next, FIG. 19B shows how the lower left block of each of the four blocks is divided into four. At this time, the pixel in the position beyond the picture boundary is divided by the vertical division. Further, at this time, the pixels in the positions beyond the picture boundary are not divided by the horizontal division. Therefore, one condition that limits the block division is satisfied (S1501: Yes). The depth is 1, which has reached the limit depth of 1 (S1503: Yes). Further, since the direction of dividing the pixel is vertical (S1504: Yes), the division in the vertical direction is limited, and the block is divided into two in the horizontal direction (S1505). This restriction of block division prevents the divided blocks from becoming too small.
このブロック分割の制限は、画面の右端でも同様である。図１９（ｃ）のように、ツリーブロックを４分割するときは深度０であり制限深度１に達しないので、分割の制限なく４分割する。続いて、右上のブロックを４分割するときは深度１であり制限深度１に達したので、分割の制限がかかり、水平方向には分割しない。このブロック分割の制限により、分割されたブロックが小さくなりすぎることを防止する。 This restriction on block division is the same at the right end of the screen. As shown in FIG. 19C, when the tree block is divided into four, the depth is 0 and the limit depth 1 is not reached, so the tree block is divided into four without limitation. Then, when the upper right block is divided into four, the depth is 1, and the limit depth 1 has been reached, so the division is restricted and the block is not divided in the horizontal direction. This restriction on block division prevents the divided blocks from becoming too small.
本実施の形態では、ブロック分割の深度は４分割に対して定義している。これは、２分割または３分割に対して定義しても良い。また、本実施の形態では、ブロック分割の深度によって、ブロック分割を制限している。これは、ブロックが含むピクチャ境界を超えた位置の画素の数や割合によって制限しても良い。つまり、これらの値が予め定められた値より大きい場合に、そのブロック分割を制限するように構成する。加えて、これらの値は、ブロック分割の深度ごとに異なった値としても良い。これにより、画面外の画素の数や割合が少ないブロックは分割し、画面外の画素の数や割合が多いブロックは分割しないようにして、分割されたブロックが小さくなりすぎることを防止する。ブロック分割の制限深度や、ブロックが含むピクチャ境界を超えた位置の画素の数や割合など、ブロック分割の制限にかかる値は、符号化装置が符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録された値を用いる構成にしてもよい。 In the present embodiment, the block division depth is defined for four divisions. This may be defined for 2 or 3 divisions. Further, in this embodiment, the block division is limited by the depth of the block division. This may be limited by the number or ratio of pixels at positions beyond the picture boundary included in the block. That is, when these values are larger than the predetermined value, the block division is limited. In addition, these values may be different depending on the depth of block division. As a result, a block having a small number or a large proportion of pixels outside the screen is divided, and a block having a large number or large proportion of pixels outside the screen is not divided so that the divided blocks are prevented from becoming too small. The encoding device records values for the block division limit, such as the depth limit of block division and the number and ratio of pixels at positions beyond the picture boundary included in the block, in the encoding bit stream, and the decoding device The configuration recorded value may be used in the encoded bitstream.
第１の実施の形態では、ブロック分割の深度によらずブロック分割を制限する。一方、本実施の形態では、ブロック分割の深度に応じてブロック分割を制限する。これにより、画面外の画素の割合が少ないブロックは分割し、画面外の画素の割合が多いブロックは分割しないようにして、分割されたブロックが小さくなりすぎることを防止する。従って、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。 In the first embodiment, block division is limited regardless of the depth of block division. On the other hand, in the present embodiment, block division is limited according to the depth of block division. As a result, a block with a small percentage of pixels outside the screen is divided, and a block with a large percentage of pixels outside the screen is not divided, so that the divided blocks are prevented from becoming too small. Therefore, the block at the screen edge can be divided into an appropriate size and shape, and the coding efficiency can be improved.
以上に述べた全ての実施の形態において、ブロック分割を制御する対象はピクチャ境界を超えた位置としている。これは、任意の境界を定めて、それを超えた位置についてブロック分割を制御するようにしても良い。また、任意の境界として、周辺の画素に比べて重要度が高い画素を定め、その境界を超えた位置についてブロック分割を制御する対象としても良い。さらに、任意の境界を超えた位置は画面の下端や右端とは限らず、画面の上端や左端となることもあるし、端でなくてもよい。その場合、画面端でなくてもブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。 In all the embodiments described above, the target for controlling block division is at a position beyond the picture boundary. For this, an arbitrary boundary may be defined and the block division may be controlled for the position beyond that. Alternatively, a pixel having a higher degree of importance than surrounding pixels may be set as an arbitrary boundary, and block division may be controlled at a position beyond the boundary. Further, the position beyond the arbitrary boundary is not limited to the lower end or the right end of the screen, but may be the upper end or the left end of the screen, or need not be the end. In that case, the block can be divided into appropriate sizes and shapes even at the screen edge, and the coding efficiency can be improved.
以上に述べた全ての実施の形態は、複数を組み合わせても良い。 All of the above-described embodiments may be combined with each other.
以上に述べた全ての実施の形態において、画像符号化装置が出力する符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号化することができるように特定のデータフォーマットを有している。また、この画像符号化装置に対応する画像復号化装置は、この特定のデータフォーマットの符号化ビットストリームを復号化することができる。 In all the embodiments described above, the encoded bitstream output by the image encoding device has a specific data format so that it can be decoded according to the encoding method used in the embodiments. Have Further, the image decoding device corresponding to this image encoding device can decode the encoded bit stream of this specific data format.
画像符号化装置と画像復号化装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、通信路の伝送形態に適したデータ形式に符号化ビットストリームを変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号化装置に供給する受信装置とが設けられる。 When a wired or wireless network is used for exchanging the encoded bitstream between the image encoding device and the image decoding device, the encoded bitstream is converted into a data format suitable for the transmission mode of the communication path. May be transmitted. In that case, a transmission device that converts the encoded bit stream output by the image encoding device into encoded data in a data format suitable for the transmission mode of the communication path and transmits the encoded data to the network, and receives the encoded data from the network. And a receiver for restoring the encoded bitstream and supplying it to the image decoder.
送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、ネットワークを介してパケット化された符号化データを送信する送信部とを含む。受信装置は、ネットワークを介してパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号化装置に提供するパケット処理部とを含む。 The transmission device includes a memory for buffering the encoded bitstream output from the image encoding device, a packet processing unit for packetizing the encoded bitstream, and a transmission unit for transmitting packetized encoded data via a network. Including and The receiving device receives a packetized encoded data via a network, a memory for buffering the received encoded data, packetizing the encoded data to generate an encoded bitstream, And a packet processing unit provided to the image decoding apparatus.
また、画像復号化装置で復号化された画像を表示する表示部を構成に追加することで、表示装置としても良い。その場合、表示部は、復号画像信号重畳部２０５により生成され、復号画像メモリ２０６に格納された復号画像信号を読み出して画面に表示する。 Also, a display unit may be added by adding a display unit for displaying the image decoded by the image decoding device to the configuration. In that case, the display unit reads the decoded image signal generated by the decoded image signal superimposing unit 205 and stored in the decoded image memory 206, and displays it on the screen.
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置としても良い。その場合、撮像部は、撮像した画像信号をブロック分割部１０１に入力する。 Further, an image pickup unit may be added to the configuration, and the picked-up image may be input to the image coding apparatus to form the image pickup apparatus. In that case, the imaging unit inputs the captured image signal to the block division unit 101.
以上の符号化及び復号化に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現しても良いのは勿論のこと、ＲＯＭ（リード・オンリー・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによって実現しても良い。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良いし、地上波あるいは衛星ディジタル放送のデータ放送として提供しても良い。 The above-described processing relating to encoding and decoding may be realized as a transmission, storage, and reception device using hardware, or may be stored in a ROM (read only memory), a flash memory, or the like. It may be realized by existing firmware or software such as a computer. The firmware program or software program may be provided by being recorded in a recording medium readable by a computer or the like, provided from a server through a wired or wireless network, or terrestrial or satellite digital broadcasting data broadcasting. May be provided as.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiment. It is understood by those skilled in the art that the embodiments are exemplifications, that various modifications can be made to the combinations of the respective constituent elements and the respective processing processes, and that the modifications are within the scope of the present invention. ..
１００ 画像符号化装置、 １０１ ブロック分割部、 １０２ 予測画像生成部、 １０３ 残差信号生成部、 １０４ 直交変換・量子化部、 １０５ 符号化部、 １０６ 逆量子化・逆直交変換部、 １０７ 復号画像信号重畳部、 １０８ 復号画像メモリ、 ２００ 画像復号化装置、 ２０１ 復号化部、 ２０２ ブロック分割部、 ２０３ 逆量子化・逆直交変換部、 ２０４ 予測画像生成部、 ２０５ 復号画像信号重畳部、 ２０６ 復号画像メモリ。 100 image coding apparatus, 101 block division unit, 102 predicted image generation unit, 103 residual signal generation unit, 104 orthogonal transform/quantization unit, 105 coding unit, 106 inverse quantization/inverse orthogonal transform unit, 107 decoded image Signal superimposing unit, 108 decoded image memory, 200 image decoding device, 201 decoding unit, 202 block dividing unit, 203 dequantization/inverse orthogonal transformation unit, 204 prediction image generation unit, 205 decoded image signal superposition unit, 206 decoding Image memory.
Claims (5)
所定サイズの矩形に再帰的に前記画像を分割して符号化対象ブロックを生成するブロック分割部と、
符号化対象のブロック分割情報を符号化する符号化部とを備え、
前記ブロック分割部は、
再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、
再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割部とを含み、
前記４分割部は、
水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する、
ことを特徴とする画像符号化装置。 An image encoding device that divides an image into blocks and encodes each divided block,
A block dividing unit that recursively divides the image into rectangles of a predetermined size to generate an encoding target block,
An encoding unit that encodes block division information to be encoded,
The block division unit,
A four-division unit that divides the target block in the recursive division into four in each of the horizontal and vertical directions to generate four blocks;
A 2-3 division unit that divides the target block in the recursive division into two or three in the horizontal direction or the vertical direction to generate two or three blocks,
The four divisions are
When a pixel at a position beyond an arbitrary boundary is divided by either the horizontal direction or the vertical direction division, the block division in that direction is limited,
An image encoding device characterized by the above.
水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その画素を分割する位置のブロック分割を制限する、
請求項１に記載の画像符号化装置。 The four divisions are
When a pixel at a position beyond an arbitrary boundary is divided by either one of the horizontal direction and the vertical direction division, block division at a position where the pixel is divided is limited,
The image coding apparatus according to claim 1.
水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、かつブロック分割の深度が予め定められた制限深度に達した場合、あるいは分割するブロックに含まれる任意の境界を超えた位置の画素の数または割合が予め定められた値より大きい場合、その方向のブロック分割を制限する、
請求項１に記載の画像符号化装置。 The four divisions are
Included in the block to be divided, when the pixel at the position beyond the arbitrary boundary is divided by either the horizontal direction or the vertical direction division, and when the depth of block division reaches a predetermined limit depth. If the number or ratio of pixels at positions beyond an arbitrary boundary is larger than a predetermined value, block division in that direction is restricted,
The image coding apparatus according to claim 1.
所定サイズの矩形に再帰的に前記画像を分割して符号化対象ブロックを生成するブロック分割ステップと、
符号化対象のブロック分割情報を符号化する符号化ステップとを有し、
前記ブロック分割ステップは、
再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、
再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含み、
前記４分割ステップは、
水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限するか、
その画素を分割する位置のブロック分割を制限するか、
のいずれかのステップを少なくとも一つ含む、
ことを特徴とする画像符号化方法。 An image encoding method for dividing an image into blocks and performing encoding in units of divided blocks,
A block division step of recursively dividing the image into rectangles of a predetermined size to generate an encoding target block,
An encoding step of encoding block division information to be encoded,
The block dividing step is
A four-division step of dividing the target block in the recursive division into four in the horizontal direction and in the vertical direction to generate four blocks,
2-3 division step of dividing the target block in the recursive division into two or three in the horizontal direction or the vertical direction to generate two or three blocks,
The four division steps are
If pixels in positions beyond an arbitrary boundary are divided by either horizontal or vertical division, limit the block division in that direction, or
Limit the block division at the position where the pixel is divided, or
Including at least one of the steps
An image coding method characterized by the above.
所定サイズの矩形に再帰的に前記画像を分割して符号化対象ブロックを生成するブロック分割ステップと、
符号化対象のブロック分割情報を符号化する符号化ステップとを有し、
前記ブロック分割ステップは、
再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、
再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２−３分割ステップとを含み、
前記４分割ステップは、
水平方向または垂直方向のどちらか一方の分割によって任意の境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限するか、
その画素を分割する位置のブロック分割を制限するか、
のいずれかのステップを少なくとも一つ含む、
ことを特徴とする画像符号化プログラム。 An image coding program that divides an image into blocks and performs coding on a divided block basis,
A block division step of recursively dividing the image into rectangles of a predetermined size to generate an encoding target block,
An encoding step of encoding block division information to be encoded,
The block dividing step is
A four-division step of dividing the target block in the recursive division into four in the horizontal direction and in the vertical direction to generate four blocks,
2-3 division step of dividing the target block in the recursive division into two or three in the horizontal direction or the vertical direction to generate two or three blocks,
The four division steps are
If pixels in positions beyond an arbitrary boundary are divided by either horizontal or vertical division, limit the block division in that direction, or
Limit the block division at the position where the pixel is divided, or
Including at least one of the steps
An image coding program characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018225464A JP2020088804A (en) | 2018-11-30 | 2018-11-30 | Image encoding device, image encoding method, and image encoding program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018225464A JP2020088804A (en) | 2018-11-30 | 2018-11-30 | Image encoding device, image encoding method, and image encoding program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020088804A true JP2020088804A (en) | 2020-06-04 |
Family
ID=70910206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018225464A Pending JP2020088804A (en) | 2018-11-30 | 2018-11-30 | Image encoding device, image encoding method, and image encoding program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020088804A (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013509788A (en) * | 2009-10-30 | 2013-03-14 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for encoding / decoding picture boundary coding unit |
| WO2018070550A1 (en) * | 2016-10-10 | 2018-04-19 | 삼성전자 주식회사 | Method and device for encoding or decoding encoding unit of picture outline |
| EP3383043A1 (en) * | 2017-03-27 | 2018-10-03 | Thomson Licensing | Methods and apparatus for picture encoding and decoding |
-
2018
- 2018-11-30 JP JP2018225464A patent/JP2020088804A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013509788A (en) * | 2009-10-30 | 2013-03-14 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for encoding / decoding picture boundary coding unit |
| WO2018070550A1 (en) * | 2016-10-10 | 2018-04-19 | 삼성전자 주식회사 | Method and device for encoding or decoding encoding unit of picture outline |
| EP3383043A1 (en) * | 2017-03-27 | 2018-10-03 | Thomson Licensing | Methods and apparatus for picture encoding and decoding |
Non-Patent Citations (3)
| Title |
|---|
| HSIANG, SHIH-TA AND LEI, SHAWMIN: "CE1.2.0.10: CU partitioning along picture boundaries", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUB, vol. JVET-K0224 (version 2), JPN6021046998, 10 July 2018 (2018-07-10), ISSN: 0004649263 * |
| POIRIER, TANGI AND LE LEANNEC, FABRICE: "CE1: Picture boundary handling (Tests 2.0.1 and 2.0.2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUB, vol. JVET-K0209 (version 2), JPN6021046996, 10 July 2018 (2018-07-10), ISSN: 0004649264 * |
| ZHU, WEIJIA ET AL.: "CE1: Implicit QT, BT and MTT Partitions on Picture Boundary (Test 2.0.15)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUB, vol. JVET-K0316 (version 2), JPN6021046999, 6 July 2018 (2018-07-06), ISSN: 0004786011 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102623073B1 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
| KR20200002030A (en) | An image encoding apparatus, an image encoding method and an image encoding program, and an image decoding apparatus, an image decoding method and an image decoding program | |
| JP2023099775A (en) | Image decoding device, image decoding method, and image decoding program | |
| JP7208486B2 (en) | Image decoding device, image decoding method and image decoding program | |
| JP2020088804A (en) | Image encoding device, image encoding method, and image encoding program | |
| JP7276549B2 (en) | Image encoding device, image encoding method and image encoding program, image decoding device, image decoding method and image decoding program | |
| WO2020111240A1 (en) | Image decoding device, image decoding method, and image decoding program | |
| JP2021052426A (en) | Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program | |
| RU2783041C2 (en) | Image decoding device, image decoding method, image coding device and image coding method | |
| JP2020010342A (en) | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, and image decoding program | |
| JP2020096346A (en) | Image encoding device, image encoding method, and image encoding program | |
| JP2022019711A (en) | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method and image decoding program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |