JP2013021505A - Moving image decoding device, moving image decoding method, and moving image decoding program - Google Patents
Moving image decoding device, moving image decoding method, and moving image decoding program Download PDFInfo
- Publication number
- JP2013021505A JP2013021505A JP2011153230A JP2011153230A JP2013021505A JP 2013021505 A JP2013021505 A JP 2013021505A JP 2011153230 A JP2011153230 A JP 2011153230A JP 2011153230 A JP2011153230 A JP 2011153230A JP 2013021505 A JP2013021505 A JP 2013021505A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- candidate list
- block
- vector candidate
- prediction vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測で利用する動きベクトルの復号技術に関する。 The present invention relates to a moving picture decoding technique using motion compensated prediction, and more particularly to a motion vector decoding technique used in motion compensated prediction.
一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き方向に動き量だけ、対象画像の対象ブロックと同一の位置から移動した位置の参照画像を予測信号として生成する技術である。動き補償予測には1本の動きベクトルを利用して単方向に行うものと、2本の動きベクトルを利用して双方向に行うものがある。 In general video compression coding, motion compensation prediction is used. In motion compensated prediction, the target image is divided into fine blocks, the decoded image is used as a reference image, and a reference is made to the position moved from the same position as the target block of the target image by the amount of motion in the motion direction indicated by the motion vector. This is a technique for generating an image as a prediction signal. Some motion compensation predictions are performed unidirectionally using one motion vector, and others are performed bidirectionally using two motion vectors.
また、動きベクトルについても、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル(単に「予測ベクトル」ともいう)とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。 As for the motion vector, the motion vector of the encoded block adjacent to the processing target block is used as a prediction motion vector (also simply referred to as “prediction vector”), and the difference between the motion vector of the processing target block and the prediction vector is obtained. The compression efficiency is improved by transmitting the difference vector as an encoded vector.
MPEG−4AVCでは、MPEG−2よりも動き補償予測のブロックサイズを細かく且つ多様にすることで動き補償予測の効率を向上させている。一方、ブロックサイズを細かくしたことで動きベクトル数が増加するため、符号化ベクトルの符号量が問題となった。 MPEG-4AVC improves the efficiency of motion compensation prediction by making the block size of motion compensation prediction finer and more diversified than MPEG-2. On the other hand, since the number of motion vectors increases by making the block size fine, the code amount of the encoded vector becomes a problem.
そのため、MPEG−2では単純に処理対象ブロックの左に隣接するブロックの動きベクトルを予測ベクトルとしていた(非特許文献1)が、MPEG−4AVCでは複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとすることで予測ベクトルの精度を向上させ、符号化ベクトルの符号量の増加を抑制している(非特許文献2)。更に、MPEG−4AVCにおいて、符号化済みの別の画像の動きベクトルを利用して、符号化ベクトルの符号化効率を向上させる技術が知られている。 Therefore, in MPEG-2, the motion vector of the block adjacent to the left of the processing target block is simply used as the prediction vector (Non-Patent Document 1), but in MPEG-4 AVC, the median of the motion vectors of the plurality of adjacent blocks is used as the prediction vector. Thus, the accuracy of the prediction vector is improved and the increase in the code amount of the encoded vector is suppressed (Non-Patent Document 2). Further, in MPEG-4 AVC, a technique for improving the encoding efficiency of an encoded vector by using a motion vector of another encoded image is known.
非特許文献1および2のいずれに記載された方法においても、予測ベクトルは一つしか得られないため、予測精度が悪く、符号化効率が良くならないという問題がある。本発明者らは予測ベクトルの候補を複数用いる方法を取ることを考えたが、その場合、予測ベクトルの候補を識別するためのインデックスを符号化することが必要になり、インデックスの符号量が増えるという課題があることを認識するに至った。
In any of the methods described in
本発明はこうした状況に鑑みてなされたものであり、その目的は、動きベクトルの予測精度と符号化効率を向上させることのできる動画像復号技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a moving picture decoding technique capable of improving motion vector prediction accuracy and encoding efficiency.
上記課題を解決するために、本発明のある態様の動画像復号装置は、複数のブロックサイズで動き補償予測を行う動画像復号装置であって、予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部(201)と、復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部(130)と、復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部(132)と、前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定部(131)と、前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部(133)と、前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部(221)とを備える。 In order to solve the above-described problem, a video decoding device according to an aspect of the present invention is a video decoding device that performs motion compensation prediction with a plurality of block sizes, and includes a prediction motion vector to be referred to in a prediction vector candidate list. A decoding unit (201) that decodes information indicating a position, and a first prediction vector candidate list including first prediction motion vector candidates from motion vectors of one or more decoded blocks adjacent to the decoding target block A first prediction vector candidate list generation unit (130) that performs the second prediction motion based on a motion vector of a block at the same position as the decoding target block in the decoded image and at least one block adjacent to the block at the same position A second prediction vector candidate list generation unit (132) for generating a second prediction vector candidate list including vector candidates; Whether to generate a third prediction vector candidate list obtained by combining the first prediction vector candidate list and the second prediction vector candidate list is determined based on a comparison result between the block size of the decoding target block and a predetermined threshold size. When the block size of the decoding target block is larger than the predetermined threshold size, the combination determination unit (131) and the third prediction vector candidate list are not combined, and the third prediction vector candidate list is not combined. A prediction motion of the decoding target block from the third prediction vector candidate list based on information indicating a position of the prediction motion vector to be referred to and a third prediction vector candidate list generation unit (133) that generates a prediction vector candidate list A prediction vector selection unit (221) for selecting a vector.
本発明の別の態様もまた、動画像復号装置である。この装置は、複数のブロックサイズで動き補償予測を行う動画像復号装置であって、予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部(201)と、復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部(130)と、復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部(132)と、前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成する際に前記第2予測ベクトル候補リストを前記第1予測ベクトル候補リストよりも前記第3予測ベクトル候補リスト上で優先する位置に配置するか否かを判定する結合判定部(131)と、前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを前記第1予測ベクトル候補リストよりも優先せずに前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部(133)と、前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部(221)とを備える。 Another aspect of the present invention is also a video decoding device. This apparatus is a moving picture decoding apparatus that performs motion compensation prediction with a plurality of block sizes, a decoding unit (201) that decodes information indicating the position of a predicted motion vector to be referenced in a prediction vector candidate list, and a decoding target A first prediction vector candidate list generation unit (130) for generating a first prediction vector candidate list including candidates for the first prediction motion vector from motion vectors of one or more decoded blocks adjacent to the block; A second prediction vector candidate list including a second prediction motion vector candidate is generated from motion vectors of a block at the same position as the decoding target block in the image and one or more blocks adjacent to the block at the same position. Prediction vector candidate list generation unit (132), block size of decoding target block and predetermined threshold size When the third predicted vector candidate list is generated by combining the first predicted vector candidate list and the second predicted vector candidate list, the second predicted vector candidate list is compared with the first predicted vector candidate list. And a combination determination unit (131) that determines whether or not to place a priority position on the third prediction vector candidate list, and when the block size of the decoding target block is larger than the predetermined threshold size, the first A third prediction vector candidate list generation unit (133) that generates the third prediction vector candidate list without giving priority to the two prediction vector candidate lists over the first prediction vector candidate list; and a prediction motion vector to be referred to Based on the information indicating the position, a prediction motion vector of the decoding target block is obtained from the third prediction vector candidate list. It comprises predictive vector selecting unit-option for the (221).
本発明のさらに別の態様は、動画像復号方法である。この方法は、複数のブロックサイズで動き補償予測を行う動画像復号方法であって、予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成ステップと、復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成ステップと、前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定ステップと、前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成ステップと、前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択ステップとを備える。 Yet another aspect of the present invention is a video decoding method. This method is a moving picture decoding method that performs motion compensation prediction with a plurality of block sizes, and includes a decoding step for decoding information indicating the position of a predicted motion vector to be referred to in a prediction vector candidate list, and an adjacent to a decoding target block A first prediction vector candidate list generating step for generating a first prediction vector candidate list including first prediction motion vector candidates from motion vectors of one or more decoded blocks to be decoded; and the decoding target block in a decoded image A second prediction vector candidate list generating step for generating a second prediction vector candidate list including second prediction motion vector candidates from the motion vectors of the block at the same position and one or more blocks adjacent to the block at the same position And a comparison result between the block size of the decoding target block and a predetermined threshold size A combination determination step for determining whether or not to generate a third prediction vector candidate list obtained by combining the first prediction vector candidate list and the second prediction vector candidate list; and a block size of the decoding target block is the predetermined value A third predicted vector candidate list generating step for generating the third predicted vector candidate list from the first predicted vector candidate list without combining the second predicted vector candidate lists, A prediction vector selection step of selecting a prediction motion vector of the decoding target block from the third prediction vector candidate list based on information indicating the position of the prediction motion vector to be referred to.
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、複数のブロックサイズで動き補償予測を行う動画像復号方法であって、予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成ステップと、復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成ステップと、前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成する際に前記第2予測ベクトル候補リストを前記第1予測ベクトル候補リストよりも前記第3予測ベクトル候補リスト上で優先する位置に配置するか否かを判定する結合判定ステップと、前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを前記第1予測ベクトル候補リストよりも優先せずに前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成ステップと、前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択ステップとを備える。 Yet another embodiment of the present invention is also a moving image decoding method. This method is a moving picture decoding method that performs motion compensation prediction with a plurality of block sizes, and includes a decoding step for decoding information indicating the position of a predicted motion vector to be referred to in a prediction vector candidate list, and an adjacent to a decoding target block A first prediction vector candidate list generating step for generating a first prediction vector candidate list including first prediction motion vector candidates from motion vectors of one or more decoded blocks to be decoded; and the decoding target block in a decoded image A second prediction vector candidate list generating step for generating a second prediction vector candidate list including second prediction motion vector candidates from the motion vectors of the block at the same position and one or more blocks adjacent to the block at the same position And a comparison result between the block size of the decoding target block and a predetermined threshold size Accordingly, when generating a third prediction vector candidate list obtained by combining the first prediction vector candidate list and the second prediction vector candidate list, the second prediction vector candidate list is more than the first prediction vector candidate list. A combination determination step for determining whether or not to place a priority position on the three prediction vector candidate lists; and when the block size of the decoding target block is larger than the predetermined threshold size, the second prediction vector candidate list is A third prediction vector candidate list generation step for generating the third prediction vector candidate list without giving priority over the first prediction vector candidate list, and the information indicating the position of the prediction motion vector to be referred to. A prediction vector for selecting a prediction motion vector of the decoding target block from the three prediction vector candidate lists And a-option step.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、動きベクトルの予測精度と符号化効率を向上させることができる。 According to the present invention, motion vector prediction accuracy and coding efficiency can be improved.
まず、本発明の実施の形態の前提となる技術を説明する。 First, a technique that is a premise of the embodiment of the present invention will be described.
現在、MPEG(Moving Picture Experts Group)などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。 Currently, apparatuses and systems that comply with an encoding method such as MPEG (Moving Picture Experts Group) are widely used. In such an encoding method, a plurality of images that are continuous on the time axis are handled as digital signal information. At that time, for the purpose of broadcasting, transmitting or storing highly efficient information, compression using motion compensation prediction using temporal redundancy and orthogonal transform such as discrete cosine transform using spatial redundancy Encode.
1995年にはMPEG−2ビデオ(ISO/IEC 13818−2)符号化方式が、汎用の映像圧縮符号化方式として制定され、DVD(Digital Versatile Disk)およびD−VHS(登録商標)規格のデジタルVTRによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。 In 1995, the MPEG-2 video (ISO / IEC 13818-2) encoding method was established as a general-purpose video compression encoding method, and a digital VTR of DVD (Digital Versatile Disk) and D-VHS (registered trademark) standards. Is widely used as an application for storage media such as magnetic tape and digital broadcasting.
さらに、2003年に、国際標準化機構(ISO)と国際電気標準会議(IEC)のジョイント技術委員会(ISO/IEC)と、国際電気通信連合電気通信標準化部門(ITU−T)の共同作業によってMPEG−4 AVC/H.264と呼ばれる符号化方式(ISO/IECでは14496−10、ITU−TではH.264の規格番号がつけられている。以下、これをMPEG−4AVCと呼ぶ)が国際標準として制定された。 Furthermore, in 2003, joint work of the International Technical Organization (ISO) and the International Electrotechnical Commission (IEC) Joint Technical Committee (ISO / IEC) and the International Telecommunication Union Telecommunication Standardization Sector (ITU-T) -4 AVC / H. An encoding method called H.264 (the ISO / IEC has a standard number of 14496-10 and ITU-T has an H.264 standard number, hereinafter referred to as MPEG-4AVC) has been established as an international standard.
現在、国際標準化機構(ISO)と国際電気標準会議(IEC)のジョイント技術委員会(ISO/IEC)と、国際電気通信連合電気通信標準化部門(ITU−T)の共同作業によってHEVCと呼ばれる符号化方式の標準化が検討されている。 Coding currently called HEVC by the joint work of the International Technical Organization (ISO) and the International Electrotechnical Commission (IEC) Joint Technical Committee (ISO / IEC) and the International Telecommunication Union Telecommunication Standardization Sector (ITU-T) Standardization of the method is being studied.
(予測符号化モード)
本発明の実施の形態では、動き補償予測の方向や符号化ベクトル数を様々なブロックサイズで切り替えることが可能となっている。
(Predictive coding mode)
In the embodiment of the present invention, the direction of motion compensation prediction and the number of encoded vectors can be switched with various block sizes.
ここで、動き補償予測の方向と符号化ベクトル数を関連付けた予測符号化モードの一例について図22を用いて簡単に説明する。 Here, an example of a predictive coding mode in which the direction of motion compensation prediction and the number of coding vectors are associated will be briefly described with reference to FIG.
動き補償予測の方向が単方向であって符号化ベクトル数が1である単方向モード(UniPred)、動き補償予測の方向が双方向であって符号化ベクトル数が2である双方向モード(BiPred)、動き補償予測の方向が双方向であって符号化ベクトル数が0である時間ダイレクトモード(Temporal Direct)と空間ダイレクトモード(Spatial Dierct)がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード(Intra)もある。なお、この実施の形態では、時間ダイレクトモードと空間ダイレクトモードについては利用しないものとする。 Unidirectional mode (UniPred) in which the direction of motion compensation prediction is unidirectional and the number of encoding vectors is 1, Bidirectional mode (BiPred) in which the direction of motion compensation prediction is bidirectional and the number of encoding vectors is 2. ), There are a temporal direct mode and a spatial direct mode in which the direction of motion compensation prediction is bidirectional and the number of encoding vectors is zero. There is also an intra mode (Intra) which is a predictive coding mode in which motion compensation prediction is not performed. In this embodiment, the temporal direct mode and the spatial direct mode are not used.
(参照画像インデックス)
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化ストリーム中に符号化する。動き補償予測で利用する参照画像インデックスは0以上の数値となる。
(Reference image index)
In the embodiment of the present invention, it is possible to select an optimal reference image from a plurality of reference images in motion compensation prediction in order to improve the accuracy of motion compensation prediction. Therefore, the reference image used in the motion compensation prediction is encoded in the encoded stream together with the encoded vector as a reference image index. The reference image index used for motion compensation prediction is a numerical value of 0 or more.
(符号化ブロック)
本発明の実施の形態では、入力された画像信号を図23のように最大符号化ブロック単位に分割し、分割した符号化ブロックをラスタースキャン順序で処理する。
(Encoding block)
In the embodiment of the present invention, the input image signal is divided into maximum coding block units as shown in FIG. 23, and the divided coding blocks are processed in the raster scan order.
符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に4分割することでより小さい符号化ブロックにすることができる。なお、4分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が0である場合は符号化ブロックとなる。 The encoded block has a hierarchical structure, and can be made smaller encoded blocks by sequentially equally dividing into 4 in consideration of the encoding efficiency. Note that the encoded blocks divided into four are encoded in the zigzag scan order. An encoded block that cannot be further reduced is called a minimum encoded block. An encoded block is a unit of encoding, and the maximum encoded block is also an encoded block when the number of divisions is zero.
本実施の形態では、最大符号化ブロックを64画素×64画素、最小符号化ブロックを8画素×8画素とする。 In this embodiment, the maximum coding block is 64 pixels × 64 pixels, and the minimum coding block is 8 pixels × 8 pixels.
図24に最大符号化ブロックの分割の一例を示す。図24の例では、符号化ブロックが10個に分割されている。CU0、CU1、CU9は32画素×32画素の符号化ブロック、CU2、CU3、CU8は16画素×16画素の符号化ブロック、CU4、CU5、CU6は8画素×8画素の符号化ブロックとなっている。 FIG. 24 shows an example of division of the maximum coding block. In the example of FIG. 24, the encoding block is divided into ten. CU0, CU1, and CU9 are 32 × 32 pixel coding blocks, CU2, CU3, and CU8 are 16 × 16 pixel coding blocks, and CU4, CU5, and CU6 are 8 × 8 pixel coding blocks. Yes.
(予測ブロック)
本発明の実施の形態では、符号化ブロックはさらに予測ブロックに分割される。予測ブロックの分割のパターンを図25に示す。符号化ブロックを分割しない2N×2N、水平方向に分割する2N×N、垂直方向に分割するN×2N、水平と垂直に分割するN×Nがある。つまり、予測ブロックサイズは図26に示すように、CU分割数が0であって最大の予測ブロックサイズである64画素×64画素からCU分割数が3であって最小の予測ブロックサイズである4画素×4画素までの13の予測ブロックサイズが存在することになる。
(Prediction block)
In the embodiment of the present invention, the encoded block is further divided into prediction blocks. A prediction block division pattern is shown in FIG. There are 2N × 2N which does not divide the encoded block, 2N × N which divides in the horizontal direction, N × 2N which divides in the vertical direction, and N × N which divides in the horizontal and vertical directions. That is, as shown in FIG. 26, the predicted block size is 0, and the maximum predicted block size is 64 pixels × 64 pixels, and the CU partition number is 3, and the minimum predicted block size is 4. There are 13 predicted block sizes of up to 4 pixels.
本発明の実施の形態では、最大符号化ブロックを64画素×64画素、最小符号化ブロックを8画素×垂直8とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図25としたが、1以上に分割されればよくこれに限定されない。 In the embodiment of the present invention, the maximum encoding block is 64 pixels × 64 pixels and the minimum encoding block is 8 pixels × vertical 8. However, the present invention is not limited to this combination. Moreover, although the pattern of the prediction block division is shown in FIG. 25, the division is not limited to this as long as it is divided into one or more.
(予測ベクトルインデックス)
HEVCでは、更に予測ベクトルの精度を向上させるために、複数の予測ベクトルの候補の中から最適な予測ベクトルを選択し、選択した予測ベクトルを示すための予測ベクトルインデックスを符号化することが検討されている。また、予測ベクトルの候補として別の画像の動きベクトルを利用することも検討されている。従来の動画像圧縮符号化では、別の画像の動きベクトルは動き補償予測において利用されることはあっても、予測ベクトルとして利用されることはなかった。
(Predicted vector index)
In HEVC, in order to further improve the accuracy of a prediction vector, it is considered to select an optimal prediction vector from among a plurality of prediction vector candidates and to encode a prediction vector index for indicating the selected prediction vector. ing. In addition, the use of a motion vector of another image as a prediction vector candidate is also under consideration. In the conventional moving image compression coding, a motion vector of another image is used in motion compensated prediction, but is not used as a prediction vector.
本発明の実施の形態では、上記の予測ベクトルインデックスを導入し、また予測ベクトルの候補として別の画像の動きベクトルを利用する。 In the embodiment of the present invention, the prediction vector index is introduced, and a motion vector of another image is used as a prediction vector candidate.
(引き継ぎ方向インデックス)
HEVCでは、更に符号化効率を向上させるために、複数の隣接ブロックの候補の中から最適な隣接ブロックを選択し、選択した隣接ブロックを示すための引き継ぎ方向インデックス(マージインデックス)を符号化及び復号することが検討されている。これは、選択されたマージインデックスの示すブロックの動き情報(動きベクトル、参照画像インデックス及び動き補償予測の方向)を処理対象ブロックでそのまま利用する方法である。この方法でも、予測ベクトルインデックスと同様に別の画像の処理済みのブロックを利用することが検討されている。
(Takeover direction index)
In HEVC, in order to further improve the encoding efficiency, an optimal adjacent block is selected from a plurality of adjacent block candidates, and a takeover direction index (merge index) for indicating the selected adjacent block is encoded and decoded. To be considered. In this method, the motion information (motion vector, reference image index, and motion compensation prediction direction) of the block indicated by the selected merge index is used as it is in the processing target block. Also in this method, it has been studied to use a processed block of another image in the same manner as the prediction vector index.
(シンタックス)
本実施の形態による予測ブロックのシンタックスの一例を図27を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されており、図33は予測ブロックがインターの場合のシンタックスを示す。引き継ぎ方向フラグ(merge_flag)、引き継ぎ方向インデックス(merge_idx)、動き補償予測の方向(bipred_flag)、参照インデックス(ref_idx_l0とref_idx_l1)、差分動きベクトル(mvd_l0[0]、mvd_l0[1]、mvd_l1[0]、mvd_l1[1])、予測ベクトルインデックス(mvp_idx_l0及びmvp_idx_l1)が設置されている。
(Syntax)
An example of the syntax of the prediction block according to the present embodiment will be described with reference to FIG. Whether the prediction block is intra or inter is specified by a higher-order encoding block, and FIG. 33 shows syntax when the prediction block is inter. Takeover direction flag (merge_flag), takeover direction index (merge_idx), direction of motion compensation prediction (bipred_flag), reference index (ref_idx_l0 and ref_idx_l1), differential motion vector (mvd_l0 [0], mvd_l0 [1], mvd_l mvd_l1 [1]) and prediction vector indexes (mvp_idx_l0 and mvp_idx_l1) are installed.
図27では予測ベクトルインデックスの復号(符号化)の前段に予測ベクトルの候補数を算出する関数であるNumMvpCands()が設置されている。これは周辺ブロックの状況によって、予測ベクトルの候補数が予測ブロック毎に変化するためである。 In FIG. 27, NumMvpCands (), which is a function for calculating the number of prediction vector candidates, is installed in the preceding stage of decoding (encoding) a prediction vector index. This is because the number of prediction vector candidates changes for each prediction block depending on the situation of the surrounding blocks.
なお、予測ベクトルの候補数が1である場合は予測ベクトルインデックスを復号(符号化)しない。予測ベクトルの候補数が1である場合は指定しなくとも一意に決定できるためである。NumMvpCands()の詳細については後述する。 When the number of prediction vector candidates is 1, the prediction vector index is not decoded (encoded). This is because when the number of prediction vector candidates is 1, it can be uniquely determined without designation. Details of NumMvpCands () will be described later.
また、予測ベクトルインデックスの符号列について図34を用いて説明する。本実施の形態では、予測ベクトルインデックスの符号列としてTruncated Unary符号列を用いる。図28(a)は予測ベクトルの候補数が2個の場合のTruncated Unary符号列による予測ベクトルインデックスの符号列を、図28(b)は予測ベクトルの候補数が3個の場合のTruncated Unary符号列による予測ベクトルインデックスの符号列を、図28(c)は予測ベクトルの候補数が4個の場合のTruncated Unary符号列による予測ベクトルインデックスの符号列を示す。 A code string of the prediction vector index will be described with reference to FIG. In the present embodiment, a Truncated Unary code string is used as the code string of the prediction vector index. FIG. 28A shows a code vector of a predicted vector index based on a Truncated Unary code string when the number of prediction vector candidates is two, and FIG. 28B shows a Truncated Unary code when the number of prediction vector candidates is three. FIG. 28C shows a code string of a prediction vector index based on a Trunked Unary code string when the number of prediction vector candidates is four.
図28から同じ予測ベクトルインデックスの値を符号化する場合でも予測ベクトルの候補数が少ないほど予測ベクトルインデックスに割り当てられる符号ビットが小さくなることがわかる。例えば、予測ベクトルインデックスが1である場合、予測ベクトルの候補数が2個であれば‘1’の1ビットであるが、予測ベクトルの候補数が3個であれば‘10’の2ビットとなる。 It can be seen from FIG. 28 that even when the same prediction vector index value is encoded, the smaller the number of prediction vector candidates, the smaller the code bits assigned to the prediction vector index. For example, when the prediction vector index is 1, if the number of prediction vector candidates is 2, it is 1 bit of “1”, but if the number of prediction vector candidates is 3, it is 2 bits of “10”. Become.
以上のように、予測ベクトルの候補数は少ないほど予測ベクトルインデックスの符号化効率は向上する。反面、予測ベクトルの候補数が予測ブロック毎に変化するため、予測ベクトルインデックスを復号するためには予測ベクトルの候補数を事前に算出しておく必要がある。 As described above, the encoding efficiency of the prediction vector index improves as the number of prediction vector candidates decreases. On the other hand, since the number of prediction vector candidates changes for each prediction block, it is necessary to calculate the number of prediction vector candidates in advance in order to decode a prediction vector index.
従来の動画像符号化では別の画像の動きベクトルへのメモリアクセスは動き補償予測を行う場合のみであったが、本発明の実施の形態では上述のように予測ベクトルインデックスの算出においても事前に予測ベクトルの候補数を算出しておく必要があるため動きベクトルメモリへのアクセス量が大きく増加する。 In the conventional moving image coding, memory access to a motion vector of another image is only performed when motion compensation prediction is performed. However, in the embodiment of the present invention, the prediction vector index is calculated in advance as described above. Since it is necessary to calculate the number of prediction vector candidates, the amount of access to the motion vector memory greatly increases.
(POC)
本発明の実施の形態では、画像の時間情報(距離情報)としてPOC(Picture Order Count)を用いる。POCはMPEG−4AVCで定義された画像の表示順序を示すカウンタである。画像の表示順序が1増加するとPOCも1増加する。したがって、画像間のPOC差から画像間の時間差(距離)を取得できる。
(POC)
In the embodiment of the present invention, POC (Picture Order Count) is used as time information (distance information) of an image. POC is a counter indicating the display order of images defined by MPEG-4 AVC. When the image display order is increased by 1, the POC is also increased by 1. Therefore, the time difference (distance) between images can be acquired from the POC difference between images.
(隣接ブロックの動きベクトルの特性)
一般的に処理対象ブロックの動きベクトルと処理対象ブロックに隣接するブロックの動きベクトルの相関度が高いのは、処理対象ブロックと処理対象ブロックに隣接するブロックが同じ動きをしている場合、例えば、処理対象ブロックと処理対象ブロックに隣接するブロックを含めた領域が平行移動している場合である。
(Characteristics of motion vectors of adjacent blocks)
In general, the degree of correlation between the motion vector of the processing target block and the motion vector of the block adjacent to the processing target block is high when the processing target block and the block adjacent to the processing target block have the same motion, for example, This is a case where the processing block and the area including the block adjacent to the processing block are moving in parallel.
(別の画像の動きベクトルの特性)
一方、一般的に時間ダイレクトモードや空間ダイレクトモードで利用されている復号済みの別の画像上で処理対象ブロックと同一位置にあるブロック(同一位置ブロック)と処理対象ブロックの相関度が高いのは、同一位置ブロックと処理対象ブロックが静止状態にあるか、同一位置ブロックと処理対象ブロックが等速移動している場合である。
(Characteristic of motion vector of another image)
On the other hand, a block having the same position as the processing target block (the same position block) on another decoded image that is generally used in the temporal direct mode or the spatial direct mode has a high degree of correlation. In this case, the same position block and the processing target block are in a stationary state, or the same position block and the processing target block are moving at a constant speed.
(小ブロックの動きベクトルの特性)
また、一般的にブロックの大きさが小さくなるのは、処理対象ブロックの動き(動きベクトル)と隣接ブロックの動き(動きベクトル)の相関度が低い場合、つまり画像内の動きが複雑であると考えられる。このような場合には、処理対象ブロックと別画像の同一位置ブロックが静止状態にあるか、処理対象ブロックと別画像の同一位置ブロックが等速移動している場合に別画像の同一位置ブロックの動きベクトルが有効となる。
(Characteristics of small block motion vectors)
In general, the size of a block is reduced when the degree of correlation between the motion of the block to be processed (motion vector) and the motion of the adjacent block (motion vector) is low, that is, the motion in the image is complicated. Conceivable. In such a case, if the same position block of the processing target block and another image are in a stationary state, or if the same position block of the processing target block and another image are moving at a constant speed, The motion vector is valid.
以下、図面とともに本発明に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。 Hereinafter, preferred embodiments of a moving picture coding apparatus, a moving picture coding method, and a moving picture coding program according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
[第1の実施の形態]
(動画像符号化装置100の構成)
図1は本発明の第1の実施の形態の動画像符号化装置100の構成を示す。動画像符号化装置100は、動画像信号を動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズの決定、予測符号化モードの決定は上位の符号化制御部で決定されているものとする。動画像符号化装置100は、CPU(Central Processing Unit)、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアにより実現される。動画像符号化装置100は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
[First Embodiment]
(Configuration of moving picture coding apparatus 100)
FIG. 1 shows a configuration of a moving
なお、処理対象の予測ブロックの位置情報、予測ブロックサイズ、参照画像インデックス、動き補償予測の方向に関しては動画像符号化装置100内で共有していることとし、図示しない。
Note that the position information, the prediction block size, the reference image index, and the motion compensation prediction direction of the prediction block to be processed are assumed to be shared in the
本実施の形態の動画像符号化装置100は、予測ブロック画像取得部101、減算部102、予測誤差符号化部103、符号列生成部104、予測誤差復号部105、動き補償部106、加算部107、動きベクトル検出部108、動き情報生成部109、フレームメモリ110、第1動き情報メモリ111、および第2動き情報メモリ112を含む。
The moving
(動画像符号化装置100の機能)
以下、各部の機能について説明する。
予測ブロック画像取得部101は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子10より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部102と動きベクトル検出部108に供給する。
(Function of moving picture coding apparatus 100)
Hereinafter, functions of each unit will be described.
The prediction block
減算部102は、予測ブロック画像取得部101より供給される画像信号と動き補償部106より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を予測誤差符号化部103に供給する。
The
予測誤差符号化部103は、減算部102より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成し、予測誤差符号化データを符号列生成部104及び予測誤差復号部105に供給する。
The prediction
符号列生成部104は、予測誤差符号化部103より供給される予測誤差符号化データ、および動き情報生成部109より供給される差分ベクトルと予測ベクトルインデックスを、動き補償予測の方向、参照インデックスとともにシンタックスに従ってエントロピー符号化して符号列を生成し、符号列を端子11に供給する。
The code
なお、本実施の形態では上記のように予測ベクトルインデックスの符号化にTruncated Unary符号列を利用したが、予測ベクトルインデックスが予測ベクトルの候補数が小さいほど少ないビットで符号化できる符号列であればこれに限定されない。 In the present embodiment, the Truncated Unary code string is used for encoding the prediction vector index as described above. However, if the prediction vector index is a code string that can be encoded with fewer bits as the number of prediction vector candidates is smaller. It is not limited to this.
予測誤差復号部105は、予測誤差符号化部103より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部107に供給する。
The prediction
動き補償部106は、フレームメモリ110内の参照画像を、動きベクトル検出部108より供給される動きベクトルだけ動き補償して予測信号を生成する。動き補償予測の方向が双方向であれば、それぞれの方向の予測信号を平均したものを予測信号とし、予測信号を加算部107に供給する。
The
加算部107は、予測誤差復号部105より供給される予測誤差信号と動き補償部106より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ110に供給する。
The adding
動きベクトル検出部108は、予測ブロック画像取得部101より供給される画像信号と時間の異なる画像信号から動きベクトルを検出し、動きベクトルを動き補償部106に供給する。なお、動き補償予測の方向が双方向であれば、それぞれの方向の動きベクトルを検出し、動きベクトルを動き補償部106に供給する。
The motion
一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた位置の異なる画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、絶対差分和を示すSAD(Sum of Absolute Difference)や自乗誤差平均を示すMSE(Mean Square Error)等を利用することが可能である。 In a general motion vector detection method, an error evaluation value is calculated for image signals at different positions moved by a predetermined movement amount from the same position as the image signal, and the movement amount that minimizes the error evaluation value is defined as a motion vector. To do. As the error evaluation value, SAD (Sum of Absolute Difference) indicating the sum of absolute differences, MSE (Mean Square Error) indicating the mean square error, or the like can be used.
動き情報生成部109は、動きベクトル検出部108より供給される動きベクトルと、第1動き情報メモリ111より供給される第1の候補ブロック群と、第2動き情報メモリ112より供給される第2の候補ブロック群から差分ベクトルと予測ベクトルインデックスを生成し、差分ベクトルと予測ベクトルインデックスを符号列生成部104に供給する。
The motion
動き情報生成部109の詳細な構成については後述する。
A detailed configuration of the motion
フレームメモリ110は、加算部107より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として1以上の所定画像数記憶し、参照画像信号を動き補償部106に供給する。参照画像を記憶する記憶領域はFIFO(First In First Out)方式で制御される。
The
第1動き情報メモリ111は、動きベクトル検出部108より供給される動きベクトルと参照画像インデックスを最小の予測ブロックサイズ単位で1画像分記憶し、処理対象の予測ブロックの隣接ブロックの情報を第1の候補ブロック群として動き情報生成部109に供給する。また、第1動き情報メモリ111は、画像全体の処理が終了すると、記憶している動きベクトルと参照画像インデックスを第2動き情報メモリ112に移動させる。
The first
第2動き情報メモリ112は、第1動き情報メモリ111より供給される動きベクトルと参照画像インデックスを所定画像数だけ記憶し、処理対象の予測ブロックと同一位置のColPic上のブロックとその周辺ブロックを第2の候補ブロック群として動き情報生成部109に供給する。動きベクトルと参照画像インデックスを記憶する記憶領域はフレームメモリ110と同期しており、FIFO(First In First Out)方式で制御される。ColPicとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ110に参照画像として記憶されている。本実施の形態では、ColPicは直前に復号した参照画像とする。なお、本実施の形態では、ColPicは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像としたり、符号化ストリーム中で任意の参照画像を指定することも可能である。
The second
ここで、第1動き情報メモリ111と第2動き情報メモリ112における動きベクトルと参照画像インデックスの管理方法について図2を用いて説明する。動きベクトルと参照画像インデックスは最小の予測ブロック単位で各メモリエリアに記憶される。図2は処理対象の予測ブロックサイズが16画素×16画素である場合の様子を示している。この場合、この予測ブロックの動きベクトルと参照画像インデックスは図2の斜線部の16個のメモリエリアに格納される。
Here, a method of managing motion vectors and reference image indexes in the first
なお、予測符号化モードがイントラモードである場合、動きベクトルとして(0,0)が記憶され、参照画像インデックスとして−1が記憶される。なお、参照画像インデックスの−1は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。 When the predictive coding mode is the intra mode, (0, 0) is stored as the motion vector, and −1 is stored as the reference image index. It should be noted that −1 of the reference image index may be any value as long as it can be determined that the mode does not perform motion compensation prediction.
これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。 From this point onward, unless expressed otherwise, the term “block” refers to the smallest predicted block unit when expressed simply as a block.
続いて、本実施の形態の特徴となる動き情報生成部109の詳細な構成について図3を用いて説明する。図3は動き情報生成部109の構成を示す。
Next, a detailed configuration of the motion
動き情報生成部109は、予測ベクトル候補リスト生成部120と予測ベクトル選択部121と減算部122とを含む。端子12は第1動き情報メモリ111に、端子13は第2動き情報メモリ112に、端子14は動きベクトル検出部108に、端子15は符号列生成部104に接続されている。
The motion
予測ベクトル候補リスト生成部120は、本実施の形態による動画像符号化装置により生成された符号列を復号する動画像復号装置にも同様に設置されて動画像符号化装置と動画像復号装置にて矛盾のない予測ベクトル候補リストが生成される。
The prediction vector candidate
なお、シンタックスで説明したNumMvpCands()は予測ベクトル候補リスト生成部120により生成された予測ベクトル候補リストに含まれる予測ベクトル候補数を返す。
Note that NumMvpCands () described in the syntax returns the number of prediction vector candidates included in the prediction vector candidate list generated by the prediction vector candidate
以下、各部の機能について説明する。 Hereinafter, functions of each unit will be described.
予測ベクトル候補リスト生成部120は、端子12より供給される第1の候補ブロック群と端子13より供給される第2の候補ブロック群から予測ベクトル候補リストを生成し、予測ベクトル候補リストを予測ベクトル選択部121に供給する。
The prediction vector candidate
(候補ブロック群)
ここで、第1の候補ブロック群について図4を用いて説明する。図4は処理対象の予測ブロックサイズが16画素×16画素である場合の様子を示している。図4に示すように処理対象の予測ブロックの隣接ブロックを、左に位置するブロックA1、ブロックA2、ブロックA3、ブロックA4、上に位置するブロックB1、ブロックB2、ブロックB3、ブロックB4、右上に位置するブロックC、左上に位置するブロックD、左下に位置するブロックEとし、これらを第1の候補ブロック群とする。
(Candidate block group)
Here, the first candidate block group will be described with reference to FIG. FIG. 4 shows a state where the predicted block size to be processed is 16 pixels × 16 pixels. As shown in FIG. 4, adjacent blocks of the prediction block to be processed are block A1, block A2, block A3, block A4 located on the left, block B1, block B2, block B3, block B4 located on the upper right, A block C, a block D located at the upper left, and a block E located at the lower left are defined as a first candidate block group.
次に、第2の候補ブロック群について図5を用いて説明する。図5は処理対象の予測ブロックサイズが16画素×16画素である場合の様子を示している。図5に示すように処理対象の予測ブロックと同一位置にあるColPic上の予測ブロック内のブロックとその周辺ブロックを第2の候補ブロック群とする。
具体的には、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロック内のブロックI、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロックの右に位置するブロックF、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロックの下に位置するブロックG、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロックの右下に位置するブロックHとし、これらのブロックを第2の候補ブロック群とする。
Next, the second candidate block group will be described with reference to FIG. FIG. 5 shows a state where the predicted block size to be processed is 16 pixels × 16 pixels. As shown in FIG. 5, a block in a prediction block on ColPic located at the same position as the prediction block to be processed and its neighboring blocks are set as a second candidate block group.
Specifically, the block I in the prediction block on the ColPic at the same position as the prediction block to be processed, the block F positioned to the right of the prediction block on the ColPic at the same position as the prediction block to be processed, and the processing target The block G is located under the prediction block on the ColPic at the same position as the prediction block, and the block H is located at the lower right of the prediction block on the ColPic at the same position as the processing target prediction block. Let it be a second candidate block group.
本実施の形態では、第2の候補ブロック群をブロックI、ブロックF、ブロックG、ブロックHとしたが、1つ以上のブロックであればよく、例えば、ブロックI2からブロックI16、ブロックF2からブロックF4、ブロックG2からブロックG4を追加してもよいし、ブロックI6とブロックHの2つなどにしてもよい。 In the present embodiment, the second candidate block group is the block I, the block F, the block G, and the block H, but may be one or more blocks, for example, the block I2 to the block I16, and the block F2 to the block F4, block G2 may be added from block G2, or block I6 and block H may be added.
予測ベクトル選択部121は、予測ベクトル候補リスト生成部120より供給される予測ベクトル候補リストの中から、端子14より供給される動きベクトルに対応する予測ベクトルを選択し、予測ベクトルを減算部122に供給するとともに、選択された予測ベクトルを示す情報である予測ベクトルインデックスを端子15に出力する。
The prediction
減算部122は、端子14より供給される動きベクトルから予測ベクトル選択部121より供給される予測ベクトルを減算して差分ベクトルを算出し、差分ベクトルを端子15に供給する。
The
図6は予測ベクトル候補リスト生成部120の構成を示す。
FIG. 6 shows a configuration of the prediction vector candidate
予測ベクトル候補リスト生成部120は、第1予測ベクトル候補リスト生成部130と結合判定部131と第2予測ベクトル候補リスト生成部132と予測ベクトル候補リスト決定部133とを含む。端子16は予測ベクトル選択部121に接続されている。
The prediction vector candidate
以下、各部の機能について説明する。 Hereinafter, functions of each unit will be described.
第1予測ベクトル候補リスト生成部130は、端子12より供給される第1の候補ブロック群から1以上の動きベクトルを含む第1の予測ベクトル候補リストを生成し、第1の予測ベクトル候補リストを予測ベクトル候補リスト決定部133に供給する。
The first prediction vector candidate
結合判定部131は、処理対象の予測ブロックの予測ブロックのサイズから結合判定結果を導出し、結合判定結果を予測ベクトル候補リスト決定部133に供給する。
The
第2予測ベクトル候補リスト生成部132は、端子13より供給される第2の候補ブロック群から0以上の動きベクトルを含む第2の予測ベクトル候補リストを生成し、第2の予測ベクトル候補リストを予測ベクトル候補リスト決定部133に供給する。
The second prediction vector candidate
予測ベクトル候補リスト決定部133は、結合判定部131より供給される結合判定結果に基づいて、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストと第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストから第3の予測ベクトル候補リストを決定し、第3の予測ベクトル候補リストを端子16に供給する。
The prediction vector candidate
(動画像符号化装置100の動作)
続いて、図7のフローチャートを用いて、本実施の形態の動画像符号化装置100における符号化の動作を説明する。
(Operation of moving picture coding apparatus 100)
Subsequently, an encoding operation in the moving
予測ブロック画像取得部101は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子10より供給される画像信号から処理対象の予測ブロックの画像信号を取得する(ステップS100)。
The prediction block
動きベクトル検出部108は、予測ブロック画像取得部101より供給される画像信号とフレームメモリ110より供給される参照画像信号から動きベクトルを検出する(ステップS101)。
The motion
動き情報生成部109は、動きベクトル検出部108より供給される動きベクトルと、第1動き情報メモリ111より供給される第1の候補ブロック群と、第2動き情報メモリ112より供給される第2の候補ブロック群とから、差分ベクトルと予測ベクトルインデックスを生成する(ステップS102)。
The motion
動き補償部106は、フレームメモリ110内の参照画像を動きベクトル検出部108より供給される動きベクトルにもとづいて動き補償して予測信号を生成する(ステップS103)。
The
減算部102は、予測ブロック画像取得部101より供給される画像信号と動き補償部106より供給される予測信号を減算して予測誤差信号を算出する(ステップS104)。
The
予測誤差符号化部103は、減算部102より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成する(ステップS105)。
The prediction
符号列生成部104は、予測誤差符号化部103より供給される予測誤差符号化データ、および動き情報生成部109より供給される差分ベクトルと予測ベクトルインデックスを、動き補償予測の方向、参照インデックスとともにシンタックスに従ってエントロピー符号化して符号列を生成する(ステップS106)。
The code
加算部107は、予測誤差復号部105より供給される予測誤差信号と動き補償部106より供給される予測信号を加算して復号画像信号を生成する(ステップS107)。
The adding
フレームメモリ110は、加算部107より供給される復号画像信号を記憶する(ステップS108)。
The
第1動き情報メモリ111は、動きベクトル検出部108より供給される動きベクトルを最小の予測ブロックサイズ単位で1画像分記憶する(ステップS109)。
The first
画像全体の処理が終了すると(ステップS110)、第2動き情報メモリ112は、第1動き情報メモリ111より供給される動きベクトルを所定画像数だけ記憶する(ステップS111)。なお、本実施の形態ではステップS111を画像全体の処理が終了した時としたが、処理対象の予測ブロック毎に行うこともできる。
When the processing of the entire image is completed (step S110), the second
引き続いて、図8のフローチャートを用いて、動き情報生成部109の動作を説明する。
Subsequently, the operation of the motion
予測ベクトル候補リスト生成部120は、端子12より供給される第1の候補ブロック群と端子13より供給される第2の候補ブロック群から予測ベクトル候補リストを生成する(ステップS120)。
The prediction vector candidate
予測ベクトル選択部121は、予測ベクトル候補リスト生成部120より供給される予測ベクトル候補リストの中から、端子14より供給される動きベクトルに対応する予測ベクトルを決定する(ステップS121)。ここで、予測ベクトルの決定方法について説明する。動きベクトルと予測ベクトル候補リストに含まれる各予測ベクトル候補の水平成分と垂直成分の絶対差分和を求め、絶対差分和が最小となる予測ベクトル候補を予測ベクトルとして決定する。これは符号化ベクトルの符号量が最小になることが期待できるからである。なお、符号化ベクトルの符号量が最小になる方法であれば、この方法に限定されない。
The prediction
減算部122は、端子14より供給される動きベクトルから予測ベクトル選択部121より供給される予測ベクトルを減算して差分ベクトルを算出する(ステップS122)。
The
引き続いて、図9のフローチャートを用いて、予測ベクトル候補リスト生成部120の動作を説明する。
Subsequently, the operation of the prediction vector candidate
第1予測ベクトル候補リスト生成部130は、端子12より供給される第1の候補ブロック群から1以上の動きベクトルを含む第1の予測ベクトル候補リストを生成する(ステップS130)。
The first prediction vector candidate
第2予測ベクトル候補リスト生成部132は、端子13より供給される第2の候補ブロック群から0以上の動きベクトルを含む第2の予測ベクトル候補リストを生成する(ステップS131)。
The second prediction vector candidate
結合判定部131は、処理対象の予測ブロックの予測ブロックのサイズと所定閾サイズから結合判定結果を導出する(ステップS132)。
The
結合判定結果の導出は、処理対象ブロックの予測ブロックサイズを予め定められた所定閾サイズと比較することによって行われる。処理対象ブロックの予測ブロックサイズが所定閾サイズ以下であれば結合判定結果を1とし、それ以外では0とする。なお、本実施の形態の結合判定は、処理対象ブロックの予測ブロックサイズを予め定められた所定閾サイズと比較することによって行われるため、処理対象ブロックの予測ブロックサイズが所定閾サイズより小さければ結合判定結果を1とし、それ以外では0としてもよい。 Derivation of the combination determination result is performed by comparing the predicted block size of the processing target block with a predetermined threshold size. If the predicted block size of the block to be processed is equal to or smaller than the predetermined threshold size, the combination determination result is set to 1, otherwise it is set to 0. In addition, since the combination determination of the present embodiment is performed by comparing the predicted block size of the processing target block with a predetermined threshold size set in advance, if the predicted block size of the processing target block is smaller than the predetermined threshold size, the combination is determined. The determination result may be 1 and may be 0 otherwise.
本実施の形態では、予め定められた所定閾サイズを最大の予測ブロックサイズの1/4である16画素×16画素に設定する。予め定められた所定閾サイズはこれに限定されず、ハードウェアの制約などによって設定されてもよい。 In the present embodiment, a predetermined threshold size set in advance is set to 16 pixels × 16 pixels, which is 1/4 of the maximum predicted block size. The predetermined threshold size determined in advance is not limited to this, and may be set due to hardware restrictions or the like.
予測ベクトル候補リスト決定部133は、結合判定部131より供給される結合判定結果が1であれば、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストと第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストを、第1の予測ベクトル候補リスト、第2の予測ベクトル候補リストの順序で結合して予測ベクトル候補リストとする(ステップS133)。
If the combination determination result supplied from the
予測ベクトル候補リスト決定部133は、結合判定部131より供給される結合判定結果が0であれば、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストを予測ベクトル候補リストとする(ステップS134)。
The prediction vector candidate
予測ベクトル候補リスト決定部133は、予測ベクトル候補リストに含まれる予測ベクトル候補を順次検査して同一の動きベクトルを検出し、同一と検出された一方の予測ベクトル候補を予測ベクトル候補リストから削除して、予測ベクトル候補が重複しないようにし、予測ベクトル候補リストを更新して冗長な予測ベクトル候補を削除する(ステップS135)。
The prediction vector candidate
本実施の形態では、予測ベクトルインデックスの符号化効率を向上させるためにステップS135を実施したが、ステップS135を省略することもできる。 In the present embodiment, step S135 is performed to improve the encoding efficiency of the prediction vector index, but step S135 can be omitted.
また、本実施の形態では、説明を容易にするためにステップS131をステップS132よりも先に実施するとしたが、ステップS132を先に行い、結合判定結果が0の場合にはステップS131を省略することもできる。 In the present embodiment, step S131 is performed prior to step S132 for ease of explanation, but step S132 is performed first, and step S131 is omitted when the join determination result is 0. You can also.
引き続いて、図10のフローチャートを用いて、第1予測ベクトル候補リスト生成部130の動作を説明する。
Subsequently, the operation of the first prediction vector candidate
最初に、第1予測ベクトル候補リストの登録数を0として第1予測ベクトル候補リストが初期化される(ステップS140)。 First, the first prediction vector candidate list is initialized by setting the number of registered first prediction vector candidate lists to 0 (step S140).
次に、第1の候補ブロック群に対して検査方向として水平方向(方向1)と垂直方向(方向2)の2方向を定義して、以下の処理が行われる(ステップS141)。第1の候補ブロック群に対しての各方向の検査については図4を用いて説明する。 Next, for the first candidate block group, two directions of a horizontal direction (direction 1) and a vertical direction (direction 2) are defined as inspection directions, and the following processing is performed (step S141). The inspection in each direction for the first candidate block group will be described with reference to FIG.
水平方向の検査はブロックCからブロックB1、ブロックB2、ブロックB3、ブロックB4、ブロックDまで順次行われる。垂直方向の検査は、ブロックEからブロックA1、ブロックA2、ブロックA3、ブロックA4まで順次行われる。 The horizontal inspection is sequentially performed from block C to block B1, block B2, block B3, block B4, and block D. The vertical inspection is sequentially performed from the block E to the block A1, the block A2, the block A3, and the block A4.
次に、第1予測ベクトル候補リストに追加するかどうかを検査する検査個数が決定される(ステップS142)。 Next, the number of inspections to be inspected to be added to the first prediction vector candidate list is determined (step S142).
本実施の形態では、水平方向に検査する最大数を最大の予測ブロックサイズの半分である8個(ブロックB1からブロックB8)にブロックCとブロックDを加えた10個とし、垂直方向に検査する最大数を最大の予測ブロックサイズの半分である8個(ブロックA1からブロックA8)にブロックEを加えた9個とする。ところが、ブロックC、ブロックD、及びブロックEは処理対象の予測ブロックの位置によっては存在しない可能性がある。ブロックC、ブロックD、及びブロックEが存在しない場合は検査する最大数から存在しないブロック数を減じておく。そして、第1の候補ブロック群に含まれる各方向の候補ブロック数が検査する最大数を超える場合には検査個数を最大数に制限する。 In the present embodiment, the maximum number to be inspected in the horizontal direction is 10 which is half of the maximum predicted block size (block B1 to block B8) plus block C and block D, and inspects in the vertical direction. The maximum number is nine, which is eight (block A1 to block A8), which is half of the maximum predicted block size, plus block E. However, block C, block D, and block E may not exist depending on the position of the prediction block to be processed. When block C, block D, and block E do not exist, the number of non-existing blocks is subtracted from the maximum number to be inspected. When the number of candidate blocks in each direction included in the first candidate block group exceeds the maximum number to be inspected, the number of inspections is limited to the maximum number.
次に、第1の候補ブロック群の各方向に含まれる各候補ブロックに対して検査個数だけ以下の処理が繰り返し実施される(ステップS143)。 Next, the following processing is repeatedly performed for each candidate block included in each direction of the first candidate block group for the number of inspections (step S143).
候補ブロックの参照インデックスが−1でないこと、すなわちイントラモードでないかが判定される(ステップS144)。 It is determined whether the reference index of the candidate block is not −1, that is, whether it is not the intra mode (step S144).
候補ブロックがイントラモードでなければ、候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であるかが判定される(ステップS145)。 If the candidate block is not in the intra mode, it is determined whether the reference index of the candidate block is the same as the reference image index of the prediction block to be processed (step S145).
候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であれば、第1予測ベクトル候補リストに候補ブロックの動きベクトルが追加される(ステップS146)。 If the reference index of the candidate block is the same as the reference image index of the prediction block to be processed, the motion vector of the candidate block is added to the first prediction vector candidate list (step S146).
候補ブロックの参照インデックスが−1であるか、候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一でなければ、次の候補ブロックが検査される(ステップS147)。 If the reference index of the candidate block is -1 or if the reference index of the candidate block is not the same as the reference image index of the prediction block to be processed, the next candidate block is examined (step S147).
候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であるか、各方向の検査個数だけ処理されるまで上記の処理が繰り返される(ステップS148)。 The above process is repeated until the reference index of the candidate block is the same as the reference image index of the prediction block to be processed or until the number of inspections in each direction is processed (step S148).
次に、第1予測ベクトル候補リストの登録数が0であるかが検査される(ステップS149)。 Next, it is checked whether the number of registrations in the first prediction vector candidate list is 0 (step S149).
第1予測ベクトル候補リストの登録数が0であれば、第1予測ベクトル候補リストに動きベクトル(0,0)が追加される(ステップS150)。なお、S150は第1予測ベクトル候補リストと第2予測ベクトル候補リストのいずれか、または予測ベクトル候補リストに1以上の予測ベクトル候補を追加するためになされるため、この位置に限定されてない。 If the number of registrations in the first prediction vector candidate list is 0, the motion vector (0, 0) is added to the first prediction vector candidate list (step S150). Note that S150 is performed to add one or more prediction vector candidates to the prediction vector candidate list, or one of the first prediction vector candidate list and the second prediction vector candidate list, and is not limited to this position.
引き続いて、図11のフローチャートを用いて、第2予測ベクトル候補リスト生成部132の動作を説明する。
Subsequently, the operation of the second prediction vector candidate
最初に、第2予測ベクトル候補リストの登録数を0として第2予測ベクトル候補リストが初期化される(ステップS160)。 First, the number of registered second prediction vector candidate lists is set to 0, and the second prediction vector candidate list is initialized (step S160).
次に、第2の候補ブロック群の個数が決定される(ステップS161)。本実施の形態では、第2の候補ブロック群の最大数をブロックH、ブロックI、ブロックF、ブロックGの4個とする。ところが、ブロックH、ブロックF、及びブロックGは処理対象の予測ブロックの位置によっては存在しない可能性がある。ブロックH、ブロックF、及びブロックGが存在しない場合は検査する個数から存在しないブロック数を減じておく。 Next, the number of second candidate block groups is determined (step S161). In the present embodiment, the maximum number of second candidate block groups is four, block H, block I, block F, and block G. However, the block H, the block F, and the block G may not exist depending on the position of the prediction block to be processed. When the block H, the block F, and the block G do not exist, the number of nonexistent blocks is subtracted from the number to be inspected.
次に、第2の候補ブロック群に対して検査が行われる。第2の候補ブロック群の検査順序については図4を用いて説明する。ブロックHからブロックI、ブロックF、ブロックGの順序で行われる(ステップS162)。 Next, a test is performed on the second candidate block group. The inspection order of the second candidate block group will be described with reference to FIG. Block H, block I, block F, and block G are performed in this order (step S162).
候補ブロックの参照インデックスが−1でないこと、すなわちイントラモードでないかが判定される(ステップS163)。 It is determined whether the reference index of the candidate block is not −1, that is, whether it is not the intra mode (step S163).
候補ブロックがイントラモードでなければ、候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であるかが判定される(ステップS164)。 If the candidate block is not the intra mode, it is determined whether the reference index of the candidate block is the same as the reference image index of the prediction block to be processed (step S164).
候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であれば、第2予測ベクトル候補リストに候補ブロックの動きベクトルが追加される(ステップS165)。 If the reference index of the candidate block is the same as the reference image index of the prediction block to be processed, the motion vector of the candidate block is added to the second prediction vector candidate list (step S165).
候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一でなければ、候補ブロックの動きベクトルは、候補ブロックの参照インデックスの示す参照画像と処理対象の画像の時間差と、処理対象の予測ブロックの参照インデックスが示す参照画像と処理対象の画像の時間差で、スケーリングされて第2予測ベクトル候補リストに追加される(ステップS166)。 If the reference index of the candidate block is not the same as the reference image index of the prediction block to be processed, the motion vector of the candidate block indicates the time difference between the reference image indicated by the reference index of the candidate block and the image to be processed, and the prediction of the processing target. It is scaled by the time difference between the reference image indicated by the block reference index and the image to be processed and added to the second prediction vector candidate list (step S166).
候補ブロックの参照インデックスが−1であれば、次の候補ブロックが検査される(ステップS167)。 If the reference index of the candidate block is -1, the next candidate block is examined (step S167).
(結合制御の説明)
上述したように、本実施の形態による動画像符号化装置100によれば、処理対象の予測ブロックの予測ブロックのサイズによって、予測ベクトル候補リストに第2の予測ベクトル候補リストを追加するかどうかを制御している。
(Explanation of coupling control)
As described above, according to the
処理対象の予測ブロックの予測ブロックのサイズが大きい場合に第2の予測ベクトル候補リストを追加しない理由について、図12を用いて説明する。図12(A)は処理対象の予測ブロックの予測ブロックのサイズが16×16である場合を、図12(B)は処理対象の予測ブロックの予測ブロックのサイズが8×8である場合を、図12(C)は処理対象の予測ブロックの予測ブロックのサイズが4×4である場合を示す。予測ブロックのサイズが16×16である場合、第1の候補ブロック群に含まれる候補ブロックはブロックC、ブロックB1、ブロックB2、ブロックB3、ブロックB4、ブロックD、ブロックE、ブロックA1、ブロックA2、ブロックA3、ブロックA4の11個となる。予測ブロックのサイズが8×8である場合、第1の候補ブロック群に含まれる候補ブロックはブロックC、ブロックB1、ブロックB2、ブロックD、ブロックE、ブロックA1、ブロックA2の7個となる。予測ブロックのサイズが4×4である場合、第1の候補ブロック群に含まれる候補ブロックはブロックC、ブロックB1、ブロックD、ブロックE、ブロックA1の5個となる。図12には示していないが、予測ブロックのサイズが32×32である場合の候補ブロックは19個、予測ブロックのサイズが64×64である場合の候補ブロック数は検査する最大数を考慮しなければ35個となる。 The reason why the second prediction vector candidate list is not added when the size of the prediction block of the prediction block to be processed is large will be described with reference to FIG. 12A shows a case where the size of the prediction block of the processing target prediction block is 16 × 16, and FIG. 12B shows a case where the size of the prediction block of the processing target prediction block is 8 × 8. FIG. 12C shows a case where the size of the prediction block to be processed is 4 × 4. When the size of the prediction block is 16 × 16, candidate blocks included in the first candidate block group are block C, block B1, block B2, block B3, block B4, block D, block E, block A1, and block A2. , Block A3 and block A4. When the size of the prediction block is 8 × 8, the number of candidate blocks included in the first candidate block group is block C, block B1, block B2, block D, block E, block A1, and block A2. When the size of the prediction block is 4 × 4, there are five candidate blocks, block C, block B1, block D, block E, and block A1, included in the first candidate block group. Although not shown in FIG. 12, there are 19 candidate blocks when the size of the prediction block is 32 × 32, and the number of candidate blocks when the size of the prediction block is 64 × 64 considers the maximum number to be inspected. Otherwise, the number is 35.
つまり、予測ブロックのサイズが大きくなるほど、第1の候補ブロック群に含まれる候補ブロックが多くなり、検査する回数が増加する可能性があるが、第1の候補ブロック群に含まれる候補ブロックの数が増えることで、イントラモードでない候補ブロックの選択確率が高まるため、予測ベクトルの精度が向上する。 That is, as the size of the prediction block increases, the number of candidate blocks included in the first candidate block group increases and the number of times of inspection may increase. However, the number of candidate blocks included in the first candidate block group Since the selection probability of candidate blocks that are not in the intra mode increases, the accuracy of the prediction vector is improved.
一方、予測ブロックのサイズが小さい場合は、第1の候補ブロック群に含まれる候補ブロックは少なくなる。そのため、イントラモードでない候補ブロックの選択確率が予測ブロックのサイズが大きい場合に比べて低下する可能性がある。そのため、予測ブロックのサイズが小さい場合には第2の予測ベクトル候補リストを追加して予測ベクトルの精度を向上させる。 On the other hand, when the size of the prediction block is small, the number of candidate blocks included in the first candidate block group is small. Therefore, there is a possibility that the selection probability of candidate blocks that are not in the intra mode is lower than when the size of the prediction block is large. Therefore, when the size of the prediction block is small, the second prediction vector candidate list is added to improve the accuracy of the prediction vector.
(動画像復号装置200の構成)
次に、本実施の形態の動画像復号装置を説明する。図13に本実施の形態の動画像復号装置200を示す。動画像復号装置200は、動画像符号化装置100により符号化された符号列を復号して再生画像を生成する装置である。
(Configuration of moving picture decoding apparatus 200)
Next, the moving picture decoding apparatus according to the present embodiment will be described. FIG. 13 shows a moving
動画像復号装置200は、CPU(Central Processing Unit)、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアにより実現される。動画像復号装置200は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
The moving
なお、復号対象の予測ブロックの位置情報、予測ブロックサイズ、参照画像インデックス、動き補償予測の方向に関しては動画像復号装置200内で共有していることとし、図示しない。
Note that the position information of the prediction block to be decoded, the prediction block size, the reference image index, and the direction of motion compensated prediction are assumed to be shared in the
本実施の形態の動画像復号装置200は、符号列解析部201、予測誤差復号部202、加算部203、動き情報再生部204、動き補償部205、フレームメモリ206、第1動き情報メモリ207、第2動き情報メモリ208で構成される。
The moving
(動画像復号装置200の機能)
以下、各部の機能について説明する。
(Function of moving picture decoding apparatus 200)
Hereinafter, functions of each unit will be described.
符号列解析部201は、端子20より供給された符号列を復号して予測誤差符号化データ、動き補償予測の方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号し、予測誤差符号化データを予測誤差復号部202に、差分ベクトルおよび予測ベクトルインデックスを動き情報再生部204に供給する。
The code
予測誤差復号部202は、符号列解析部201より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部203に供給する。
The prediction
加算部203は、予測誤差復号部202より供給される予測誤差信号と動き補償部205より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ206に供給する。
The
動き情報再生部204は、符号列解析部201より供給される差分ベクトルと予測ベクトルインデックスと、第1動き情報メモリ207より供給される第1の候補ブロック群と、第2動き情報メモリ208より供給される第2の候補ブロック群とから動きベクトルを再生し、動きベクトルを動き補償部205に供給する。
The motion
動き情報再生部204の詳細な構成については後述する。
A detailed configuration of the motion
動き補償部205は、フレームメモリ206内の参照画像を、動き情報再生部204より供給される動きベクトルだけ動き補償して予測信号を生成する。動き補償予測の方向が双方向であれば、それぞれの方向の予測信号を平均したものを予測信号とし、予測信号を加算部203に供給する。
The
フレームメモリ206、第1動き情報メモリ207、第2動き情報メモリ208は、それぞれフレームメモリ110、第1動き情報メモリ111、第2動き情報メモリ112と同一の機能を有する。
The
続いて、本実施の形態の特徴となる動き情報再生部204の詳細な構成について図14を用いて説明する。図14は動き情報再生部204の構成を示す。
Next, a detailed configuration of the motion
動き情報再生部204は、予測ベクトル候補リスト生成部220と予測ベクトル決定部221と加算部222とを含む。端子22は第1動き情報メモリ207に、端子23は第2動き情報メモリ208に、端子24は符号列解析部201に、端子25は動き補償部205に接続されている。
The motion
以下、各部の機能について説明する。 Hereinafter, functions of each unit will be described.
予測ベクトル候補リスト生成部220は予測ベクトル候補リスト生成部120と同一の機能を有する。
The prediction vector candidate
予測ベクトル決定部221は、予測ベクトル候補リスト生成部220より供給される予測ベクトル候補リストと、端子24より供給される予測ベクトルインデックスとから予測ベクトルを決定して加算部222に供給する。
The prediction
加算部222は、端子24より供給される差分ベクトルと予測ベクトル決定部221より供給される予測ベクトルを加算して動きベクトルを算出し、動きベクトルを端子25に供給する。
The
(復号装置の動作)
続いて、図15のフローチャートを用いて、本実施の形態の動画像復号装置200における復号の動作を説明する。
(Decryption device operation)
Next, the decoding operation in the moving
符号列解析部201は、端子20より供給された符号列を復号して予測誤差符号化データ、動き補償予測の方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号する(ステップS200)。
The code
動き情報再生部204は、符号列解析部201より供給される差分ベクトルと予測ベクトルインデックスと、第1動き情報メモリ207より供給される第1の候補ブロック群と、第2動き情報メモリ208より供給される第2の候補ブロック群とから動きベクトルを再生する(ステップS201)。
The motion
動き補償部205は、フレームメモリ206内の参照画像を動き情報再生部204より供給される動きベクトルにもとづいて動き補償して予測信号を生成する(ステップS202)。
The
予測誤差復号部202は、符号列解析部201より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成する(ステップS203)。
The prediction
加算部203は、予測誤差復号部202より供給される予測誤差信号と動き補償部205より供給される予測信号を加算して復号画像信号を生成する(ステップS204)。
The adding
フレームメモリ206は、加算部203より供給される復号画像信号を記憶する(ステップS205)。
The
第1動き情報メモリ207は、動き情報再生部204より供給される動きベクトルを最小の予測ブロックサイズ単位で1画像分記憶する(ステップS206)。
The first
画像全体の処理が終了すると(ステップS208)、第2動き情報メモリ208は、第1動き情報メモリ207より供給される動きベクトルを所定画像数だけ記憶する(ステップS209)。
When the processing of the entire image is completed (step S208), the second
引き続いて、図16のフローチャートを用いて、動き情報再生部204の動作を説明する。
Subsequently, the operation of the motion
予測ベクトル候補リスト生成部220は、端子22より供給される第1の候補ブロック群と端子23より供給される第2の候補ブロック群から予測ベクトル候補リストを生成する(ステップS220)。
The prediction vector candidate
予測ベクトル決定部221は、予測ベクトル候補リスト生成部220より供給される予測ベクトル候補リストの予測ベクトル候補数が1より大きいかを判定する(ステップS221)。
The prediction
予測ベクトル決定部221は、予測ベクトル候補数が1より大きければ、符号列解析部201より供給される予測ベクトルインデックスを取得する(ステップS222)。そして予測ベクトル候補リストの中から予測ベクトルインデックスで示される予測ベクトル候補を予測ベクトルとして選択する(ステップS223)。
If the number of prediction vector candidates is greater than 1, the prediction
予測ベクトル決定部221は、予測ベクトル候補数が1であれば、予測ベクトル候補リストに含まれる唯一の予測ベクトル候補を予測ベクトルとして選択する(ステップS224)。
If the number of prediction vector candidates is 1, the prediction
加算部222は、端子24より供給される差分ベクトルと予測ベクトル決定部221より供給される予測ベクトルを加算して動きベクトルを算出する(ステップS225)。
The
上述したように、本実施の形態による動画像復号装置200によれば、動画像符号化装置100と同様に予測ベクトル候補リストの生成を制御することで動画像を復号することができる。即ち、本実施の形態による動画像復号装置200によれば、上記の動画像符号化装置100により符号化された符号化ストリームを復号することができる。
As described above, according to the moving
(第1の実施の形態の拡張例)
なお、本実施の形態は以下のように拡張できる。
(Extended example of the first embodiment)
This embodiment can be expanded as follows.
(所定閾サイズ)
本実施の形態では、予め定められた所定閾サイズを最大の予測ブロックサイズの1/4である16画素×16画素に設置したが、これに限定されない。例えば、32×16や4×8などの非対称ブロックや6×6など予測ブロックに依存しない大きさでもよい。また、所定閾サイズが最小の予測ブロックサイズ以下である場合に、全ての予測ブロックサイズで結合判定結果が0となるようにして第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合しないようにしてもよい。
(Predetermined threshold size)
In the present embodiment, the predetermined threshold size set in advance is set to 16 pixels × 16 pixels, which is a quarter of the maximum predicted block size, but is not limited thereto. For example, the size may not depend on an asymmetric block such as 32 × 16 or 4 × 8 or a prediction block such as 6 × 6. Further, when the predetermined threshold size is equal to or smaller than the minimum prediction block size, the first prediction vector candidate list and the second prediction vector candidate list are combined so that the combination determination result is 0 for all prediction block sizes. You may make it not.
なお、本実施の形態では、所定閾サイズを予め定義したが、所定閾サイズを符号列に符号化することで符号化装置において動画像の特性などに応じて適応的に設置することもできる。例えば、画面サイズが大きくなる程大きくし、動きが複雑である程大きくなるように適応的に設置することもできる。 In the present embodiment, the predetermined threshold size is defined in advance. However, by encoding the predetermined threshold size into a code string, the encoding apparatus can be adaptively set according to the characteristics of the moving image. For example, it can be installed adaptively so that it increases as the screen size increases and increases as the movement becomes more complex.
(予測ベクトル候補リストの生成)
本実施例では、第1の予測ベクトル候補リストの水平方向の検査は、処理対象の予測ブロックの右上に位置するブロックC、処理対象の予測ブロックの上に位置するブロックB群、処理対象の予測ブロックの左上に位置するブロックDについて水平方向の検査する最大数だけ行われ、垂直方向の検査は、処理対象の予測ブロックの左下に位置するブロックE、処理対象の予測ブロックの左に位置するブロックA群について垂直方向の検査する最大数だけ行われるとした。ところが、本実施の形態では、第1の予測ベクトル候補リストの各方向の検査数は1以上であればよく、この検査方法に限定されない。また、本実施例では、第1の予測ベクトル候補リストの各方向の検査する最大数を処理対象の予測ブロックの大きさに依存するとしたが、各方向の検査する最大数は1以上であればよく、2のように固定値であってもよい。
(Generation of prediction vector candidate list)
In the present embodiment, the horizontal inspection of the first prediction vector candidate list is performed by checking the block C positioned at the upper right of the processing target prediction block, the block B group positioned above the processing target prediction block, and the processing target prediction. The maximum number of blocks to be checked in the horizontal direction is performed on the block D located at the upper left of the block, and the vertical check is performed on the block E located at the lower left of the prediction block to be processed and the block located on the left of the prediction block to be processed It is assumed that the maximum number of inspections in the vertical direction is performed for the A group. However, in the present embodiment, the number of inspections in each direction of the first prediction vector candidate list may be one or more, and is not limited to this inspection method. In the present embodiment, the maximum number to be tested in each direction of the first prediction vector candidate list depends on the size of the prediction block to be processed. However, if the maximum number to be checked in each direction is 1 or more, It may be a fixed value such as 2.
具体的には、水平方向の検査する最大数を3とし、垂直方向の検査する最大数を2として、検査する候補ブロックが別の予測ブロックに位置する(疎になる)ように選択する。検査する候補ブロックを疎にすることで、候補ブロックの動きベクトルの選択肢を増加させる効果がある。例えば、予測ブロックのサイズが16×16である場合は、水平方向についてはブロックC、ブロックB群から1ブロック(例えば、ブロックB1やブロックB2)、ブロックDとし、垂直方向についてはブロックE、ブロックA群から1ブロック(例えば、ブロックA1やブロックA2)とすることができる。 Specifically, the maximum number to be inspected in the horizontal direction is set to 3, and the maximum number to inspect in the vertical direction is set to 2, so that the candidate block to be inspected is located in another prediction block (sparse). By making sparse candidate blocks to be inspected, there is an effect of increasing motion vector choices of candidate blocks. For example, when the size of the prediction block is 16 × 16, the horizontal direction is block C, the block B group is one block (for example, block B1 or block B2), the block D, and the vertical direction is block E, block B One block (for example, block A1 or block A2) can be selected from the A group.
また、第2の予測ベクトル候補リストの検査は、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロックの右下に位置するブロックH、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロック内のブロックI、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロックの右に位置するブロックF、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロックの下に位置するブロックGの順序で行われるとした。 In addition, the second prediction vector candidate list is checked by checking the block H located at the lower right of the prediction block on the ColPic at the same position as the processing target prediction block, and on the ColPic at the same position as the processing target prediction block. A block I in the prediction block, a block F located to the right of the prediction block on the ColPic at the same position as the prediction block to be processed, and a prediction block on the ColPic at the same position as the prediction block to be processed It is assumed that the process is performed in the order of block G.
ところが、本実施の形態では、第2の予測ベクトル候補リストの検査数は1以上であればよく、この検査方法に限定されない。 However, in the present embodiment, the number of inspections in the second prediction vector candidate list may be one or more, and is not limited to this inspection method.
具体的には、検査数を1としてColPic上の予測ブロックの右下に位置するブロックHのみを検査することもでき、検査数を2としてColPic上の予測ブロックの右下に位置するブロックH、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロック内のブロックIの順序で検査することもできる。 Specifically, it is possible to inspect only the block H located at the lower right of the prediction block on the ColPic with the number of inspections being 1, and the block H located at the lower right of the prediction block on the ColPic with the inspection number being 2, It is also possible to check in the order of the block I in the prediction block on the ColPic at the same position as the prediction block to be processed.
(予測ベクトルの結合順序)
本実施の形態では、結合判定結果が1であれば、第1の予測ベクトル候補リスト、第2の予測ベクトル候補リストの順序で結合して予測ベクトル候補リストを生成しているが、結合判定結果が1である場合には第2の予測ベクトル候補リスト、第1の予測ベクトル候補リストの順序で結合して予測ベクトル候補リストを生成してもよい。
(Prediction vector join order)
In the present embodiment, if the combination determination result is 1, the prediction vector candidate list is generated by combining in the order of the first prediction vector candidate list and the second prediction vector candidate list. 1 may be combined in the order of the second prediction vector candidate list and the first prediction vector candidate list to generate a prediction vector candidate list.
(符号化制御)
本実施の形態では、結合判定結果が1であれば、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合して予測ベクトル候補リストを生成し、結合判定結果が1であれば、第1の予測ベクトル候補リストだけから予測ベクトル候補リストを生成するとした。これは符号化と復号において共通動作を定義することで予測ベクトルインデックスの符号量を削減するためにおこなった処理である。
(Encoding control)
In the present embodiment, if the combination determination result is 1, a prediction vector candidate list is generated by combining the first prediction vector candidate list and the second prediction vector candidate list, and if the combination determination result is 1. The prediction vector candidate list is generated only from the first prediction vector candidate list. This is a process performed to reduce the code amount of the prediction vector index by defining a common operation in encoding and decoding.
演算量を削減する目的だけであれば、結合判定結果によらず、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合して予測ベクトル候補リストを生成して、符号化装置において予測ベクトルインデックスの選択時に、結合判定結果が1であれば、第2の予測ベクトル候補リストに含まれる動きベクトルを予測ベクトルとして選択しないように制御することもできる。この場合の動画像符号化装置は以下のような特徴を有する。 If it is only for the purpose of reducing the amount of calculation, the prediction device candidate list is generated by combining the first prediction vector candidate list and the second prediction vector candidate list regardless of the combination determination result. If the combined determination result is 1 when the prediction vector index is selected, it is possible to control not to select a motion vector included in the second prediction vector candidate list. The moving picture encoding apparatus in this case has the following characteristics.
複数のブロックサイズで動き補償予測を行う動画像符号化装置であって、
符号化対象ブロックに隣接する符号化済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部と、
符号化済み画像における前記符号化対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部と、
前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部と、
前記符号化対象ブロックのブロックサイズと所定の閾サイズの比較結果により、前記第2予測ベクトル候補リストを利用するか否かを判定する結合判定部と、
前記符号化対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第3予測ベクトル候補リスト中の前記第2予測ベクトル候補リストを選択対象とせずに、前記第3予測ベクトル候補リスト中の前記第1予測ベクトル候補リストから予測動きベクトルを選択する予測ベクトル選択部と、
前記第3予測ベクトル候補リストにおける前記選択された予測動きベクトルの位置を示す情報を符号化する符号化部とを備える。
A video encoding apparatus that performs motion compensation prediction with a plurality of block sizes,
A first prediction vector candidate list generation unit that generates a first prediction vector candidate list including first prediction motion vector candidates from motion vectors of one or more encoded blocks adjacent to the encoding target block;
A second predicted vector candidate list including a second predicted motion vector candidate from a motion vector of a block at the same position as the current block in the encoded image and at least one block adjacent to the block at the same position; A second prediction vector candidate list generation unit to generate;
A third prediction vector candidate list generating unit that generates a third prediction vector candidate list obtained by combining the first prediction vector candidate list and the second prediction vector candidate list;
A combination determination unit that determines whether to use the second prediction vector candidate list based on a comparison result between a block size of the encoding target block and a predetermined threshold size;
When the block size of the encoding target block is larger than the predetermined threshold size, the second prediction vector candidate list in the third prediction vector candidate list is not selected, and the third prediction vector candidate list A prediction vector selection unit that selects a motion vector predictor from the first prediction vector candidate list;
An encoding unit that encodes information indicating a position of the selected prediction motion vector in the third prediction vector candidate list.
(候補リスト生成の拡張)
本実施の形態では、候補リストの生成対象を動きベクトルとして予測ベクトルインデックスの符号化及び復号について説明した。本実施の形態によれば、候補リストの生成対象は動きベクトルに限定されず、処理対象ブロックに隣接する処理済みのブロックの情報から第1の候補リストを生成し、既に処理済み画像の処理対象ブロックと同一位置に隣接するブロックの情報から第2の候補リストを生成し、第1の候補リストと第2の候補リストから生成した第3の候補リストを生成して、第3の候補リストから符号化及び復号するインデックスを決定する方法であればよい。例えば、本実施の形態は、動き情報を引き継ぐ方向を示す引き継ぎ方向インデックス(マージインデックス)に適用できる。
(Expansion of candidate list generation)
In the present embodiment, encoding and decoding of a prediction vector index have been described using a candidate list generation target as a motion vector. According to the present embodiment, the generation target of the candidate list is not limited to the motion vector, and the first candidate list is generated from the information of the processed block adjacent to the processing target block, and the processing target of the already processed image A second candidate list is generated from information of blocks adjacent to the same position as the block, a third candidate list generated from the first candidate list and the second candidate list is generated, and the third candidate list is generated. Any method for determining an index to be encoded and decoded may be used. For example, this embodiment can be applied to a takeover direction index (merge index) indicating a direction in which motion information is taken over.
この場合、第1の候補リスト、第2の候補リスト、第3の候補リストでは動きベクトルに加えて参照画像インデックス及び動き補償予測の方向が同様に管理されて、引き継ぎ方向インデックスによって示されたブロックの動き情報として動きベクトル、参照画像インデックス及び動き補償予測の方向が処理対象ブロックの動き情報として利用される。すなわち、本実施の形態で説明した予測ベクトルがそのまま動きベクトルとして利用される。なお、シンタックスで説明したNumMergeCands()はNumMvpCands()と同様に候補リストに含まれる候補数を返す。また、引き継ぎ方向インデックスの符号列には予測ベクトルインデックスの符号列と同様にTruncated Unary符号列が用いられる。 In this case, in the first candidate list, the second candidate list, and the third candidate list, the reference image index and the direction of motion compensation prediction are similarly managed in addition to the motion vector, and the block indicated by the takeover direction index As the motion information, a motion vector, a reference image index, and a direction of motion compensation prediction are used as motion information of the processing target block. That is, the prediction vector described in the present embodiment is used as it is as a motion vector. Note that NumMergeCands () described in the syntax returns the number of candidates included in the candidate list in the same manner as NumMvpCands (). In addition, a Truncated Unary code string is used as the code string of the takeover direction index in the same manner as the code string of the prediction vector index.
(第1の実施の形態の効果)
以上のように、本実施の形態によれば、処理対象の予測ブロックの予測ブロックサイズが大きい場合に、処理対象の予測ブロックとは別の画像上の予測ブロックの動きベクトルを予測ベクトル候補リストに結合せず、処理対象の予測ブロックの予測ブロックサイズが小さい場合に、処理対象の予測ブロックとは別の画像上の予測ブロックの動きベクトルを予測ベクトル候補リストに結合することで、別の画像上の予測ブロックの動きベクトルの評価に係る処理量を削減するとともに、予測ベクトルの候補数を予め減じておくことで予測ベクトルインデックスの符号化効率を向上させることができる。
(Effects of the first embodiment)
As described above, according to the present embodiment, when the prediction block size of the prediction block to be processed is large, the motion vector of the prediction block on the image different from the prediction block to be processed is included in the prediction vector candidate list. When the prediction block size of the processing target prediction block is small without combining, the motion vector of the prediction block on the image different from the processing target prediction block is combined with the prediction vector candidate list, so that It is possible to improve the coding efficiency of the prediction vector index by reducing the amount of processing related to the motion vector evaluation of the prediction block and reducing the number of prediction vector candidates in advance.
[第2の実施の形態]
本発明の第2の実施の形態の動画像符号化装置300について説明する。第2の実施の形態の動画像符号化装置300の構成は、第1の実施の形態の動画像符号化装置100における構成と、予測ベクトル候補リスト生成部120を除いて同一である。
[Second Embodiment]
A moving picture coding apparatus 300 according to the second embodiment of the present invention will be described. The configuration of the video encoding device 300 according to the second embodiment is the same as the configuration of the
以下、本実施の形態における予測ベクトル候補リスト生成部120について第1の実施の形態との相違を説明する。
Hereinafter, the difference between the prediction vector candidate
図17に第2の実施の形態の予測ベクトル候補リスト生成部120の構成を示す。
FIG. 17 illustrates a configuration of the prediction vector candidate
予測ベクトル候補リスト生成部120は、第1予測ベクトル候補リスト生成部130と結合優先度判定部134と第2予測ベクトル候補リスト生成部132と予測ベクトル候補リスト決定部135とを含む。
The prediction vector candidate
以下、結合優先度判定部134と予測ベクトル候補リスト決定部135の機能について説明する。
Hereinafter, functions of the combination
結合優先度判定部134は、処理対象の予測ブロックの予測ブロックのサイズから結合優先度判定結果を導出し、結合優先度判定結果を予測ベクトル候補リスト決定部135に供給する。
The combination
予測ベクトル候補リスト決定部135は、結合優先度判定部134より供給される結合優先度判定結果に基づいて、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストと第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストから第3の予測ベクトル候補リストを決定し、第3の予測ベクトル候補リストを端子16に供給する。
The prediction vector candidate
引き続いて、図18のフローチャートを用いて、本実施の形態の予測ベクトル候補リスト生成部120の動作を説明する。ステップS130、ステップS131、ステップS135の各処理は、図9に示した第1の実施の形態の予測ベクトル候補リスト生成部120による同符号の各処理と同じである。
Subsequently, the operation of the prediction vector candidate
結合優先度判定部134は、処理対象の予測ブロックの予測ブロックのサイズと所定閾サイズから結合優先度判定結果を導出する(ステップS132)。
The combination
結合優先度判定結果の導出は、処理対象ブロックの予測ブロックサイズを予め定められた所定閾サイズと比較することによって行われる。処理対象ブロックの予測ブロックサイズが所定閾サイズ以下であれば結合優先度判定結果を1とし、それ以外では0とする。 Derivation of the combination priority determination result is performed by comparing the predicted block size of the processing target block with a predetermined threshold size. If the predicted block size of the processing target block is equal to or smaller than the predetermined threshold size, the combination priority determination result is set to 1, and otherwise it is set to 0.
予測ベクトル候補リスト決定部135は、結合優先度判定部134より供給される結合判定結果が1であれば、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストと第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストを、第2の予測ベクトル候補リスト、第1の予測ベクトル候補リストの順序で結合して予測ベクトル候補リストとする(ステップS136)。
If the combination determination result supplied from the combination
予測ベクトル候補リスト決定部135は、結合優先度判定部134より供給される結合判定結果が0であれば、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストと第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストを、第1の予測ベクトル候補リスト、第2の予測ベクトル候補リストの順序で結合して予測ベクトル候補リストとする(ステップS137)。
The prediction vector candidate
(動画像復号装置400の構成)
次に、本実施の形態の動画像復号装置400を説明する。本実施の形態の動画像復号装置400の構成は、第1の実施の形態の動画像復号装置200における構成と、予測ベクトル候補リスト生成部220を除いて同一である。
(Configuration of moving picture decoding apparatus 400)
Next, the moving picture decoding apparatus 400 of this Embodiment is demonstrated. The configuration of the moving picture decoding apparatus 400 of the present embodiment is the same as that of the moving
予測ベクトル候補リスト生成部220は、本実施の形態の予測ベクトル候補リスト生成部120と同一の機能を有し、説明は省略する。
The prediction vector candidate
(第2の実施の形態の効果)
一般的に、処理対象の予測ブロックとして大きい予測ブロックサイズが選択されているのは、処理対象の予測ブロックと既処理済みの予測ブロックとの相関が高い場合であり、小さい予測ブロックサイズが選択されているのは、処理対象の予測ブロックと既処理済みの予測ブロックとの相関が低い場合である。
(Effect of the second embodiment)
In general, the large predicted block size is selected as the processing target prediction block when the correlation between the processing target prediction block and the processed prediction block is high, and the small prediction block size is selected. This is a case where the correlation between the prediction block to be processed and the already processed prediction block is low.
本実施の形態によれば、処理対象の予測ブロックの予測ブロックサイズが大きい場合に、処理対象の予測ブロックとは別の画像上の予測ブロックの動きベクトルを予測ベクトル候補リストの後ろに結合し、処理対象の予測ブロックの予測ブロックサイズが小さい場合に、処理対象の予測ブロックとは別の画像上の予測ブロックの動きベクトルを予測ベクトル候補リストの前に結合することで、予測ベクトルインデックスの符号化効率を向上させることができる。 According to the present embodiment, when the prediction block size of the processing target prediction block is large, the motion vector of the prediction block on the image different from the processing target prediction block is combined behind the prediction vector candidate list, When the prediction block size of the prediction block to be processed is small, the prediction vector index is encoded by combining the motion vector of the prediction block on the image different from the prediction block to be processed before the prediction vector candidate list. Efficiency can be improved.
[第3の実施の形態]
本発明の第3の実施の形態の動画像符号化装置500について説明する。第3の実施の形態の動画像符号化装置500の構成は、第2の実施の形態の動画像符号化装置300における構成と、予測ベクトル候補リスト生成部120を除いて同一である。
[Third Embodiment]
A video encoding apparatus 500 according to the third embodiment of the present invention will be described. The configuration of the video encoding device 500 according to the third embodiment is the same as the configuration of the video encoding device 300 according to the second embodiment except for the prediction vector candidate
以下、本実施の形態における予測ベクトル候補リスト生成部120について第2の実施の形態との相違を説明する。
Hereinafter, the difference between the prediction vector candidate
図19に第3の実施の形態の予測ベクトル候補リスト生成部120の構成を示す。第3の実施の形態の予測ベクトル候補リスト生成部120の構成は、第2の実施の形態の予測ベクトル候補リスト生成部120における構成と、結合優先度判定部134を除いて同一である。
FIG. 19 illustrates a configuration of the prediction vector candidate
本実施の形態の結合優先度判定部134は端子17及び端子18に接続されている。端子17からは第1の候補ブロック群のある処理対象画像の時間情報が供給され、端子18からは第2の候補ブロック群のある別の復号済みの画像の時間情報が供給される。
The combination
以下、結合優先度判定部134の機能について説明する。
Hereinafter, the function of the combination
結合優先度判定部134は、端子17より供給される第1の候補ブロック群のある処理対象画像の時間情報と端子18より供給される第2の候補ブロック群のある別の復号済みの画像の時間情報によって、画像間の距離が大きくなるほど上記所定閾サイズが小さくなるように所定閾サイズを設定し、所定閾サイズと処理対象の予測ブロックの予測ブロックのサイズから結合優先度判定結果を導出し、結合優先度判定結果を予測ベクトル候補リスト決定部135に供給する。
The combination
引き続いて、図20のフローチャートを用いて、本実施の形態の予測ベクトル候補リスト生成部120の動作を説明する。ステップS130からステップS137の各処理は、図18に示した第2の実施の形態の予測ベクトル候補リスト生成部120による同符号の各処理と同じである。
Subsequently, the operation of the prediction vector candidate
結合優先度判定部134は、端子17より供給される処理対象画像の時間情報と端子18より供給される第2の候補ブロック群のある別の復号済みの画像の時間情報によって、画像間の距離が大きくなるほど上記所定閾サイズが小さくなるように所定閾サイズを設定する(ステップS138)。
The combination
本実施例では、時間情報としてPOCを用いる。図21にPOC差が大きくなるほど所定閾サイズが小さくなるように制御した一例を示す。なお、処理対象画像と第2の候補ブロック群のある別の復号済みの画像間の距離が所定距離よりも遠い場合には、動画像符号化装置と動画像復号装置の間で暗黙的に所定閾サイズが最小の予測ブロックサイズ以下であるとして、全ての予測ブロックサイズで結合判定結果が0となるようにし、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合しないようにしてもよい。 In this embodiment, POC is used as time information. FIG. 21 shows an example in which control is performed such that the predetermined threshold size decreases as the POC difference increases. Note that when the distance between the processing target image and another decoded image having the second candidate block group is longer than a predetermined distance, there is an implicit determination between the moving image encoding device and the moving image decoding device. Assuming that the threshold size is equal to or smaller than the minimum predicted block size, the combined determination result is 0 for all predicted block sizes, and the first predicted vector candidate list and the second predicted vector candidate list are not combined. Also good.
(動画像復号装置600の構成)
次に、本実施の形態の動画像復号装置600を説明する。本実施の形態の動画像復号装置600の構成は、第2の実施の形態の動画像復号装置400における構成と、予測ベクトル候補リスト生成部220を除いて同一である。
(Configuration of moving picture decoding apparatus 600)
Next, the moving picture decoding apparatus 600 of this Embodiment is demonstrated. The configuration of the moving picture decoding apparatus 600 of the present embodiment is the same as that of the moving picture decoding apparatus 400 of the second embodiment except for the prediction vector candidate
予測ベクトル候補リスト生成部220は、本実施の形態の予測ベクトル候補リスト生成部120と同一の機能を有し、説明は省略する。
The prediction vector candidate
(第3の実施の形態の効果)
一般的に、画像間の距離が大きくなるほど画像間の動きの相関性は低くなるため、画像間の距離が大きい場合には処理対象ブロックと第2の候補ブロック群との相関性も低くなる。
(Effect of the third embodiment)
In general, as the distance between images increases, the correlation of motion between images decreases. Therefore, when the distance between images increases, the correlation between the processing target block and the second candidate block group also decreases.
本実施の形態によれば、処理対象画像と第2の候補ブロック群のある別の復号済みの画像間の距離が大きくなるほど所定閾サイズが小さくなるように制御することで、処理対象画像と第2の候補ブロック群のある別の復号済みの画像間の距離が大きくなるほど別の画像上の予測ブロックの動きベクトルの優先度を下げることで、予測ベクトルインデックスの符号化効率を向上させることができる。 According to the present embodiment, control is performed such that the predetermined threshold size decreases as the distance between the processing target image and another decoded image having the second candidate block group increases. By reducing the priority of the motion vector of the prediction block on another image as the distance between the other decoded images having the two candidate block groups increases, the encoding efficiency of the prediction vector index can be improved. .
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。 The moving image encoded stream output from the moving image encoding apparatus of the embodiment described above has a specific data format so that it can be decoded according to the encoding method used in the embodiment. Therefore, the moving picture decoding apparatus corresponding to the moving picture encoding apparatus can decode the encoded stream of this specific data format.
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。 When a wired or wireless network is used to exchange an encoded stream between a moving image encoding device and a moving image decoding device, the encoded stream is converted into a data format suitable for the transmission form of the communication path. It may be transmitted. In that case, a video transmission apparatus that converts the encoded stream output from the video encoding apparatus into encoded data in a data format suitable for the transmission form of the communication channel and transmits the encoded data to the network, and receives the encoded data from the network Then, a moving image receiving apparatus that restores the encoded stream and supplies the encoded stream to the moving image decoding apparatus is provided.
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。 The moving image transmitting apparatus is a memory that buffers the encoded stream output from the moving image encoding apparatus, a packet processing unit that packetizes the encoded stream, and transmission that transmits the packetized encoded data via the network. Part. The moving image receiving apparatus generates a coded stream by packetizing the received data, a receiving unit that receives the packetized coded data via a network, a memory that buffers the received coded data, and packet processing. And a packet processing unit provided to the video decoding device.
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。 The above processing relating to encoding and decoding can be realized as a transmission, storage, and reception device using hardware, and is stored in a ROM (Read Only Memory), a flash memory, or the like. It can also be realized by firmware or software such as a computer. The firmware program and software program can be recorded on a computer-readable recording medium, provided from a server through a wired or wireless network, or provided as a data broadcast of terrestrial or satellite digital broadcasting Is also possible.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
100 動画像符号化装置、 101 予測ブロック画像取得部、 102 減算部、 103 予測誤差符号化部、 104 符号列生成部、 105 予測誤差復号部、 106 動き補償部、 107 加算部、 108 動きベクトル検出部、 109 動き情報生成部、 110 フレームメモリ、 111 第1動き情報メモリ、 112 第2動き情報メモリ、 120 予測ベクトル候補リスト生成部、 121 予測ベクトル選択部、 122 減算部、 130 第1予測ベクトル候補リスト生成部、 131 結合判定部、 132 第2予測ベクトル候補リスト生成部、 133 予測ベクトル候補リスト決定部、 134 結合優先度判定部、 135 予測ベクトル候補リスト決定部、 200 動画像復号装置、 201 符号列解析部、 202 予測誤差復号部、 203 加算部、 204 動き情報再生部、 205 動き補償部、 206 フレームメモリ、 207 第1動き情報メモリ、 208 第2動き情報メモリ、 220 予測ベクトル候補リスト生成部、 221 予測ベクトル決定部、 222 加算部。
DESCRIPTION OF
Claims (6)
予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部と、
復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部と、
復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部と、
前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定部と、
前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部と、
前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部とを備えることを特徴とする動画像復号装置。 A video decoding device that performs motion compensation prediction with a plurality of block sizes,
A decoding unit that decodes information indicating a position of a motion vector predictor to be referred to in the prediction vector candidate list;
A first predictive vector candidate list generating unit that generates a first predictive vector candidate list including candidates for the first predictive motion vector from the motion vectors of one or more decoded blocks adjacent to the decoding target block;
A second prediction vector candidate list including a second prediction motion vector candidate is generated from a motion vector of a block at the same position as the decoding target block in the decoded image and one or more blocks adjacent to the block at the same position. A second prediction vector candidate list generation unit;
It is determined whether to generate a third prediction vector candidate list obtained by combining the first prediction vector candidate list and the second prediction vector candidate list based on a comparison result between the block size of the decoding target block and a predetermined threshold size. A combination determination unit to
When the block size of the decoding target block is larger than the predetermined threshold size, the third prediction vector candidate list is generated from the first prediction vector candidate list without combining the second prediction vector candidate lists. 3 prediction vector candidate list generation unit;
A video decoding device comprising: a prediction vector selection unit that selects a prediction motion vector of the block to be decoded from the third prediction vector candidate list based on information indicating a position of a prediction motion vector to be referred to .
予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部と、
復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部と、
復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部と、
前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成する際に前記第2予測ベクトル候補リストを前記第1予測ベクトル候補リストよりも前記第3予測ベクトル候補リスト上で優先する位置に配置するか否かを判定する結合判定部と、
前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを前記第1予測ベクトル候補リストよりも優先せずに前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部と、
前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部とを備えることを特徴とする動画像復号装置。 A video decoding device that performs motion compensation prediction with a plurality of block sizes,
A decoding unit that decodes information indicating a position of a motion vector predictor to be referred to in the prediction vector candidate list;
A first predictive vector candidate list generating unit that generates a first predictive vector candidate list including candidates for the first predictive motion vector from the motion vectors of one or more decoded blocks adjacent to the decoding target block;
A second prediction vector candidate list including a second prediction motion vector candidate is generated from a motion vector of a block at the same position as the decoding target block in the decoded image and one or more blocks adjacent to the block at the same position. A second prediction vector candidate list generation unit;
The second prediction vector candidate list is generated by combining the first prediction vector candidate list and the second prediction vector candidate list according to a comparison result between the block size of the decoding target block and a predetermined threshold size. A combination determination unit that determines whether or not to place a prediction vector candidate list at a position that is prioritized on the third prediction vector candidate list over the first prediction vector candidate list;
When the block size of the decoding target block is larger than the predetermined threshold size, the third prediction vector candidate list is generated without giving priority to the second prediction vector candidate list over the first prediction vector candidate list. 3 prediction vector candidate list generation unit;
A video decoding device comprising: a prediction vector selection unit that selects a prediction motion vector of the block to be decoded from the third prediction vector candidate list based on information indicating a position of a prediction motion vector to be referred to .
予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、
復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成ステップと、
復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成ステップと、
前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定ステップと、
前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成ステップと、
前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択ステップとを備えることを特徴とする動画像復号方法。 A video decoding method for performing motion compensation prediction with a plurality of block sizes,
A decoding step of decoding information indicating a position of a prediction motion vector to be referred to in the prediction vector candidate list;
A first prediction vector candidate list generation step for generating a first prediction vector candidate list including a first prediction motion vector candidate from motion vectors of one or more decoded blocks adjacent to the decoding target block;
A second prediction vector candidate list including a second prediction motion vector candidate is generated from a motion vector of a block at the same position as the decoding target block in the decoded image and one or more blocks adjacent to the block at the same position. A second prediction vector candidate list generation step;
It is determined whether to generate a third prediction vector candidate list obtained by combining the first prediction vector candidate list and the second prediction vector candidate list based on a comparison result between the block size of the decoding target block and a predetermined threshold size. A combination determination step to
When the block size of the decoding target block is larger than the predetermined threshold size, the third prediction vector candidate list is generated from the first prediction vector candidate list without combining the second prediction vector candidate lists. 3 prediction vector candidate list generation step;
A video decoding method comprising: a prediction vector selection step of selecting a prediction motion vector of the decoding target block from the third prediction vector candidate list based on information indicating a position of the prediction motion vector to be referred to .
予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、
復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成ステップと、
復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成ステップと、
前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定ステップと、
前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも大きい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成ステップと、
前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。 A video decoding program for performing motion compensation prediction with a plurality of block sizes,
A decoding step of decoding information indicating a position of a prediction motion vector to be referred to in the prediction vector candidate list;
A first prediction vector candidate list generation step for generating a first prediction vector candidate list including a first prediction motion vector candidate from motion vectors of one or more decoded blocks adjacent to the decoding target block;
A second prediction vector candidate list including a second prediction motion vector candidate is generated from a motion vector of a block at the same position as the decoding target block in the decoded image and one or more blocks adjacent to the block at the same position. A second prediction vector candidate list generation step;
It is determined whether to generate a third prediction vector candidate list obtained by combining the first prediction vector candidate list and the second prediction vector candidate list based on a comparison result between the block size of the decoding target block and a predetermined threshold size. A combination determination step to
When the block size of the decoding target block is larger than the predetermined threshold size, the third prediction vector candidate list is generated from the first prediction vector candidate list without combining the second prediction vector candidate lists. 3 prediction vector candidate list generation step;
A moving image that causes a computer to execute a prediction vector selection step of selecting a prediction motion vector of the decoding target block from the third prediction vector candidate list based on information indicating a position of a prediction motion vector to be referred to Image decoding program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011153230A JP2013021505A (en) | 2011-07-11 | 2011-07-11 | Moving image decoding device, moving image decoding method, and moving image decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011153230A JP2013021505A (en) | 2011-07-11 | 2011-07-11 | Moving image decoding device, moving image decoding method, and moving image decoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013021505A true JP2013021505A (en) | 2013-01-31 |
Family
ID=47692504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011153230A Withdrawn JP2013021505A (en) | 2011-07-11 | 2011-07-11 | Moving image decoding device, moving image decoding method, and moving image decoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013021505A (en) |
-
2011
- 2011-07-11 JP JP2011153230A patent/JP2013021505A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101832682B1 (en) | Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program | |
JP6079860B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
WO2013001803A1 (en) | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, and image decoding program | |
JP5835522B1 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP2013153431A (en) | Video decoding device, video decoding method, and video decoding program | |
WO2012120870A1 (en) | Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program | |
JP5880742B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP2013153434A (en) | Video decoding device, video decoding method, and video decoding program | |
JP2013021505A (en) | Moving image decoding device, moving image decoding method, and moving image decoding program | |
JP2013021504A (en) | Moving image encoding device, moving image encoding method, and moving image encoding program | |
JP2016015771A (en) | Dynamic picture image decoding device, dynamic picture image decoding method, dynamic picture image decoding program, receiving device, receiving method and receiving program | |
JP2013021613A (en) | Image decoder, image decoding method and image decoding program | |
JP2013021612A (en) | Image encoder, image encoding method and image encoding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |