JP2015180007A - Prediction mode selection method and prediction mode selection program - Google Patents

Prediction mode selection method and prediction mode selection program Download PDF

Info

Publication number
JP2015180007A
JP2015180007A JP2014057164A JP2014057164A JP2015180007A JP 2015180007 A JP2015180007 A JP 2015180007A JP 2014057164 A JP2014057164 A JP 2014057164A JP 2014057164 A JP2014057164 A JP 2014057164A JP 2015180007 A JP2015180007 A JP 2015180007A
Authority
JP
Japan
Prior art keywords
prediction mode
prediction
match
mode
probable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014057164A
Other languages
Japanese (ja)
Other versions
JP5749827B1 (en
Inventor
隆一 谷田
Ryuichi Tanida
隆一 谷田
正樹 北原
Masaki Kitahara
正樹 北原
真由子 渡邊
Mayuko Watanabe
真由子 渡邊
清水 淳
Atsushi Shimizu
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014057164A priority Critical patent/JP5749827B1/en
Application granted granted Critical
Publication of JP5749827B1 publication Critical patent/JP5749827B1/en
Publication of JP2015180007A publication Critical patent/JP2015180007A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a prediction mode selection method capable of further reducing a calculation cost by increasing the number of prediction modes requiring no processing.SOLUTION: A prediction mode selection method for video coding that omits cost calculation by previously obtaining prediction modes whose prediction residual costs are the same includes: a selection step of selecting at least one most probable prediction mode from prediction mode information on an adjacent block; a first prediction mode search step of acquiring a prediction mode number whose scan order does not agrees with that of the prediction mode number of the selected most probable prediction mode; a second prediction mode search step of acquiring a prediction mode number whose prediction image does not agrees with that of the prediction mode number of the selected most probable prediction mode; and a determination step of determining a prediction mode whose prediction processing is to be omitted on the basis of the prediction number whose scan order does not agree and the prediction number whose prediction image does not agree.

Description

本発明は、映像符号化の予測モードの選択を行う予測モード選択方法及び予測モード選択プログラムに関する。   The present invention relates to a prediction mode selection method and a prediction mode selection program for selecting a prediction mode for video coding.

H.264などの映像符号化規格では、符号化対象画像を小領域に分割し、分割領域(小領域)毎に予測モードおよび予測ブロックサイズを決定し、予測画像との残差を直交変換し、直交変換係数を予測モードおよび予測ブロックサイズ情報と共に符号化する方法が主流となっている。予測モードとしては、画面内情報から予測画像を生成するIntra予測と、既に符号化済みの別フレームから予測画像を生成するInter予測の2通りに大別される。   H. In a video encoding standard such as H.264, an encoding target image is divided into small regions, a prediction mode and a prediction block size are determined for each divided region (small region), and a residual with the predicted image is orthogonally transformed to be orthogonal A method of encoding transform coefficients together with prediction mode and prediction block size information has become mainstream. The prediction modes are roughly classified into two types: intra prediction for generating a prediction image from in-screen information and inter prediction for generating a prediction image from another already encoded frame.

Intra予測の例として、H.264のIntra4x4予測について説明する。図6は、H.264のintra4×4予測の一例を示す説明図である。H.264では、図6に示す通り、符号化対象ブロックに隣接する4つの符号化済みブロックA〜Dの13画素からIntra予測画像を作成する。Intra4x4予測は合計9種類のモードが存在する。図7は、9種類の予測モードを示す説明図である。図7に示すように隣接画素を矢印に示す方向にコピーするような形で各予測画像を作成する。Intra4x4予測では、これら9種類のモードから最も符号化効率の高いモードを選択し、そのモード番号と予測残差信号(予測画像と原画像の差分の情報)を符号化する。   As an example of Intra prediction, H. H.264 Intra4 × 4 prediction will be described. FIG. It is explanatory drawing which shows an example of H.264 intra4x4 prediction. H. In H.264, as shown in FIG. 6, an intra prediction image is created from 13 pixels of four encoded blocks A to D adjacent to the encoding target block. Intra4x4 prediction has a total of nine modes. FIG. 7 is an explanatory diagram showing nine types of prediction modes. As shown in FIG. 7, each predicted image is created in such a manner that adjacent pixels are copied in the direction indicated by the arrow. In Intra4 × 4 prediction, the mode with the highest coding efficiency is selected from these nine types of modes, and the mode number and the prediction residual signal (information on the difference between the predicted image and the original image) are encoded.

このうち、モード番号の符号化では、most probable mode(以下、MPMと称する)という概念を用いることで符号量を削減している。図6で示される隣接の符号化済みブロックA、Bで選択されたモード番号のうち、小さい方のモード番号をMPMと定義し、MPMと同じモード番号を選択した場合はヘッダ符号量が最小となる。図8は、H.264のintra4×4予測の一例を示す説明図である。図8に示すように左隣接ブロックAの予測モードがモード5、上隣接ブロックBの予測モードがモード2であったとき、MPMはモード2となる。そのため符号化対象ブロックでは、モード2を選択した場合が最もモード番号の符号量、即ちヘッダ符号量R_Hが小さくなる。   Among these, in the encoding of mode numbers, the amount of codes is reduced by using the concept of “most probable mode” (hereinafter referred to as MPM). Of the mode numbers selected in adjacent encoded blocks A and B shown in FIG. 6, the smaller mode number is defined as MPM, and when the same mode number as MPM is selected, the header code amount is minimum. Become. FIG. It is explanatory drawing which shows an example of H.264 intra4x4 prediction. As shown in FIG. 8, when the prediction mode of the left adjacent block A is mode 5 and the prediction mode of the upper adjacent block B is mode 2, the MPM is mode 2. Therefore, in the encoding target block, when mode 2 is selected, the code amount of the mode number, that is, the header code amount R_H is the smallest.

RD最適化法による予測モードおよび予測ブロックサイズ選択では、以下のようなコスト関数を用いて決定される方法が一般的である。
コスト=D+λ×(R_T+R_H) ・・・(1)
ここでDは歪み、R_Tは直交変換係数符号量(DCT係数符号量)、R_Hはヘッダ符号量、λは量子化幅や予測モードから決定される定数(ラグランジュ定数)である。(1)式のコスト関数を用い、各予測モードおよび予測ブロックサイズについてコストを算出し、コストが最も小さい予測モードと予測ブロックサイズの組み合わせを選ぶことで、符号化効率の高い映像圧縮を行うことができる。
In prediction mode and prediction block size selection by the RD optimization method, a method that is determined by using the following cost function is common.
Cost = D + λ × (R_T + R_H) (1)
Here, D is distortion, R_T is orthogonal transform coefficient code amount (DCT coefficient code amount), R_H is header code amount, and λ is a constant (Lagrange constant) determined from the quantization width and the prediction mode. Using the cost function of equation (1), calculating the cost for each prediction mode and prediction block size, and selecting a combination of the prediction mode and the prediction block size with the lowest cost, thereby performing video compression with high coding efficiency. Can do.

図9は、コスト関数によるIntra予測モード選択を行う装置(Intra予測モード判定部)の構成を示すブロック図である。本装置は、ヘッダコスト計算部1、制御部2、Intra予測画像生成部3、予測残差コスト計算部4、コスト計算部5、最小コスト判定部6から構成する。ヘッダコスト計算部1は、隣接ブロックの予測モード情報が入力されると、隣接ブロックの予測モード情報を元にヘッダコストR_Hを計算して出力する。制御部2は、全Intra予測モード番号を0から順に出力する。Intra予測画像生成部3は、入力された予測モード番号に関する予測画像を隣接画素を元に生成・出力する。   FIG. 9 is a block diagram illustrating a configuration of an apparatus (Intra prediction mode determination unit) that performs Intra prediction mode selection using a cost function. This apparatus includes a header cost calculation unit 1, a control unit 2, an Intra prediction image generation unit 3, a prediction residual cost calculation unit 4, a cost calculation unit 5, and a minimum cost determination unit 6. When the prediction mode information of the adjacent block is input, the header cost calculation unit 1 calculates and outputs a header cost R_H based on the prediction mode information of the adjacent block. The control unit 2 sequentially outputs all intra prediction mode numbers from 0. The intra predicted image generation unit 3 generates and outputs a predicted image related to the input prediction mode number based on adjacent pixels.

予測残差コスト計算部4は、Intra予測画像と原画像の差分から歪みDとDCT係数符号量R_Tを算出して出力する。コスト計算部5は、予測モード番号と量子化幅からλを計算し、このλと、入力されたヘッダコストR_H、歪みD、およびDCT係数符号量R_Tを用いて(1)式の計算に従いこの予測モードのコストを計算する。最小コスト判定部6は、予測モード番号とそれに対する予測モードコストを全ての予測モードに関して受信し、最も予測モードコストが小さい予測モード番号を求めて予測モードコストと共に出力する。   The prediction residual cost calculation unit 4 calculates and outputs the distortion D and the DCT coefficient code amount R_T from the difference between the Intra prediction image and the original image. The cost calculation unit 5 calculates λ from the prediction mode number and the quantization width, and uses this λ and the input header cost R_H, distortion D, and DCT coefficient code amount R_T according to the calculation of equation (1). Calculate the cost of prediction mode. The minimum cost determination unit 6 receives the prediction mode number and the prediction mode cost corresponding thereto for all prediction modes, obtains the prediction mode number having the smallest prediction mode cost, and outputs it together with the prediction mode cost.

次に、図10を参照して、図9に示す装置の処理動作を説明する。図10は、図9に示す装置の処理動作を示すフローチャートである。処理が始まると、全Intra予測モードnに対して次の反復処理(ステップS21〜S25)を行う。まず、ヘッダコスト計算部1は、対象予測モードnのヘッダ符号量R_Hを算出する(ステップS21)。また、Intra予測画像生成部3は、対象予測モードnのIntra予測画像を算出する(ステップS22)。続いて、予測残差コスト計算部4は、原画像との差分信号からDCT係数符号量R_Tと歪みDを算出する(ステップS23、S24)。そして、コスト計算部5は、(1)式を用いて対象予測モードnのコストを算出する(ステップS25)。次に、最小コスト判定部6は、以上の反復処理により求まった全Intra予測モードのコストを比較し、最もコストが小さかったモードをIntra予測モードに決定する(ステップS26)。   Next, the processing operation of the apparatus shown in FIG. 9 will be described with reference to FIG. FIG. 10 is a flowchart showing the processing operation of the apparatus shown in FIG. When the process starts, the next iterative process (steps S21 to S25) is performed for all intra prediction modes n. First, the header cost calculation unit 1 calculates the header code amount R_H of the target prediction mode n (step S21). Further, the Intra predicted image generation unit 3 calculates an Intra predicted image in the target prediction mode n (step S22). Subsequently, the prediction residual cost calculation unit 4 calculates the DCT coefficient code amount R_T and the distortion D from the difference signal from the original image (steps S23 and S24). And the cost calculation part 5 calculates the cost of object prediction mode n using (1) Formula (step S25). Next, the minimum cost determination unit 6 compares the costs of all intra prediction modes obtained by the above iterative process, and determines the mode with the lowest cost as the intra prediction mode (step S26).

しかし、多くの予測モードおよび予測ブロックサイズに対して上記コストを算出するには多くの演算量が必要である。特に歪みDとDCT係数符号量R_Tに関しては、予測残差に直交変換を施して符号量および歪みを求める必要があるため、非常に処理量が多い。そこで、符号化効率を可能な限り落とさずに処理量を削減する方法として、例えば特許文献1のような技術を利用する方法が考えられる。本方法は、異なる予測モードの間で予測画像が一致する予測モードを検出する技術である。予測画像が一致するモード同士は、(1)式の歪みDとDCT係数符号量R_Tが一致するため、これらの値は1回だけ計算して結果を共用することで、演算量を削減することができる。   However, a large amount of calculation is required to calculate the cost for many prediction modes and prediction block sizes. In particular, with respect to the distortion D and the DCT coefficient code amount R_T, since it is necessary to perform orthogonal transformation on the prediction residual to obtain the code amount and distortion, the processing amount is very large. Therefore, as a method for reducing the processing amount without reducing the encoding efficiency as much as possible, a method using a technique such as Patent Document 1 is conceivable. This method is a technique for detecting a prediction mode in which prediction images match between different prediction modes. In the modes in which the predicted images match, the distortion D in equation (1) and the DCT coefficient code amount R_T match, so these values are calculated only once and the result is shared to reduce the amount of calculation. Can do.

ところで、2013年に規格化された映像符号化標準HEVCでは、H.264と比較して予測ブロックサイズや予測モード、直交変換サイズの選択肢が大幅に増加した。ここでIntra予測に着目すると、予測ブロックサイズは4x4、8x8、16x16に加えて32x32の計4種類になり、予測モードは9種類だったのが35種類、直交変換サイズもこれまで4x4と8x8の2種類だったものが予測ブロックサイズ以下の最大4種類(4x4〜32x32)に増加した。なお、直交変換サイズ4x4と8x8については、符号化効率向上のため、予測モードに応じて予測残差係数のスキャン順が縦方向、横方向、斜め方向のいずれかが適用されるようになっている。例えば予測モードが6〜14の場合は縦方向スキャン、22〜30の場合は横方向スキャン、それ以外は斜め方向スキャンとなる。   Incidentally, in the video encoding standard HEVC standardized in 2013, H.264 Compared to H.264, the options for the prediction block size, prediction mode, and orthogonal transform size have increased significantly. Focusing on intra prediction here, the prediction block size is 4x4, 8x8, and 16x16 plus 4 types in total of 32x32, the prediction mode is 9 types, 35 types, and the orthogonal transform sizes are 4x4 and 8x8 so far. What was two types has increased to a maximum of four types (4 × 4 to 32 × 32) that are smaller than the predicted block size. For the orthogonal transform sizes 4x4 and 8x8, the scan order of the prediction residual coefficient is applied in the vertical direction, the horizontal direction, or the diagonal direction depending on the prediction mode in order to improve the coding efficiency. Yes. For example, when the prediction mode is 6 to 14, vertical scanning is performed, and when 22 to 30, horizontal scanning is performed. Otherwise, oblique scanning is performed.

上記従来技術の方法による高速化をHEVCに適用する場合、この4x4および8x8ブロックでは予測画像とスキャン順が共に一致する場合にのみ、歪みDとDCT係数符号量R_Tが一致するため、予測画像の他にスキャン順の一致も考慮する必要がある。   When the acceleration by the above-described prior art method is applied to HEVC, the distortion D and the DCT coefficient code amount R_T match only when the predicted image and the scan order match in the 4x4 and 8x8 blocks. In addition, it is necessary to consider the matching of scan order.

図11は、高速化手法を用いた装置(高速Intra予測モード判定部)の構成を示すブロック図である。図11において、図9に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図11に示す装置が図9に示す装置と異なる点は、制御部2に代えて、予測モード要否リスト生成部21と予測要否機能付き制御部22が設けられている点である。   FIG. 11 is a block diagram illustrating a configuration of an apparatus (high-speed intra prediction mode determination unit) that uses a high-speed technique. In FIG. 11, the same parts as those of the apparatus shown in FIG. 9 are denoted by the same reference numerals, and the description thereof is omitted. The apparatus shown in FIG. 11 is different from the apparatus shown in FIG. 9 in that a prediction mode necessity list generation unit 21 and a control unit 22 with a prediction necessity function are provided in place of the control unit 2.

予測モード要否リスト生成部21は、隣接ブロックの予測モード情報と隣接画素から予測モード要否リストを作成して出力する。予測要否機能付き制御部22は、予測モード要否リストを受け取ると、予測モードのうち「処理必要」とされた予測モードの番号のみを順番に出力する。   The prediction mode necessity list generation unit 21 creates and outputs a prediction mode necessity list from prediction mode information of adjacent blocks and adjacent pixels. Upon receipt of the prediction mode necessity list, the control unit with a prediction necessity function 22 outputs only the prediction mode numbers that are “process required” among the prediction modes in order.

次に、図12を参照して、図11に示す装置の処理動作を説明する。図12は、図11に示す装置の処理動作を示すフローチャートである。図12において、図10に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。処理が始まると、予測モード要否リスト生成部21は、全Intra予測モードのうち、処理が必要なモードと不要なモードを判断して予測モード要否リストを作成して出力する(ステップS31)。そして、予測要否機能付き制御部22は、予測モード要否リストを参照して、「処理必要」と判断されたIntra予測モードについてのみ、図10に示す処理動作と同様の処理動作に従ってコストを算出し、最も予測モードコストが小さかったモードをIntra予測モードに決定する(ステップS21〜S26)。   Next, the processing operation of the apparatus shown in FIG. 11 will be described with reference to FIG. FIG. 12 is a flowchart showing the processing operation of the apparatus shown in FIG. In FIG. 12, the same reference numerals are given to the same portions as the processing operation shown in FIG. 10, and the description thereof is omitted. When the process starts, the prediction mode necessity list generation unit 21 determines a mode that requires processing and an unnecessary mode among all intra prediction modes, and creates and outputs a prediction mode necessity list (step S31). . Then, the control unit with a prediction necessity function 22 refers to the prediction mode necessity list, and only costs the intra prediction mode determined to be “processing necessary” according to the processing operation similar to the processing operation illustrated in FIG. The mode with the lowest prediction mode cost calculated is determined as the Intra prediction mode (steps S21 to S26).

次に、図13を参照して、図11に示す予測モード要否リスト生成部21の内部構成を説明する。図13は、図11に示す予測モード要否リスト生成部21の内部構成を示すブロック図である。予測モード要否リスト生成部21は、スキャン順一致リスト出力部211、予測画像一致判定部212、2集合合成部213、ヘッダコスト計算部214、最小ヘッダコスト判定部215、予測モード要否リスト保持部216から構成する。   Next, the internal configuration of the prediction mode necessity list generation unit 21 shown in FIG. 11 will be described with reference to FIG. FIG. 13 is a block diagram showing an internal configuration of the prediction mode necessity list generation unit 21 shown in FIG. The prediction mode necessity list generation unit 21 includes a scan order match list output unit 211, a prediction image match determination unit 212, a two-set synthesis unit 213, a header cost calculation unit 214, a minimum header cost determination unit 215, and a prediction mode necessity list holding. Part 216.

スキャン順一致リスト出力部211は、スキャン順が一致するモードのリストを予め保持しており、スキャン順一致モードリストとして出力する。予測画像一致判定部212は、隣接画素から予測画像が一致するモードを求め、予測画像一致モードリストを作成して出力する。2集合合成部213は、入力された二つのリストを合成し、両リストとも共通するモードの組を求めて出力する。図15は、一致モードリストの一例を示す説明図である。図16は、予測画像一致かつスキャン順一致モードの組の一例を示す説明図である。図15に示すスキャン順一致モードリストと予測画像一致モードリストが入力された場合、2集合合成部213は、図16の表に示す組を求め、1組から順番に、この組に所属するモード番号一式を出力する。   The scan order match list output unit 211 holds in advance a list of modes that match the scan order, and outputs the list as a scan order match mode list. The predicted image match determination unit 212 obtains a mode in which the predicted image matches from adjacent pixels, and creates and outputs a predicted image match mode list. The two-set combining unit 213 combines the two input lists and obtains and outputs a set of modes that are common to both lists. FIG. 15 is an explanatory diagram of an example of the matching mode list. FIG. 16 is an explanatory diagram illustrating an example of a set of predicted image matching and scan order matching modes. When the scan order match mode list and the predicted image match mode list shown in FIG. 15 are input, the two-set combining unit 213 obtains the pairs shown in the table of FIG. Output a set of numbers.

ヘッダコスト計算部214は、予測モード番号が入力されると、隣接ブロックの予測モード情報を元に、入力された予測モード番号に対するヘッダ符号量R_Hを計算して出力する。最小ヘッダコスト判定部215は、2集合合成部213から送られるモード番号の組について、各予測モードのヘッダコストをヘッダコスト計算部214に問い合わせ、この組の中で最もヘッダコストが小さい予測モードの番号を出力する。   When the prediction mode number is input, the header cost calculation unit 214 calculates and outputs a header code amount R_H for the input prediction mode number based on the prediction mode information of the adjacent block. The minimum header cost determination unit 215 inquires the header cost calculation unit 214 for the header cost of each prediction mode for the set of mode numbers sent from the two-set combining unit 213, and the prediction mode with the smallest header cost in this set. Print the number.

予測モード要否リスト保持部216は、全予測モードに対する予測モード処理の要否判定結果を保持および出力する。処理開始時点では、保持された全予測モードの要否判定結果は「処理不要」となっている。予測モード要否リスト保持部216は、最小ヘッダコスト判定部215から最小ヘッダコストの予測モード番号を受けると、保持されている対象予測モードの要否判定結果を「処理必要」に変更する。   The prediction mode necessity list holding unit 216 holds and outputs the necessity determination result of the prediction mode process for all prediction modes. At the start of processing, the necessity determination result of all the prediction modes held is “processing unnecessary”. When the prediction mode necessity list holding unit 216 receives the prediction mode number of the minimum header cost from the minimum header cost determination unit 215, the prediction mode necessity list holding unit 216 changes the held necessity prediction result of the target prediction mode to “processing required”.

次に、図14を参照して、図13に示す予測モード要否リスト生成部21の処理動作を説明する。図14は、図13に示す予測モード要否リスト生成部21の処理動作を示すフローチャートである。処理が始まると、まず予測モード要否リスト保持部216は、予測モード要否リストの全モードを「処理不要」に設定する(ステップS41)。   Next, the processing operation of the prediction mode necessity list generation unit 21 shown in FIG. 13 will be described with reference to FIG. FIG. 14 is a flowchart showing the processing operation of the prediction mode necessity list generation unit 21 shown in FIG. When the process starts, first, the prediction mode necessity list holding unit 216 sets all the modes in the prediction mode necessity list to “processing unnecessary” (step S41).

次に、スキャン順一致リスト出力部211は、スキャン順が一致するモードの組を求める(ステップS42)。これと並行して、予測画像一致判定部212は、予測画像が一致するモードの組を求める(ステップS43)。これらの処理によって求められた一致モードリストを図15に示す。簡単のため、予測モードはモード1〜12の12種類とした場合の例を示している。図15に示す上の表は予測画像一致モードリストの例で、モード1〜5の予測画像、およびモード6〜10の予測画像がそれぞれ等しい場合の結果を示す。この場合、実質的に予測画像はパターン1〜4の4種類しか無いことになる。図15に示す下の表はスキャン順一致モードリストの例で、モード1〜3、6、7、11のスキャン順がそれぞれ等しく、またモード4、5、8〜10、12のスキャン順が等しい場合の例を示す。   Next, the scan order match list output unit 211 obtains a set of modes whose scan orders match (step S42). In parallel with this, the predicted image match determination unit 212 obtains a set of modes in which the predicted images match (step S43). FIG. 15 shows the matching mode list obtained by these processes. For simplicity, an example in which the prediction mode is 12 types of modes 1 to 12 is shown. The upper table shown in FIG. 15 is an example of the predicted image matching mode list, and shows results when the predicted images of modes 1 to 5 and the predicted images of modes 6 to 10 are equal. In this case, there are substantially only four types of predicted images of patterns 1 to 4. The lower table shown in FIG. 15 is an example of the scan order coincidence mode list. The scan orders of modes 1 to 3, 6, 7, and 11 are the same, and the scan orders of modes 4, 5, 8 to 10, and 12 are the same. An example of the case is shown.

次に、2集合合成部213は、この分類を元にスキャン順も予測画像も一致する予測モードの組を求め、それを組Sとする(ステップS44)。次に、ヘッダコスト計算部214は、この組Sに属する各予測モードのヘッダ符号量R_Hを算出する(ステップS45)。そして、最小ヘッダコスト判定部215は、これらSに属する予測モードのうち、最もヘッダ符号量が少ない予測モードを求める。そして、予測モード要否リスト保持部216は、最もヘッダ符号量が少ない予測モードについて、予測モード要否リストの項目を「処理必要」に変更する(ステップS46)。   Next, the two-set synthesizing unit 213 obtains a set of prediction modes in which the scan order and the prediction image match based on this classification, and sets it as a set S (step S44). Next, the header cost calculation unit 214 calculates the header code amount R_H of each prediction mode belonging to the set S (step S45). And the minimum header cost determination part 215 calculates | requires the prediction mode with few header code amounts among the prediction modes which belong to these S. Then, the prediction mode necessity list holding unit 216 changes the item of the prediction mode necessity list to “processing necessary” for the prediction mode with the smallest header code amount (step S46).

図17は、本処理による予測モード要否リストの結果の一例を示す図である。図15に示す例を、スキャン順も予測画像も一致する組に分けると図17に示す上の表に示す6組に分類される。このうち、各組で最もヘッダ符号量が少ない予測モードに丸印を付けている。同一組の予測モードは(1)式のうち歪みDとDCT係数符号量R_Tが等しくなるため、ヘッダ符号量R_Hの大小がそのままコストの大小となる。従って、各組では丸印が付いているモードのコストが最も小さいことが分かり、それ以外の予測モードのコストは計算する必要がない。この結果をリスト化したのが下の予測モード要否リストである。符号化の際は、本表で「要」と書かれたモードのみコスト計算を行うことで、符号化効率を維持しつつ演算量を抑えることができる。   FIG. 17 is a diagram illustrating an example of a result of the prediction mode necessity list according to this process. If the example shown in FIG. 15 is divided into a set in which the scan order and the predicted image match, it is classified into six sets shown in the upper table shown in FIG. Among these, the prediction mode with the smallest header code amount in each group is circled. In the same set of prediction modes, the distortion D and the DCT coefficient code amount R_T in the equation (1) are equal, so the size of the header code amount R_H is directly the cost. Therefore, it can be seen that the cost of the mode with a circle is the smallest in each group, and the cost of the other prediction modes does not need to be calculated. A list of the results is a prediction mode necessity list below. At the time of encoding, the amount of calculation can be suppressed while maintaining the encoding efficiency by performing the cost calculation only for the modes marked “necessary” in this table.

次に、他の高速化手法の例を説明する。図18は、他の高速化手法を実現する装置(高速Intra予測モード判定部)の構成を示すブロック図である。図18において、図11に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図18に示す装置が図11に示す装置と異なる点は、予測要否機能付き制御部22に代えて、制御部2と要否判定部23が設けられている点である。   Next, another example of the speed-up method will be described. FIG. 18 is a block diagram illustrating a configuration of an apparatus (high-speed intra prediction mode determination unit) that realizes another high-speed technique. In FIG. 18, the same parts as those in the apparatus shown in FIG. The apparatus shown in FIG. 18 differs from the apparatus shown in FIG. 11 in that a control unit 2 and a necessity determination unit 23 are provided instead of the control unit 22 with a prediction necessity function.

制御部2は予測モード番号を出力する。要否判定部23は、予測モード要否リスト生成部21から送られてくる予測モード要否リストを元に、制御部2から送られてくる予測モード番号の要否を判定する。要否判定部23は、「処理必要」と判断された予測モード番号は出力するが、「処理不要」と判断された予測モード番号は出力しない。   The control unit 2 outputs a prediction mode number. The necessity determination unit 23 determines the necessity of the prediction mode number sent from the control unit 2 based on the prediction mode necessity list sent from the prediction mode necessity list generation unit 21. The necessity determination unit 23 outputs the prediction mode number determined as “processing required”, but does not output the prediction mode number determined as “processing unnecessary”.

次に、図19を参照して、図18に示す装置の処理動作を説明する。図19は、図18に示す装置の処理動作を示すフローチャートである。図19において、図12に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。処理が始まると、予測モード要否リスト生成部21は、全Intra予測モードのうち、処理が必要なモードと不要なモードを判断して予測モード要否リストを作成して出力する(ステップS31)。そして、ステップS32、ステップS21〜S25の反復処理を行う。要否判定部23は、対象予測モードの処理が必要か否かを要否結果を元に判定する(ステップS32)。この判定の結果、必要と判定された場合は、ステップS21〜S25の処理を実行する。一方、処理が不要と判定された場合にはステップS21〜S25の処理を行わず、次の予測モードの反復処理に移る。この処理動作によって、処理の高速化を実現することができる。   Next, the processing operation of the apparatus shown in FIG. 18 will be described with reference to FIG. FIG. 19 is a flowchart showing the processing operation of the apparatus shown in FIG. In FIG. 19, the same parts as those in the processing operation shown in FIG. When the process starts, the prediction mode necessity list generation unit 21 determines a mode that requires processing and an unnecessary mode among all intra prediction modes, and creates and outputs a prediction mode necessity list (step S31). . Then, iterative processing of step S32 and steps S21 to S25 is performed. The necessity determination unit 23 determines whether or not the processing of the target prediction mode is necessary based on the necessity result (step S32). As a result of this determination, if it is determined that it is necessary, the processes of steps S21 to S25 are executed. On the other hand, if it is determined that the process is unnecessary, the process of steps S21 to S25 is not performed, and the process proceeds to the next prediction mode iterative process. By this processing operation, the processing speed can be increased.

特許第4797009号公報Japanese Patent No. 479709

前述したように、HEVCでは、予測画像とスキャン順が共に一致したモードしか処理の削減ができない。このため、特許文献1に記載の予測モード選択方法にあっては、削減できる処理が限定されてしまい、演算コストを削減することができないという問題がある。   As described above, in HEVC, processing can be reduced only in a mode in which both the predicted image and the scan order match. For this reason, in the prediction mode selection method described in Patent Document 1, there is a problem that processing that can be reduced is limited, and calculation cost cannot be reduced.

本発明は、このような事情に鑑みてなされたもので、処理が不要な予測モードを増やすことによって、演算コストをより削減することができる予測モード選択方法及び予測モード選択プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and provides a prediction mode selection method and a prediction mode selection program that can further reduce the calculation cost by increasing the number of prediction modes that do not require processing. Objective.

本発明は、予測残差コストが等しくなる予測モードを事前に求めてコスト計算を省略する映像符号化の予測モード選択方法であって、隣接ブロックの予測モード情報から最有力予測モードを少なくとも1つ選択する選択ステップと、選択した前記最有力予測モードの予測モード番号とスキャン順が一致しない予測モード番号を求める第1の予測モード探索ステップと、選択した前記最有力予測モードの予測モード番号と予測画像が一致しない予測モード番号を求める第2の予測モード探索ステップと、スキャン順が一致しない前記予測モード番号と、予測画像が一致しない前記予測モード番号に基づいて、予測処理を省略すべき予測モードを判定する判定ステップとを有することを特徴とする。   The present invention is a video encoding prediction mode selection method in which prediction modes in which prediction residual costs are equal are obtained in advance and cost calculation is omitted, and at least one of the most powerful prediction modes is selected from prediction mode information of adjacent blocks. A selection step for selecting, a first prediction mode search step for obtaining a prediction mode number in which the scan order does not match the prediction mode number of the selected most powerful prediction mode, and the prediction mode number and prediction of the selected most powerful prediction mode A second prediction mode search step for obtaining a prediction mode number in which images do not match, a prediction mode in which prediction processing should be omitted based on the prediction mode number in which the scan order does not match and the prediction mode number in which the prediction images do not match And a determination step for determining the above.

本発明は、予測残差コストが等しくなる予測モードを事前に求めてコスト計算を省略する映像符号化の予測モード選択方法であって、予測モードを予め複数のグループにグループ化しておくグループ化ステップと、隣接ブロックの予測モード情報から最有力予測モードを少なくとも1つ選択する選択ステップと、選択した前記最有力予測モードの予測モード番号と前記グループ化の所属グループが一致しない予測モード番号を求める第1の予測モード探索ステップと、選択した前記最有力予測モードの予測モード番号と予測画像が一致しない予測モード番号を求める第2の予測モード探索ステップと、所属グループが一致しない前記予測モード番号と、予測画像が一致しない前記予測モード番号に基づいて、予測処理を省略すべき予測モードを判定する判定ステップとを有することを特徴とする。   The present invention relates to a prediction mode selection method for video coding in which a prediction mode in which prediction residual costs are equal is obtained in advance and cost calculation is omitted, and the prediction mode is grouped into a plurality of groups in advance. A selection step of selecting at least one of the most probable prediction modes from the prediction mode information of adjacent blocks; and a step of obtaining a prediction mode number in which the selected prediction mode number of the most probable prediction mode does not match the group to which the group belongs A first prediction mode search step, a second prediction mode search step for obtaining a prediction mode number in which the prediction mode number of the selected most probable prediction mode and the prediction image do not match, and the prediction mode number in which the group does not match, Prediction mode in which prediction processing should be omitted based on the prediction mode number where the prediction images do not match And having a determining step.

本発明は、前記判定ステップでは、前記スキャン順と前記予測画像が共に一致しない、または前記所属グループと前記予測画像が共に一致しない前記予測モードを省略する予測モードとして判定することを特徴とする。   The present invention is characterized in that, in the determination step, the prediction mode in which the scan order and the predicted image do not coincide with each other, or the prediction mode in which the belonging group and the predicted image do not coincide with each other is omitted is determined as a prediction mode.

本発明は、前記判定ステップでは、前記スキャン順が一致しない予測モードを省略する予測モードとして判定することを特徴とする。   The present invention is characterized in that, in the determination step, a prediction mode in which the scan order does not match is determined as a prediction mode that omits the prediction mode.

本発明は、前記判定ステップでは、前記予測画像または前記所属するグループが一致しない予測モードを省略する予測モードとして判定することを特徴とする。   The present invention is characterized in that, in the determining step, a prediction mode in which the prediction image or the group to which the group belongs does not match is determined as a prediction mode.

本発明は、前記選択ステップでは、前記隣接ブロックの複数の予測モードを全て選択するか、あるいは最頻出となる予測モード1つを選択することにより前記最有力予測モードを選択することを特徴とする。   The present invention is characterized in that, in the selection step, the most probable prediction mode is selected by selecting all of the plurality of prediction modes of the adjacent block or by selecting one prediction mode that appears most frequently. .

本発明は、前記選択ステップでは、前記隣接ブロックから求められるmost probable modeの1つもしくは全てを求めることにより前記最有力予測モードを選択することを特徴とする。   The present invention is characterized in that, in the selection step, the most probable prediction mode is selected by obtaining one or all of the most probable modes obtained from the adjacent blocks.

本発明は、コンピュータに、前記予測モード選択方法を実行させるための予測モード選択プログラムである。   The present invention is a prediction mode selection program for causing a computer to execute the prediction mode selection method.

本発明によれば、従来技術に比べて「処理不要」と判定される予測モードを増やすことができるため、演算コストをより削減することができるという効果が得られる。   According to the present invention, the number of prediction modes determined as “processing unnecessary” can be increased as compared with the prior art, so that it is possible to further reduce the calculation cost.

本発明の第1実施形態の装置構成を示すブロック図である。It is a block diagram which shows the apparatus structure of 1st Embodiment of this invention. 処理結果の一例を示す説明図である。It is explanatory drawing which shows an example of a process result. 図1に示す装置の処理動作を示すフローチャートである。It is a flowchart which shows the processing operation of the apparatus shown in FIG. 本発明の第2実施形態の装置構成を示すブロック図である。It is a block diagram which shows the apparatus structure of 2nd Embodiment of this invention. 図4に示す装置の処理動作を示すフローチャートである。5 is a flowchart showing a processing operation of the apparatus shown in FIG. H.264のintra4×4予測の一例を示す説明図である。H. It is explanatory drawing which shows an example of H.264 intra4x4 prediction. 9種類の予測モードを示す説明図である。It is explanatory drawing which shows nine types of prediction modes. H.264のintra4×4予測の一例を示す説明図である。H. It is explanatory drawing which shows an example of H.264 intra4x4 prediction. コスト関数によるIntra予測モード選択を行う装置(Intra予測モード判定部)の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus (Intra prediction mode determination part) which performs Intra prediction mode selection by a cost function. 図9に示す装置の処理動作を示すフローチャートである。10 is a flowchart showing a processing operation of the apparatus shown in FIG. 9. 高速化手法を用いた装置(高速Intra予測モード判定部)の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus (high-speed intra prediction mode determination part) using the speed-up method. 図11に示す装置の処理動作を示すフローチャートである。It is a flowchart which shows the processing operation of the apparatus shown in FIG. 図11に示す予測モード要否リスト生成部21の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the prediction mode necessity list production | generation part 21 shown in FIG. 図13に示す予測モード要否リスト生成部21の処理動作を示すフローチャートである。It is a flowchart which shows the processing operation of the prediction mode necessity list production | generation part 21 shown in FIG. 一致モードリストの一例を示す説明図である。It is explanatory drawing which shows an example of a matching mode list | wrist. 予測画像一致かつスキャン順一致モードの組の一例を示す説明図である。It is explanatory drawing which shows an example of the group of a prediction image coincidence and scan order coincidence mode. 予測モード要否リストの結果の一例を示す図である。It is a figure which shows an example of the result of a prediction mode necessity list. 他の高速化手法を実現する装置(高速Intra予測モード判定部)の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus (high-speed intra prediction mode determination part) which implement | achieves other speed-up methods. 図18に示す装置の処理動作を示すフローチャートである。It is a flowchart which shows the processing operation of the apparatus shown in FIG.

以下、本発明の実施形態による予測モード選択方法を説明する。始めに、本発明の予測モード選択方法の原理について説明する。本発明の予測モード選択方法は、隣接ブロックの予測モード情報から1つもしくは複数の予測モード番号を求める機能と、求めた1つもしくは複数の予測モード番号とスキャン順が一致しないモード番号を求める機能と、求めた1つもしくは複数の予測モード番号と予測画像が一致しないモード番号を求める機能を有する。そして、スキャン順が一致しないモード番号と予測画像が一致しないモード番号を元に「処理不要」とする予測モードを判断する機能を新たに追加する。   Hereinafter, a prediction mode selection method according to an embodiment of the present invention will be described. First, the principle of the prediction mode selection method of the present invention will be described. The prediction mode selection method of the present invention has a function for obtaining one or a plurality of prediction mode numbers from prediction mode information of adjacent blocks, and a function for obtaining a mode number whose scan order does not coincide with the obtained one or more prediction mode numbers. And a function for obtaining a mode number in which one or a plurality of obtained prediction mode numbers do not match the predicted image. Then, a function for determining a prediction mode for “processing unnecessary” based on a mode number that does not match the scan order and a mode number that does not match the prediction image is newly added.

隣接ブロックの予測モード情報から1つもしくは複数のモード番号を求める機能の具体例としては、例えば隣接ブロックの予測モードのいずれか一つ、または全てを求める機能である。いずれか一つを絞る方法としては、例えば最頻出のモードや、最もモード番号が小さいモードが挙げられる。別の具体例としては、隣接ブロックから求められるMPMの1つもしくは全てを求める機能である。また、いずれか一つを絞る方法としては、例えば最もモード番号が小さいモードが挙げられる。   A specific example of the function for obtaining one or a plurality of mode numbers from the prediction mode information of the adjacent block is, for example, a function for obtaining any one or all of the prediction modes of the adjacent blocks. As a method of narrowing down any one, for example, the most frequent mode or the mode with the smallest mode number can be cited. Another specific example is a function for obtaining one or all of MPMs obtained from adjacent blocks. Moreover, as a method of narrowing down any one, the mode with the smallest mode number is mentioned, for example.

スキャン順が一致しないモード番号と予測画像が一致しないモード番号を元に「処理不要」とする予測モードを判断する機能の具体例としては、例えば、スキャン順も予測画像も共に一致しない予測モードを「処理不要」な予測モードと判断する。あるいは、スキャン順が一致しないモードのみ「処理不要」な予測モードと判断する。あるいは、予測画像が一致しない予測モードのみ「処理不要」な予測モードと判断する。あるいは、従来法ではスキャン順と予測画像の一致から判断しているが、このうちスキャン順による区分の代わりに、予測方向でグループ化し、予測方向グループが一致しているか否かを判断基準とする。   As a specific example of the function for determining the prediction mode to be “processing unnecessary” based on the mode number in which the scan order does not match and the mode number in which the prediction image does not match, for example, a prediction mode in which neither the scan order nor the prediction image matches It is determined that the prediction mode is “processing unnecessary”. Alternatively, only a mode in which the scan order does not match is determined as a prediction mode that does not require processing. Alternatively, only the prediction mode in which the prediction images do not match is determined as the prediction mode “processing unnecessary”. Alternatively, in the conventional method, the determination is based on the match between the scan order and the predicted image, but instead of the classification based on the scan order, the prediction direction is grouped, and whether or not the prediction direction groups match is used as a determination criterion. .

<第1実施形態>
次に、本発明の第1実施形態による予測モード選択方法を説明する。図1は同実施形態の装置構成を示すブロック図である。この図において、図13に示す従来の装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、最有力モード番号判定部217、2つの不一致モード照合部218、219、不要モード追加判定部220、予測モード要否リスト保持更新部221が設けられている点である。
<First Embodiment>
Next, a prediction mode selection method according to the first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a device configuration of the embodiment. In this figure, the same parts as those of the conventional apparatus shown in FIG. The apparatus shown in this figure is different from the conventional apparatus in that a most powerful mode number determination unit 217, two mismatch mode collation units 218 and 219, an unnecessary mode addition determination unit 220, and a prediction mode necessity list holding / updating unit 221 are provided. This is the point.

最有力モード番号判定部217は、隣接ブロックの予測モード情報からMPMを求め、最有力モード番号として出力する。不一致モード照合部218は、最有力モード番号とスキャン順一致モードリストを入力とし、リスト中で最有力モード番号と別のカテゴリに区分されている予測モード番号を出力する。不一致モード照合部218は、スキャン順一致モードリストを入力した場合には、最有力モード番号とスキャン順が異なる予測モード番号を出力する。不一致モード照合部219は、最有力モード番号と予測画像一致モードリストを入力とし、リスト中で最有力モード番号と別のカテゴリに区分されている予測モード番号を出力する。不一致モード照合部219は、予測画像一致モードリストを入力した場合には、最有力モード番号と予測画像が異なる予測モード番号を出力する。   The most probable mode number determination unit 217 obtains the MPM from the prediction mode information of the adjacent block, and outputs it as the most probable mode number. The inconsistent mode collating unit 218 receives the most probable mode number and the scan order coincidence mode list as inputs, and outputs prediction mode numbers that are classified into categories different from the most probable mode number in the list. When the scan order match mode list is input, the mismatch mode check unit 218 outputs a prediction mode number whose scan order is different from the most probable mode number. The mismatch mode collating unit 219 receives the most probable mode number and the predicted image match mode list as inputs, and outputs the prediction mode numbers that are classified in a different category from the most probable mode number in the list. When the predicted image match mode list is input, the mismatch mode check unit 219 outputs a prediction mode number in which the most probable mode number and the predicted image are different.

不要モード追加判定部220は、入力された2つの予測モード一覧についてその論理積を求めることにより不要予測モード番号の一覧を求める。予測モード要否リスト保持更新部221は、全予測モードに対する予測モード処理の要否判定結果を保持および出力する。処理開始時点では、保持された全予測モードの要否判定結果は「処理不要」となっている。最小ヘッダコスト判定部215から最小ヘッダコストの予測モード番号を受けると、保持されている当該予測モードの要否判定結果を「処理必要」に変更する。また、不要モード追加判定部220からモード番号を受け取ると、保持されている予測モードの要否判定結果を「処理不要」に変更する。なお、最小ヘッダコスト判定部215から入力されるモード番号と不要モード追加判定部220から同じモード番号が入力された場合には、不要モード追加判定部220の結果を優先とし、「処理不要」に変更する。   The unnecessary mode addition determination unit 220 obtains a list of unnecessary prediction mode numbers by obtaining a logical product of the two input prediction mode lists. The prediction mode necessity list holding / updating unit 221 holds and outputs the necessity determination result of the prediction mode process for all prediction modes. At the start of processing, the necessity determination result of all the prediction modes held is “processing unnecessary”. When the prediction mode number of the minimum header cost is received from the minimum header cost determination unit 215, the necessity determination result of the prediction mode held is changed to “processing required”. Further, when the mode number is received from the unnecessary mode addition determination unit 220, the necessity determination result of the held prediction mode is changed to “processing unnecessary”. When the mode number input from the minimum header cost determination unit 215 and the same mode number are input from the unnecessary mode addition determination unit 220, the result of the unnecessary mode addition determination unit 220 is prioritized and “processing unnecessary” is set. change.

図1に示す予測モード要否リスト生成部21では、隣接ブロックの予測モード情報から1つもしくは複数のモード番号を求める機能として、MPMのスキャン順全てを用いるものとする。また、スキャン順が一致しないモード番号と予測画像が一致しないモード番号を元に「処理不要」とする予測モードを判断する機能として、スキャン順も予測画像も共に一致しない予測モードを「処理不要」な予測モードと判断するものとする。   In the prediction mode necessity list generation unit 21 shown in FIG. 1, all MPM scan orders are used as a function for obtaining one or a plurality of mode numbers from prediction mode information of adjacent blocks. In addition, as a function of determining a prediction mode that “does not require processing” based on a mode number that does not match the scanning order and a mode number that does not match the prediction image, a prediction mode that does not match both the scanning order and the prediction image is “processing unnecessary”. It is assumed that the prediction mode is correct.

例えば、図1に示す予測モード要否リスト生成部21に対して図15に示す予測画像一致モードリストとスキャン順一致モードリストの組が入力され、MPMが9だった場合の判定結果を図2に示す。図2は、処理結果の一例を示す説明図である。従来技術では「処理必要」と判断されていた予測モードのうち、モード1とモード11はスキャン順、予測画像ともMPMと異なるため「処理不要」と判断されることになる。   For example, the prediction mode necessity list generation unit 21 shown in FIG. 1 receives the set of the predicted image match mode list and the scan order match mode list shown in FIG. Shown in FIG. 2 is an explanatory diagram illustrating an example of a processing result. Of the prediction modes that have been determined to be “processing required” in the prior art, mode 1 and mode 11 are determined to be “processing unnecessary” because both the scan order and the predicted image are different from MPM.

次に、図3を参照して、図1に示す装置の処理動作を説明する。図3は、図1に示す装置の処理動作を示すフローチャートである。処理が始まると、まず予測モード要否リスト保持更新部221は、予測モード要否リストの全モードを「処理不要」に設定する(ステップS1)。   Next, the processing operation of the apparatus shown in FIG. 1 will be described with reference to FIG. FIG. 3 is a flowchart showing the processing operation of the apparatus shown in FIG. When the process starts, the prediction mode necessity list holding / updating unit 221 first sets all the modes in the prediction mode necessity list to “processing unnecessary” (step S1).

次に、スキャン順一致リスト出力部211は、スキャン順が一致するモードの組を求める(ステップS2)。これと並行して、予測画像一致判定部212は、予測画像が一致するモードの組を求める(ステップS3)。   Next, the scan order match list output unit 211 obtains a set of modes whose scan orders match (step S2). In parallel with this, the predicted image match determination unit 212 obtains a set of modes in which the predicted images match (step S3).

次に、2集合合成部213は、この分類を元にスキャン順も予測画像も一致する予測モードの組を求め、それを組Sとする(ステップS4)。次に、ヘッダコスト計算部214は、この組Sに属する各予測モードのヘッダ符号量R_Hを算出する(ステップS5)。   Next, the two-set combining unit 213 obtains a set of prediction modes in which the scan order and the prediction image match based on this classification, and sets it as a set S (step S4). Next, the header cost calculation unit 214 calculates the header code amount R_H of each prediction mode belonging to the set S (step S5).

次に、最小ヘッダコスト判定部215は、これらSに属する予測モードのうち、最もヘッダ符号量が少ない予測モードを求める。そして、予測モード要否リスト保持部216は、最もヘッダ符号量が少ない予測モードについて、予測モード要否リストの項目を「処理必要」に変更する(ステップS6)。   Next, the minimum header cost determination unit 215 obtains the prediction mode with the smallest header code amount among the prediction modes belonging to S. Then, the prediction mode necessity list holding unit 216 changes the item of the prediction mode necessity list to “processing necessary” for the prediction mode with the smallest header code amount (step S6).

次に、不一致モード照合部218は、最有力モード番号とスキャン順一致モードリストを入力し、最有力モード番号とスキャン順が異なる予測モード番号を出力する。また、不一致モード照合部219は、最有力モード番号と予測画像一致モードリストを入力し、最有力モード番号と予測画像が異なる予測モード番号を出力する。   Next, the inconsistent mode collating unit 218 inputs the most probable mode number and the scan order coincidence mode list, and outputs a prediction mode number having a different scan order from the most probable mode number. Further, the mismatch mode matching unit 219 receives the most probable mode number and the predicted image match mode list, and outputs a prediction mode number in which the most probable mode number and the predicted image are different.

次に、不要モード追加判定部220は、入力された2つの予測モード一覧についてその論理積を求めることにより不要予測モード番号の一覧を求めて出力する。これを受けて、予測モード要否リスト保持更新部221は、予測モード要否リストのうち、スキャン順も予測画像もMPMと異なる予測モードの項目を「処理不要」に変更する(ステップS7)。   Next, the unnecessary mode addition determination unit 220 calculates and outputs a list of unnecessary prediction mode numbers by calculating the logical product of the two input prediction mode lists. In response to this, the prediction mode necessity list holding / updating unit 221 changes the item of the prediction mode different from the MPM in the scan order and the prediction image in the prediction mode necessity list to “processing unnecessary” (step S7).

このように、従来技術に比べて「処理不要」と判定される予測モードが増えるため、演算コストをより削減することができる。   As described above, since the number of prediction modes determined as “processing unnecessary” is increased as compared with the conventional technique, the calculation cost can be further reduced.

<第2実施形態>
次に、本発明の第2実施形態による予測モード選択方法を説明する。図4は同実施形態の装置構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図1に示す装置と異なる点は、スキャン順一致リスト出力部211に代えて予測方向グループ一致リスト出力部222が設けられている点である。第2実施形態は、第1実施形態においてスキャン順が一致するモードをリスト化したスキャン順一致モードリストを用いる代わりに、予め予測方向に従って予測モードをグループ化した予測方向グループ一致リストを用いる点が異なる。
Second Embodiment
Next, a prediction mode selection method according to the second embodiment of the present invention will be described. FIG. 4 is a block diagram showing a device configuration of the embodiment. In this figure, the same parts as those in the apparatus shown in FIG. The apparatus shown in this figure is different from the apparatus shown in FIG. 1 in that a prediction direction group match list output unit 222 is provided instead of the scan order match list output unit 211. The second embodiment uses a prediction direction group match list in which prediction modes are grouped in advance according to the prediction direction, instead of using the scan order match mode list in which the modes with the same scan order are listed in the first embodiment. Different.

予測方向グループ一致リスト出力部222は、予め予測方向に従って予測モードをグループ化した予測モードグループ一致リストを出力する。   The prediction direction group match list output unit 222 outputs a prediction mode group match list in which prediction modes are grouped in advance according to the prediction direction.

次に、図5を参照して、図4に示す装置の処理動作を説明する。図5は、図4に示す装置の処理動作を示すフローチャートである。処理が始まると、まず予測モード要否リスト保持更新部221は、予測モード要否リストの全モードを「処理不要」に設定する(ステップS11)。   Next, the processing operation of the apparatus shown in FIG. 4 will be described with reference to FIG. FIG. 5 is a flowchart showing the processing operation of the apparatus shown in FIG. When the process starts, first, the prediction mode necessity list holding / updating unit 221 sets all the modes in the prediction mode necessity list to “processing unnecessary” (step S11).

次に、予測方向グループ一致リスト出力部222は、予測方向グループの一致判定を行い、予測方向グループ一致モードリストを出力する(ステップS12)。これと並行して、予測画像一致判定部212は、予測画像が一致するモードの組を求める(ステップS13)。   Next, the prediction direction group match list output unit 222 performs a match determination on the prediction direction group and outputs a prediction direction group match mode list (step S12). In parallel with this, the predicted image match determination unit 212 obtains a set of modes in which the predicted images match (step S13).

次に、2集合合成部213は、この分類を元に予測方向グループも予測画像も一致する予測モードの組を求め、それを組Sとする(ステップS14)。次に、ヘッダコスト計算部214は、この組Sに属する各予測モードのヘッダ符号量R_Hを算出する(ステップS15)。   Next, the two-set combining unit 213 obtains a set of prediction modes in which the prediction direction group and the prediction image match based on this classification, and sets it as a set S (step S14). Next, the header cost calculation unit 214 calculates the header code amount R_H of each prediction mode belonging to the set S (step S15).

次に、最小ヘッダコスト判定部215は、これらSに属する予測モードのうち、最もヘッダ符号量が少ない予測モードを求める。そして、予測モード要否リスト保持部216は、最もヘッダ符号量が少ない予測モードについて、予測モード要否リストの項目を「処理必要」に変更する(ステップS16)。   Next, the minimum header cost determination unit 215 obtains the prediction mode with the smallest header code amount among the prediction modes belonging to S. Then, the prediction mode necessity list holding unit 216 changes the item of the prediction mode necessity list to “processing necessary” for the prediction mode with the smallest header code amount (step S16).

次に、不一致モード照合部218は、最有力モード番号とスキャン順一致モードリストを入力し、最有力モード番号とスキャン順が異なる予測モード番号を出力する。また、不一致モード照合部219は、最有力モード番号と予測画像一致モードリストを入力し、最有力モード番号と予測画像が異なる予測モード番号を出力する。   Next, the inconsistent mode collating unit 218 inputs the most probable mode number and the scan order coincidence mode list, and outputs a prediction mode number having a different scan order from the most probable mode number. Further, the mismatch mode matching unit 219 receives the most probable mode number and the predicted image match mode list, and outputs a prediction mode number in which the most probable mode number and the predicted image are different.

次に、不要モード追加判定部220は、入力された2つの予測モード一覧についてその論理積を求めることにより不要予測モード番号の一覧を求めて出力する。これを受けて、予測モード要否リスト保持更新部221は、予測モード要否リストのうち、スキャン順も予測画像もMPMと異なる予測モードの項目を「処理不要」に変更する(ステップS17)。   Next, the unnecessary mode addition determination unit 220 calculates and outputs a list of unnecessary prediction mode numbers by calculating the logical product of the two input prediction mode lists. Receiving this, the prediction mode necessity list holding / updating unit 221 changes the item of the prediction mode different from the MPM in the scan order and the prediction image in the prediction mode necessity list to “processing unnecessary” (step S17).

以上説明したように、従来技術に比べて「処理不要」と判定される予測モードが増えるため、演算コストをより削減することができる。また、一般的にスキャン順は隣接ブロック間の相関性が高いため、予測画像が等しい予測モードの組の中で、隣接ブロックとの相関性が低いスキャン順を持つ予測モードを「処理不要」としても、符号化効率の劣化は極めて小さくすることができる。   As described above, since the number of prediction modes determined as “processing unnecessary” is increased as compared with the prior art, the calculation cost can be further reduced. In general, since the scan order has a high correlation between adjacent blocks, a prediction mode having a scan order with a low correlation with an adjacent block in a set of prediction modes with the same predicted image is set as “no processing required”. However, the degradation of the encoding efficiency can be extremely reduced.

前述した実施形態における予測モード要否リスト生成部21をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。   You may make it implement | achieve the prediction mode necessity list production | generation part 21 in embodiment mentioned above with a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in the computer system. It may be realized using hardware such as PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。   As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Therefore, additions, omissions, substitutions, and other modifications of the components may be made without departing from the technical idea and scope of the present invention.

処理が不要な予測モードを増やすことによって、演算コストをより削減することが不可欠な用途にも適用できる。   By increasing the number of prediction modes that do not require processing, the present invention can be applied to applications where it is indispensable to further reduce the calculation cost.

21・・・予測モード要否リスト生成部、211・・・スキャン順一致リスト出力部、212・・・予測画像一致判定部、213・・・2集合合成部、214・・・ヘッダコスト計算部、215・・・最小ヘッダコスト判定部、217・・・最有力モード番号判定部、218、219・・・不一致モード照合部、220・・・不要モード追加判定部、221・・・予測モード要否リスト保持更新部、222・・・予測方向グループ一致リスト出力部   21 ... Prediction mode necessity list generation unit, 211 ... Scan order match list output unit, 212 ... Predictive image match determination unit, 213 ... Two-set synthesis unit, 214 ... Header cost calculation unit 215: Minimum header cost determination unit, 217: Most probable mode number determination unit, 218, 219 ... Mismatch mode verification unit, 220 ... Unnecessary mode addition determination unit, 221 ... Prediction mode required Reject list holding / updating unit, 222...

本発明は、像符号化の際に予測モードの選択を行う予測モード選択方法であって、隣接ブロックの予測モード情報から最有力予測モードを少なくとも1つ選択する選択ステップと、選択した前記最有力予測モードと予測残差係数のスキャン順が一致しない予測モードの予測モード番号を求める第1の予測モード探索ステップと、選択した前記最有力予測モードの予測モード番号と予測画像が一致しない予測モード番号を求める第2の予測モード探索ステップと、スキャン順が一致しない前記予測モード番号と、予測画像が一致しない前記予測モード番号に基づいて、予測処理を省略すべき予測モードを判定する判定ステップとを有することを特徴とする。 The present invention relates to a prediction mode selection method for selecting a prediction mode when the movies picture coding, a selection step of selecting at least one of the most promising prediction mode from the prediction mode information of adjacent blocks, the selected top A first prediction mode search step for obtaining a prediction mode number of a prediction mode in which the scan order of the leading prediction mode and the prediction residual coefficient does not match, and a prediction mode in which the prediction mode number of the selected leading prediction mode and the prediction image do not match A second prediction mode search step for obtaining a number; a determination step for determining a prediction mode in which a prediction process should be omitted based on the prediction mode number in which the scan order does not match and the prediction mode number in which the prediction images do not match; It is characterized by having.

本発明は、像符号化の際に予測モードの選択を行う予測モード選択方法であって、予測モードを予め複数のグループにグループ化しておくグループ化ステップと、隣接ブロックの予測モード情報から最有力予測モードを少なくとも1つ選択する選択ステップと、選択した前記最有力予測モードの予測モード番号と前記グループ化の所属グループが一致しない予測モード番号を求める第1の予測モード探索ステップと、選択した前記最有力予測モードの予測モード番号と予測画像が一致しない予測モード番号を求める第2の予測モード探索ステップと、所属グループが一致しない前記予測モード番号と、予測画像が一致しない前記予測モード番号に基づいて、予測処理を省略すべき予測モードを判定する判定ステップとを有することを特徴とする。 The present invention relates to a prediction mode selection method for selecting a prediction mode when the movies picture encoding, and grouping steps to be grouped in advance a plurality of groups prediction mode, most of the prediction mode information of adjacent blocks A selection step for selecting at least one dominant prediction mode, a first prediction mode search step for obtaining a prediction mode number for which the prediction mode number of the selected most powerful prediction mode and the group to which the group belongs do not match, The second prediction mode search step for obtaining a prediction mode number in which the prediction mode number of the most probable prediction mode and the prediction image do not match, the prediction mode number in which the group does not match, and the prediction mode number in which the prediction image does not match And a determination step for determining a prediction mode in which the prediction process should be omitted, That.

本発明は、前記判定ステップでは、前記予測画像または前記所属グループが一致しない予測モードを省略する予測モードとして判定することを特徴とする。 The present invention, in the above determination step is characterized by determining the prediction mode in which the predictive image or the membership group does not match the prediction mode is omitted.

Claims (8)

予測残差コストが等しくなる予測モードを事前に求めてコスト計算を省略する映像符号化の予測モード選択方法であって、
隣接ブロックの予測モード情報から最有力予測モードを少なくとも1つ選択する選択ステップと、
選択した前記最有力予測モードの予測モード番号とスキャン順が一致しない予測モード番号を求める第1の予測モード探索ステップと、
選択した前記最有力予測モードの予測モード番号と予測画像が一致しない予測モード番号を求める第2の予測モード探索ステップと、
スキャン順が一致しない前記予測モード番号と、予測画像が一致しない前記予測モード番号に基づいて、予測処理を省略すべき予測モードを判定する判定ステップと
を有することを特徴とする予測モード選択方法。
A prediction mode selection method for video coding that eliminates cost calculation by obtaining a prediction mode in which prediction residual costs are equal in advance,
A selection step of selecting at least one most probable prediction mode from prediction mode information of adjacent blocks;
A first prediction mode search step for obtaining a prediction mode number whose scan order does not match the prediction mode number of the selected most probable prediction mode;
A second prediction mode search step for obtaining a prediction mode number in which the prediction mode number of the selected most probable prediction mode and the prediction image do not match;
A prediction mode selection method comprising: a determination step of determining a prediction mode in which a prediction process should be omitted based on the prediction mode number in which the scan order does not match and the prediction mode number in which the prediction images do not match.
予測残差コストが等しくなる予測モードを事前に求めてコスト計算を省略する映像符号化の予測モード選択方法であって、
予測モードを予め複数のグループにグループ化しておくグループ化ステップと、
隣接ブロックの予測モード情報から最有力予測モードを少なくとも1つ選択する選択ステップと、
選択した前記最有力予測モードの予測モード番号と前記グループ化の所属グループが一致しない予測モード番号を求める第1の予測モード探索ステップと、
選択した前記最有力予測モードの予測モード番号と予測画像が一致しない予測モード番号を求める第2の予測モード探索ステップと、
所属グループが一致しない前記予測モード番号と、予測画像が一致しない前記予測モード番号に基づいて、予測処理を省略すべき予測モードを判定する判定ステップと
を有することを特徴とする予測モード選択方法。
A prediction mode selection method for video coding that eliminates cost calculation by obtaining a prediction mode in which prediction residual costs are equal in advance,
A grouping step for previously grouping the prediction modes into a plurality of groups;
A selection step of selecting at least one most probable prediction mode from prediction mode information of adjacent blocks;
A first prediction mode search step for obtaining a prediction mode number in which the selected prediction mode number of the most probable prediction mode and the group to which the group belongs do not match;
A second prediction mode search step for obtaining a prediction mode number in which the prediction mode number of the selected most probable prediction mode and the prediction image do not match;
A prediction mode selection method comprising: a determination step of determining a prediction mode in which a prediction process should be omitted based on the prediction mode number in which the group does not match and the prediction mode number in which the prediction image does not match.
前記判定ステップでは、前記スキャン順と前記予測画像とが共に一致しない、または前記所属グループと前記予測画像とが共に一致しない前記予測モードを省略する予測モードとして判定することを特徴とする請求項1または2に記載の予測モード選択方法。   2. The determination step is characterized in that the prediction mode in which the scan order and the predicted image do not match each other or the group belonging to the predicted image and the predicted image do not match is determined as a prediction mode that omits the prediction mode. Or the prediction mode selection method of 2. 前記判定ステップでは、前記スキャン順が一致しない予測モードを省略する予測モードとして判定することを特徴とする請求項1または2に記載の予測モード選択方法。   The prediction mode selection method according to claim 1, wherein in the determination step, a prediction mode in which the scan order does not match is determined as a prediction mode that omits the prediction mode. 前記判定ステップでは、前記予測画像または前記所属するグループが一致しない予測モードを省略する予測モードとして判定することを特徴とする請求項1または2に記載の予測モード選択方法。   The prediction mode selection method according to claim 1 or 2, wherein in the determination step, a prediction mode in which the prediction image or the group to which the group belongs does not match is determined as a prediction mode that omits the prediction mode. 前記選択ステップでは、前記隣接ブロックの複数の予測モードを全て選択するか、あるいは最頻出となる予測モード1つを選択することにより前記最有力予測モードを選択することを特徴とする請求項1から5のいずれか1項に記載の予測モード選択方法。   The selection step includes selecting the most probable prediction mode by selecting all of the plurality of prediction modes of the adjacent block or by selecting one prediction mode that appears most frequently. 6. The prediction mode selection method according to any one of 5 above. 前記選択ステップでは、前記隣接ブロックから求められるmost probable modeの1つもしくは全てを求めることにより前記最有力予測モードを選択することを特徴とする請求項1から5のいずれか1項に記載の予測モード選択方法。   The prediction according to any one of claims 1 to 5, wherein, in the selection step, the most probable prediction mode is selected by obtaining one or all of most probable modes obtained from the adjacent blocks. Mode selection method. コンピュータに、請求項1から7のいずれか1項に記載の予測モード選択方法を実行させるための予測モード選択プログラム。   A prediction mode selection program for causing a computer to execute the prediction mode selection method according to any one of claims 1 to 7.
JP2014057164A 2014-03-19 2014-03-19 Prediction mode selection method and prediction mode selection program Active JP5749827B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014057164A JP5749827B1 (en) 2014-03-19 2014-03-19 Prediction mode selection method and prediction mode selection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014057164A JP5749827B1 (en) 2014-03-19 2014-03-19 Prediction mode selection method and prediction mode selection program

Publications (2)

Publication Number Publication Date
JP5749827B1 JP5749827B1 (en) 2015-07-15
JP2015180007A true JP2015180007A (en) 2015-10-08

Family

ID=53718529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014057164A Active JP5749827B1 (en) 2014-03-19 2014-03-19 Prediction mode selection method and prediction mode selection program

Country Status (1)

Country Link
JP (1) JP5749827B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348318A (en) * 2004-06-07 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> Image predictive coding method, image predictive decoding method, image coding device, image decoding device, image coding program,image decoding programs, and computer readable record medium recording those programs
JP2009055542A (en) * 2007-08-29 2009-03-12 Toshiba Corp Moving image encoder and moving image encoding method
JP2009105696A (en) * 2007-10-24 2009-05-14 Nippon Telegr & Teleph Corp <Ntt> Prediction mode information coding method, prediction mode information decoding method, devices therefor, programs therefor, and computer readable recording medium
JP2014187535A (en) * 2013-03-22 2014-10-02 Fujitsu Ltd Dynamic image encoder, dynamic image encoding method, and dynamic image encoding program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348318A (en) * 2004-06-07 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> Image predictive coding method, image predictive decoding method, image coding device, image decoding device, image coding program,image decoding programs, and computer readable record medium recording those programs
JP2009055542A (en) * 2007-08-29 2009-03-12 Toshiba Corp Moving image encoder and moving image encoding method
JP2009105696A (en) * 2007-10-24 2009-05-14 Nippon Telegr & Teleph Corp <Ntt> Prediction mode information coding method, prediction mode information decoding method, devices therefor, programs therefor, and computer readable recording medium
JP2014187535A (en) * 2013-03-22 2014-10-02 Fujitsu Ltd Dynamic image encoder, dynamic image encoding method, and dynamic image encoding program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AJIT SINGH MOTRA ET AL.: "Fast intra mode decision for HEVC video encoder", 2012 20TH INTERNATIONAL CONFERENCE ON SOFTWARE, TELECOMMUNICATIONS AND COMPUTER NETWORKS (SOFTCOM), JPN6015008485, September 2012 (2012-09-01), pages 1 - 5, XP032470535, ISSN: 0003069312 *
MENGMENG ZHANG ET AL.: "An adaptive fast intra mode decision in HEVC", 2012 19TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), vol. pp.221 - 224, JPN6015008483, September 2012 (2012-09-01), ISSN: 0003069311 *
SHUNQING YAN ET AL.: "Group-Based Fast Mode Decision Algorithm for Intra Prediction in HEVC", 2012 EIGHTH INTERNATIONAL CONFERENCE ON SIGNAL IMAGE TECHNOLOGY AND INTERNET BASED SYSTEMS (SITIS), JPN6015008481, November 2012 (2012-11-01), pages 225 - 229, XP032348518, ISSN: 0003069310, DOI: 10.1109/SITIS.2012.41 *

Also Published As

Publication number Publication date
JP5749827B1 (en) 2015-07-15

Similar Documents

Publication Publication Date Title
Han et al. A technical overview of AV1
CN107027038B (en) Dynamic reference motion vector coding mode
US20190037227A1 (en) Techniques for hardware video encoding
JP2020522182A (en) Selective mixing for entropy coding in video compression.
JP2018032949A (en) Motion vector detector and control method thereof
JP2007189276A (en) Image compression apparatus and image compression program
JP6065613B2 (en) Video encoding device
US11924459B2 (en) Method for inter prediction method, video picture encoder and decoder
JP2014007469A (en) Image coding device and image coding method
US11910003B2 (en) Processing method for motion compensation, encoder and decoder
JP5749827B1 (en) Prediction mode selection method and prediction mode selection program
CN110971896B (en) H.265 coding method and device
JP2018201117A (en) Video encoder, video encoding method and program
Birman et al. Intra prediction with deep learning
JP5711789B2 (en) Image coding method, image coding apparatus, and image coding program
JP2015111774A (en) Video coding device and video coding program
JP2014158076A (en) Scanning order generator, video image encoder, video image decoder, scanning order generation method, and program
US10397566B2 (en) Image coding apparatus, image coding method, and program
US20150049801A1 (en) Intra refresh method for video encoding and a video encoder for performing the same
JP2008236096A (en) Movement search method, movement search apparatus, movement search program, and computer readable record medium recording its program
JPWO2020054060A1 (en) Video coding method and video coding device
JP6080077B2 (en) Image encoding method and image encoding apparatus
JP6110724B2 (en) Image processing apparatus, encoding apparatus, and encoding program
CN107431821A (en) High-efficient low-complexity video compress
JP2017216601A (en) Linear prediction coefficient output device, linear prediction coefficient output method and linear prediction coefficient output program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150514

R150 Certificate of patent or registration of utility model

Ref document number: 5749827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150