JP2018026726A - Encoder and program - Google Patents

Encoder and program Download PDF

Info

Publication number
JP2018026726A
JP2018026726A JP2016158005A JP2016158005A JP2018026726A JP 2018026726 A JP2018026726 A JP 2018026726A JP 2016158005 A JP2016158005 A JP 2016158005A JP 2016158005 A JP2016158005 A JP 2016158005A JP 2018026726 A JP2018026726 A JP 2018026726A
Authority
JP
Japan
Prior art keywords
motion vector
frame
encoding
unit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016158005A
Other languages
Japanese (ja)
Other versions
JP6867763B2 (en
Inventor
泰子 森田
Yasuko Morita
泰子 森田
菊文 神田
Kikufumi Kanda
菊文 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2016158005A priority Critical patent/JP6867763B2/en
Publication of JP2018026726A publication Critical patent/JP2018026726A/en
Application granted granted Critical
Publication of JP6867763B2 publication Critical patent/JP6867763B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To select efficiently whether or not a time prediction motion vector candidate is used as a candidate of prediction motion vector.SOLUTION: An encoder 1 includes a frame interval acquisition unit 11 for finding the minimum frame interval of a coding object frame and a frame subjected to motion compensative prediction, out of reference frames referred when the coding object frame is encoded, a time prediction motion vector candidate determination unit 12 for determining whether or not a time prediction motion vector candidate is used as a candidate of prediction motion vector, according to the minimum frame interval, and a coding unit 20 for encoding a coding object frame, according to determination results by the time prediction motion vector candidate determination unit 12.SELECTED DRAWING: Figure 1

Description

本発明は、適応動きベクトル予測符号化を行う符号化装置に関するものである。   The present invention relates to an encoding apparatus that performs adaptive motion vector predictive encoding.

近年、フレーム周波数が120Hz(毎秒120フレーム)や240Hz(毎秒240フレーム)といった高フレームレートの映像が普及しつつある。高フレームレート映像は動きが速い被写体をなめらかに表示できることが特徴であり、スポーツなどのコンテンツに適している。今後120Hz映像による放送が検討されており、その実現には圧縮符号化技術が課題となっている。120Hz映像をリアルタイムに符号化するためには、1フレームを従来の60Hz映像の半分の時間で処理する必要がある。   In recent years, video with a high frame rate such as a frame frequency of 120 Hz (120 frames per second) or 240 Hz (240 frames per second) is becoming widespread. High frame rate video is characterized by the ability to smoothly display fast-moving subjects and is suitable for sports content. In the future, broadcasting using 120 Hz video is being studied, and compression encoding technology has become an issue for its realization. In order to encode a 120 Hz video in real time, it is necessary to process one frame in half the time of a conventional 60 Hz video.

8K/4K放送規格で採用されている映像符号化方式であるH.265/HEVC(High Efficiency Video Coding)では、従来方式のH.264/AVC(Advanced Video Coding)と同様に、近傍のフレームから符号化する部分の画素値を予測するインター予測が採用されている。H.265/HEVCのインター予測はH.264/AVCと同様に、複数の参照フレーム候補から選択したフレームを用いて予測することができる。非特許文献1には、120Hz放送におけるH.265/HEVCのGOP(Group Of Picture)構造が記載されている。図6に、16フレームからなるGOP構造の例を示す。   H.264, which is a video encoding method adopted in the 8K / 4K broadcasting standard. In H.265 / HEVC (High Efficiency Video Coding), H.264 of the conventional method is used. Similarly to H.264 / AVC (Advanced Video Coding), inter prediction that predicts the pixel value of a portion to be encoded from a neighboring frame is employed. H. The inter prediction of H.265 / HEVC is H.264. Similar to H.264 / AVC, prediction can be performed using a frame selected from a plurality of reference frame candidates. Non-Patent Document 1 describes H.264 in 120 Hz broadcasting. H.265 / HEVC GOP (Group Of Picture) structure is described. FIG. 6 shows an example of a GOP structure consisting of 16 frames.

図6において長方形内の数字はフレーム番号を示し、フレーム番号17以降についても同様のGOP構造をとるものとする。図中の下線を付した数字は符号化・復号処理の順番を示し、フレーム番号0,16,1,8,3,4,5,2,7,6・・・の順にフレームが並び替えられる。復号処理の後にはフレーム番号0から順にモニタに表示されるようにフレームが並び替えられる。また、図中の矢印は参照フレームを示す。例えば、フレーム番号16のフレームはフレーム番号0の符号化画像を参照して予測され、フレーム番号1のフレームはフレーム番号0及び16の符号化画像を参照して予測される。図6のGOP構造では、偶数番号のフレーム同士を参照する構造とすることで、偶数番号のフレームのみを復号して60Hz映像とする時間階層符号化を実現している。これにより、将来的に120Hz放送が開始された場合でも、従来の受信機では60Hz映像を再生することが可能である。ここでは、60Hz映像と120Hz映像の差分にあたるフレーム(図6の奇数番号のフレーム)を最上位時間階層と呼ぶこととする。   In FIG. 6, the numbers in the rectangles indicate frame numbers, and the same GOP structure is assumed for frame numbers 17 and later. The underlined numbers in the figure indicate the order of encoding / decoding processing, and the frames are rearranged in the order of frame numbers 0, 16, 1, 8, 3, 4, 5, 2, 7, 6. . After the decoding process, the frames are rearranged so as to be displayed on the monitor in order from frame number 0. Moreover, the arrow in a figure shows a reference frame. For example, the frame with frame number 16 is predicted with reference to the encoded image with frame number 0, and the frame with frame number 1 is predicted with reference to the encoded images with frame numbers 0 and 16. In the GOP structure of FIG. 6, by using a structure in which even-numbered frames are referred to, temporal hierarchical coding is realized by decoding only even-numbered frames and generating 60 Hz video. As a result, even if 120-Hz broadcasting is started in the future, the conventional receiver can reproduce 60-Hz video. Here, the frame corresponding to the difference between the 60 Hz video and the 120 Hz video (the odd-numbered frame in FIG. 6) is referred to as the highest time hierarchy.

H.265/HEVCのインター予測ではH.264/AVCと同様に、参照フレームからの動き量を示す動きベクトルを検出して予測する動き補償予測が用いられている。非特許文献2にはH.265/HEVCの動きベクトルの予測方法が記載されている。伝送する動きベクトルの符号量を削減するために、隣接する符号化済みのブロックの動きベクトルから導出された予測動きベクトル候補の中から、実際の動きベクトルとの差分ベクトルが小さくなる予測動きベクトルを選択し、差分ベクトルと予測動きベクトルを示すインデックスが復号側に伝送される。このような符号化方法を、適応動きベクトル予測符号化という。   H. In the inter prediction of H.265 / HEVC, H.264 is used. Similar to H.264 / AVC, motion compensation prediction is used in which a motion vector indicating a motion amount from a reference frame is detected and predicted. Non-Patent Document 2 describes H.C. A motion vector prediction method of H.265 / HEVC is described. In order to reduce the amount of code of the motion vector to be transmitted, a prediction motion vector having a smaller difference vector from the actual motion vector is selected from prediction motion vector candidates derived from the motion vectors of adjacent encoded blocks. The index indicating the difference vector and the predicted motion vector is transmitted to the decoding side. Such an encoding method is called adaptive motion vector predictive encoding.

図7にH.265/HEVCの予測動きベクトル候補の種類を示す。図7(a)は空間予測動きベクトル候補を示しており、図7(b)は時間予測動きベクトル候補を示している。H.265/HEVCでは空間予測動きベクトル候補、時間予測動きベクトル候補、ゼロ予測動きベクトル候補の優先順に、最大2個の予測動きベクトル候補を選択することで、動きベクトル情報を精度良く、かつ効率良く符号化することができる。   FIG. 265 / HEVC predicted motion vector candidate types. FIG. 7A shows spatial prediction motion vector candidates, and FIG. 7B shows temporal prediction motion vector candidates. H. In H.265 / HEVC, motion vector information is accurately and efficiently encoded by selecting a maximum of two motion vector predictor candidates in the priority order of a spatial motion vector candidate, a temporal motion vector predictor candidate, and a zero motion vector predictor candidate. Can be

空間予測動きベクトル候補では、符号化対象の予測ユニット(PU:Prediction Unit)P1の近傍のブロックを動きベクトルを候補とする。具体的には、P1の左下側に隣接するブロックA0,A1、及びP1の上側に隣接するブロックB0,B1,B2の動きベクトルを候補とする。時間予測動きベクトル候補では、参照フレーム内で符号化対象の予測ユニットP1と同じ空間位置付近のブロックの動きベクトルを候補とする。具体的には、参照フレーム内でP1と同じ空間位置のブロックP2の右下に隣接するブロックH、及びブロックP2のセンター右下のブロックC3の動きベクトルを候補とする。ゼロ予測動きベクトル候補では、動きベクトル(0,0)を候補とする。   In the spatial motion vector predictor candidate, a block near the prediction unit (PU: Prediction Unit) P1 to be encoded is a motion vector candidate. Specifically, the motion vectors of the blocks A0, A1 adjacent to the lower left side of P1 and the blocks B0, B1, B2 adjacent to the upper side of P1 are candidates. In the temporal prediction motion vector candidate, a motion vector of a block near the same spatial position as the prediction unit P1 to be encoded in the reference frame is a candidate. Specifically, the motion vectors of the block H adjacent to the lower right of the block P2 at the same spatial position as P1 in the reference frame and the block C3 at the lower right of the center of the block P2 are candidates. In the zero prediction motion vector candidate, the motion vector (0, 0) is set as a candidate.

ARIB STD−B32 3.6版、「デジタル放送における映像符号化、音声符号化及び多重化方式」、2016年3月25日改定ARIB STD-B32 version 3.6, “Video coding, audio coding and multiplexing methods in digital broadcasting”, revised on March 25, 2016 大久保榮監修、「インプレス標準教科書シリーズ H.265/HEVC教科書」、株式会社インプレスジャパン、2013年10月21日Supervised by Satoshi Okubo, “Impress Standard Textbook Series H.265 / HEVC Textbook”, Impress Japan Co., Ltd., October 21, 2013

H.265/HEVCでは多数の候補の中から予測動きベクトルを選べる反面、選択に時間がかかるという問題点がある。また、時間予測動きベクトル候補は他のフレームを参照する必要があることから、伝送エラーによる影響を受けやすいため、シンタックスSPS(Sequence Parameter Set)で使用/不使用を選択することができる。表1に、2K(空間解像度1920×1080)/120Hzの画像を3種類使用して符号化実験を行った結果を示す。本実験では図6に示したGOP構造を使用し、すべてのフレームで予測動きベクトルの候補として時間予測動きベクトル(TMVP:Temporal Motion Vector Prediction)を使用した場合を基準とした、時間予測動きベクトルを使用しなかった場合の符号量増加率を求めた。   H. In H.265 / HEVC, a prediction motion vector can be selected from a large number of candidates, but there is a problem that selection takes time. In addition, since the temporal motion vector predictor candidate needs to refer to another frame and is easily affected by a transmission error, use / non-use can be selected by the syntax SPS (Sequence Parameter Set). Table 1 shows the results of an encoding experiment using three types of 2K (spatial resolution 1920 × 1080) / 120 Hz images. In this experiment, the GOP structure shown in FIG. 6 is used, and a temporal motion vector predictor based on a case where a temporal motion vector prediction (TMVP) is used as a prediction motion vector candidate in all frames. The code amount increase rate when not used was obtained.

Figure 2018026726
Figure 2018026726

表1に示すように、時間予測動きベクトルを使用しない場合には符号量が最大2%程度増加し、符号化効率に対する影響が大きくなるという問題がある。   As shown in Table 1, when the temporal motion vector is not used, there is a problem that the code amount increases by about 2% at the maximum, and the influence on the coding efficiency becomes large.

かかる事情に鑑みてなされた本発明の目的は、時間予測動きベクトルを予測動きベクトル候補とするか否かを効率良く選択することが可能な符号化装置及びプログラムを提供することにある。   An object of the present invention made in view of such circumstances is to provide an encoding device and a program capable of efficiently selecting whether or not a temporal motion vector predictor is a motion vector predictor candidate.

上記課題を解決するため、本発明に係る符号化装置は、予測動きベクトル候補の中から動きベクトルとの差分ベクトルが小さくなる予測動きベクトルを選択する符号化装置であって、符号化対象フレームと、該符号化対象フレームが符号化時に参照する参照フレームのうち、動き補償予測が行われたフレームとの最小フレーム間隔を求めるフレーム間隔取得部と、前記最小フレーム間隔に応じて、時間予測動きベクトル候補を予測動きベクトルの候補として使用するか否かを判定する時間予測動きベクトル候補判定部と、前記時間予測動きベクトル候補判定部による判定結果に従い、前記符号化対象フレームを符号化する符号化部と、を備えることを特徴とする。   In order to solve the above-described problem, an encoding apparatus according to the present invention is an encoding apparatus that selects a prediction motion vector in which a difference vector from a motion vector is small from prediction motion vector candidates, and includes: A frame interval obtaining unit for obtaining a minimum frame interval with a frame subjected to motion compensation prediction among reference frames that the encoding target frame refers to when encoding, and a temporal prediction motion vector according to the minimum frame interval A temporal motion vector predictor candidate determination unit that determines whether or not to use a candidate as a motion vector predictor candidate, and an encoding unit that encodes the encoding target frame according to a determination result by the temporal motion vector predictor candidate determination unit And.

さらに、本発明に係る符号化装置において、前記符号化対象フレームが固定撮影された映像であるか否かを判定するフレーム動静判定部を更に備え、前記時間予測動きベクトル候補判定部は、前記フレーム動静判定部により前記符号化対象フレームが固定撮影された映像であると判定された場合には、時間予測動きベクトルを予測動きベクトルの候補として使用しないと判定し、前記フレーム動静判定部により前記符号化対象フレームが固定撮影された映像でないと判定された場合には、前記最小フレーム間隔に応じて、時間予測動きベクトル候補を予測動きベクトルの候補として使用するか否かを判定することを特徴とする。   Furthermore, the encoding apparatus according to the present invention further includes a frame motion determination unit that determines whether or not the encoding target frame is a fixed-captured video, and the temporal prediction motion vector candidate determination unit includes the frame When the motion determination unit determines that the encoding target frame is a fixed-captured video, it determines that a temporal prediction motion vector is not used as a predicted motion vector candidate, and the frame motion determination unit determines the code. And determining whether to use a temporal motion vector predictor candidate as a motion vector predictor candidate according to the minimum frame interval when it is determined that the target frame is not a fixed-captured video. To do.

さらに、本発明に係る符号化装置において、前記フレーム動静判定部は、前記符号化対象フレームが固定撮影された映像であるか否かをGOP単位で判定することを特徴とする。   Furthermore, in the encoding device according to the present invention, the frame motion determination unit determines whether or not the encoding target frame is a fixed-captured video in GOP units.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。   In order to solve the above problems, a program according to the present invention causes a computer to function as the encoding device.

本発明によれば、予測動きベクトルの候補として時間予測動きベクトルを使用するか否かを効率良く選択し、予測動きベクトルの候補を絞ることができる。そのため、符号化効率の低下をおさえたまま、符号化処理の演算量を減らして演算時間を短縮することができる。   According to the present invention, it is possible to efficiently select whether or not to use a temporal motion vector predictor as a motion vector predictor candidate, and to narrow down motion vector predictor candidates. Therefore, the calculation time can be shortened by reducing the calculation amount of the encoding process while keeping the encoding efficiency from decreasing.

本発明の第1の実施形態に係る符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る符号化装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the encoding apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る符号化装置における符号化部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding part in the encoding apparatus which concerns on the 1st Embodiment of this invention. 本発明の第2の実施形態に係る符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る符号化装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the encoding apparatus which concerns on the 2nd Embodiment of this invention. 16フレームからなるGOP構造の例を示す図である。It is a figure which shows the example of the GOP structure which consists of 16 frames. H.265/HEVCの予測動きベクトル候補の種類を示す図である。H. It is a figure which shows the kind of prediction motion vector candidate of H.265 / HEVC.

以下、本発明の実施形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(第1の実施形態)
本発明の第1の実施形態に係る符号化装置について、以下に説明する。図1に、第1の実施形態に係る符号化装置の構成例を示す。図1に示す符号化装置1は、フレーム間隔取得部11と、時間予測動きベクトル候補判定部12と、符号化部20とを備える。
(First embodiment)
An encoding apparatus according to the first embodiment of the present invention will be described below. FIG. 1 shows a configuration example of an encoding apparatus according to the first embodiment. The encoding device 1 illustrated in FIG. 1 includes a frame interval acquisition unit 11, a temporal prediction motion vector candidate determination unit 12, and an encoding unit 20.

符号化装置1は、予測動きベクトル候補の中から動きベクトルとの差分ベクトルが小さくなる予測動きベクトルを選択し、適応動きベクトル予測符号化を行う。   The encoding device 1 selects a predicted motion vector that has a smaller difference vector from the motion vector from among the predicted motion vector candidates, and performs adaptive motion vector predictive encoding.

フレーム間隔取得部11は、符号化対象フレームのフレーム番号を含むフレーム情報を入力する。また、フレーム間隔取得部11は、符号化対象フレームが符号化時に参照する1以上の参照フレームのフレーム番号を、符号化対象フレームのフレーム番号と紐付けて予め記憶している。そして、フレーム間隔取得部11は、符号化対象フレームと、該符号化対象フレームが符号化時に参照する参照フレームのうち、動き補償予測が行われた非Iフレームとの最小フレーム間隔を求め、時間予測動きベクトル候補判定部12に出力する。   The frame interval acquisition unit 11 inputs frame information including the frame number of the encoding target frame. The frame interval acquisition unit 11 stores in advance the frame numbers of one or more reference frames that the encoding target frame refers to when encoding, in association with the frame numbers of the encoding target frames. Then, the frame interval acquisition unit 11 obtains the minimum frame interval between the encoding target frame and the non-I frame on which the motion compensation prediction has been performed among the reference frames to which the encoding target frame refers during encoding. It outputs to the prediction motion vector candidate determination part 12.

本明細書では、図6に示したGOP構造を使用するものとして説明する。この場合、フレーム番号17以降もフレーム番号1〜16と同様の構造がくり返され、所定の間隔でフレーム番号0の部分に動き補償予測を行わないIフレーム(Iスライスのみから構成されるフレーム)が挿入される。表2に、符号化対象フレームと非Iフレームの参照フレームとの最小フレーム間隔mの関係を示す。併せて、m=1に該当するか否か、及びm≦2に該当するか否かを示す。   In this specification, description will be made assuming that the GOP structure shown in FIG. 6 is used. In this case, the same structure as that of frame numbers 1 to 16 is repeated after frame number 17, and I-frames (frames composed only of I slices) in which motion compensation prediction is not performed on the portion of frame number 0 at a predetermined interval. Is inserted. Table 2 shows the relationship of the minimum frame interval m between the encoding target frame and the non-I frame reference frame. In addition, it indicates whether or not m = 1 and whether or not m ≦ 2.

Figure 2018026726
Figure 2018026726

符号化対象フレームのフレーム番号が1で、参照フレームのフレーム番号が0,16の場合について補足説明する。フレーム番号が0のフレームが非Iフレームである場合、最小フレーム間隔mは、1−0=1となる。しかし、フレーム番号が0のフレームがIフレームである場合、符号化対象フレームと非Iフレームの参照フレームとの最小フレーム間隔mは、16−1=15となる。よって、表2では「○又は×」と記している。   A supplementary description will be given of the case where the frame number of the encoding target frame is 1 and the frame numbers of the reference frames are 0 and 16. When the frame having the frame number 0 is a non-I frame, the minimum frame interval m is 1-0 = 1. However, when the frame whose frame number is 0 is an I frame, the minimum frame interval m between the encoding target frame and the non-I frame reference frame is 16-1 = 15. Therefore, in Table 2, “◯ or ×” is written.

時間予測動きベクトル候補は、参照フレーム内で符号化対象の予測ユニットP1と同じ空間位置のブロックP2内、又はブロックP2の近傍のブロックから導出される。参照フレームとの時間間隔が大きい場合には、ブロックP2付近に予測ユニットP1と似た動きがある可能性が低いことから、時間予測動きベクトル候補は、符号化対象と参照フレームとのフレーム間隔が小さい場合に予測動きベクトルとして選択されやすいと考えられる。   Temporal motion vector predictor candidates are derived from a block P2 at the same spatial position as the prediction unit P1 to be encoded in the reference frame or a block near the block P2. When the time interval with the reference frame is large, it is unlikely that there is a motion similar to the prediction unit P1 in the vicinity of the block P2, and therefore the temporal prediction motion vector candidate has a frame interval between the encoding target and the reference frame. When it is small, it is considered that it is easy to be selected as a predicted motion vector.

よって、時間予測動きベクトル候補判定部12は、フレーム間隔取得部11から入力された最小フレーム間隔mに応じて、時間予測動きベクトル候補を予測動きベクトルの候補として使用するか否かを判定する。具体的には、時間予測動きベクトル候補判定部12は、最小フレーム間隔mが閾値k以下である場合には時間予測動きベクトル候補を予測動きベクトルの候補として使用すると判定し、最小フレーム間隔mが閾値kよりも大きい場合には時間予測動きベクトル候補を予測動きベクトルの候補として使用しないと判定し、判定結果を示すTMVP判定情報を符号化部20に出力する。   Therefore, the temporal motion vector predictor candidate determination unit 12 determines whether to use the temporal motion vector predictor candidate as a motion vector predictor candidate according to the minimum frame interval m input from the frame interval acquisition unit 11. Specifically, the temporal prediction motion vector candidate determination unit 12 determines that the temporal prediction motion vector candidate is used as a prediction motion vector candidate when the minimum frame interval m is equal to or less than the threshold k, and the minimum frame interval m is When it is larger than the threshold value k, it is determined that the temporal motion vector predictor candidate is not used as a motion vector predictor candidate, and TMVP determination information indicating the determination result is output to the encoding unit 20.

符号化部20は、時間予測動きベクトル候補判定部12の判定結果に従い、符号化対象フレームを符号化し、符号化装置1の外部に符号化データを出力する。   The encoding unit 20 encodes the encoding target frame according to the determination result of the temporal prediction motion vector candidate determination unit 12 and outputs the encoded data to the outside of the encoding device 1.

次に、図2を参照して符号化装置1の動作を説明する。図2は、符号化装置1の動作例を示すフローチャートである。   Next, the operation of the encoding apparatus 1 will be described with reference to FIG. FIG. 2 is a flowchart showing an operation example of the encoding apparatus 1.

ステップS11では、フレーム間隔取得部11により、符号化対象フレームと非Iフレームの参照フレームとの最小フレーム間隔mを求め、ステップS12へ進む。   In step S11, the frame interval acquisition unit 11 obtains the minimum frame interval m between the encoding target frame and the non-I frame reference frame, and the process proceeds to step S12.

ステップS12では、時間予測動きベクトル候補判定部12により、最小フレーム間隔mが閾値k以下であるか否かを判定する。最小フレーム間隔mが閾値k以下である場合にはステップS13へ進み、最小フレーム間隔mが閾値kよりも大きい場合にはステップS14へ進む。ここで、閾値kを1としてもよい。また、高フレームレート映像では隣接フレームとの時間間隔が短いことから、を最小フレーム間隔が例えば1/50秒以内となる場合にステップS12がYesとなるように閾値kを決定してもよい。1/50秒以内とする場合、120Hz映像では閾値k=2となり、240Hz映像では閾値k=4となる。   In step S12, the temporal motion vector predictor candidate determination unit 12 determines whether or not the minimum frame interval m is equal to or less than the threshold value k. If the minimum frame interval m is less than or equal to the threshold value k, the process proceeds to step S13. If the minimum frame interval m is greater than the threshold value k, the process proceeds to step S14. Here, the threshold value k may be 1. Further, since the time interval between adjacent frames is short in the high frame rate video, the threshold value k may be determined so that step S12 becomes Yes when the minimum frame interval is within 1/50 second, for example. In the case of 1/50 seconds or less, the threshold k = 2 for 120 Hz video and the threshold k = 4 for 240 Hz video.

ステップS13では、符号化部20により、動きベクトルの予測に時間予測動きベクトル候補を使用して符号化対象フレームを符号化し、ステップS15へ進む。   In step S13, the encoding unit 20 encodes the encoding target frame using temporal prediction motion vector candidates for motion vector prediction, and the process proceeds to step S15.

ステップS14では、符号化部20により、動きベクトルの予測に時間予測動きベクトル候補を使用しないで符号化対象フレームを符号化し、ステップS15へ進む。   In step S14, the encoding unit 20 encodes the encoding target frame without using the temporal prediction motion vector candidate for the motion vector prediction, and the process proceeds to step S15.

ステップS15では、符号化対象フレームが最後のフレームであったか否かを判定する。最後のフレームであれば終了とし、そうでなければステップS11に戻って処理を繰り返す。   In step S15, it is determined whether the encoding target frame is the last frame. If it is the last frame, the process ends. If not, the process returns to step S11 to repeat the process.

次に、図3を参照して符号化部20の構成を説明する。図3は、符号化部20の構成例を示すブロック図である。図3に示す符号化部20は、ブロック分割部21と、減算部22と、変換部23と、量子化部24と、逆量子化部25と、逆変換部26と、加算部27と、記憶部28と、イントラ予測部29と、動き補償予測部30と、切替部31と、エントロピー符号化部32と、ループフィルタ部33とを備える。   Next, the configuration of the encoding unit 20 will be described with reference to FIG. FIG. 3 is a block diagram illustrating a configuration example of the encoding unit 20. 3 includes a block dividing unit 21, a subtracting unit 22, a transforming unit 23, a quantizing unit 24, an inverse quantizing unit 25, an inverse transforming unit 26, an adding unit 27, A storage unit 28, an intra prediction unit 29, a motion compensation prediction unit 30, a switching unit 31, an entropy encoding unit 32, and a loop filter unit 33 are provided.

ブロック分割部21は、符号化対象フレームを複数のブロックに分割し、ブロック画像を減算部22、イントラ予測部29、及び動き補償予測部30に出力する。ブロックのサイズは可変サイズであってもよく、例えば32×32画素、16×16画素、8×8画素、又は4×4画素とする。   The block division unit 21 divides the encoding target frame into a plurality of blocks, and outputs the block image to the subtraction unit 22, the intra prediction unit 29, and the motion compensation prediction unit 30. The block size may be variable, for example, 32 × 32 pixels, 16 × 16 pixels, 8 × 8 pixels, or 4 × 4 pixels.

減算部22は、ブロック分割部21から入力されたブロック画像の各画素値から、後述するイントラ予測部29又は動き補償予測部30から入力された予測ブロック画像の各画素値を減算して、ブロック画像と予測ブロック画像との差を示す残差ブロック画像を生成し、変換部23に出力する。   The subtraction unit 22 subtracts each pixel value of the prediction block image input from the intra prediction unit 29 or the motion compensation prediction unit 30 described later from each pixel value of the block image input from the block division unit 21, A residual block image indicating the difference between the image and the predicted block image is generated and output to the conversion unit 23.

変換部23は、減算部22から入力された残差ブロック画像に対して直交変換などの変換処理を行って二次元変換処理された変換係数を算出し、ブロックごとの変換係数を量子化部24に出力する。   The transform unit 23 performs transform processing such as orthogonal transform on the residual block image input from the subtracting unit 22 to calculate a transform coefficient that has been two-dimensionally transformed, and the transform coefficient for each block is quantized by the quantization unit 24. Output to.

量子化部24は、変換部23から入力されたブロックごとの変換係数を量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部25及びエントロピー符号化部32に出力する。   The quantization unit 24 divides the transform coefficient for each block input from the transform unit 23 by the quantization step and quantizes it to generate a quantized coefficient, which is sent to the inverse quantization unit 25 and the entropy coding unit 32. Output.

逆量子化部25は、量子化部24から入力された量子化係数に対して、量子化ステップを乗ずることによりブロックごとの変換係数を復元し、逆変換部26に出力する。   The inverse quantization unit 25 restores the transform coefficient for each block by multiplying the quantization coefficient input from the quantization unit 24 by a quantization step, and outputs it to the inverse transform unit 26.

逆変換部26は、逆量子化部25から入力された変換係数に対して、変換部23で行った変換の逆変換を行って残差ブロック画像を復元し、加算部27に出力する。例えば、変換部23が離散コサイン変換を行った場合には、逆変換部26は逆離散コサイン変換を行う。   The inverse transform unit 26 performs inverse transform of the transform performed by the transform unit 23 on the transform coefficient input from the inverse quantization unit 25 to restore the residual block image, and outputs the residual block image to the adder 27. For example, when the transform unit 23 performs discrete cosine transform, the inverse transform unit 26 performs inverse discrete cosine transform.

加算部27は、逆変換部26から入力された残差ブロック画像と、動き補償予測部30から入力された予測ブロック画像の各画素値とを加算し、ループフィルタ部33に出力する。   The adding unit 27 adds the residual block image input from the inverse transform unit 26 and each pixel value of the predicted block image input from the motion compensation prediction unit 30 and outputs the result to the loop filter unit 33.

ループフィルタ部33は、加算部27から出力された画像に対してフィルタ処理を行い、その結果を復号ブロック画像として記憶部28に出力する。   The loop filter unit 33 performs filter processing on the image output from the adding unit 27 and outputs the result to the storage unit 28 as a decoded block image.

記憶部28は、ループフィルタ部33から入力された復号ブロック画像を記憶するメモリである。   The storage unit 28 is a memory that stores the decoded block image input from the loop filter unit 33.

イントラ予測部29は、記憶部28に記憶された復号ブロック画像を参照してイントラ予測を行ってイントラ予測画像を生成し、切替部31に出力する。また、選択したイントラ予測モードをエントロピー符号化部32に出力する。   The intra prediction unit 29 performs intra prediction with reference to the decoded block image stored in the storage unit 28 to generate an intra prediction image, and outputs the intra prediction image to the switching unit 31. Further, the selected intra prediction mode is output to the entropy encoding unit 32.

動き補償予測部30は、記憶部28に記憶された復号ブロック画像を参照して、ブロックマッチングなどの手法により動きベクトルを生成する。そして、時間予測動きベクトル候補判定部12から入力されたTMVP判定情報が時間予測動きベクトル候補を使用しないことを示していた場合には、時間予測動きベクトル候補を使用せず、空間予測動きベクトル候補、及びゼロ予測動きベクトル候補の中から予測動きベクトルを選択し、予測動きベクトルを示すインデックス、及び動きベクトルとの差分ベクトルをエントロピー符号化部32に出力する。一方、TMVP判定情報が時間予測動きベクトル候補を使用することを示していた場合には、空間予測動きベクトル候補、時間予測動きベクトル候補、及びゼロ予測動きベクトル候補の中から予測動きベクトルを選択し、予測動きベクトルを示すインデックス、及び動きベクトルとの差分ベクトルをエントロピー符号化部32に出力する。   The motion compensation prediction unit 30 refers to the decoded block image stored in the storage unit 28 and generates a motion vector by a technique such as block matching. If the TMVP determination information input from the temporal prediction motion vector candidate determination unit 12 indicates that the temporal prediction motion vector candidate is not used, the temporal prediction motion vector candidate is not used and the spatial prediction motion vector candidate is used. , And zero predicted motion vector candidates, and outputs an index indicating the predicted motion vector and a difference vector from the motion vector to the entropy encoding unit 32. On the other hand, when the TMVP determination information indicates that the temporal motion vector predictor candidate is used, a motion vector predictor is selected from the spatial motion vector predictor candidate, the temporal motion vector predictor candidate, and the zero motion vector predictor candidate. The index indicating the predicted motion vector and the difference vector from the motion vector are output to the entropy coding unit 32.

また、動き補償予測部30は、動きベクトルに基づいて動き補償予測画像を生成し、切替部31に出力する。   In addition, the motion compensation prediction unit 30 generates a motion compensated prediction image based on the motion vector and outputs the motion compensation prediction image to the switching unit 31.

切替部31は、イントラ予測部29から入力されたイントラ予測画像と、動き補償予測部30から入力された動き補償予測画像とを切替えて、減算部22及び加算部27に出力する。   The switching unit 31 switches between the intra prediction image input from the intra prediction unit 29 and the motion compensated prediction image input from the motion compensation prediction unit 30, and outputs the result to the subtraction unit 22 and the addition unit 27.

エントロピー符号化部32は、量子化部24から入力された量子化係数、イントラ予測部29から入力されたイントラ予測モード、動き補償予測部30から入力された予測動きベクトルを示すインデックス及び差分ベクトル、及びループフィルタ部33から入力されたフィルタに関する情報に対してエントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置1の外部に出力する。エントロピー符号化は、0次指数ゴロム符号やCABAC(Context-based Adaptive Binary Arithmetic Coding;コンテキスト適応型2値算術符号)など、任意のエントロピー符号化方式を用いることができる。   The entropy encoding unit 32 includes a quantization coefficient input from the quantization unit 24, an intra prediction mode input from the intra prediction unit 29, an index and a difference vector indicating the prediction motion vector input from the motion compensated prediction unit 30, And the entropy encoding is performed on the information about the filter input from the loop filter unit 33, the data compression is performed, the bit stream is generated, and output to the outside of the encoding device 1. For entropy coding, any entropy coding scheme such as 0th-order exponent Golomb code or CABAC (Context-based Adaptive Binary Arithmetic Coding) can be used.

なお、上述した符号化装置1として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置1の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。   Note that a computer can be suitably used to cause the above-described encoding device 1 to function, and such a computer stores a program describing processing contents for realizing each function of the encoding device 1 in the storage unit of the computer. This program can be realized by reading out and executing this program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

このように、符号化装置1及びそのプログラムは、符号化対象フレームと、該符号化対象フレームが符号化時に参照する非Iフレームとの最小フレーム間隔mを求め、最小フレーム間隔mが閾値k以下である場合には時間予測動きベクトル候補を予測動きベクトルの候補として使用し、最小フレーム間隔mが閾値kよりも大きい場合には時間予測動きベクトル候補を予測動きベクトルの候補として使用しないようにする。そのため、符号化装置1は、予測動きベクトルの候補を適切に絞ることができ、符号化効率の低下をおさえたまま、符号化処理の演算量を減らして演算時間を短縮することができる。   Thus, the encoding apparatus 1 and the program thereof obtain the minimum frame interval m between the encoding target frame and the non-I frame that the encoding target frame refers to when encoding, and the minimum frame interval m is equal to or less than the threshold value k. Is used as a motion vector predictor candidate, and when the minimum frame interval m is larger than the threshold k, the motion vector predictor candidate is not used as a motion vector predictor candidate. . Therefore, the encoding apparatus 1 can appropriately narrow down the prediction motion vector candidates, and can reduce the amount of encoding processing and reduce the calculation time while keeping down the encoding efficiency.

以下に、実験結果を示す。表3は、閾値k=1として、すなわち最小フレーム間隔m=1の場合にのみ時間予測動きベクトル候補を使用するものとして、表1と同様の2K 120Hz画像3種類を用いて実験を行った結果を示す表である。また、併せてすべてのフレームで予測動きベクトルの候補として時間予測動きベクトル(TMVP)を未使用とした場合の符号量増加率を示す。   The experimental results are shown below. Table 3 shows results of experiments using three types of 2K 120 Hz images similar to those in Table 1, assuming that the threshold k = 1, that is, the temporal motion vector predictor candidate is used only when the minimum frame interval m = 1. It is a table | surface which shows. In addition, the code amount increase rate when the temporal motion vector predictor (TMVP) is not used as a motion vector predictor candidate in all frames is also shown.

Figure 2018026726
Figure 2018026726

本実験では、Iフレームは64フレームに1回、すなわち16枚のGOP構造の4回に1回挿入した。そのため、半数以上(9.25/16)のフレームで時間予測動きベクトル候補を使用しないようにしており、符号化処理の演算量を減らしつつ、時間予測動きベクトル候補を使用しない場合に比べて符号量の増加を抑えることができている。符号化演算時間は、全てのフレームで時間予測動きベクトル候補を使用する場合に比べて2〜3%程度短縮することができた。   In this experiment, the I frame was inserted once in 64 frames, that is, once in 4 times of 16 GOP structures. For this reason, temporal prediction motion vector candidates are not used in more than half (9.25 / 16) frames, and the amount of coding processing is reduced while encoding is not performed compared to the case where temporal prediction motion vector candidates are not used. The increase in the amount can be suppressed. The encoding operation time can be shortened by about 2 to 3% compared to the case where temporal prediction motion vector candidates are used in all frames.

表4は、閾値k=2として、すなわち最小フレーム間隔m≦2の場合に時間予測動きベクトル候補を使用するものとして、同様に実験を行った結果を示す表である。また、併せてすべてのフレームで予測動きベクトルの候補として時間予測動きベクトル(TMVP)を未使用とした場合の符号量増加率を示す。   Table 4 is a table showing the results of experiments performed in the same manner assuming that the threshold k = 2, that is, the temporal motion vector predictor candidate is used when the minimum frame interval m ≦ 2. In addition, the code amount increase rate when the temporal motion vector predictor (TMVP) is not used as a motion vector predictor candidate in all frames is also shown.

Figure 2018026726
Figure 2018026726

この場合は、40%程度(6.25/16)のフレームで時間予測動きベクトル候補を使用しないようにしており、符号化処理の演算量を減らしつつ、時間予測動きベクトル候補を使用しない場合に比べて符号量の増加を大幅に抑えることができている。符号化演算時間は、全てのフレームで時間予測動きベクトル候補を使用する場合に比べて1〜2%程度短縮することができた。   In this case, the temporal motion vector predictor candidate is not used in about 40% (6.25 / 16) frames, and the temporal prediction motion vector candidate is not used while reducing the amount of calculation processing. Compared to this, the increase in the amount of codes can be greatly suppressed. The encoding operation time can be reduced by about 1 to 2% compared to the case where temporal prediction motion vector candidates are used in all frames.

(第2の実施形態)
次に、第2の実施形態に係る符号化装置について説明する。上記表3,4で示したように、実験に用いた画像AではTMVP未使用時の符号量増加率が0.57%と低い。画像Aは固定撮影された映像であるため、動きベクトル予測がほとんど使われないことや、空間予測ベクトル候補を使用することで十分であることが考えられる。そこで本実施形態では、まず符号対象フレームが固定撮影された映像であるか否を判定した後に、時間予測動きベクトル候補を使用するか否かを決定することとする。
(Second Embodiment)
Next, an encoding apparatus according to the second embodiment will be described. As shown in Tables 3 and 4, in the image A used in the experiment, the code amount increase rate when TMVP is not used is as low as 0.57%. Since the image A is a fixed-captured image, it can be considered that motion vector prediction is hardly used and it is sufficient to use spatial prediction vector candidates. Therefore, in this embodiment, first, after determining whether or not the encoding target frame is a fixed-captured video, it is determined whether or not to use a temporal motion vector predictor candidate.

図4に第2の実施形態に係る符号化装置の構成例を示す。図4に示す符号化装置2は、フレーム間隔取得部11と、時間予測動きベクトル候補判定部12と、フレーム動静判定部13と、符号化部20とを備える。第2の実施形態の符号化装置2は第1の実施形態の符号化装置1と比較して、フレーム動静判定部13を更に備える点が相違する。その他の構成については第1の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。   FIG. 4 shows a configuration example of an encoding apparatus according to the second embodiment. The encoding device 2 illustrated in FIG. 4 includes a frame interval acquisition unit 11, a temporal motion vector predictor determination unit 12, a frame motion determination unit 13, and an encoding unit 20. The encoding device 2 according to the second embodiment is different from the encoding device 1 according to the first embodiment in that it further includes a frame motion determination unit 13. Since other configurations are the same as those in the first embodiment, the same reference numerals are given and description thereof is omitted as appropriate.

フレーム動静判定部13は、符号化対象フレームが固定撮影された映像であるか否かを判定し、判定結果を示す動静判定情報を時間予測動きベクトル候補判定部12に出力する。固定撮影された映像であるか否かの判定は、例えば連続するフレームの輝度値の相関係数が0.99以上であるか否かで判定することができる。符号化対象のフレームfと、fに連続するフレームfとの相関係数rは、式(1)で求まる。式(1)において、f(x,y)はフレームfの座標における輝度値を表し、

Figure 2018026726
はフレームfの輝度値の相加平均を表す。 The frame motion determination unit 13 determines whether or not the encoding target frame is a fixed-captured video, and outputs motion determination information indicating the determination result to the temporal prediction motion vector candidate determination unit 12. The determination as to whether or not the video is fixedly taken can be made based on, for example, whether or not the correlation coefficient of the luminance values of consecutive frames is 0.99 or more. A frame f 1 to be coded, the correlation coefficient r of the frame f 2 continuous in f 1 is obtained by Equation (1). In the formula (1), f i (x , y) represents a luminance value at the coordinates of the frame f i,
Figure 2018026726
Represents the arithmetic mean of the luminance values of the frame f i.

Figure 2018026726
Figure 2018026726

なお、フレーム動静判定部13による判定方法はこれに限られるものではなく、例えば連続するフレームの輝度値の絶対差分値が閾値以下であるか否かで判定してもよい。   Note that the determination method by the frame motion determination unit 13 is not limited to this. For example, the determination may be made based on whether or not the absolute difference value of the luminance values of consecutive frames is equal to or less than a threshold value.

フレーム間隔取得部11は、実施形態1と同様に、符号化対象フレームと、該符号化対象フレームが符号化時に参照する参照フレームのうち、動き補償予測が行われた非Iフレームとの最小フレーム間隔を求め、時間予測動きベクトル候補判定部12に出力する。   As in the first embodiment, the frame interval acquisition unit 11 is the minimum frame between the encoding target frame and a non-I frame on which motion compensation prediction has been performed among the reference frames that the encoding target frame refers to when encoding. The interval is obtained and output to the temporal prediction motion vector candidate determination unit 12.

時間予測動きベクトル候補判定部12は、フレーム動静判定部13により符号化対象フレームが固定撮影された映像であると判定された場合には時間予測動きベクトル候補を予測動きベクトルの候補として使用しないと判定する。また、フレーム動静判定部13により符号化対象フレームが固定撮影された映像でないと判定された場合には、最小フレーム間隔mが閾値k以下である場合には時間予測動きベクトル候補を予測動きベクトルの候補として使用すると判定し、最小フレーム間隔mが閾値kよりも大きい場合には時間予測動きベクトル候補を予測動きベクトルの候補として使用しないと判定する。   The temporal motion vector predictor candidate determination unit 12 must use the temporal motion vector predictor candidate as a motion vector predictor candidate when the frame motion determination unit 13 determines that the encoding target frame is a fixed-captured video. judge. In addition, when the frame motion determination unit 13 determines that the encoding target frame is not a fixed-captured video, if the minimum frame interval m is equal to or less than the threshold k, the temporal motion vector predictor candidate is selected as the motion vector predictor. When the minimum frame interval m is larger than the threshold k, it is determined that the temporal motion vector predictor candidate is not used as a motion vector predictor candidate.

次に、図5を参照して符号化装置2の動作を説明する。図5は、符号化装置2の動作例を示すフローチャートである。   Next, the operation of the encoding device 2 will be described with reference to FIG. FIG. 5 is a flowchart illustrating an operation example of the encoding device 2.

ステップS21では、フレーム動静判定部13により、符号化対象フレームが固定撮影された映像であるか否かを判定する。固定撮影であると判定された場合にはS24へ進んで時間予測動きベクトル候補を使用しないこととする。固定撮影でないと判定された場合はステップS22へ進んで最小フレーム間隔mを求める。ステップS22〜26の処理は実施形態1のステップS11〜15と同様であるため、説明を省略する。   In step S21, the frame motion determination unit 13 determines whether or not the encoding target frame is a fixed-captured video. If it is determined that the shooting is fixed, the process proceeds to S24 and the temporal motion vector predictor candidate is not used. If it is determined that the shooting is not fixed, the process proceeds to step S22 to obtain the minimum frame interval m. Since the process of step S22-26 is the same as that of step S11-15 of Embodiment 1, description is abbreviate | omitted.

本実施形態では、ステップS21の判定をフレーム単位行っているが、符号化対象フレームが固定撮影された映像であるか否かをGOP単位で判定してもよい。この場合には、GOPの先頭フレームが固定撮影された映像であると判定されると、当該GOP内のフレームはすべて固定撮影されたものであるとみなし、時間予測動きベクトル候補を使用しないようにする。   In this embodiment, the determination in step S21 is performed in units of frames. However, it may be determined in units of GOPs whether or not the encoding target frame is a fixed-captured video. In this case, if it is determined that the first frame of the GOP is a fixed-captured video, all the frames in the GOP are considered to be fixed-captured, and the temporal motion vector predictor candidate is not used. To do.

なお、上述した符号化装置2として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置2の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。   In addition, a computer can be suitably used for causing the above-described encoding device 2 to function, and such a computer stores a program describing processing contents for realizing each function of the encoding device 2 in the storage unit of the computer. This program can be realized by reading out and executing this program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

このように、符号化装置2及びそのプログラムは、符号化対象フレームが固定撮影された映像であるか否かを判定し、符号化対象フレームが固定撮影された映像である場合には、時間予測動きベクトルを予測動きベクトルの候補として使用しないようにする。すなわち、符号化装置2は、固定撮影された映像であるか否かを考慮するため、更に映像予測動きベクトルの候補を適切に絞ることができる。固定撮影されたフレームを含む映像を符号化する場合には、符号化装置1と比較して、更に符号化処理の演算時間を短縮することができる。   As described above, the encoding device 2 and the program thereof determine whether or not the encoding target frame is a fixed-captured video. If the encoding target frame is a fixed-captured video, the time prediction is performed. The motion vector is not used as a predicted motion vector candidate. That is, since the encoding apparatus 2 considers whether or not the video is fixedly shot, it can further narrow down video prediction motion vector candidates. Compared with the encoding device 1, the encoding processing time can be further shortened when encoding a video including a frame that has been captured in a fixed manner.

なお、上述の第1及び第2の実施形態において、GOP構造の最上位時間階層のフレーム(図6における奇数番号のフレーム)に対してのみ、時間予測動きベクトル候補を使用するか否かを判定し、その他のフレームでは常に使用するようにしてもよい。この場合、上述の実施形態に比べて、符号化処理の演算時間は多くなるが、符号化効率を向上させることができる。   In the first and second embodiments described above, it is determined whether or not the temporal motion vector predictor candidate is used only for the frame in the highest temporal layer of the GOP structure (the odd-numbered frame in FIG. 6). However, it may always be used in other frames. In this case, compared with the above-mentioned embodiment, although the calculation time of an encoding process increases, encoding efficiency can be improved.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。   Although the above embodiment has been described as a representative example, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, it is possible to combine a plurality of constituent blocks described in the configuration diagram of the embodiment into one, or to divide one constituent block.

1,2 符号化装置
11 フレーム間隔取得部
12 時間予測動きベクトル候補判定部
13 フレーム動静判定部
20 符号化部
21 ブロック分割部
22 減算部
23 変換部
24 量子化部
25 逆量子化部
26 逆変換部
27 加算部
28 記憶部
29 イントラ予測部
30 動き補償予測部
31 切替部
32 エントロピー符号化部
DESCRIPTION OF SYMBOLS 1, 2 Encoding apparatus 11 Frame space | interval acquisition part 12 Temporal prediction motion vector candidate determination part 13 Frame motion / static determination part 20 Encoding part 21 Block division part 22 Subtraction part 23 Conversion part 24 Quantization part 25 Inverse quantization part 26 Inverse conversion Unit 27 addition unit 28 storage unit 29 intra prediction unit 30 motion compensation prediction unit 31 switching unit 32 entropy coding unit

Claims (4)

予測動きベクトル候補の中から動きベクトルとの差分ベクトルが小さくなる予測動きベクトルを選択する符号化装置であって、
符号化対象フレームと、該符号化対象フレームが符号化時に参照する参照フレームのうち、動き補償予測が行われたフレームとの最小フレーム間隔を求めるフレーム間隔取得部と、
前記最小フレーム間隔に応じて、時間予測動きベクトル候補を予測動きベクトルの候補として使用するか否かを判定する時間予測動きベクトル候補判定部と、
前記時間予測動きベクトル候補判定部による判定結果に従い、前記符号化対象フレームを符号化する符号化部と、
を備えることを特徴とする符号化装置。
An encoding device that selects a prediction motion vector that reduces a difference vector from a motion vector from prediction motion vector candidates,
A frame interval obtaining unit that obtains a minimum frame interval between a frame to be encoded and a frame in which motion compensation prediction has been performed among reference frames that the frame to be encoded refers to when encoding;
A temporal motion vector predictor candidate determination unit that determines whether or not to use a temporal motion vector predictor candidate as a motion vector predictor candidate according to the minimum frame interval;
An encoding unit that encodes the encoding target frame according to a determination result by the temporal prediction motion vector candidate determination unit;
An encoding device comprising:
前記符号化対象フレームが固定撮影された映像であるか否かを判定するフレーム動静判定部を更に備え、
前記時間予測動きベクトル候補判定部は、前記フレーム動静判定部により前記符号化対象フレームが固定撮影された映像であると判定された場合には、時間予測動きベクトルを予測動きベクトルの候補として使用しないと判定し、前記フレーム動静判定部により前記符号化対象フレームが固定撮影された映像でないと判定された場合には、前記最小フレーム間隔に応じて、時間予測動きベクトル候補を予測動きベクトルの候補として使用するか否かを判定することを特徴とする、請求項1に記載の符号化装置。
A frame motion determination unit that determines whether or not the encoding target frame is a fixed-captured video;
The temporal prediction motion vector candidate determination unit does not use the temporal prediction motion vector as a candidate for a prediction motion vector when the frame motion determination unit determines that the encoding target frame is a fixed-captured video. When the frame motion determination unit determines that the encoding target frame is not a fixed-captured video, the temporal motion vector predictor candidate is determined as a motion vector predictor candidate according to the minimum frame interval. The encoding apparatus according to claim 1, wherein it is determined whether or not to use.
前記フレーム動静判定部は、前記符号化対象フレームが固定撮影された映像であるか否かをGOP単位で判定することを特徴とする、請求項2に記載の符号化装置。   The encoding apparatus according to claim 2, wherein the frame motion determination unit determines whether or not the encoding target frame is a fixed-captured video for each GOP. コンピュータを、請求項1から3のいずれか一項に記載の符号化装置として機能させるためのプログラム。
The program for functioning a computer as an encoding apparatus as described in any one of Claim 1 to 3.
JP2016158005A 2016-08-10 2016-08-10 Encoding device and program Active JP6867763B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016158005A JP6867763B2 (en) 2016-08-10 2016-08-10 Encoding device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016158005A JP6867763B2 (en) 2016-08-10 2016-08-10 Encoding device and program

Publications (2)

Publication Number Publication Date
JP2018026726A true JP2018026726A (en) 2018-02-15
JP6867763B2 JP6867763B2 (en) 2021-05-12

Family

ID=61195644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016158005A Active JP6867763B2 (en) 2016-08-10 2016-08-10 Encoding device and program

Country Status (1)

Country Link
JP (1) JP6867763B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021892A (en) * 2008-07-11 2010-01-28 Canon Inc Motion vector search device and control method thereof, and moving image imaging apparatus
WO2011048903A1 (en) * 2009-10-20 2011-04-28 シャープ株式会社 Video encoding device, video decoding device, and data structure
JP2012129756A (en) * 2010-12-14 2012-07-05 Nippon Telegr & Teleph Corp <Ntt> Encoder, decoder, encoding method, decoding method, encoding program, and decoding program
US20130107964A1 (en) * 2011-10-28 2013-05-02 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, and image decoding apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021892A (en) * 2008-07-11 2010-01-28 Canon Inc Motion vector search device and control method thereof, and moving image imaging apparatus
WO2011048903A1 (en) * 2009-10-20 2011-04-28 シャープ株式会社 Video encoding device, video decoding device, and data structure
JP2012129756A (en) * 2010-12-14 2012-07-05 Nippon Telegr & Teleph Corp <Ntt> Encoder, decoder, encoding method, decoding method, encoding program, and decoding program
US20130107964A1 (en) * 2011-10-28 2013-05-02 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, and image decoding apparatus

Also Published As

Publication number Publication date
JP6867763B2 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
US11070802B2 (en) Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
KR102085498B1 (en) Method and device for encoding a sequence of images and method and device for decoding a sequence of images
CA2863170C (en) Video decoder, video encoder, video decoding method, and video encoding method
JP2009094828A (en) Device and method for encoding image, and device and method for decoding image
KR20090058954A (en) Video coding method and apparatus using side matching, and video decoding method and appartus thereof
KR20090095012A (en) Method and apparatus for encoding and decoding image using consecutive motion estimation
JP2004336369A (en) Moving image encoder, moving image decoder, moving image encoding method, moving image decoding method, moving image encoding program and moving image decoding program
JP2011029863A (en) Decoding processing method
JP2017069866A (en) Moving image encoder, moving image encoding method and computer program for encoding moving image
US9036918B2 (en) Image processing apparatus and image processing method
JP2024053019A (en) Coding device, decoding device and program
JP2009049969A (en) Device and method of coding moving image and device and method of decoding moving image
JP5281597B2 (en) Motion vector prediction method, motion vector prediction apparatus, and motion vector prediction program
JP5358485B2 (en) Image encoding device
JP6867763B2 (en) Encoding device and program
JP2015223002A (en) Image decoding method
JP2015019417A (en) Image decoding method
JP6838888B2 (en) Coding device and program
JP5422681B2 (en) Image decoding method
JP2015223004A (en) Image decoding method
JP2015223003A (en) Image decoding method
JP2020109960A (en) Intra-prediction device, image coding device, image decoding device, and program
JP2013255290A (en) Image decoding method
KR101285841B1 (en) Motion vector encoder and decoder, and method for encoding and decoding thereof
JP2020137118A (en) Intra prediction device, image decoding device, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210409

R150 Certificate of patent or registration of utility model

Ref document number: 6867763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250