JP2022515995A - 映像処理方法、装置、不揮発性記憶媒体、コンピュータプログラム - Google Patents

映像処理方法、装置、不揮発性記憶媒体、コンピュータプログラム Download PDF

Info

Publication number
JP2022515995A
JP2022515995A JP2021534799A JP2021534799A JP2022515995A JP 2022515995 A JP2022515995 A JP 2022515995A JP 2021534799 A JP2021534799 A JP 2021534799A JP 2021534799 A JP2021534799 A JP 2021534799A JP 2022515995 A JP2022515995 A JP 2022515995A
Authority
JP
Japan
Prior art keywords
image block
current image
motion vector
block
video processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021534799A
Other languages
English (en)
Other versions
JP7224005B2 (ja
Inventor
ゼン、シャオゼン
ワン、スホン
ワン、シャンシェ
マ、シウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2022515995A publication Critical patent/JP2022515995A/ja
Priority to JP2023012074A priority Critical patent/JP7393061B2/ja
Application granted granted Critical
Publication of JP7224005B2 publication Critical patent/JP7224005B2/ja
Priority to JP2023195147A priority patent/JP2024012636A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

現在画像ブロックを確定することと、前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作と高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定することとを含む映像処理方法及び装置を提供する。コーデック性能を確保する前提で、複雑さを低減することができる。

Description

著作権表示
本特許書類に開示された内容には著作権保護された資料が含まれている。この著作権は著作権所有者に所有されている。著作権所有者は、如何なる人による特許商標局の公式記録、文書におけるこの特許書類の複製又はこの特許の開示にも反対しない。
本願はビデオコーデック分野に関し、さらに具体的に映像処理方法及び装置に関する。
現在、主要な映像符号化規格はフレーム間予測部分においてブロックに基づく動き補償技術を採用し、その主要原理は現在画像ブロックのために符号化済み画像から最類似ブロックを探し出すことであり、この過程は動き補償という。たとえば、１フレームの画像について、まず等大の符号化領域（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）に分け、たとえば、大きさが６４×６４又は１２８×１２８である。各ＣＴＵはさらに方形又は矩形の符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に区分されることができる。各ＣＵは参照フレームから（一般には、現在フレームの時間領域近傍の再作成済みフレーム）最類似ブロックを現在ＣＵの予測ブロックとして探し出す。現在ブロック（即ち現在ＣＵ）と類似ブロック（即ち現在ＣＵの予測ブロック）との間の相対変位は動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、ＭＶ）という。参照フレームから最類似ブロックを現在ブロックの予測ブロックとして探し出す過程は動き補償である。
現在の予測モードにおいて、一般には２種類の形態で現在ＣＵの動き情報候補リストを作成している。まずは空間的動きベクトル候補であり、一般には現在ＣＵの隣接する符号化済みブロックの動き情報を候補リストに充填するものであり、次は時間的動きベクトル候補であり、時間動きベクトル予測（Ｔｅｍｐｒｏａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＴＭＶＰ）では現在ＣＵの隣接する符号化済み画像における対応位置でのＣＵの動き情報が利用されている。動き情報候補リストにおける動きベクトル候補に基づき現在ＣＵの動きベクトルを確定し、現在ＣＵの動きベクトルに基づき現在ＣＵの予測ブロックを確定する。
現在の予測モードにはなお改善の余地がある。
本願は従来のＡＴＭＶＰ技術の性能利得を維持する前提でＡＴＭＶＰ技術の複雑さを低減可能な映像処理方法及び装置を提供する。
第１の態様は、
現在画像ブロックを確定することと、
前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測ＴＭＶＰ操作、高度／選択可能な時間動きベクトル予測ＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
前記ＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
前記ＡＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックを複数のサブ画像ブロックに区分することと、
前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、
前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックのサブ画像ブロックの時間動きベクトル候補を確定することとを含む映像処理方法を提供する。
本願に係る態様によれば、既存の冗長操作を簡単にすることができる。
第２の態様は、
命令を記憶するメモリと前記メモリに記憶される命令を実行するプロセッサとを備え、前記プロセッサは、前記メモリに記憶される命令を実行することで、
現在画像ブロックを確定し、
前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作、高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定することに用いられ、
前記ＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
前記ＡＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックを複数のサブ画像ブロックに区分することと、
前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、
前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックのサブ画像ブロックの時間動きベクトル候補を確定することとを含む映像処理装置を提供する。
第３の態様は、コンピュータに実行されることで前記コンピュータが第１の態様又は第１の態様のいずれか一つの可能な実施形態における方法を実現するコンピュータプログラムが記憶されているコンピュータの不揮発性記憶媒体を提供する。
第４の態様は、コンピュータに実行されることで前記コンピュータが第１の態様又は第１の態様のいずれか一つの可能な実施形態における方法を実現する命令を含むコンピュータプログラム製品を提供する。
本願の実施例に係る映像処理方法の概略フローチャートである。 本願の実施例に係る映像処理装置の概略ブロック図である。 本願の実施例に係る符号化設備又は復号設備の一実施形態の概略ブロック図である。
ビデオコーデックにおいて、予測手順は画像における冗長情報の低減に用いられる。予測ブロックとはフレーム画像における予測のための基本ユニットであり、一部の規格において、この予測ブロックを予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）とも称する。フレーム画像を符号化／圧縮する前に、画像が複数の画像ブロックに区分され、さらにこの複数の画像ブロックにおける各画像ブロックが複数の画像ブロックに再区分可能であり、その他も同様である。異なる符号化方法において、分割された階層数が異なってもよく、適用される操作方法も異なる。符号化規格によっては、同一の階層上の画像ブロックの名称が異なる可能性がある。たとえば、一部のビデオ規格において、フレーム画像が最初に分割された複数の画像ブロックにおける各画像ブロックを符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）と称し、各符号化ツリーユニットがそれぞれ一つの符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）を含むか或いは複数の符号化ユニットに再分割されることができ、符号化ユニットが予測方式によって一つ、二つ、四つ又はその他の数量の予測ユニットに分割されることができる。一部のビデオ規格において、この符号化ツリーユニットを最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）とも称する。
予測とは、この予測ブロックに類似する画像データを探索することであり、この予測ブロックの参照ブロックともいう。この予測ブロックとこの予測ブロックの参照ブロックとの差を符号化／圧縮することで、符号化／圧縮における冗長情報を低減させる。なお、予測ブロックと参照ブロックとの差はこの予測ブロックのピクセル値とこの参照ブロックの対応するピクセル値とを引き算した残差でもよい。予測はフレーム内予測とフレーム間予測とを含む。フレーム内予測とは、予測ブロックのあるフレーム内でこの予測ブロックの参照ブロックを探索することであり、フレーム間予測とは、予測ブロックのあるフレーム以外のその他のフレーム内でこの予測ブロックの参照ブロックを探索することである。
既存の一部のビデオ規格において、予測ユニットが画像における最小のユニットであり、予測ユニットが複数の画像ブロックに引き続き区分されない。しかしながら、後述する「画像ブロック」又は「現在画像ブロック」とは予測ユニット（又は符号化ユニット）を指すとともに、画像ブロックが複数のサブ画像ブロックに再区分可能であり、各サブ画像ブロックについてさらに予測されることができる。現在画像ブロックは符号化（又は復号）対象の画像ブロックである。現在画像ブロックのある画像フレームは現在フレームという。たとえば、一部のビデオ規格において、現在画像ブロックが符号化ユニット（ＣＵ）である。
本開示において、現在画像ブロックの予測前に、動き情報候補リストを作成し、この動き情報候補リストから選定された動き情報候補に基づき現在画像ブロックを予測する。ここで、本明細書に示される動き情報は、動きベクトルを含むか或いは動きベクトルと参照フレームの情報とを含むことができる。なお、この動き情報候補リストとは、現在ブロックの動き情報候補の集合であり、この動き情報候補リストにおける各動き情報候補は同一のバッファ（ｂｕｆｆｅｒ）に記憶されてもよく、異なるバッファに記憶されてもよいが、ここで限定されない。後述する動き情報候補リストにおける動き情報のインデックスは現在ブロックの動き情報候補集合全体における動き情報のインデックスでもよく、或いは動き情報のあるバッファにおける動き情報のインデックスでもよいが、ここで限定されない。
動き情報候補リストは多種類のモードで作成される。以下では、まず動き情報候補リストを作成する多種類のモードについて例を挙げて説明する。
第１種のモードにおいて、第１例として、符号化側において、動き情報候補リストを作成した後で、以下のようなステップで現在画像ブロックの符号化を完成することができる。
１）動き情報候補リストから最適の動き情報を選出し、この動き情報に基づき現在画像ブロックの動きベクトルＭＶ１を確定するとともに、動き情報候補リストにおけるこの選出された動き情報のインデックスを取得する。
２）現在画像ブロックの動きベクトルＭＶ１に基づき、参照画像（即ち参照フレーム）から現在画像ブロックの予測画像ブロックを確定する。即ち、参照フレームにおける現在画像ブロックの予測画像ブロックの位置を確定する。
３）現在画像ブロックと予測画像ブロックとの残差を求める。
４）ステップ１）で取得されたインデックス及びステップ３）で取得された残差を復号側へ送信する。
例として、復号側において、以下のようなステップで現在画像ブロックを復号することができる。
１）符号化側から残差及びインデックスを受信する。
２）予め設定された方法で動き情報候補リストを作成する。なお、この予め設定された方法は符号化側で動き情報候補リストを作成する方法と一致してもよい。
３）インデックスに基づき、動き情報候補リストから動き情報を選定するとともにこの選定された動き情報に基づき現在画像ブロックの動きベクトルＭＶ１を確定する。
４）動きベクトルＭＶ１に基づき、現在画像ブロックの予測画像ブロックを取得し、さらに残差を結合し、復号して現在画像ブロックを得る。
即ち第１種のモードにおいて、現在画像ブロックの動きベクトルは予測ＭＶ（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）（例えば上記した動きベクトルＭＶ１）に相当する。一部のビデオコーデック規格において、この第１種のモードがｍｅｒｇｅモードとａｆｆｉｎｅ ｍｅｒｇｅモードの少なくとも一つを含む。
第２種のモードにおいて、第１種のモードとの相違点は、符号化側で動き情報候補リストから最適の動き情報を選出するとともにこの動き情報に基づき現在画像ブロックの予測ＭＶを確定した後で、この予測ＭＶを検索起点として動き検索を行い、最終的には検索された位置と検索起点との変位を動きベクトル差値（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ＭＶＤ）と示す。続いて、現在画像ブロックの予測ＭＶ＋ＭＶＤに基づき、参照画像から現在画像ブロックの予測画像ブロックを確定する。従って、符号化側から復号側へ送信されるストリームには、第１種のモードに記載のインデックス番号と残差以外、さらにこのＭＶＤが含まれる。一部のビデオコーデック規格において、この第２種のモードが高度動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＡＭＶＰ）モードも含むことができる。
種類の異なるモードでの動き情報候補リストの作成方式は同じでもよく、異なってもよい。同一種類の方式で作成された動き情報候補リストはその中の一つの類型のモードのみに適用してもよく、異なる類型の作成モードに適用してもよい。動き情報候補リストにおける候補者を確定する方法はその中の一つの類型のモードのみを利用してもよく、異なる類型の作成モードを利用してもよい。ここで限定されない。
本開示において、２種類の作成方式による動き情報候補リストを提供し、説明の便宜のため、以下ではこの２種類の作成方式による動き情報候補リストをそれぞれ動きベクトルの第１候補リストと動きベクトルの第２候補リストという。この２種類のリストの相違点の一つは、動きベクトルの第１候補リストにおける少なくとも一つの候補者にはサブ画像ブロックの動きベクトルが含まれ、動きベクトルの第２候補リストにおける各候補者には画像ブロックの動きベクトルが含まれることである。
上記のように、ここでいう画像ブロックと現在画像ブロックは同一類型の概念であり、いずれも予測ユニット（又は符号化ユニット）であり、サブ画像ブロックとは、この画像ブロックを元として分割された複数のサブ画像ブロックである。動きベクトルの第１候補リストにおける候補者で予測する場合、この候補者に基づき現在画像ブロックの参照ブロックを確定し、その後でこの画像ブロックとこの参照ブロックとの残差を算出する。動きベクトルの第２候補リストにおける候補者で予測する場合、用いられる候補者はサブ画像ブロックの動きベクトルであると、この候補者に基づき現在画像ブロックにおける各サブ画像ブロックの参照ブロックを確定し、その後で現在画像ブロックにおける各サブ画像ブロックとその参照ブロックとの残差を算出し、各サブ画像ブロックの残差を合わせてこの現在画像ブロックの残差になる。
本態様に係る現在画像ブロックの動きベクトルの第２候補リストは上記した第１種のモードと第２種のモードの少なくとも一つに適用することができる。たとえば、一部のビデオコーデック規格において、この動きベクトルの第２候補リストがＭｅｒｇｅ候補リストにおける通常Ｍｅｒｇｅ動き情報候補リスト（Ｎｏｒｍａｌ Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）でもよい。一部のビデオコーデック規格において、この動きベクトルの第２候補リストがＡＭＶＰ候補リスト（ＡＭＶＰ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）でもよい。一部のビデオコーデック規格において、この動きベクトルの第１候補リストがＭｅｒｇｅ候補リストにおけるアフィンＭｅｒｇｅ動き情報候補リスト（Ａｆｆｉｎｅ Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）でもよい。動きベクトルの第２候補リストは別の名称を有してもよいと理解されうる。
本願に係る作成方式で形成された動きベクトルの第１候補リストと動きベクトルの第２候補リストが符号化側と復号側に適用されると理解されうる。言い換えると、本願に係る方法の実行主体は符号化側でもよく、復号側でもよい。
一例として、動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける候補者を確定するとき、ＴＭＶＰ操作と高度／選択可能な時間動きベクトル予測（Ａｄｖａｎｃｅｄ／Ａｌｔｅｒｎａｔｉｖｅ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＡＴＭＶＰ）操作の少なくとも一つによってその中の候補者を確定することができる。
なお、ＡＴＭＶＰ操作は動きベクトル予測メカニズムである。ＡＴＭＶＰ技術の基本思想は現在画像ブロック（例えば現在ＣＵ）内の複数のサブブロックの動き情報を取得することで動き補償を行う。ＡＴＭＶＰ操作は候補リスト（例えばｍｅｒｇｅ／ａｆｆｉｎｅ ｍｅｒｇｅ候補リスト又はＡＭＶＰ候補リスト）の作成に現在画像ブロック内の複数のサブブロックの動き情報を候補として導入する。ＡＴＭＶＰ技術の実現は大体、現在画像ブロックの動きベクトル候補リスト又は現在画像ブロックの隣接する画像ブロックの動きベクトルをスキャンすることで、時間ベクトルを確定する第１ステップと、現在画像ブロックをＮ×Ｎのサブブロック（例えばｓｕｂ－ＣＵ）に区分し、第１ステップで取得された時間ベクトルに基づき参照フレームにおける各サブブロックの対応するブロックを確定するとともに参照フレームにおける各サブブロックの対応するブロックの動きベクトルに基づき、各サブブロックの動きベクトルを確定する第２ステップとの２ステップでできる。
たとえば、動きベクトルの第１候補リストを作成する場合、ＡＴＭＶＰ操作によって確定された動きベクトルを候補者（例えば第１の候補者）としてリストに入れることができる。動きベクトルの第２候補リストを作成する場合、ＴＭＶＰ操作によって確定された動きベクトルを候補者としてリストに入れることができる。たとえば、ＴＭＶＰ操作によって確定された時間動きベクトル候補は候補者として通常Ｍｅｒｇｅ候補リスト及びＡＭＶＰ候補リストに同時に加わることができる。またたとえば、ＴＭＶＰ操作によって確定された時間動きベクトル候補は候補者として通常Ｍｅｒｇｅ候補リスト又はＡＭＶＰ候補リストに加わることができる。
一例として、ＴＭＶＰ操作は、時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、前記関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含む。
一例として、ＡＴＭＶＰ操作は、時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックを複数のサブ画像ブロックに区分することと、前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックのサブ画像ブロックの時間動きベクトル候補を確定することとを含む。
なお、ＴＭＶＰ操作及びＡＴＭＶＰ操作に係る時間上の隣接する画像は現在画像ブロックのある画像に時間上で最も近い参照画像でもよく、又は、この時間上の隣接する画像はコーデック側で予め設定された参照画像でもよく、又は、この時間上の隣接する画像は現在画像ブロックの参照画像が映像パラメータセット、シーケンスヘッダー、シーケンスパラメータセット、画像ヘッダー、画像パラメータセット、スライスヘッダーに指定された参照画像でもよい。一例として、この時間上の隣接する画像は現在画像ブロックの同位フレームでもよい。同位フレームとはスライスレベル情報ヘッダーに設定された動き情報を取得して予測するためのフレームである。ある応用シナリオにおいて、この同位フレームが位置関連フレーム（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）と呼ばれる。
一例として、現在画像ブロックの関連ブロックは現在画像ブロックの同位ブロックでもよい。一部のビデオコーデック規格において、関連ブロックはｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ又はｃｏｒｒｅｓｐｏｎｄｉｎｇ ｂｌｏｃｋと呼ばれる。ここで、同位ブロックは同位フレームにおける現在画像ブロックと同じ位置を有する画像ブロックでもよく、又は同位フレームにおける現在画像ブロックの位置と同じ位置差を有する画像ブロックでもよい。
なお、ＴＭＶＰ操作とＡＴＭＶＰ操作とでは現在画像ブロックの関連ブロックの確定方法が同じでもよく、異なってもよい。
一例として、ＴＭＶＰ操作とＡＴＭＶＰ操作における現在画像ブロックの関連ブロックの確定方法は同じであり、いずれも、前記時間上の隣接する画像における現在画像ブロックの指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定すること、又は、前記時間上の隣接する画像における前記現在画像ブロックの空間上の隣接する指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定することを含む。
ＡＴＭＶＰ操作とＴＭＶＰ操作の第１ステップの一例として、いずれも現在には動きベクトルｍｅｒｇｅ候補リストに加わった空間動きベクトル候補全体をスキャンすることで、現在画像ブロックの関連ブロックを確定する。この例と比べると、「前記時間上の隣接する画像における現在画像ブロックの指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定するか、或いは前記時間上の隣接する画像における前記現在画像ブロックの空間上の隣接する指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定する」ことでＴＭＶＰ操作とＡＴＭＶＰ操作における冗長操作を簡単にすることができる。
なお、現在画像ブロックの関連ブロックの大きさは現在画像ブロックの大きさと同じでもよく、或いは現在画像ブロックの関連ブロックの大きさがデフォルト値でもよい。
なお、現在画像ブロックにおける指定位置は現在画像ブロックにおけるいずれか一つの位置でもよいが、たとえば、現在画像ブロックの左上角点、右上角点、中心点、左下角点、右下角点のいずれか一つでもよい。現在画像ブロックにおける空間上の隣接する指定位置とは現在画像における現在画像ブロック以外のある指定位置であり、例えば現在画像ブロックに隣接する指定位置である。
上記した指定位置が現在画像ブロックの左上角点であることを例とし、時間上の隣接する画像には位置が現在画像ブロックの左上角点と同じであるピクセルがあり、このピクセルのある符号化済み／復号済みブロックを現在画像ブロックの関連ブロックとしてもよく、又はこのピクセルを左上角点とし且つ大きさが現在画像ブロックの大きさと同じか或いは大きさが予め設定された大きさである画像ブロックを現在画像ブロックの関連ブロックとしてもよい。
ＡＴＭＶＰ操作の一例として、サブ画像ブロックの大きさについてフレームレベルの自己適応で設置し、サブ画像ブロックの大きさを４×４としてデフォルトし、ある条件を満たすと、サブ画像ブロックの大きさは８×８に設置される。たとえば、符号化側で現在画像ブロックを符号化するとき、同一の時間階層における直前の符号化画像ブロックについてＡＴＭＶＰモードでの符号化を行った時のＣＵにおける各サブ画像ブロックの平均ブロック大きさを算出し、平均ブロック大きさが閾値より大きくなると、現在画像ブロックのサブ画像ブロックのサイズを８×８とし、さもなければデフォルト値４×４を使う。現在、次世代の映像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８の大きさで動きベクトルが記憶されている。サブ画像ブロックの大きさを４×４とすると、このサブ画像ブロックの動きベクトルの大きさ（４×４でもある）は既存規格における動きベクトルの記憶粒度に満たさないことが理解されうる。また、このＡＴＭＶＰ操作の例において、現在画像ブロックを符号化するには、同一の時間階層の直前の符号化済み画像ブロックのサブ画像ブロックの大きさの情報を記憶する必要がある。
ＡＴＭＶＰ操作の別の一例として、現在画像ブロックはＣＵであり、それを区分した後に得たサブ画像ブロックはｓｕｂ－ＣＵと称することができる。好ましくは、サブ画像ブロックの大きさとサブ画像ブロックの関連ブロックの大きさの少なくとも一つが６４画素以上に固定される。好ましくは、サブ画像ブロックの大きさとサブ画像ブロックの関連ブロックの大きさの少なくとも一つはいずれも８×８画素に固定される。現在画像ブロックのサブ画像ブロックの大きさを８×８に固定して設定すると、ビデオ規格ＶＶＣに規定する動きベクトルの記憶粒度を満たす一方で、直前の符号化済み画像ブロックのサブ画像ブロックの大きさの情報を記憶する必要がなくなるので、記憶スペースを節約することができる。
サブ画像ブロックの大きさとサブ画像ブロックの関連ブロックの大きさの少なくとも一つが６４の画素に等しいことを確保する前提で、サブ画像ブロックの大きさとサブ画像ブロックの関連ブロックの大きさの少なくとも一つは別のサイズでもよく、例えばサブ画像ブロックの大きさとサブ画像ブロックの関連ブロックの大きさの少なくとも一つはＡ×Ｂであり、ここで、Ａ≦６４、Ｂ≦６４、ＡとＢがいずれも４の整数でもよいと理解されうる。たとえば、サブ画像ブロックの大きさとサブ画像ブロックの関連ブロックの大きさの少なくとも一つは４×１６画素又は１６×４画素である。
一部の実施形態において、動きベクトルの記憶粒度は８×８ではなく、その他の数値でもよい。好ましくは、現在画像ブロックのサブ画像ブロックの大きさを動きベクトルの粒度と同じように設定し、いずれもｘ×ｙであり、このｘとｙは正の整数である。
一部の実施形態において、動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける現在ブロックの候補者を確定する場合、現在画像ブロックのサイズが予め設定された条件を満たすと、ＡＴＭＶＰ操作によって動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける現在画像ブロックの時間動きベクトル候補を確定する。
一部の実施形態において、動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける現在ブロックの候補者を確定する場合、現在画像ブロックのサイズが予め設定された条件を満たさないと、ＡＴＭＶＰ操作を終了し、即ちＡＴＭＶＰ操作に基づき動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける現在画像ブロックの時間動きベクトル候補を確定しない。
一部の実施形態において、動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける各画像ブロックの候補者を確定する場合、現在画像ブロックのサイズが予め設定された条件を満たすと、ＴＭＶＰ操作によって動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける現在画像ブロックの時間動きベクトル候補を確定する。
一部の実施形態において、動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける各画像ブロックの候補者を確定する場合、現在画像ブロックのサイズが予め設定された条件を満たさないと、ＴＭＶＰ操作を終了し、即ちＴＭＶＰ操作によって動きベクトルの第１候補リストと動きベクトルの第２候補リストの少なくとも一つにおける現在画像ブロックの時間動きベクトル候補を確定する。
ここで、上記した４種類の実施形態の少なくとも一つの実施形態において、予め設定された条件は一つの条件又は複数の条件の組合せを含むことができる。たとえば、現在画像ブロックのサイズが第１条件群を満たしてはじめて、ＡＴＭＶＰ操作によって現在画像ブロックの時間動きベクトル候補を確定する。現在画像ブロックのサイズが第２条件群を満たしてはじめて、ＴＭＶＰ操作によって現在画像ブロックの時間動きベクトル候補を確定する。ここで、第１条件群における条件数量は少なくとも一つである。ここで、第２条件群の条件数量は少なくとも一つである。ここで、第１条件群と第２条件群は完全に同じでもよく、又はまったく異なってもよく、又は一部が同じでもよい。
一例として、現在画像ブロックのサイズはｘ１×ｙ１であり、現在画像ブロックのサブ画像ブロックについてデフォルトして設定されたサイズがｘ２×ｙ２であり、ここで、ｘ１、ｘ２、ｙ１、ｙ２がいずれも正の整数であり、予め設定された条件は、ｘ１がｘ２以上であること、ｙ１がｙ２以上であることの少なくとも一つを含む。たとえば、ｘ１がｘ２以上であるか、ｙ１がｙ２以上であるかの少なくとも一つである場合、ＡＴＭＶＰ操作とＴＭＶＰ操作の少なくとも一つによって現在画像ブロックの時間動きベクトル候補を確定する。
一例として、ｘ１がｘ２より小さい又はｘ２以下であるか、ｙ１がｙ２より小さい又はｙ２以下であるかの少なくとも一つである場合、前記ＡＴＭＶＰ操作を実行しないように設定する。たとえば、上記した動きベクトルの第１候補リストを作成するとき、加わる動きベクトル候補者にはＡＴＭＶＰ操作によって確定された候補者がない。
一例として、現在画像ブロックのサイズがｘ１×ｙ１であり、予め設定されたサイズがｘ３×ｙ３であり、ここで、ｘ１、ｘ３、ｙ１、ｙ３がいずれも正の整数であり、予め設定された条件はｘ１がｘ３以上であること、ｙ１がｙ３以上であることの少なくとも一つを含む。たとえば、ｘ１がｘ３より小さいもしくはｘ３以下であるか、ｙ１がｙ３より小さいもしくはｙ３以下であるかの少なくとも一つである場合、ＡＴＭＶ操作とＴＭＶＰ操作の少なくとも一つによって現在画像ブロックの時間動きベクトル候補を確定する。
一例として、ｘ１がｘ３より小さいもしくはｘ３以下であるか、ｙ１がｙ３より小さいもしくはｙ３以下であるかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないように設定する。ＴＭＶＰ操作をジャンプするには、ハードウェアの設計で、できるだけ同じ大きさの処理領域で符号化又は復号を完成する時刻が一致する必要があるので、比較的小さいブロックを含む領域に対して、必要とする流水時間がその他の領域を遥かに超えるので、小さいブロックの流水時間を節約することはハードウェアの並進処理にとって十分に有利である。現在画像ブロックのサイズが小さい場合、ＴＭＶＰ操作をジャンプすることで、小さいブロックの流水時間を節約することができる。それ以外、従来の符号化技術において、時間領域の相関性に関する利用率が高くなりつつあり、ＡＴＭＶＰなどの多くの時間領域予測技術が採用されるので小さいブロックにとって、ＴＭＶＰをジャンプすることによる性能影響が無視できる。
本明細書においてＴＭＶＰ操作を実行しないか或いはＴＭＶＰ操作をジャンプすることが記載されるとき、第１種のモードと第２種のモードの動き情報候補リストについていずれもＴＭＶＰ操作によって候補者を確定する場合、第１種のモードのみ又は第２種のモードのみの動き情報候補リストについてＴＭＶＰ操作をジャンプしてもよいが、或いは第１種のモード及び第２種のモードの動き情報候補リストのいずれもＴＭＶＰ操作をジャンプしてもよい。
一例として、動きベクトルの記憶粒度が前記のｘ３×ｙ３である。
一例として、現在画像ブロックのサイズが第１デフォルトサイズと同じである場合、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のいずれか一つのみを実行する。たとえば、ＡＴＭＶＰ操作をしないか或いはＴＭＶＰ操作をしないように設定する。たとえば、ＡＴＭＶＰ操作のみを実行する。たとえば、ＴＭＶＰ操作をしないように設定する。一例として、この第１デフォルトサイズが動きベクトルの記憶粒度のサイズと同じでもよい。現在画像ブロックのサイズが第１デフォルトサイズと同じである場合、ＡＴＭＶＰ技術とＴＭＶＰ技術にはある程度の冗長があり、両技術はいずれも現在画像ブロックについて一組の時間動き情報を導出するものなので、その中の一つの操作をしないように設定することで、一部の冗長操作をジャンプし、コーデックの時間を効率的に節約することができる。一部の実施形態において、ＡＴＭＶＰの場合、導出時に現在画像ブロックに既存のｍｅｒｇｅリストにおける動きベクトル候補を使うのに対して、ＴＭＶＰの場合、隣接する符号化済み画像における固定位置から動きベクトル候補を直接導出し、このような場合、ある程度ＡＴＭＶＰ技術で導出される動きベクトルがＴＭＶＰ技術より有効で且つ自己適応であるのでＴＭＶＰ操作をしないように設定する。
一例として、現在画像ブロックは一つの動きベクトルの記憶粒度を含む場合、ＡＴＭＶＰ操作とＴＭＶＰ操作の少なくとも一つによって現在画像ブロックの時間動きベクトル候補を確定する。即ち現在画像ブロックのサイズが一つの動きベクトルの記憶粒度をカバーすることができる場合、ＡＴＭＶＰ操作とＴＭＶＰ操作の少なくとも一つによって現在画像ブロックの時間動きベクトル候補を確定する。
一例として、現在画像ブロックは一つの動きベクトルの記憶粒度を含まないか或いは現在画像ブロックのサイズが一つの動きベクトルの記憶粒度に等しい場合、ＴＭＶＰ操作をしないように設定する。ＴＭＶＰ技術は一組の時間動き情報を導出し、現在画像ブロックが一つの動きベクトルの記憶粒度を含まない場合、導出された動きベクトルが同じくなる結果が生じ、必要としない区分操作を起こすおそれがある。
一例として、予め設定された条件は、前記現在画像ブロックの画素数が所定値より大きいか或いは所定値以上であることを含む。一例として、前記現在画像ブロックの画素数が前記所定値より小さいか或いは前記所定値以下であると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作の少なくとも一つを実行しない。たとえば、この所定値が３２又は６４でもよい。
具体的に、現在ＣＵブロックの幅又は高さが８より小さい場合、現在ＣＵブロックの幅、高さはいずれも８に等しい場合及び現在ＣＵブロックの幅又は高さが８より小さい又は現在ＣＵブロックの幅、高さがいずれも８に等しい場合、ＴＭＶＰ操作をしないように設定し、一部の冗長操作をジャンプするので、コーデックの時間を効率的に節約することができる。
一部の実施形態において、現在画像ブロックの動きベクトルの第２候補リストの作成過程において、ＴＭＶＰ操作過程を終了し、即ちＴＭＶＰ技術によりこの動きベクトルの第２候補リストに加わった時間動きベクトル候補を確定しない。ＡＴＭＶＰ操作、ＨＭＶＰ操作等のその他の時間動き情報に関する加わった操作について、現在の作成過程におけるＴＭＶＰ技術の効果が大幅に低減され、それと上記したそれらの技術とにはある程度の冗長があり、即ち状況によっては、同じ動き情報を導出して、候補リストの作成過程が煩雑すぎ、効率が低くなる場合がある。一例として、現在画像ブロックについてｍｅｒｇｅ動きベクトル候補リストを作成する過程においてＴＭＶＰ過程を終了する。このような場合、時間領域の関連情報がなお有効に利用され、且つｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔの作成プロセスがより簡易であり、ある程度コーデック側の複雑さを低減することができる。
動き補償の予測段階で、従来主流とする映像符号化規格では並進モデルのみが適用されている。しかしながら、現実世界では、例えば拡大／縮小、回転、遠景の動き及びその他のランダムな動きなどの動き態様が非常に多い。フレーム間予測の効率を向上させるために、コーデック技術にアフィン変換（ａｆｆｉｎｅ）動き補償モデルを導入することができる。アフィン変換動き補償は一組の制御点（ｃｏｎｔｒｏｌ ｐｏｉｎｔ）のＭＶによって画像ブロックのアフィン運動場を描く。一例として、アフィン変換動き補償モデルは４つパラメータＡｆｆｉｎｅモデルを採用すると、この組の制御点は二つの制御点（例えば画像ブロックの左上角点と右上角点）を含む。一例として、アフィン変換動き補償モデルは６つパラメータＡｆｆｉｎｅモデルを採用すると、この組の制御点は三つの制御点（例えば画像ブロックの左上角点、右上角点及び左下角点）を含む。
一実施形態において、動きベクトルの第１候補リストを作成するとき、加わる候補者が一組の制御点のＭＶでもよく、又は制御点予測動きベクトル（ＣＰＭＶＰ、Ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）と称する。好ましくは、動きベクトルの第１候補リストがＭｅｒｇｅモードに適用可能であり、具体的には、Ａｆｆｉｎｅ Ｍｅｒｇｅモードと呼ぶことができ、相応には、この動きベクトルの第１候補リストがａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔと呼ぶことができる。Ａｆｆｉｎｅ Ｍｅｒｇｅモードにおいて、動きベクトルの第１候補リストにおける予測をそのまま現在画像ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）として使用し、即ちａｆｆｉｎｅ運動推定過程を必要としない。
一実施形態において、ＡＴＭＶＰ技術によって確定された候補者を動きベクトルの第１候補リストに加えることができる。
ここで、一例として、現在画像ブロックの関連ブロックの制御点の動きベクトル組を候補者として動きベクトルの第１候補リストに加える。動きベクトルの第１リストにおけるこの候補者で予測する場合、現在画像ブロックの関連ブロックの制御点の動きベクトル組に基づきこの現在画像ブロックを予測する。
ここで、一例として、上記したように、現在画像ブロックの関連ブロックの代表動きベクトルを候補者として動きベクトルの第１候補リストに加える。さらに、好ましくは、この候補者がＡＴＭＶＰ技術に基づき確定されたものであるようにマークする。動きベクトルの第１候補リストにおけるこの候補者で予測する場合、このマーク及び候補者に基づき現在画像ブロックの関連ブロックを確定し、現在画像ブロックとこの関連ブロックとを同じ方式で複数のサブ画像ブロックに区分し、現在画像ブロックにおける各サブ画像ブロックが前記関連ブロックにおける各サブ画像ブロックに一対一に対応し、この関連ブロックにおける各サブ画像ブロックの動きベクトルに基づき現在画像ブロックにおける対応するサブ画像ブロックの動きベクトルをそれぞれ予測する。
ここで、好ましくは、関連ブロックに動きベクトルにより取得不可能なサブ画像ブロックがある場合、この取得不可能な動きベクトルを代替し、この関連ブロックの代表動きベクトルで現在画像ブロックにおける対応するサブ画像ブロックを予測する。好ましくは、関連ブロックの代表動きベクトルはいずれも取得不可能である場合、ＡＴＭＶＰ技術によって確定された候補者をこの動きベクトルの第２候補リストに加えることを止める。一例として、関連ブロックにおけるサブ画像ブロックが取得できないか或いは関連ブロックにおけるサブ画像ブロックにフレーム内符号化モードが適用される場合、この関連ブロックに取得不可能な動きベクトルのサブ画像ブロックが生じることを確定する。
ここで、好ましくは、動きベクトルの第１候補リストにおける各候補者には一組の制御点の動きベクトルが含まれ、現在画像ブロックの関連ブロックの代表動きベクトルを動きベクトルの第１候補リストに加える場合、データ形式の一致性を確保するために、この関連ブロックの代表動きベクトルを候補者における各制御点の動きベクトルに挿入する（即ちこの候補者における各制御点の動きベクトルはいずれもこの関連ブロックの代表動きベクトルに代入される）。
ここで、好ましくは、現在画像ブロックの関連ブロックの代表動きベクトルはこの関連ブロックの中心位置の動きベクトルでもよく、又はその他の代表関連ブロックの動きベクトルでもよいが、ここで限定されていない。
図１に示すように、本願の実施例は以下のようなステップを含む映像処理方法をさらに提供する。
Ｓ１１０、現在画像ブロックを確定する。
Ｓ１２０、前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作と高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定する。
ここで、前記ＴＭＶＰ操作は、時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、前記関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含む。
ここで、前記ＡＴＭＶＰ操作は、時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックを複数のサブ画像ブロックに区分することと、前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含む。
図１に示すような映像処理方法について上記の内容を参照して、ここで詳細を省略する。
上記では図１を参照しながら本願の方法実施例を説明したが、以下では図１に示すような方法実施例に対応する装置実施例を説明する。装置実施例に関する記載は方法実施例に関する記載と互いに対応するので、詳細に記載されていない内容について上記の方法実施例を参照することができ、文脈の簡略化のために、ここで詳細を省略する。
図２は本願の実施例に係る映像処理装置２００の概略ブロック図である。この装置９００は図７に示すような方法実施例の実行に用いられる。この装置２００は、
現在画像ブロックを確定する第１確定モジュール２１０と、
前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作と高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定するための第２確定モジュール２２０、とを備える。
ここで、前記ＴＭＶＰ操作は時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、前記関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含む。
ここで、前記ＡＴＭＶＰ操作は、時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックを複数のサブ画像ブロックに区分することと、前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含む。
本実施例における第１確定モジュールと第２確定モジュールはプロセッサによって実現できることが理解されうる。
本願の実施例は映像処理装置をさらに提供する。装置は上記した方法実施例に適用できる。装置は命令を記憶するメモリと、メモリに記憶される命令を実行するプロセッサと、を備え、メモリに記憶される命令の実行でプロセッサが上記した方法実施例に基づく方法を実行する。
好ましくは、この装置は周辺機器に通信するための通信インターフェースをさらに含んでもよい。たとえば、プロセッサは通信インターフェースの受信信号と送信信号の少なくとも一つを制御する。
本願に係る装置はコーダーに適用でき、デコーダーにも適用できる。
図３は本願に係る符号化設備又は復号設備（符号解読設備１１００と称する）の一実施形態の概略ブロック図である。ここで、符号解読設備１１００はプロセッサ１１１０と、メモリ１１３０と、バスシステム１１５０とを含むことができる。ここで、プロセッサとメモリはバスシステムを通じて接続され、このメモリが命令を記憶し、このプロセッサがこのメモリに記憶される命令を実行する。符号化設備のメモリにはプログラムコードが記憶され、且つプロセッサはメモリに記憶されるプログラムコードを呼び出して本願に記載の各映像符号化又は復号方法、特に本願に記載のフレーム間予測方法を実行することができる。重複しないように、ここで詳細を省略する。
本願の実施例において、このプロセッサ１１１０はＣＰＵでもよく、このプロセッサ１１１０はその他の汎用のプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ又はその他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどでもよい。汎用のプロセッサはマイクロプロセッサでもよく、又はこのプロセッサは任意の通常のプロセッサなどでもよい。
このメモリ１１３０はＲＯＭ又はＲＡＭを含むことができる。任意のその他の適切な類型の記憶機器もメモリ１１３０に用いられる。メモリ１１３０はプロセッサ１１１０によりバス１１５０を通じてアクセスするコードとデータ１１３１を含んでもよい。メモリ１１３０は、オペレーティングシステム１１３３と、プロセッサ１１１０が本願に係る映像符号化又は復号方法（特に本願に係るフレーム間予測方法）を実行するための少なくとも一つのプログラムを含むアプリケーションプログラム１１３５と、をさらに含むことができる。たとえば、アプリケーションプログラム１１３５はアプリケーション１～Ｎを含んでもよく、本願に係る映像符号化又は復号方法を実行する映像符号化又は復号アプリケーション（映像符号解読アプリケーションと略称する）をさらに含む。
このバスシステム１１５０はデータバス以外、電源バスと、制御バスと、ステータス信号バスなどとを含んでもよい。しかしながら、わかりやすく説明するために、図には各種類のバスのいずれもバスシステム１１５０として示す。
好ましくは、符号解読設備１１００は一つ又は複数の出力設備をさらに含んでもよく、例えばディスプレイ１１７０を含む。一例として、ディスプレイ１１７０は触覚ディスプレイでもよく、ディスプレイとタッチ入力を操作可能に検出する触覚ユニットとを統合する。ディスプレイ１１７０はバス１１５０を通じてプロセッサ１１１０に接続されてもよい。
本願の実施例は、コンピュータに実行されることでコンピュータが上記した方法実施例に係る方法を実行するコンピュータプログラムが記憶されているコンピュータ記憶媒体をさらに提供する。
本願の実施例は、コンピュータに実行されることでコンピュータが上記した方法実施例に係る方法を実行する命令を含むコンピュータプログラム製品をさらに提供する。
上記実施例において、全部又は一部について、ソフトウェア、ハードウェア、ファームウェア又はその他の任意の組合せで実現することができる。ソフトウェアで実現する場合、全部又は一部でコンピュータプログラム製品の態様で実現することができる。前記コンピュータプログラム製品は一つ又は複数のコンピュータの命令を含む。コンピュータに前記コンピュータプログラムの命令をアップロードして実行させるとき、全部又は一部で本発明の実施例に記載のプロセス又は機能が生じる。前記コンピュータは汎用のコンピュータ、専用コンピュータ、コンピュータネットワーク又はその他のプログラマブルデバイスでもよい。前記コンピュータ命令はコンピュータ読み取り可能な記憶媒体に記憶されるか、或いは一つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体へ転送することができ、たとえば、前記コンピュータの命令が一つのウェブサイト、コンピュータ、サーバ又はデータセンターから有線（例えば同軸ケーブル、光ファイバー、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ））又は無線（例えば赤外線、無線、マイクロ波等）方式で別のウェブサイト、コンピュータ、サーバ又はデータセンターへ転送されることができる。前記コンピュータ読み取り可能な記憶媒体はコンピュータがアクセスできる任意の可用媒体でもよく、又は一つ又は複数の可用媒体を含んで統合されるサーバ、データセンター等のデータ記憶機器でもよい。前記可用媒体は磁気媒体（たとえば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えばデジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えばソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ））などでもよい。
当業者は、本明細書に開示された実施例に記載の各例のユニット及び算法手順を組み合わせることで、電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組合せで実現することができると理解できる。これらの機能をハードウェアで実行するか或いはソフトウェアで実行するかは、技術案の特定の適用及び設計制約条件による。当業者は各特定の適用に対して異なる方法で記載の機能を実現することができるが、このような実現は本願の範囲を逸脱してはならない。
本願に係る幾つかの実施例において、開示されたシステム、装置及び方法はその他の態様で実現することできると理解できる。たとえば、上記した装置実施例は模式的なものであるにすぎず、たとえば、前記ユニットの区分は論理機能区分であるにすぎず、実際の実現時に別の区分方式を使ってもよく、例えば複数のユニット又はコンポーネントは結合されたり、又は別のシステムに統合されたり、又は一部の特徴が省略されたり或いは実行されなくてもよい。また、表示又は検討された互いの結合又は直接結合又は通信接続はインターフェース、装置又はユニットによる間接結合又は通信接続でもよく、電気的、機械的又はその他の形式でもよい。
上記では分離部材として説明されたユニットは物理的に分けたものでもよく、そうでなくてもよい。ユニットとして表示された部材は物理ユニットでもよく、そうでなくてもよい。即ち１箇所に位置してもよいが、又は複数のネットワークユニットに分散してもよい。実際の必要に応じてそのユニットの一部又は全部を選択して本実施例の技術案の目的を実現することができる。
なお、本願の各実施例における各機能ユニットは一つの処理ユニットに統合してもよく、各ユニットが個別で物理的に存在してもよく、二つ又は二つ以上のユニットが一つのユニットに統合されてもよい。
上記は本願の具体的な実施形態であるにすぎず、本願の保護範囲を限定していない。当業者が本願に開示される技術範囲内で容易に想到しうる変化又は置換えはいずれも本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲に準じる。
図２は本願の実施例に係る映像処理装置２００の概略ブロック図である。この装置９００は図１に示すような方法実施例の実行に用いられる。この装置２００は、
現在画像ブロックを確定する第１確定モジュール２１０と、
前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作と高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定するための第２確定モジュール２２０、とを備える。
上記は本願の具体的な実施形態であるにすぎず、本願の保護範囲を限定していない。当業者が本願に開示される技術範囲内で容易に想到しうる変化又は置換えはいずれも本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲に準じる。
［項目１］
映像処理方法であって、
現在画像ブロックを確定することと、
前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作、高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
前記ＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づき、前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
前記ＡＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックを複数のサブ画像ブロックに区分することと、
前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、
前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックのサブ画像ブロックの時間動きベクトル候補を確定することとを含む、映像処理方法。
［項目２］
前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作で、前記時間上の隣接する画像において現在画像ブロックの関連ブロックを確定することは、
前記時間上の隣接する画像における現在画像ブロックの指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定すること、又は、
前記時間上の隣接する画像における前記現在画像ブロックの空間上の隣接する指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定することを含む、項目１に記載の映像処理方法。
［項目３］
前記現在画像ブロックの指定位置は、
前記現在画像ブロックの左上角点と、
前記現在画像ブロックの右上角点と、
前記現在画像ブロックの中心点と、
前記現在画像ブロックの左下角点と、
前記現在画像ブロックの右下角点とのいずれか１箇所を含む、項目２に記載の映像処理方法。
［項目４］
前記時間上の隣接する画像が前記現在画像ブロックの同位フレームである、項目１から項目３のいずれか一項に記載の映像処理方法。
［項目５］
前記現在画像ブロックの関連ブロックが前記現在画像ブロックの同位ブロックである、項目１から項目４のいずれか一項に記載の映像処理方法。
［項目６］
前記サブ画像ブロックのサイズは動きベクトル記憶粒度のサイズと同じようにデフォルトして設定される、項目１に記載の映像処理方法。
［項目７］
前記動きベクトル記憶粒度のサイズが８×８であり、前記サブ画像ブロックのサイズが８×８にデフォルトして設定される、項目６に記載の映像処理方法。
［項目８］
前記現在画像ブロックのサイズがｘ１×ｙ１であり、前記現在画像ブロックのサブ画像ブロックについてデフォルトして設置されたサイズがｘ２×ｙ２であり、ｘ１、ｘ２、ｙ１、ｙ２がいずれも正の整数であり、
前記予め設定された条件はｘ１がｘ２以上であること、ｙ１がｙ２以上であることの少なくとも一つを含む、項目１に記載の映像処理方法。
［項目９］
ｘ１がｘ２より小さい又はｘ２以下であるか、ｙ１がｙ２より小さい又はｙ２以下であるかの少なくとも一つである場合、前記ＡＴＭＶＰ操作をしないように設定することをさらに含む、項目８に記載の映像処理方法。
［項目１０］
前記現在画像ブロックのサイズが第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のいずれか一つのみを実行することをさらに含む、項目１に記載の映像処理方法。
［項目１１］
前記第１デフォルトサイズが前記動きベクトル記憶粒度のサイズと同じである、項目１０に記載の映像処理方法。
［項目１２］
前記現在画像ブロックのサイズが前記第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のうちの前記ＡＴＭＶＰ操作のみを実行する、項目１０に記載の映像処理方法。
［項目１３］
前記現在画像ブロックのサイズがｘ１×ｙ１であり、予め設定されたサイズがｘ３×ｙ３であり、ｘ１、ｘ３、ｙ１、ｙ３がいずれも正の整数であり、
前記予め設定された条件は、ｘ１がｘ３以上であること、ｙ１がｙ３以上であることの少なくとも一つを含む、項目１に記載の映像処理方法。
［項目１４］
動きベクトルの記憶粒度が前記ｘ３×ｙ３である、項目１３に記載の映像処理方法。
［項目１５］
ｘ１がｘ３より小さいもしくはｘ３以下であるか、ｙ１がｙ３より小さいもしくはｙ３以下であるかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことをさらに含む、項目１３に記載の映像処理方法。
［項目１６］
前記予め設定された条件は、
前記現在画像ブロックには一つの動きベクトルの記憶粒度が含まれることを含む、項目１に記載の映像処理方法。
［項目１７］
前記現在画像ブロックが一つの動きベクトルの記憶粒度を含まない、又は前記現在画像ブロックのサイズが一つの動きベクトルの記憶粒度に等しい場合、前記ＴＭＶＰ操作を実行しないことをさらに含む、項目１６に記載の映像処理方法。
［項目１８］
前記予め設定された条件は、
前記現在画像ブロックの画素数が所定値より大きい又は所定値以上であることを含む、項目１に記載の映像処理方法。
［項目１９］
前記現在画像ブロックの画素数が前記所定値より小さい又は前記所定値以下である場合、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作の少なくとも一つを実行しないことをさらに含む、項目１８に記載の映像処理方法。
［項目２０］
前記所定値が３２又は６４である、項目１９に記載の映像処理方法。
［項目２１］
ＡＴＭＶＰ操作によって前記現在画像ブロックの時間動きベクトル候補を確定するか、ＨＭＶＰ操作によって前記現在画像ブロックの動きベクトル候補を確定するかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことをさらに含む、項目１に記載の映像処理方法。
［項目２２］
前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補がＭｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、項目１から項目２１のいずれか一項に記載の映像処理方法。
［項目２３］
前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補が通常Ｍｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、項目２２に記載の映像処理方法。
［項目２４］
映像処理装置であって、
命令を記憶するためのメモリと前記メモリに記憶される命令を実行するプロセッサとを備え、前記プロセッサは、前記メモリに記憶される命令を実行することで、
現在画像ブロックを確定し、
前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作と高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定することに用いられ、
前記ＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
前記ＡＴＭＶＰ操作は、
時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックを複数のサブ画像ブロックに区分することと、
前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、
前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックのサブ画像ブロックの時間動きベクトル候補を確定することとを含む、映像処理装置。
［項目２５］
前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作で、前記時間上の隣接する画像において現在画像ブロックの関連ブロックを確定することは、
前記時間上の隣接する画像における現在画像ブロックの指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定すること、又は、
前記時間上の隣接する画像における前記現在画像ブロックの空間上の隣接する指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定することを含む、項目２４に記載の映像処理装置。
［項目２６］
前記現在画像ブロックの指定位置は、
前記現在画像ブロックの左上角点と、
前記現在画像ブロックの右上角点と、
前記現在画像ブロックの中心点と、
前記現在画像ブロックの左下角点と、
前記現在画像ブロックの右下角点とのいずれか１箇所を含む、項目２５に記載の映像処理装置。
［項目２７］
前記時間上の隣接する画像が前記現在画像ブロックの同位フレームである、項目２４から項目２６のいずれか一項に記載の映像処理装置。
［項目２８］
前記現在画像ブロックの関連ブロックが前記現在画像ブロックの同位ブロックである、項目２４から項目２７のいずれか一項に記載の映像処理装置。
［項目２９］
前記サブ画像ブロックのサイズが動きベクトル記憶粒度のサイズと同じようにデフォルトして設定される、項目２４に記載の映像処理装置。
［項目３０］
前記動きベクトル記憶粒度のサイズが８×８であり、前記サブ画像ブロックのサイズが８×８にデフォルトして設定される、項目２９に記載の映像処理装置。
［項目３１］
前記現在画像ブロックのサイズがｘ１×ｙ１であり、前記現在画像ブロックのサブ画像ブロックについてデフォルトして設置されたサイズがｘ２×ｙ２であり、ここで、ｘ１、ｘ２、ｙ１、ｙ２がいずれも正の整数であり、
前記予め設定された条件は、ｘ１がｘ２以上であること、ｙ１がｙ２以上であることの少なくとも一つを含む、項目２４に記載の映像処理装置。
［項目３２］
前記プロセッサは、
ｘ１がｘ２より小さいもしくはｘ２以下である、又はｙ１がｙ２より小さいもしくはｙ２以下であると、前記ＡＴＭＶＰ操作をしないように設定することにさらに用いられる、項目３１に記載の映像処理装置。
［項目３３］
前記プロセッサは、
前記現在画像ブロックのサイズが第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のいずれか一つのみを実行することにさらに用いられる、項目２４に記載の映像処理装置。
［項目３４］
前記第１デフォルトサイズが前記動きベクトル記憶粒度のサイズと同じである、項目３３に記載の映像処理装置。
［項目３５］
前記プロセッサは、
前記現在画像ブロックのサイズが前記第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のうちの前記ＡＴＭＶＰ操作のみを実行することにさらに用いられる、項目３３に記載の映像処理装置。
［項目３６］
前記現在画像ブロックのサイズがｘ１×ｙ１であり、予め設定されたサイズがｘ３×ｙ３であり、ｘ１、ｘ３、ｙ１、ｙ３がいずれも正の整数であり、
前記予め設定された条件は、ｘ１がｘ３以上であること、ｙ１がｙ３以上であることの少なくとも一つを含む、項目２４に記載の映像処理装置。
［項目３７］
動きベクトルの記憶粒度が前記ｘ３×ｙ３である、項目３６に記載の映像処理装置。
［項目３８］
前記プロセッサは、
ｘ１がｘ３より小さいもしくはｘ３以下であるか、ｙ１がｙ３より小さいもしくはｙ３以下であるかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことにさらに用いられる、項目３６に記載の映像処理装置。
［項目３９］
前記予め設定された条件は、
前記現在画像ブロックには一つの動きベクトルの記憶粒度が含まれることを含む、項目２４に記載の映像処理装置。
［項目４０］
前記プロセッサは、
前記現在画像ブロックが一つの動きベクトルの記憶粒度を含まない又は前記現在画像ブロックのサイズが一つの動きベクトルの記憶粒度と等しい場合、前記ＴＭＶＰ操作を実行しないことにさらに用いられる、項目３９に記載の映像処理装置。
［項目４１］
前記予め設定された条件は、
前記現在画像ブロックの画素数が所定値より大きい又は所定値以上であることを含む、項目２４に記載の映像処理装置。
［項目４２］
前記プロセッサは、
前記現在画像ブロックの画素数が前記所定値より小さい又は前記所定値以下である場合、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作の少なくとも一つを実行しないことにさらに用いられる、項目４１に記載の映像処理装置。
［項目４３］
前記所定値が３２又は６４である、項目４１に記載の映像処理装置。
［項目４４］
前記プロセッサは、
ＡＴＭＶＰ操作によって前記現在画像ブロックの時間動きベクトル候補を確定するか、ＨＭＶＰ操作によって前記現在画像ブロックの動きベクトル候補を確定するかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことにさらに用いられる、項目２４に記載の映像処理装置。
［項目４５］
前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補がＭｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、項目２４から項目４４のいずれか一項に記載の映像処理装置。
［項目４６］
前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補が通常Ｍｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、項目４５に記載の映像処理装置。
［項目４７］
コンピュータの不揮発性記憶媒体であって、コンピュータに実行されることで前記コンピュータが項目１から項目２３のいずれか一項に記載の方法を実行するコンピュータプログラムが記憶されている、コンピュータの不揮発性記憶媒体。
［項目４８］
命令を含むコンピュータプログラム製品であって、前記命令がコンピュータに実行されることで前記コンピュータが項目１から項目２３のいずれか一項に記載の方法を実行する、コンピュータプログラム製品。

Claims (48)

  1. 映像処理方法であって、
    現在画像ブロックを確定することと、
    前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作、高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
    前記ＴＭＶＰ操作は、
    時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
    前記関連ブロックの動きベクトルに基づき、前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
    前記ＡＴＭＶＰ操作は、
    時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
    前記現在画像ブロックを複数のサブ画像ブロックに区分することと、
    前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、
    前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックのサブ画像ブロックの時間動きベクトル候補を確定することとを含む、映像処理方法。
  2. 前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作で、前記時間上の隣接する画像において現在画像ブロックの関連ブロックを確定することは、
    前記時間上の隣接する画像における現在画像ブロックの指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定すること、又は、
    前記時間上の隣接する画像における前記現在画像ブロックの空間上の隣接する指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定することを含む、請求項１に記載の映像処理方法。
  3. 前記現在画像ブロックの指定位置は、
    前記現在画像ブロックの左上角点と、
    前記現在画像ブロックの右上角点と、
    前記現在画像ブロックの中心点と、
    前記現在画像ブロックの左下角点と、
    前記現在画像ブロックの右下角点とのいずれか１箇所を含む、請求項２に記載の映像処理方法。
  4. 前記時間上の隣接する画像が前記現在画像ブロックの同位フレームである、請求項１から請求項３のいずれか一項に記載の映像処理方法。
  5. 前記現在画像ブロックの関連ブロックが前記現在画像ブロックの同位ブロックである、請求項１から請求項４のいずれか一項に記載の映像処理方法。
  6. 前記サブ画像ブロックのサイズは動きベクトル記憶粒度のサイズと同じようにデフォルトして設定される、請求項１に記載の映像処理方法。
  7. 前記動きベクトル記憶粒度のサイズが８×８であり、前記サブ画像ブロックのサイズが８×８にデフォルトして設定される、請求項６に記載の映像処理方法。
  8. 前記現在画像ブロックのサイズがｘ１×ｙ１であり、前記現在画像ブロックのサブ画像ブロックについてデフォルトして設置されたサイズがｘ２×ｙ２であり、ｘ１、ｘ２、ｙ１、ｙ２がいずれも正の整数であり、
    前記予め設定された条件はｘ１がｘ２以上であること、ｙ１がｙ２以上であることの少なくとも一つを含む、請求項１に記載の映像処理方法。
  9. ｘ１がｘ２より小さい又はｘ２以下であるか、ｙ１がｙ２より小さい又はｙ２以下であるかの少なくとも一つである場合、前記ＡＴＭＶＰ操作をしないように設定することをさらに含む、請求項８に記載の映像処理方法。
  10. 前記現在画像ブロックのサイズが第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のいずれか一つのみを実行することをさらに含む、請求項１に記載の映像処理方法。
  11. 前記第１デフォルトサイズが前記動きベクトル記憶粒度のサイズと同じである、請求項１０に記載の映像処理方法。
  12. 前記現在画像ブロックのサイズが前記第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のうちの前記ＡＴＭＶＰ操作のみを実行する、請求項１０に記載の映像処理方法。
  13. 前記現在画像ブロックのサイズがｘ１×ｙ１であり、予め設定されたサイズがｘ３×ｙ３であり、ｘ１、ｘ３、ｙ１、ｙ３がいずれも正の整数であり、
    前記予め設定された条件は、ｘ１がｘ３以上であること、ｙ１がｙ３以上であることの少なくとも一つを含む、請求項１に記載の映像処理方法。
  14. 動きベクトルの記憶粒度が前記ｘ３×ｙ３である、請求項１３に記載の映像処理方法。
  15. ｘ１がｘ３より小さいもしくはｘ３以下であるか、ｙ１がｙ３より小さいもしくはｙ３以下であるかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことをさらに含む、請求項１３に記載の映像処理方法。
  16. 前記予め設定された条件は、
    前記現在画像ブロックには一つの動きベクトルの記憶粒度が含まれることを含む、請求項１に記載の映像処理方法。
  17. 前記現在画像ブロックが一つの動きベクトルの記憶粒度を含まない、又は前記現在画像ブロックのサイズが一つの動きベクトルの記憶粒度に等しい場合、前記ＴＭＶＰ操作を実行しないことをさらに含む、請求項１６に記載の映像処理方法。
  18. 前記予め設定された条件は、
    前記現在画像ブロックの画素数が所定値より大きい又は所定値以上であることを含む、請求項１に記載の映像処理方法。
  19. 前記現在画像ブロックの画素数が前記所定値より小さい又は前記所定値以下である場合、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作の少なくとも一つを実行しないことをさらに含む、請求項１８に記載の映像処理方法。
  20. 前記所定値が３２又は６４である、請求項１９に記載の映像処理方法。
  21. ＡＴＭＶＰ操作によって前記現在画像ブロックの時間動きベクトル候補を確定するか、ＨＭＶＰ操作によって前記現在画像ブロックの動きベクトル候補を確定するかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことをさらに含む、請求項１に記載の映像処理方法。
  22. 前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補がＭｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、請求項１から請求項２１のいずれか一項に記載の映像処理方法。
  23. 前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補が通常Ｍｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、請求項２２に記載の映像処理方法。
  24. 映像処理装置であって、
    命令を記憶するためのメモリと前記メモリに記憶される命令を実行するプロセッサとを備え、前記プロセッサは、前記メモリに記憶される命令を実行することで、
    現在画像ブロックを確定し、
    前記現在画像ブロックのサイズが予め設定された条件を満たすと、時間動きベクトル予測のＴＭＶＰ操作と高度／選択可能な時間動きベクトル予測のＡＴＭＶＰ操作の少なくとも一つによって前記現在画像ブロックの時間動きベクトル候補を確定することに用いられ、
    前記ＴＭＶＰ操作は、
    時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
    前記関連ブロックの動きベクトルに基づき前記現在画像ブロックの時間動きベクトル候補を確定することとを含み、
    前記ＡＴＭＶＰ操作は、
    時間上の隣接する画像から現在画像ブロックの関連ブロックを確定することと、
    前記現在画像ブロックを複数のサブ画像ブロックに区分することと、
    前記関連ブロックから前記複数のサブ画像ブロックにおける各サブ画像ブロックに対応するサブ関連ブロックを確定することと、
    前記各サブ画像ブロックに対応するサブ関連ブロックの動きベクトルに基づき前記現在画像ブロックのサブ画像ブロックの時間動きベクトル候補を確定することとを含む、映像処理装置。
  25. 前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作で、前記時間上の隣接する画像において現在画像ブロックの関連ブロックを確定することは、
    前記時間上の隣接する画像における現在画像ブロックの指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定すること、又は、
    前記時間上の隣接する画像における前記現在画像ブロックの空間上の隣接する指定位置と同じ位置での画像ブロックを前記現在画像ブロックの関連ブロックに確定することを含む、請求項２４に記載の映像処理装置。
  26. 前記現在画像ブロックの指定位置は、
    前記現在画像ブロックの左上角点と、
    前記現在画像ブロックの右上角点と、
    前記現在画像ブロックの中心点と、
    前記現在画像ブロックの左下角点と、
    前記現在画像ブロックの右下角点とのいずれか１箇所を含む、請求項２５に記載の映像処理装置。
  27. 前記時間上の隣接する画像が前記現在画像ブロックの同位フレームである、請求項２４から請求項２６のいずれか一項に記載の映像処理装置。
  28. 前記現在画像ブロックの関連ブロックが前記現在画像ブロックの同位ブロックである、請求項２４から請求項２７のいずれか一項に記載の映像処理装置。
  29. 前記サブ画像ブロックのサイズが動きベクトル記憶粒度のサイズと同じようにデフォルトして設定される、請求項２４に記載の映像処理装置。
  30. 前記動きベクトル記憶粒度のサイズが８×８であり、前記サブ画像ブロックのサイズが８×８にデフォルトして設定される、請求項２９に記載の映像処理装置。
  31. 前記現在画像ブロックのサイズがｘ１×ｙ１であり、前記現在画像ブロックのサブ画像ブロックについてデフォルトして設置されたサイズがｘ２×ｙ２であり、ここで、ｘ１、ｘ２、ｙ１、ｙ２がいずれも正の整数であり、
    前記予め設定された条件は、ｘ１がｘ２以上であること、ｙ１がｙ２以上であることの少なくとも一つを含む、請求項２４に記載の映像処理装置。
  32. 前記プロセッサは、
    ｘ１がｘ２より小さいもしくはｘ２以下である、又はｙ１がｙ２より小さいもしくはｙ２以下であると、前記ＡＴＭＶＰ操作をしないように設定することにさらに用いられる、請求項３１に記載の映像処理装置。
  33. 前記プロセッサは、
    前記現在画像ブロックのサイズが第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のいずれか一つのみを実行することにさらに用いられる、請求項２４に記載の映像処理装置。
  34. 前記第１デフォルトサイズが前記動きベクトル記憶粒度のサイズと同じである、請求項３３に記載の映像処理装置。
  35. 前記プロセッサは、
    前記現在画像ブロックのサイズが前記第１デフォルトサイズと同じであると、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作のうちの前記ＡＴＭＶＰ操作のみを実行することにさらに用いられる、請求項３３に記載の映像処理装置。
  36. 前記現在画像ブロックのサイズがｘ１×ｙ１であり、予め設定されたサイズがｘ３×ｙ３であり、ｘ１、ｘ３、ｙ１、ｙ３がいずれも正の整数であり、
    前記予め設定された条件は、ｘ１がｘ３以上であること、ｙ１がｙ３以上であることの少なくとも一つを含む、請求項２４に記載の映像処理装置。
  37. 動きベクトルの記憶粒度が前記ｘ３×ｙ３である、請求項３６に記載の映像処理装置。
  38. 前記プロセッサは、
    ｘ１がｘ３より小さいもしくはｘ３以下であるか、ｙ１がｙ３より小さいもしくはｙ３以下であるかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことにさらに用いられる、請求項３６に記載の映像処理装置。
  39. 前記予め設定された条件は、
    前記現在画像ブロックには一つの動きベクトルの記憶粒度が含まれることを含む、請求項２４に記載の映像処理装置。
  40. 前記プロセッサは、
    前記現在画像ブロックが一つの動きベクトルの記憶粒度を含まない又は前記現在画像ブロックのサイズが一つの動きベクトルの記憶粒度と等しい場合、前記ＴＭＶＰ操作を実行しないことにさらに用いられる、請求項３９に記載の映像処理装置。
  41. 前記予め設定された条件は、
    前記現在画像ブロックの画素数が所定値より大きい又は所定値以上であることを含む、請求項２４に記載の映像処理装置。
  42. 前記プロセッサは、
    前記現在画像ブロックの画素数が前記所定値より小さい又は前記所定値以下である場合、前記ＴＭＶＰ操作と前記ＡＴＭＶＰ操作の少なくとも一つを実行しないことにさらに用いられる、請求項４１に記載の映像処理装置。
  43. 前記所定値が３２又は６４である、請求項４１に記載の映像処理装置。
  44. 前記プロセッサは、
    ＡＴＭＶＰ操作によって前記現在画像ブロックの時間動きベクトル候補を確定するか、ＨＭＶＰ操作によって前記現在画像ブロックの動きベクトル候補を確定するかの少なくとも一つである場合、前記ＴＭＶＰ操作を実行しないことにさらに用いられる、請求項２４に記載の映像処理装置。
  45. 前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補がＭｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、請求項２４から請求項４４のいずれか一項に記載の映像処理装置。
  46. 前記ＴＭＶＰ操作によって確定された前記現在画像ブロックの時間動きベクトル候補が通常Ｍｅｒｇｅ候補リストと高度動きベクトル予測ＡＭＶＰ候補リストの少なくとも一つにおける動きベクトル候補である、請求項４５に記載の映像処理装置。
  47. コンピュータの不揮発性記憶媒体であって、コンピュータに実行されることで前記コンピュータが請求項１から請求項２３のいずれか一項に記載の方法を実行するコンピュータプログラムが記憶されている、コンピュータの不揮発性記憶媒体。
  48. 命令を含むコンピュータプログラム製品であって、前記命令がコンピュータに実行されることで前記コンピュータが請求項１から請求項２３のいずれか一項に記載の方法を実行する、コンピュータプログラム製品。
JP2021534799A 2019-01-03 2019-03-12 映像処理方法、装置、不揮発性記憶媒体、コンピュータプログラム Active JP7224005B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023012074A JP7393061B2 (ja) 2019-01-03 2023-01-30 映像処理方法及び符号化器
JP2023195147A JP2024012636A (ja) 2019-01-03 2023-11-16 映像処理方法及び符号化器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/070315 2019-01-03
PCT/CN2019/070315 WO2020140243A1 (zh) 2019-01-03 2019-01-03 视频图像处理方法与装置
PCT/CN2019/077893 WO2020140331A1 (zh) 2019-01-03 2019-03-12 视频图像处理方法与装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023012074A Division JP7393061B2 (ja) 2019-01-03 2023-01-30 映像処理方法及び符号化器

Publications (2)

Publication Number Publication Date
JP2022515995A true JP2022515995A (ja) 2022-02-24
JP7224005B2 JP7224005B2 (ja) 2023-02-17

Family

ID=71196656

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021534799A Active JP7224005B2 (ja) 2019-01-03 2019-03-12 映像処理方法、装置、不揮発性記憶媒体、コンピュータプログラム
JP2023012074A Active JP7393061B2 (ja) 2019-01-03 2023-01-30 映像処理方法及び符号化器
JP2023195147A Pending JP2024012636A (ja) 2019-01-03 2023-11-16 映像処理方法及び符号化器

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023012074A Active JP7393061B2 (ja) 2019-01-03 2023-01-30 映像処理方法及び符号化器
JP2023195147A Pending JP2024012636A (ja) 2019-01-03 2023-11-16 映像処理方法及び符号化器

Country Status (6)

Country Link
US (5) US11178420B2 (ja)
EP (1) EP3908000A4 (ja)
JP (3) JP7224005B2 (ja)
KR (1) KR20210107120A (ja)
CN (4) CN111357290B (ja)
WO (2) WO2020140243A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140243A1 (zh) * 2019-01-03 2020-07-09 北京大学 视频图像处理方法与装置
CN111698506B (zh) * 2019-03-11 2022-04-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、三角预测解码方法及装置
KR20220120566A (ko) 2019-12-26 2022-08-30 바이트댄스 아이엔씨 비디오 비트스트림들에서의 가상 참조 디코더 파라미터들의 시그널링에 대한 제약들
CN114868399A (zh) 2019-12-26 2022-08-05 字节跳动有限公司 条带类型和视频层的信令通知
WO2021134054A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in video coding
WO2022146507A1 (en) 2020-12-30 2022-07-07 Arris Enterprises Llc System to dynamically detect and enhance classifiers for low latency traffic
WO2023092256A1 (zh) * 2021-11-23 2023-06-01 华为技术有限公司 一种视频编码方法及其相关装置
WO2023132679A1 (ko) * 2022-01-06 2023-07-13 엘지전자 주식회사 세컨더리 리스트를 이용하는 인터 예측 방법 및 장치
CN115633216B (zh) * 2022-09-05 2024-05-28 北京智源人工智能研究院 时域运动一致性视频生成模型的训练方法和视频生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048904A1 (en) * 2016-09-06 2018-03-15 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
WO2020004990A1 (ko) * 2018-06-27 2020-01-02 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556450B1 (ko) * 1998-05-28 2006-05-25 엘지전자 주식회사 움직임 벡터 추정에 의한 오류 복원 방법
JP2010509799A (ja) * 2006-11-03 2010-03-25 サムスン エレクトロニクス カンパニー リミテッド 映像の予測符号化方法及び装置、その復号化方法及び装置
CN101188772B (zh) * 2006-11-17 2010-09-22 中兴通讯股份有限公司 一种视频解码的时域错误隐蔽方法
CN101350928A (zh) 2008-07-29 2009-01-21 北京中星微电子有限公司 一种运动估计方法及装置
CN101873500B (zh) * 2009-04-24 2012-05-23 华为技术有限公司 帧间预测编码方法、帧间预测解码方法及设备
CN102215395B (zh) * 2010-04-09 2013-10-09 华为技术有限公司 一种视频编解码方法和装置
CN101841712A (zh) * 2010-04-28 2010-09-22 广西大学 面向全景视频编码的b帧扩展直接模式
CN102148990B (zh) * 2011-04-28 2012-10-10 北京大学 一种运动矢量预测装置和方法
US9426494B2 (en) * 2011-07-18 2016-08-23 Ziilabs Inc., Ltd. Systems and methods with early variance measure used to optimize video encoding
CN104079944B (zh) 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US11330284B2 (en) * 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
US10271064B2 (en) 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
CN104935938B (zh) 2015-07-15 2018-03-30 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法
US10368083B2 (en) * 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
ES2886431T3 (es) 2016-09-30 2021-12-20 Huawei Tech Co Ltd Método de codificación de vídeo, método de decodificación de video y terminal
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
JP7382332B2 (ja) 2017-11-01 2023-11-16 ヴィド スケール インコーポレイテッド マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
US10362330B1 (en) * 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
CN112585972B (zh) * 2018-08-17 2024-02-09 寰发股份有限公司 视频编解码的帧间预测方法及装置
US11184635B2 (en) * 2018-08-31 2021-11-23 Tencent America LLC Method and apparatus for video coding with motion vector constraints
US10904549B2 (en) 2018-12-13 2021-01-26 Tencent America LLC Method and apparatus for signaling of multi-hypothesis for skip and merge mode and signaling of distance offset table in merge with motion vector difference
WO2020140243A1 (zh) * 2019-01-03 2020-07-09 北京大学 视频图像处理方法与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048904A1 (en) * 2016-09-06 2018-03-15 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
WO2020004990A1 (ko) * 2018-06-27 2020-01-02 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAHYUN LEE, ET AL.: "CE4-related: Fixed sub-block size and restriction for ATMVP", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0468-v2, JPN6022032570, October 2018 (2018-10-01), pages 1 - 4, ISSN: 0004921271 *
HYEONGMUN JANG, ET AL.: "[CE4-2.6 related] Simplified ATMVP with fixed sub-block size.", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0080-v1, JPN6022032573, July 2018 (2018-07-01), pages 1 - 5, XP030198655, ISSN: 0004921268 *
JIANLE CHEN, ET AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-G1001-v1, JPN6019037621, August 2017 (2017-08-01), pages 1 - 13, ISSN: 0004921267 *
SUHONG WANG ET AL.: "CE4-related: Remove redundancy between TMVP and ATMVP", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0345_v2, JPN6022032576, January 2019 (2019-01-01), pages 1 - 5, ISSN: 0004921272 *
SUHONG WANG, ET AL.: "CE4-related: Simplification of ATMVP candidate derivation", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0198_r2, JPN6022032572, October 2018 (2018-10-01), pages 1 - 5, ISSN: 0004921270 *
YI-WEN CHEN, AND XIANGLIN WANG: "AHG5: Reducing VVC worst-case memory bandwidth by restricting bi-directional 4x4 inter CUs/Sub-block", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0104, JPN6022032574, September 2018 (2018-09-01), pages 1 - 3, ISSN: 0004921269 *

Also Published As

Publication number Publication date
JP7224005B2 (ja) 2023-02-17
JP2024012636A (ja) 2024-01-30
US20220078466A1 (en) 2022-03-10
JP2023052767A (ja) 2023-04-12
US11178420B2 (en) 2021-11-16
EP3908000A4 (en) 2022-09-28
US20230345036A1 (en) 2023-10-26
CN113905234A (zh) 2022-01-07
CN111357290B (zh) 2023-08-22
US20220116644A1 (en) 2022-04-14
WO2020140331A1 (zh) 2020-07-09
US20210021858A1 (en) 2021-01-21
WO2020140243A1 (zh) 2020-07-09
US11206422B2 (en) 2021-12-21
EP3908000A1 (en) 2021-11-10
CN116996683A (zh) 2023-11-03
KR20210107120A (ko) 2021-08-31
US11689736B2 (en) 2023-06-27
CN113905235A (zh) 2022-01-07
US20210021857A1 (en) 2021-01-21
JP7393061B2 (ja) 2023-12-06
CN111357290A (zh) 2020-06-30
US11743482B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
JP2022515995A (ja) 映像処理方法、装置、不揮発性記憶媒体、コンピュータプログラム
US11368714B2 (en) Method and device for video image processing
KR102200578B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
JP7130882B2 (ja) 映像コーディングのための方法、装置、及びコンピュータプログラム
US20220232208A1 (en) Displacement vector prediction method and apparatus in video encoding and decoding and device
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置
CN112399180B (zh) 视频解码方法、装置及存储介质
CN116235490A (zh) 用于视频编码的方法和设备
CN112399186A (zh) 视频解码方法、装置及存储介质
JP7497948B2 (ja) 動画像処理方法および装置
CN111357288B (zh) 视频图像处理方法与装置
WO2023034640A1 (en) Candidate derivation for affine merge mode in video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R150 Certificate of patent or registration of utility model

Ref document number: 7224005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150