JP2021520121A - 動画像処理方法および装置 - Google Patents

動画像処理方法および装置 Download PDF

Info

Publication number
JP2021520121A
JP2021520121A JP2020553586A JP2020553586A JP2021520121A JP 2021520121 A JP2021520121 A JP 2021520121A JP 2020553586 A JP2020553586 A JP 2020553586A JP 2020553586 A JP2020553586 A JP 2020553586A JP 2021520121 A JP2021520121 A JP 2021520121A
Authority
JP
Japan
Prior art keywords
block
motion vector
image block
current image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020553586A
Other languages
English (en)
Other versions
JP7216109B2 (ja
JPWO2019192170A5 (ja
JP2021520121A5 (ja
Inventor
ゼン、シャオゼン
フ、ティアンリアン
ワン、シャンシェ
マ、シウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority claimed from PCT/CN2018/112805 external-priority patent/WO2019192170A1/zh
Publication of JP2021520121A publication Critical patent/JP2021520121A/ja
Publication of JP2021520121A5 publication Critical patent/JP2021520121A5/ja
Publication of JPWO2019192170A5 publication Critical patent/JPWO2019192170A5/ja
Priority to JP2023006258A priority Critical patent/JP2023052491A/ja
Application granted granted Critical
Publication of JP7216109B2 publication Critical patent/JP7216109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

動画像処理方法および装置を提供し、該方法は、現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＮ（ＮはＭより小さい）個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定し、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させ、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、それぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測することを含む。符号化および復号性能を保証する前提で、複雑さを低下させることができる。

Description

著作権表示
本特許文献に開示されている内容には著作権保護の対象となる材料が含まれている。該著作権は著作権所有者が所有する。著作権所有者は、これらの特許書類または特許開示の何人による複製に対しても、特許庁の公式レコードまたはファイルに表示される通りであれば異議を唱えない。
本出願は、動画像の符号化および復号の分野に関連し、具体的には、動画像処理方法および装置に関する。
現在、主要な動画像符号化に関する標準規格では、フレーム間予測部分においていずれもブロックに基づく動き補償技術を採用し、その主な原理は、現在画像ブロックのためにすでに符号化された画像の中で最も類似したブロックを探索することであり、このプロセスは動き補償と呼ばれる。例えば、１フレームの画像に対し、まず、サイズが同じな符号化領域（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）に分割し、例えば、サイズが６４×６４または１２８×１２８である。各ＣＴＵは、さらに、方形または矩形の符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割することができる。各ＣＵは、参照フレーム（通常は現在のフレームの時間領域の近くにおける再構築されたフレーム）の中で最も類似したブロックを現在のＣＵの予測ブロックとして探索する。現在のブロック（つまり、現在のＣＵ）と類似ブロック（つまり、現在のＣＵの予測ブロック）の間の相対変位は、動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、ＭＶ）と呼ばれる。参照フレームの中で現在のブロックの予測ブロックとして最も類似したブロックを探索するプロセスが動き補償である。
現在の技術では、通常、現在ＣＵの符号化された近傍ブロックの動きベクトルに基づいて、現在ＣＵの動きベクトル候補リストを構築し、これはｍｅｒｇｅ候補リストとも呼ばれる。ｍｅｒｇｅ候補リストから、最適な動きベクトル候補を選択して現在のＣＵの動きベクトルとし、現在のＣＵの動きベクトルに基づき現在のＣＵの予測ブロックを確定する。
高度／選択可能な時間動きベクトル予測技術（Ａｄｖａｎｃｅｄ／Ａｌｔｅｒｎａｔｉｖｅ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＡＴＭＶＰ）は動きベクトル予測メカニズムである。ＡＴＭＶＰ技術の基本的な構想は、現在のＣＵ内の複数のサブブロックの動き情報を取得することで動き補償を行うことである。ＡＴＭＶＰ技術は候補リスト（例えばｍｅｒｇｅ候補リストまたはＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）候補リスト）の構築において、現在のＣＵ内における複数のサブブロックの動き情報を候補として導入する。ＡＴＭＶＰ技術の実現は、ほぼ二つのステップに分けられる。ステップ１は、現在のＣＵの動きベクトル候補リストまたは現在のＣＵの隣接する画像ブロックの動きベクトルを走査することにより、１つの時間ベクトルを確定することである。ステップ２は、現在のＣＵをＮ×Ｎ（Ｎはデフォルトで４）のサブブロック（ｓｕｂ−ＣＵ）に分割し、ステップ１で取得した時間ベクトルに基づき各サブブロックの参照フレーム内での対応するブロックを確定し、各サブブロックの参照フレーム内での対応するブロックの動きベクトルに基づき各サブブロックの動きベクトルを確定することである。
現在のＡＴＭＶＰ技術のステップ１では、現在のＣＵの動きベクトル候補リストまたは現在のＣＵの隣接画像ブロックの動きベクトルを走査することで、時間ベクトルを確定するプロセスには改良の余地がある。
本出願は、従来のＡＴＭＶＰ技術の性能上の利得を維持したまま、ＡＴＭＶＰ技術の複雑さを低減することができる動画像処理方法および装置を提供する。
第１の態様は、動画像処理方法を提供し、該方法は、
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうち、Ｍよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させることと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む。
本出願により提供される解決策では、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得したＭ個の動きベクトル候補のうちＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減らすことができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術のステップ１に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
第２の態様は、動画像処理方法を提供し、該方法は、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定することと、
前記Ｍ個の近傍ブロックのうち、Ｍより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、
前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに１対１に対応させることと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む。
第３の態様は、動画像処理装置を提供し、該装置は、
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＭよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させることとのために用いられる構築モジュールと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む。
第４の態様は、動画像処理装置を提供し、該装置は、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定することと、前記Ｍ個の近傍ブロックのうちＭより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに１対１に対応させることとのために用いられる構築モジュールと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む。
第５態様は、動画像処理装置を提供し、該装置はメモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行するために用いられ、前記メモリに記憶された命令を実行することによって、前記プロセッサは第１態様または第１態様のいずれかの可能な実施形態における方法を実行するために用いられる。
第６態様は、動画像処理装置を提供し、該装置はメモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行するために用いられ、前記メモリに記憶された命令を実行することによって、前記プロセッサは第２態様または第２態様のいずれかの可能な実施形態における方法を実行するために用いられる。
第７態様は、コンピュータ記憶媒体を提供し、それにコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピュータにより実行されると、前記コンピュータに第１態様または第１態様のいずれかの可能な実施形態における方法を実行させる。
第８態様は、コンピュータ記憶媒体を提供し、それにコンピュータプログラムが記憶され、前記コンピュータプログラムがコンピュータにより実行されると、前記コンピュータに第２態様または第２態様のいずれかの可能な実施形態における方法を実行させる。
第９態様は、命令を含むコンピュータプログラム製品を提供し、前記命令がコンピュータにより実行されると、前記コンピュータに第１態様または第１態様のいずれかの可能な実施形態における方法を実行させる。
第１０態様は、命令を含むコンピュータプログラム製品を提供し、前記命令がコンピュータにより実行されると、前記コンピュータに第２態様または第２態様のいずれかの可能な実施形態における方法を実行させる。
本出願の実施例によって提供される動画像処理方法の概略的な流れ図である。 現在画像ブロックの近傍ブロックによって現在ブロックの動きベクトル候補を取得する概略図である。 動きベクトル候補にスケーリング処理を行う概略図である。 本出願の実施例によって提供される動画像処理方法のもう１つの概略的流れ図である。 本出願の実施例によって提供される動画像処理装置の概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のもう１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理方法の概略的な流れ図である。 本出願の実施例によって提供される動画像処理方法のもう１つの概略的流れ図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 動きベクトル第１候補リストの候補を取得する概略図である。 動きベクトル第１候補リストの候補を構築するさらなる１つの概略図である。 本出願の実施例によって提供される動画像処理方法の概略的流れ図である。 本出願の実施例によって提供される動画像処理方法の概略的流れ図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。
動画像の符号化および復号において、予測ステップは画像中の冗長情報を減少するために用いられる。予測ブロックとは、１フレームの画像中の予測のための基本ユニットを意味し、いくつかの標準規格において、この予測ブロックは予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）とも呼ばれる。１フレームの画像を符号化／圧縮する前に、画像は複数の画像ブロックに分割され、さらに、該複数の画像ブロック中の各画像ブロックは、複数の画像ブロックに再度分割でき、これに基づいて類推することができる。異なる符号化方法では、分割された階層の数が異なってもよいし、担当する操作方法も異なる。異なる符号化標準規格において、同一階層上の画像ブロックの名称が異なることがある。例えば、いくつかの動画像標準規格では、１フレームの画像が一回目に分割された複数の画像ブロック中の各画像ブロックは符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）と呼ばれ、各符号化ツリーユニットは１つの符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）を含んでもよいし、または再び複数の符号化ユニットに分割されてもよい。１つの符号化ユニットは予測方式に応じて１つ、二つ、四つまたは他の数量の予測ユニットに分割することができる。いくつかの動画像標準規格では、当該符号化ツリーユニットは最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）とも呼ばれる。
予測とは、該予測ブロックと類似した画像データを探索することであり、この予測ブロックの参照ブロックとも呼ばれる。該予測ブロックと該予測ブロックの参照ブロックとの差分を符号化／圧縮することにより、符号化／圧縮における冗長情報を減少する。ここで、予測ブロックと参照ブロックとの差分は、該予測ブロックから該参照ブロックの対応する画素値を減算して得られる残差であってもよい。予測はフレーム内予測とフレーム間予測を含む。フレーム内予測とは、予測ブロックが位置するフレーム内で該予測ブロックの参照ブロックを探索することを指し、フレーム間予測とは、予測ブロックが位置するフレーム以外のフレーム内で該予測ブロックの参照ブロックを探索することを指す。
従来のいくつかの動画像標準規格では、予測ユニットは画像中の最小のユニットであり、予測ユニットは引き続き複数の画像ブロックに分割されない。後述する「画像ブロック」又は「現在画像ブロック」とは、１つの予測ユニット（又は１つの符号化ユニット）を意味し、また、１つの画像ブロックを複数のサブ画像ブロックに引き続き分割でき、各サブ画像ブロックをさらに予測することができる。
本解決策では、現在画像ブロックを予測する前に、動きベクトル候補リストを構築し、該動きベクトル候補リストの中で選択された動きベクトル候補に基づき現在画像ブロックを予測する。動きベクトル候補リストには複数のモードがある。以下、動きベクトル候補リストの複数のモードについて例をあげて説明する。
第１のモードでは、第１の例として、符号化側では、動きベクトル候補リストを構築した後、以下のステップで現在画像ブロックの符号化を完了ことができる。
１）動きベクトル候補リストから最適な動きベクトル（ＭＶ１と記す）を選択し、選択したＭＶ１を現在画像ブロックの動きベクトルとし、該ＭＶ１の動きベクトル候補リストでのインデックスを取得する。
２）現在画像ブロックの動きベクトルＭＶ１に基づき、参照画像（すなわち参照フレーム）から現在画像ブロックの予測画像ブロックを確定する。つまり、現在画像ブロックの予測画像ブロックの参照フレームでの位置を確定する。
３）現在画像ブロックと予測画像ブロックとの間の残差を取得する。
４）復号側へ現在画像ブロックの動きベクトルＭＶ１が動きベクトル候補リストにおけるインデックスおよびステップ３）で取得した残差を送信する。
例として、復号側において、以下のステップで現在画像ブロックを復号化することができる。
１）符号化側から残差と現在画像ブロックの動きベクトルの動きベクトル候補リストにおけるインデックスを受信する。
２）本出願の実施例による方法によって動きベクトル候補リストを取得する。復号側で取得した動きベクトル候補リストは符号化側で取得した動きベクトル候補リストと一致する。
３）インデックスに基づき、動きベクトル候補リストから現在画像ブロックの動きベクトルＭＶ１を取得する。
４）動きベクトルＭＶ１に基づき、現在画像ブロックの予測画像ブロックを取得し、残差と合わせて、復号によって現在画像ブロックを取得する。
つまり、第１モードでは、現在画像ブロックの動きベクトルは予測ＭＶ（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）に等しい。いくつかの標準規格では、第１モードはＭｅｒｇｅモードとも呼ばれる。
第２モードでは、第１モードと異なって、符号化側は動きベクトル候補リストから最適な動きベクトルＭＶ１を選択した後、さらに該ＭＶ１を探索起点として動き探索を行い、最終的に探索した位置と探索起点の変位を動きベクトル差分値（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ＭＶＤ）と記す。続いて現在画像ブロックの動きベクトルＭＶ１＋ＭＶＤに基づき、参照画像から現在画像ブロックの予測画像ブロックを確定する。符号化側はさらに、復号側にＭＶＤを送信する。いくつかの標準規格では、第２モードはＡＭＶＰモード（すなわち通常フレーム間予測モード）とも呼ばれる。
異なるモードでの動きベクトル候補リストの構築方式は同じであってもよいし、異なってもよい。同じ方式で構築された動きベクトル候補リストはそのうちの１つのモードのみに適用してもよく、異なる構築モードに適用してもよく、ここでは限定しない。
本解決策において、二つの構築方式の動きベクトル候補リストを提供し、説明の便宜上、以下ではこの２つの構築方式の動きベクトル候補リストを、動きベクトル第１候補リストと動きベクトル第２候補リストと呼ぶ。この２つのリストの１つの違いは、動きベクトル第１候補リスト中の少なくとも１つの候補がサブ画像ブロックの動きベクトルを含み、動きベクトル第２候補リスト中の各候補が画像ブロックの動きベクトルを含むことである。上記で説明したように、ここでの画像ブロックと現在画像ブロックは同じタイプの概念であり、いずれも１つの予測ユニット（または１つの符号化ユニット）を指し、サブ画像ブロックとは、該画像ブロックをもとに分割された複数のサブ画像ブロックを指す。動きベクトル第１候補リスト中の候補を用いて予測する時、該候補に基づき現在画像ブロックの参照ブロックを確定し、続いて該画像ブロックと該参照ブロックとの残差を算出する。動きベクトル第２候補リスト中の候補を用いて予測する時、用いた候補がサブ画像ブロックの動きベクトルであれば、該候補に基づき現在画像ブロック中の各サブ画像ブロックの参照ブロックを確定し、続いて現在画像ブロック中の各サブ画像ブロックとその参照ブロックとの残差を算出し、各サブ画像ブロックの残差を該現在画像ブロックの残差につなぎ合わせる。
ここでは、動きベクトル第１候補リストおよび／または動きベクトル第２候補リスト中の候補を確定する時、ＡＴＭＶＰ技術に基づきそのうち１つの候補を確定することができる。１つの例において、動きベクトル第１候補リストを構築する時、ＡＴＭＶＰ技術に基づいて確定された動きベクトルを第１候補としてリストに入れることができる。１つの例において、動きベクトル第２候補リストを構築する時、現在画像ブロックの予め設定された位置での予め設定された数の空間領域近傍ブロックの動きベクトルに基づき動きベクトル第２候補リスト中に候補を入れた後、ＡＴＭＶＰ技術に基づいて確定された動きベクトルを候補としてリストに入れ、当然ながら、この二つの候補リストの候補の加入順は他の順であってもよいが、ここでは限定しない。
以下、まず動きベクトル第２候補リストの構築方式の使用方式に合わせて如何にＡＴＭＶＰ技術に基づきそのうち１つの候補を確定するかについて例をあげて説明する。
動きベクトル第２候補リストの構築方式についての説明において、理解を容易にするため、ここで、動きベクトルを説明する。１つの画像ブロックの動きベクトルは、１）該動きベクトルが指す画像、２）変位という二つの情報を含むことができる。１つの画像ブロックの動きベクトルとは、該動きベクトルが指す画像において該画像ブロックと該変位を有する画像ブロックを意味する。符号化／復号済みの画像ブロックに対し、その動きベクトルの概念は、該符号化／復号済みの画像ブロックの参照画像、および符号化／復号済みの画像ブロックの参照ブロックの該符号化／復号済みの画像ブロックに対する変位を含む。なお、ここで説明する１つの画像ブロックの参照ブロックとは、該画像ブロックの残差を算出するために使用される画像ブロックを意味する。
図１は本出願の実施例によって提供される動画像処理方法の概略的流れ図である。該方法は以下のステップを含む。
Ｓ１１０、現在画像ブロックの動きベクトル第２候補リストに入れるためのＭ個の動きベクトル候補を確定する。
現在画像ブロックは符号化（または復号）対象の画像ブロックである。現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。例えば、現在画像ブロックは１つの符号化ユニット（ＣＵ）である。
例えば、現在画像ブロックの動きベクトル第２候補リストはＭｅｒｇｅ候補リストまたはＡＭＶＰ候補リストであってもよい。例えば、該動きベクトル第２候補リストはＭｅｒｇｅ候補リスト中の通常動きベクトル候補リスト（Ｎｏｒｍａｌ Ｍｅｒｇｅ Ｌｉｓｔ）であってもよい。動きベクトル第２候補リストは別の名称を有してもよいと理解されたい。
Ｍ個の動きベクトル候補は現在画像ブロックの現在フレーム内におけるＭ個の近傍ブロックの動きベクトルに基づき確定されてもよい。近傍ブロックは現在フレームにおいて現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックであってもよい。なお、このＭ個の近傍ブロックは現在フレーム内における符号化（または復号）済みの画像ブロックである。
一例として、図２に示すように、現在画像ブロックのＭ個の近傍ブロックは図２に示される現在画像ブロックの周囲の４つの位置Ａ１（左）→Ｂ１（上）→Ｂ０（右上）→Ａ０（左下）に位置する画像ブロックである。この４つの位置の画像ブロックの動きベクトルに基づき現在画像ブロックのＭ（すなわちＭが４に等しい）個の動きベクトル候補を確定する。
また、該Ｍ個の近傍ブロックに取得不可な近傍ブロックが現れた場合、または該Ｍ個の近傍ブロックにフレーム内符号化モードを用いた近傍ブロックが現れた場合、該取得不可な近傍ブロックまたは該フレーム内符号化モードを用いた近傍ブロックの動きベクトルが取得不可である。そこで、該取得不可な近傍ブロックの動きベクトルは動きベクトル候補とせず、該取得不可な動きベクトルを現在画像ブロックの動きベクトル第２候補リストに入れることを放棄する。
１つの可能な実施形態として、ステップＳ１１０を完了した後、Ｍ個の動きベクトル候補はすでに動きベクトル第２候補リストに入れられた。ステップＳ１２０において、動きベクトル第２候補リストを直接走査できる。
Ｓ１２０、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を順次走査し、走査結果に基づき参照動きベクトルを確定し、ＮがＭより小さい。ここでは、ＭとＮはいずれも自然数である。
該Ｍ個の動きベクトル候補がすべて動きベクトル第２候補リストに入れられるか、それとも該Ｍ個の動きベクトル候補のうちに一部の動きベクトルが取得不可になることによって該Ｍ個の動きベクトル候補のうち一部の動きベクトル候補のみが動きベクトル第２候補リストに入れられるかにもかかわらず、該Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を固定的に順次走査する。該Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を固定的に順次走査することとは、該Ｎ個の動きベクトル候補のうちすでに動きベクトル候補リストに入れられた動きベクトル候補を固定的に走査することを指してもよいし、または、該Ｍ個の動きベクトル候補のうちすでに動きベクトル候補リストに入れられたＮ個の動きベクトル候補を固定的に走査することを指してもよい。
Ｎ個の動きベクトル候補の走査結果に基づき参照動きベクトルを確定するプロセスは、事前設定条件に基づきＮ個の動きベクトル候補を順次判断し、判断結果に基づき参照動きベクトルを確定するプロセスであってもよい。
一例として、事前設定条件は、画像ブロックが取得可能であり、またはフレーム内予測符号化モードを採用せず、かつ前記動きベクトル候補が指す参照フレームが現在画像ブロックの参照画像と同じであることを含む。
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化および復号側に予め設定された参照画像であり、または、現在画像ブロックの参照画像は動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中に指定される参照画像である。
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。いくつかの応用シーンにおいて、該同位フレームは位置関連フレーム（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）とも呼ばれる。
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
以下、Ｎ個の動きベクトル候補の走査結果に基づき参照動きベクトルを確定するプロセスを詳細に説明する。
ステップＳ１２０において、ステップＳ１１０で取得されたＭ個の動きベクトル候補のうちのＮ個の動きベクトルのみを走査し、このようにして走査の回数を減少できる。
任意選択的に、ステップＳ１２０において、Ｍ個の動きベクトル候補のうち前のＮ個の動きベクトル候補を順次走査してもよい。
任意選択的に、ステップＳ１２０において、Ｍ個の動きベクトル候補のうちの最後のＮ個の動きベクトル候補を順次走査してもよいし、または、Ｍ個の動きベクトル候補のうちの中間のＮ個の動きベクトル候補を順次走査してもよい。本出願はこれに対して限定しない。
一例として、ステップＳ１２０において、Ｍ個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
もう一例として、ステップＳ１２０において、現在、すでに動きベクトル第２候補リストに入れられた動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
Ｓ１３０、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れられる動きベクトル候補を確定する。
現在画像ブロックの動きベクトル第２候補リストには、ステップＳ１１０で確定されたＭ個の動きベクトル候補およびステップＳ１３０で確定された動きベクトル候補が含まれる。一例において、Ｓ１３０で動きベクトル第２候補リストに引き続き入れる第Ｍ＋１個の動きベクトル候補を確定した後、他の方法によって動きベクトル第２候補リストに引き続き入れる他の動きベクトル候補を確定し、ここでは限定しない。
動きベクトル第２候補リストの構築を完了した後、図１に示すように、該方法は、ステップＳ１３０で得られた動きベクトル第２候補リストに基づき、現在画像ブロックの動きベクトルを確定するステップＳ１４０をさらに含む。
本出願で提供される解決策は、ＡＴＭＶＰ技術に適用できることを理解されたい。従来のＡＴＭＶＰ技術のステップ１において、動きベクトル第２候補リストに現在すでに入れられたすべての空間動きベクトル候補を走査することによって、現在画像ブロックの時間ベクトルを取得する。例えば、動きベクトル第２候補リストには一般に、４個の空間動きベクトル候補が取り込まれるので、画像ブロックの時間ベクトルを得るために、４個の動きベクトル候補を走査する必要がある場合がある。
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたＭ個の動きベクトル候補のうちのＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術のステップ１に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
出願人は、次世代動画像符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の最新の参照ソフトウェアＶＴＭ−２．０上で、テストシーケンスとして公式通用テストシーケンスを選び、ＲＡ構成およびＬＤＢ構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ＡＴＭＶＰ技術の性能上の利得を維持することができる。
従って、本出願で提供される解決策は、従来のＡＴＭＶＰ技術の性能上の利得を維持したまま、ＡＴＭＶＰ技術の複雑さを低減することができる。
本出願で提供される構築に関する解決策で形成される動きベクトル第２候補リストは符号化側と復号側に応用できる。換言すれば、本出願で提供される方法の実行主体は符号化側であってもよく、復号側であってもよい。
一例として、本出願で提供される構築に関する解決策で形成される動きベクトル第２候補リストは上記の第１モード（例えばＭｅｒｇｅモード）に応用できる。
任意選択的に、本実施例において、ステップＳ１１０では、現在画像ブロックの現在フレーム内での４個の近傍ブロックの動きベクトルに基づき、現在画像ブロックの動きベクトル第２候補リストに入れるための４個の動きベクトル候補を確定し、すなわち、Ｍが４に等しい。ステップＳ１２０において、４個の動きベクトル候補のうちのＮ個の動きベクトル候補を走査し、Ｎが４よりも小さい。
例えば、Ｎは１に等しい。例えば、ステップＳ１２０において、動きベクトル第２候補リスト中の１つ目の動きベクトル候補のみを走査する。また、例えば、Ｎは２または３に等しい。
以下、ステップＳ１２０においてＮ個の動きベクトル候補の走査結果に基づき現在画像ブロックの参照動きベクトルを確定する方式について説明する。
ステップＳ１２０において、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補が事前設定条件を満たすかどうかを１つずつ判断し、判断結果に基づき参照動きベクトルを確定する。ここでは、事前設定条件の定義は動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じであることを例として説明する。
任意選択的に、ステップＳ１２０において、Ｎ個の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、すなわち、１つ目の参照フレームと現在フレームの同位フレームが同じである動きベクトル候補まで走査すると、走査を停止し、走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定する。
１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査回数はＮに等しいか、Ｎより小さいこともある。例えば、１つ目に走査する動きベクトル候補が事前設定条件を満たすと、走査を停止し、この動きベクトル候補を現在画像ブロックの参照動きベクトルとする。
任意選択的に、ステップＳ１２０において、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわちＮ個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、デフォルト値を参照動きベクトルの値とする。
例えば、デフォルト値は（０，０）であり、すなわち参照動きベクトルは（０，０）である。実況によって、デフォルト値は別の定義がさらにある。
任意選択的に、ステップＳ１２０において、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわち、Ｎ個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定する。
該特定動きベクトル候補は、Ｎ個の動きベクトル候補のうち、走査順で得られた１つ目の動きベクトルまたは最後の動きベクトルであってもよい。
該特定動きベクトル候補はさらに、Ｎ個の動きベクトル候補のうち、他の走査順で得られた動きベクトルであってもよい。
事前設定条件の定義は動きベクトル候補の指す参照フレームが現在画像ブロックの参照フレームと同じである場合、動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することであり、それは、スケーリング処理された特定動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じとなるように動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行うことと、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとすることとを含む。
図３に示すように、ｃｕｒｒ＿ｐｉｃは現在画像ブロックが位置する画像を表し、ｃｏｌ＿ｐｉｃは現在画像ブロックの同位フレーム（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）を表し、ｎｅｉｇｈ＿ｒｅｆ＿ｐｉｃは特定動きベクトル候補が指す参照フレームを表す。一実施形態において、特定動きベクトル候補が指す参照画像ｎｅｉｇｈ＿ｒｅｆ＿ｐｉｃと該特定動きベクトルに対応する画像ブロックが位置する画像ｃｕｒｒ＿ｐｉｃとの間の時間距離、および現在画像ブロックの参照画像ｃｏｌ＿ｐｉｃと現在画像ブロックが位置する画像ｃｕｒｒ＿ｐｉｃとの間の時間距離に基づき、該特定動きベクトルの縮尺を確定する。
画像フレームと画像フレームとの間の動き程度の相違性が悪く、現在フレームとその同位フレームとの間に動きが激しい場合に、動きベクトル（０，０）を現在ブロックの対応ブロックを位置決めする根拠として用いれば、フレーム間の動きを考慮せず、そのまま現在のブロックの同位フレームでの絶対座標が変更されていないと仮定するが、実際には、現在のブロックの同位フレームでの座標と現在のフレームでのその座標とが異なる確率が非常に大きいため、大きなばらつきが生じると理解されたい。
本出願の実施例において、Ｎ個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、Ｎ個の動きベクトル候補のうち１つの動きベクトル候補にスケーリング処理を行い、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとする。このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。
任意選択的に、ＮがＭより小さくかつ１より大きい整数の場合、本実施例における特定動きベクトル候補はＮ個の動きベクトル候補のうち参照フレームと現在画像ブロックの同位フレームが時間領域において距離が最も近い動きベクトル候補であってもよい。
Ｎ個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームの距離が最も近い動きベクトル候補を選択してそれにスケーリング処理を行い、スケーリング処理にかかる時間を減らし、それにより現在画像ブロックの動きベクトルを取得する効率を向上させることができる。
任意選択的に、ＮがＭより小さくかつ１より大きい整数の場合、本実施例における特定動きベクトル候補はＮ個の動きベクトル候補のうちのいずれかの動きベクトル候補であってもよい。
なお、Ｎが１に等しい場合、本実施例における特定動きベクトル候補はすなわち走査するこの動きベクトル候補である。
任意選択的に、１つの実施例として、Ｎが１に等しく、ステップＳ１２０において、該動きベクトル第２候補リスト中の１つの動きベクトル候補を走査することによって、該現在画像ブロックの参照動きベクトルを取得する。走査するこの動きベクトル候補が指す参照フレームと現在画像ブロックが位置する現在フレームの同位フレームが異なる場合、この動きベクトル候補にスケーリング処理を行って、該スケーリング処理された動きベクトル候補の参照フレームと該現在フレームの同位がフレーム同じになるようにし、該スケーリング処理後の動きベクトル候補を該現在画像ブロックの参照動きベクトルとする。走査するこの動きベクトル候補の参照フレームと現在フレームの同位フレームが同じである場合、この動きベクトル候補を現在画像ブロックの動きベクトルとする。
本実施例において、該動きベクトル候補リスト中の１つの動きベクトル候補を走査することで、該現在画像ブロックの動きベクトルを取得し、現在画像ブロックの動きベクトルを取得するプロセスにおける動きベクトル候補の走査回数を効果的に減少し、走査する動きベクトル候補の参照フレームは現在フレームの同位フレームと異なる場合、この動きベクトル候補にスケーリング処理を行って、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理後の動きベクトル候補を現在画像ブロックの動きベクトルとし、このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。従って、従来技術に対し、本出願の実施例によって提供される解決策は、現在画像ブロックの動きベクトルを確定するプロセスを簡略化するだけでなく、現在画像ブロックの動きベクトルの正確さを向上させることもできる。
事前設定条件の定義が変化する場合、動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行うプロセスも対応的に変化し、すなわちスケーリング処理後の特定動きベクトル候補が事前設定条件を満たすことを保証する必要があることを理解されたい。
以下、ステップＳ１３０において、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するプロセスを説明する。
任意選択的に、一実施形態として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、参照動きベクトルに基づき、現在画像ブロックの参照画像中にサブ画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
一例において、現在画像ブロック中の各サブ画像ブロックの関連ブロックの動きベクトルを候補として動きベクトル第２候補リストに入れる。該候補を用いて予測する時、現在画像ブロック中の各サブ画像ブロックの関連ブロックの動きベクトルに基づき該サブ画像ブロックを予測する。
一例において、現在画像ブロックの関連ブロックの代表動きベクトルを候補として動きベクトル第２候補リストに入れ、該候補をＡＴＭＶＰ技術に基づいて確定されたものとしてマークする。該候補を用いて予測する時、該マークと候補に基づき現在画像ブロックの関連ブロックを確定し、現在画像ブロックと該関連ブロックを同じ方式で複数のサブ画像ブロックに分割し、現在画像ブロック中の各サブ画像ブロックを前記関連ブロック中の各サブ画像ブロックと１対１に対応させ、該関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出た場合、該関連ブロックの代表動きベクトルで該取得不可な動きベクトルを代替し、現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出ており、かつ関連ブロックの代表動きベクトルがすべて取得不可な場合、ＡＴＭＶＰ技術に基づいて確定された候補を該動きベクトル第２候補リストに入れることを放棄する。一例において、関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たを確定する。
任意選択的に、現在画像ブロックの関連ブロックの代表動きベクトルとは、該関連ブロックの中央位置の動きベクトルを指してもよく、または他の該関連ブロックを代表する動きベクトルを指してもよく、ここでは限定しない。
いくつかの動画像符号化および復号に関する標準規格において、関連ブロックはｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋまたはｃｏｒｒｅｓｐｏｎｄｉｎｇ ｂｌｏｃｋと呼ばれてもよい。
例えば、現在画像ブロックは１つのＣＵであり、それを分割した後に得られたサブ画像ブロックはｓｕｂ−ＣＵと呼ばれてもよい。任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４画素以上に固定される。任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを４×４に設定すると、該サブ画像ブロックの動きベクトルのサイズ（４×４ともする）は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ＡＴＭＶＰ技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、もう一つの実施形態として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することは、参照動きベクトルに基づき、現在画像ブロックの参照画像中に現在画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
符号化／復号技術において、一般的に符号化／復号済みの画像を現在の符号化／復号対象の参照画像として用いる。いくつかの実施例において、さらに、１つの参照画像を構築して、参照画像と現在の符号化／復号対象の画像の類似度を向上させることができる。
例えば、動画像コンテンツには、背景がほとんど変化せず、動画像の前景だけが変化したり、動きしたりする特定の符号化／復号シーンが存在する。例えば、ビデオモニタリングはこのようなシーンに属する。ビデオモニタリングのシーンでは通常、監視カメラが固定されており、または、ゆっくりと動いているだけであり、背景はほとんど変化していないと考えられる。これに対し、ビデオ監視カメラで撮影された人や車などの物体はつねに移動したり変化が発生したりし、前景はつねに変化していると考えられる。このようなシーンでは、高品質の背景情報のみを含む特定参照画像をつくることができる。該特定参照画像には複数の画像ブロックが含まれてもよく、いずれかの画像ブロックも、ある復号済みの画像から取り出され、該特定参照画像中の異なる画像ブロックは、異なる復号済みの画像から取得されることがある。レーム間予測をする時、現在符号化／復号対象の画像の背景部分は該特定参照画像を参照することで、フレーム間予測の残差情報を減少し、それにより符号化／復号効率を向上させることができる。
以上は、特定参照画像の具体例である。いくつかの実施形態において、特定参照画像は、構造フレーム（ｃｏｍｐｏｓｉｔｅ ｒｅｆｅｒｅｎｃｅ）、長期参照画像、非出力画像のうちの少なくとも１つの性質を有する。ここでは、該非出力画像とは、出力されて表示されない画像を指し、一般に、該非出力画像は、他の画像の参照画像として存在する。例えば、該特定参照画像は、構築された長期参照画像であってもよいし、非出力構造フレームであってもよいし、非出力長期参照画像であってもよい。いくつかの実施形態において、構造フレームは合成参照フレームとも呼ばれる。
いくつかの実施形態において、非特定参照画像は、構造フレーム、長期参照画像、非出力画像のうちの以下の少なくとも１つの性質を有していない参照画像であってもよい。例えば、該特定参照画像は、構造フレーム以外の参照画像を含んでもよいし、または長期参照画像以外の参照画像を含んでもよいし、または非出力画像以外の参照画像を含んでもよいし、または構築された長期参照画像以外の参照画像を含んでもよいし、または非出力構造フレーム以外の参照画像を含んでもよいし、または非出力長期参照画像以外の参照画像などを含んでもよい。
いくつかの実施形態において、動画像中の画像を参照画像とすることができる場合に、長期参照画像と短期参照画像とを区別することができる。ここで、短期参照画像は、長期参照画像に対応する概念である。短期参照画像は、参照画像バッファに一定時間存在し、該短期参照画像の後ろの復号済み参照画像の参照画像バッファにおけるいくつかの出入り動作の後に、短期参照画像はバッファ外から移り出される。参照画像バッファは参照画像リストキャッシュ、参照画像リスト、参照フレームリストキャッシュまたは参照フレームリストなどとも呼ばれてもよく、ここでは参照画像バッファと総称される。
長期参照画像（または長期参照画像中のデータの一部）は、つねに参照画像バッファ内に存在することができ、該長期参照画像（又は長期参照画像中のデータの一部）は、復号化された参照画像の参照画像バッファ内での出入り動作の影響を受けず、復号側で更新命令を送信する操作をした場合にのみ、該長期参照画像（または長期参照画像中のデータの一部）が参照画像バッファから移り出される。
短期参照画像と長期参照画像の異なる標準規格での呼び方は異なることがあり、例えば、Ｈ．２６４／高度動画像符号化（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＡＶＣ）またはＨ．２６５／ＨＥＶＣなどの規格では、短期参照画像は短期参照フレーム（ｓｈｏｒｔ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）と呼ばれ、長期参照画像は長期参照フレーム（ｌｏｎｇ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）と呼ばれる。また、ソース符号化規格（ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ、ＡＶＳ）１−Ｐ２、ＡＶＳ２−Ｐ２、電気電子技術者協会（ｉｎｓｔｉｔｕｔｅ ｏｆ ｅｌｅｃｔｒｉｃａｌ ａｎｄ ｅｌｅｃｔｒｏｎｉｃｓ ｅｎｇｉｎｅｅｒｓ、ＩＥＥＥ）１８５７．９−Ｐ４などの規格において、長期参照画像はバックグラウンドフレーム（ｂａｃｋｇｒｏｕｎｄ ｐｉｃｔｕｒｅ）と呼ばれる。また、ＶＰ８、ＶＰ９などの規格において、長期参照画像はゴールデンフレーム（ｇｏｌｄｅｎ ｆｒａｍｅ）と呼ばれる。
なお、本出願の実施例では特定用語を用いているが、特定のシーンに適用しなければならないことを表すものではない。例えば、長期参照画像を長期参照フレームと呼ぶことは、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣなどの規格に対応する技術に適用しなければならないことを表すものではない。
以上のような長期参照画像は、複数の復号済みの画像から取り出された画像ブロック構造から得たものであってもよく、または複数の復号済みの画像を用いて既存の参照フレーム（例えば、予め記憶された参照フレーム）を更新して得たものであってもよい。当然ながら、該構造的な特定参照画像は短期参照画像であってもよい。または、長期参照画像は構造的な参照画像ではない場合もある。
上記の実施形態において、特定参照画像は長期参照画像を含んでもよく、非特定参照画像は短期参照画像を含んでもよい。
任意選択的に、参照フレームのタイプは、特殊なフィールドによって、コードストリーム構造内で識別することができる。
任意選択的に、参照画像が長期参照画像と確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定された場合に、該参照画像を特定参照画像と確定し、または、参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定されており、さらに該参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定する。
任意選択的に、各種の参照画像は、それぞれの識別子を有していてもよい。この場合、復号化側にとって、参照画像が有する識別子に基づき、該参照画像が特定参照画像であるか否かを確定することができる。
いくつかの実施形態において、参照画像が長期の参照画像の識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像が非出力識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像が構造フレームの識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像は、長期参照画像の識別子、非出力識別子、構造フレームまたは合成参照フレームの識別子という三つの識別子のうちの少なくとも二つの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。例えば、参照画像が非出力識別子を有すると確定し、かつ参照画像が構造フレームの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。
具体的に、画像は、出力フレームであるか否かを示す識別子を有していてもよく、ある画像が出力されないと示された場合、該フレームが参照画像であることを示しており、さらに、該フレームが構造フレームの識別子を有しているか否かを判定し、そうであれば、前記参照画像が特定参照画像であると確定する。ある画像が出力されると示された場合に、構造フレームであるか否かの判断は行わず、該フレームが特定参照画像ではないことを直接確定することができる。あるいは、画像が出力されないと示されていても、構造フレームではないとの識別子を有する場合に、該フレームが特定参照画像ではないと確定することができる。
任意選択的に、画像ヘッダ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）、画像パラメータセット（ＰＰＳ、ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）からパラメータを解析して前記参照画像が以下の条件のうちの１つを満たしていることを確定した場合、前記参照画像が特定参照画像であることを確定する。つまり、
前記参照画像は長期参照画像であること、
前記参照画像は構造参照画像であること、
前記参照画像は非出力画像であることであり、
前記参照画像は非出力画像の場合、さらに前記参照画像が構造参照画像であると判断する。
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第１画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第１画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第１画像ブロックと該第１画像ブロックの時間領域参照ブロック（または関連ブロック）が異なる画像上に位置することである。そこで、該時間領域参照ブロック（または関連ブロック）の動きベクトルを利用して第１画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック（または関連ブロック）の動きベクトルをスケーリングする必要があることがある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
例えば、ＡＴＭＶＰ技術をＡＭＶＰ候補リストの構築に応用する場合、ＡＴＭＶＰ技術に基づき現在画像ブロックの関連ブロックの動きベクトルを確定する時、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づき現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づき、該関連ブロックの動きベクトルの縮尺を確定する。
一例において、該関連ブロックの動きベクトルはＭＶ ２と呼ばれ、該動きベクトルＭＶ ２が指す参照画像の参照フレームインデックス値はｘと呼ばれる。ここでは、該参照フレームインデックス値ｘはＭＶ ２が指す参照画像の順序番号（例えばＰＯＣ）と該関連ブロックが位置する画像の順序番号との差である。第１画像ブロックの参照画像の参照フレームインデックス値はｙと呼ばれる。ここでは、該参照フレームインデックス値ｙは第１画像ブロックの参照画像の順序番号と該第１画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルＭＶ ２に対する縮尺はｙ／ｘである。任意選択的に、動きベクトルＭＶ ２とｙ／ｘの積を第１画像ブロックの動きベクトルとすることができる。
しかしながら、関連ブロックの動きベクトルＭＶ ２が特定参照画像を指す場合、または、第１の画像ブロックの参照画像が特定参照画像である時には、特定参照画像と第１の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルＭＶ ２に対するスケーリングには意味がない。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定することを放棄する。
いくつかの実施例において、ステップＳ１２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の特定動きベクトル候補に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の特定動きベクトル候補の動きベクトルと処理前の特定動きベクトル候補の動きベクトルは同じである。
ここでは、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
いくつかの実施例において、ステップＳ１２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、特定動きベクトル候補に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
以上からわかるように、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたＭ個の動きベクトル候補のうちのＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
Ｎ個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、Ｎ個の動きベクトル候補のうち１つの動きベクトル候補にスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
現在画像ブロックをサイズ８×８のサブ画像ブロックに分割し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
図４に示すように、本出願の実施例は動画像処理方法をさらに提供し、該方法は以下のステップを含む。
Ｓ４１０、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得する。
ステップＳ４１０は以上の記載で説明されるステップＳ１１０に対応し、具体的な説明は以上の記載を参照し、ここでは再び説明しない。
Ｓ４２０、Ｍ個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。
オプションの実施形態として、Ｍ個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。このような実施形態で、ステップＳ４２０は以上の記載で説明されるステップＳ１２０に対応でき、具体的な説明は以上の記載を参照する。
もう１つのオプションの実施形態として、Ｍ個の動きベクトル候補のうちの全ての動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。
なお、ステップＳ４２０において、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する具体的な方式は以上の実施例での関連説明を参照でき、ここでは再び説明しない。
Ｓ４３０、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
例えば、現在画像ブロックは１つのＣＵであり、それを分割した後に得られたサブ画像ブロックはｓｕｂ−ＣＵと呼ばれてもよい。
Ｓ４４０、参照動きベクトルに基づき現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定する。
現在画像ブロックの参照画像は現在画像ブロックの同位フレームであってもよい。
Ｓ４５０、関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定する。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを４×４に設定すると、該サブ画像ブロックの動きベクトルのサイズ（４×４ともする）は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ＡＴＭＶＰ技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、ステップＳ４２０において、少なくとも一部の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定する。
走査された１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定することは、１つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとすることを含む。
任意選択的に、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
任意選択的に、ステップＳ４５０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、ステップＳ４５０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づきベクトルの第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
したがって、図４に示される実施例では、現在画像ブロックをサイズ８×８のサブ画像ブロックに分割し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
以上は、如何にＡＴＭＶＰ技術に基づいて動きベクトル第２候補リストに入れる候補を確定する方法について説明した。いくつかの実施形態において、動きベクトル第２候補リストに他の候補を入れることもできるが、ここでは限定しない。
以上、図１および図４に関連して、本出願の方法の実施例を説明した。以下、上記方法の実施例に対応する装置の実施例について説明する。装置の実施例の説明と、方法の実施例の説明は互いに対応しているので、詳細に説明されていない内容については、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない。
図５は本出願の実施例によって提供される動画像処理装置５００の概略的ブロック図である。該装置５００は図１に示される方法の実施例を実行するために用いられる。該装置５００は以下のユニットを含む。
取得ユニット５１０であって、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得するために用いられる。
確定ユニット５２０であって、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を順次走査し、走査結果に基づき参照動きベクトルを確定し、ＮがＭより小さい。
確定ユニット５２０は、さらに、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れられる動きベクトル候補を確定するために用いられる。
確定ユニット５２０はさらに、動きベクトル第２候補リストに基づき、現在画像ブロックの動きベクトルを確定するために用いられる。
従来のＡＴＭＶＰ技術のステップ１において、動きベクトル第２候補リスト中の現在すでに入れられたすべての動きベクトル候補を走査することによって、現在画像ブロックの時間ベクトルを取得する。例えば、動きベクトル第２候補リストには一般に、４個の動きベクトル候補が取り込まれるので、画像ブロックの時間ベクトルを得るために、４個の動きベクトル候補を走査する必要がある場合がある。
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたＭ個の動きベクトル候補のうちのＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術のステップ１に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
出願人は、次世代動画像符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の最新の参照ソフトウェアＶＴＭ−２．０上で、テストシーケンスとして公式通用テストシーケンスを選び、ＲＡ構成およびＬＤＢ構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ＡＴＭＶＰ技術の性能上の利得を維持することができる。
従って、本出願で提供される解決策は、従来のＡＴＭＶＰ技術の性能上の利得を維持したまま、ＡＴＭＶＰ技術の複雑さを低減することができる。
任意選択的に、１つの実施例として、取得ユニット５１０は、現在画像ブロックの現在フレーム内でのＭ個の近傍ブロックの動きベクトルに基づき、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得するために用いられる。
任意選択的に、１つの実施例として、近傍ブロックは現在フレーム上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｍ個の動きベクトル候補のうちの前のＮ個の動きベクトル候補を順次走査するために用いられる。
任意選択的に、１つの実施例として、Ｍは４に等しく、Ｎは４より小さい。
任意選択的に、１つの実施例として、Ｎは１または２に等しい。
任意選択的に、１つの実施例として、確定ユニット５２０は、事前設定条件に基づき、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を順次走査し、走査結果に基づき、参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、指す参照フレームと現在画像ブロックの参照画像が同じである動きベクトル候補を含む。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｎ個の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、特定動きベクトル候補は、Ｎ個の動きベクトル候補のうち、走査順で得られた１つ目の動きベクトルまたは最後の動きベクトルである。
任意選択的に、１つの実施例として、確定ユニット５２０は、動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行い、スケーリング処理された特定動きベクトル候補が指す参照フレームは現在画像ブロックの参照画像と同じであるようにし、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとするために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、デフォルト値を参照動きベクトルとするために用いられる。
任意選択的に、１つの実施例として、デフォルト値は動きベクトル（０，０）である。
任意選択的に、１つの実施例として、確定ユニット５２０は、現在画像ブロックを複数のサブ画像ブロックに分割し、参照動きベクトルに基づき、現在画像ブロックの参照画像のうちサブ画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
任意選択的に、１つの実施例として、現在画像ブロックは１つの符号化ユニットＣＵである。
任意選択的に、１つの実施例として、確定ユニット５２０は、参照動きベクトルに基づき、現在画像ブロックの参照画像のうち現在画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、１つの実施例として、確定ユニット５２０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルの動きベクトルに基づきベクトルの第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の特定動きベクトル候補に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の特定動きベクトル候補の動きベクトルと処理前の特定動きベクトル候補の動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、１つの実施例として、確定ユニット５２０は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、特定動きベクトル候補に基づきベクトルの第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
任意選択的に、１つの実施例として、動きベクトル第２候補リストはＭｅｒｇｅ候補リストである。
任意選択的に、１つの実施例として、現在画像ブロックの参照画像は現在画像ブロックの同位フレームである。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
なお、本実施例における取得ユニット５１０と確定ユニット５２０はいずれもプロセッサによって実現できる。
図６に示すように、本出願の実施例はさらに、動画像処理装置６００を提供する。該装置６００は図４に示される方法の実施例を実行するために用いられる。該装置６００は以下のユニットを含む。
確定ユニット６１０であって、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得するために用いられる。
確定ユニット６２０であって、Ｍ個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定するために用いられる。
分割ユニット６３０であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
確定ユニット６２０はさらに、参照動きベクトルに基づき現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられる。
確定ユニット６２０はさらに、関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
任意選択的に、１つの実施例として、確定ユニット６２０は、少なくとも一部の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット６２０は、１つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとするために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
なお、本実施例における取得ユニット６１０、確定ユニット６２０と分割ユニット６３０はいずれもプロセッサによって実現できる。
以上の説明において、１つの画像ブロックの動きベクトルは、１）該動きベクトルが指す画像、２）変位という二つの情報を含む。いくつかの応用シーンにおいて、１つの画像ブロックの動きベクトルは「変位」という情報のみを含む。該画像ブロックはまた、該画像ブロックの参照画像を指示するためのインデックス情報を提供する。符号化／復号済みの画像ブロックに対し、その動きベクトルの意味は、該符号化／復号済み画像ブロックの参照ブロックの参照画像上における該符号化／復号済み画像ブロックと位置と同じでありかつ該参照画像に位置する画像ブロックに対する変位を含む。該符号化／復号済みの画像ブロックの参照ブロックを確定する時、該符号化／復号済みの画像ブロックの参照画像のインデックス情報および該符号化／復号済みの画像ブロックの動きベクトルによって該符号化／復号済みの画像ブロックの参照ブロックを確定する必要がある。そこで、図１に示す動画像処理方法では、ステップＳ１２０は、動きベクトル第２候補リスト中の動きベクトル候補を走査するかわりに、該動きベクトル候補に対応する画像ブロックを直接走査する。以下、該動きベクトルの新しい定義（すなわち、「変位」情報を含むが「指す画像」を含まない）に対して、動画像処理方法を提供する。なお、「動きベクトル」の２つの異なる意味に対してそれぞれ提供されるＡＴＭＶＰ技術に基づいて動きベクトル候補を確定する方法は、ほぼ一致であり、上記の説明は、以下で提供される動画像処理方法にも適用され、区別は主に、動きベクトル第２候補リストの構築において、ＡＴＭＶＰ技術に基づいて動きベクトル第２候補リストに入れる候補を確定する時、上述した動画像処理方法では、動きベクトル第２候補リストに入れられた動きベクトルを走査することに対して、後述する動画像処理方法では、該動きベクトル第２候補リストに入れられた動きベクトルに対応する画像ブロックを走査することである。
図７に示すように、本出願の実施例は動画像処理方法を提供し、該方法は以下のステップを含む。
Ｓ７１０、現在画像ブロックのＭ個の近傍ブロックを確定する。
現在画像ブロックは符号化（または復号）対象の画像ブロックである。例えば、現在画像ブロックは１つの符号化ユニット（ＣＵ）である。
現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。
近傍ブロックは、現在画像において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
Ｍ個の近傍ブロックは現在フレーム内における符号化（または復号）済みの画像ブロックである。
一例として、図２に示すように、図２に示される現在画像ブロックの周囲の４つの位置Ａ１（左）→Ｂ１（上）→Ｂ０（右上）→Ａ０（左下）に位置する画像ブロックの順で、現在画像ブロックの４個の近傍ブロックを順次確定する。
Ｓ７２０、Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、ＮはＭより小さい。
Ｎ個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定するプロセスは、事前設定条件に基づきＮ個の近傍ブロックを順次判断し、判断結果に基づき対象近傍ブロックを確定するプロセスであってもよい。
一例として、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像と同じであることを含む。
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化および復号側に予め設定された参照画像であり、または、現在画像ブロックの参照画像は動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中に指定される参照画像である。
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
以下、Ｎ個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定するプロセスを詳細に説明する。
ステップＳ７２０において、ステップＳ７１０で取得されたＭ個の近傍ブロックのうちのＮ個の近傍ブロックのみを走査し、このようにして走査の回数を減少できる。
任意選択的に、ステップＳ７２０において、Ｍ個の近傍ブロックのうちの前のＮ個の近傍ブロックを順次走査してもよい。
ステップＳ７１０において、予め設定された順で現在画像ブロックのＭ個の近傍ブロックを順次確定する時、ステップＳ７２０で取得された前のＮ個の近傍ブロックとは、該予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
任意選択的に、ステップＳ７２０において、Ｍ個の近傍ブロックのうちの最後のＮ個の近傍ブロックを順次走査してもよいし、または、Ｍ個の近傍ブロックのうちの中間のＮ個の近傍ブロックを順次走査してもよい。本出願はこれに対して限定しない。
Ｓ７３０、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定する。
Ｓ７４０、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号する。
任意選択的に、ステップＳ７４０は、関連ブロックの動きベクトルと参照画像に基づき、現在画像ブロックの参照ブロックを確定することを含む。
例えば、ステップＳ７４０は、現在画像ブロックの候補ブロックリストを構築し、該候補ブロックリスト中の候補ブロックはＭ個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づき現在画像ブロックに符号化および復号を行う。
一例において、該候補ブロックリストは現在画像ブロックのｍｅｒｇｅ候補リストである。一例において。該候補ブロックリストは現在画像ブロックのＡＭＶＰ候補リストである。
符号化側において、現在ブロックの候補ブロックのインデックス（ｉｎｄｅｘ）をコードストリームに書き込む。復号側において、インデックスを取得した後、候補ブロックリストから該インデックスに対応する候補ブロックを見つけ、該候補ブロックの参照ブロックに基づき現在画像ブロックの参照ブロックを確定し、または、該候補ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する。
例えば、そのまま候補ブロックの参照ブロックを現在画像ブロックの参照ブロックとして確定し、または、そのまま候補ブロックの動きベクトルを現在画像ブロックの動きベクトルとして確定する。また、例えば、符号化側は該現在ブロックのＭＶＤをコードストリーム中に書き込む。復号側は該ＭＶＤを取得した後、該候補ブロックの動きベクトルにＭＶＤを加えたものを現在ブロックの動きベクトルとし、続いて該動きベクトルと現在ブロックの参照画像に基づき現在ブロックの参照ブロックを確定する。
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたＭ個の近傍ブロックのうちのＮ（ＮはＭより小さい）個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
任意選択的に、本実施例において、ステップＳ７１０では、現在画像ブロックの現在フレーム内での４個の近傍ブロックを確定し、すなわちＭは４に等しい。ステップＳ７２０において、４個の近傍ブロックのうちのＮ個の近傍ブロックを走査し、Ｎは４より小さい。
例えば、Ｎは１に等しい。例えば、ステップＳ７２０において、４個の近傍ブロックのうちのの１つ目の近傍ブロックのみを走査する。
また、例えば、Ｎは２または３に等しい。
以下、ステップＳ７２０において、Ｎ個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定する方式を説明する。
任意選択的に、ステップＳ７２０において、Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定する。
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることを含む。
将来進化する技術では、事前条件は他の定義を与えることもあることを理解されたい。
ここでは、事前設定条件の定義は近傍ブロックの参照画像が現在画像ブロックの参照画像と同じであることを例として説明する。
例えば、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
任意選択的に、ステップＳ７２０において、Ｎ個の近傍ブロックにおいて事前設定条件に符合する近傍ブロックが走査されていない場合、該方法はさらに、Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化／復号することを含む。
例えば、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定する。
任意選択的に、特定近傍ブロックは、Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
該特定近傍ブロックは、Ｎ個の近傍ブロックのうち、他の走査順で得られた近傍ブロックであってもよい。
任意選択的に、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化／復号することは、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとすることを含む。
任意選択的に、ステップＳ７２０において、Ｎ個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの候補参照ブロックとする。
例えば、ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
以下、ステップＳ７３０において、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定するプロセスを説明する。
任意選択的に、実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することとを含み、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
関連ブロックはｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋまたはｃｏｒｒｅｓｐｏｎｄｉｎｇ ｂｌｏｃｋと呼ばれてもよい。
例えば、現在画像ブロックは１つのＣＵであり、それを分割した後に得られたサブ画像ブロックはｓｕｂ−ＣＵと呼ばれてもよい。
任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４画素以上に固定される。
任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを４×４に設定すると、該サブ画像ブロックの動きベクトルのサイズ（４×４ともする）は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ＡＴＭＶＰ技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、もう１つの実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定することは、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定することを含む。
任意選択的に、ステップＳ７４０は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの候補参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、ステップＳ７４０は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの候補参照ブロックを確定することを放棄する。
いくつかの実施例において、ステップＳ７２０は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
ここでは、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
以上からわかるように、本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたＭ個の近傍ブロックのうちのＮ（ＮはＭより小さい）個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
Ｎ個の近傍ブロックのうち参照フレームと現在フレームの同位フレームが同じである近傍ブロックが走査されていない場合、Ｎ個の近傍ブロックのうち１つの近傍ブロックの動きベクトルにスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトルを現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
現在画像ブロックをサイズ８×８のサブ画像ブロックに分割し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第１画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第１画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第１画像ブロックと該第１画像ブロックの時間領域参照ブロック（または関連ブロック）が異なる画像上に位置することである。そこで、該時間領域参照ブロック（または関連ブロック）の動きベクトルを利用して第１画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック（または関連ブロック）の動きベクトルをスケーリングする必要がある可能性がある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
例えば、ＡＴＭＶＰ技術応用をＡＭＶＰ候補リストの構築に応用する場合、ＡＴＭＶＰ技術に基づき現在画像ブロックの関連ブロックを確定した後、該関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づき現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づき、該関連ブロックの動きベクトルの縮尺を確定する。
一例において、該関連ブロックの動きベクトルはＭＶ ２と呼ばれ、該動きベクトルＭＶ ２が指す参照画像の参照フレームインデックス値はｘと呼ばれる。ここでは、該参照フレームインデックス値ｘはＭＶ ２が指す参照画像の順序番号（例えばＰＯＣ）と該関連ブロックが位置する画像の順序番号との差である。第１画像ブロックの参照画像の参照フレームインデックス値はｙと呼ばれる。ここでは、該参照フレームインデックス値ｙは第１画像ブロックの参照画像の順序番号と該第１画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルＭＶ ２に対する縮尺はｙ／ｘである。任意選択的に、動きベクトルＭＶ ２とｙ／ｘの積を第１画像ブロックの動きベクトルとすることができる。
しかしながら、関連ブロックの動きベクトルＭＶ ２が特定参照画像を指す場合、または、第１の画像ブロックの参照画像が特定参照画像である時には、特定参照画像と第１の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルＭＶ ２に対するスケーリングには意味がない。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定することを放棄する。
図８に示すように、本出願の実施例は動画像処理方法をさらに提供し、該方法は以下のステップを含む。
Ｓ８１０、現在画像ブロックのＭ個の近傍ブロックを確定する。
ステップＳ８１０は上記の実施例中のステップＳ７１０に対応できる。
Ｓ８２０、Ｍ個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
任意選択的に、Ｍ個の近傍ブロック中の部分近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
任意選択的に、Ｍ個の近傍ブロック中の全ての近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
Ｓ８３０、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
Ｓ８４０、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定する。
任意選択的に、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像である。
任意選択的に、現在画像ブロックの参照画像は符号化側および復号側で予め設定された参照画像である。
任意選択的に、現在画像ブロックの参照画像は在動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中で指定される参照画像である。
Ｓ８５０、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号する。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも８×８画素に固定される。
現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、ステップＳ８２０は、少なくとも一部の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
例えば、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることを含む。
任意選択的に、ステップＳ８４０は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することを含み、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
以上、図７および図８に関連して、本出願の方法の実施例を説明した。以下、図７および図８に示す方法の実施例に対応する装置の実施例について説明する。なお、装置の実施例の説明と、方法の実施の形態の説明は互いに対応しているので、詳細に説明されていないものについては、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない
図９は本出願の実施例によって提供される動画像処理装置９００の概略的ブロック図である。該装置９００は図７に示される方法の実施例を実行するために用いられる。該装置９００は以下のユニットを含む。
取得ユニット９１０であって、現在画像ブロックのＭ個の近傍ブロックを取得するために用いられる。
取得ユニット９２０であって、Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定するために用いられ、ＮはＭより小さい。
確定ユニット９２０はさらに、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定するために用いられる。
符号化／復号ユニット９３０であって、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号するために用いられる。
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたＭ個の近傍ブロックのうちのＮ（ＮはＭより小さい）個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
任意選択的に、１つの実施例として、Ｍは４に等しく、Ｎは４より小さい。
任意選択的に、１つの実施例として、Ｎは１または２に等しい。
任意選択的に、１つの実施例として、確定ユニット９２０は、Ｍ個の近傍ブロック中の前のＮ個の近傍ブロックを順次走査するために用いられる。
任意選択的に、１つの実施例として、取得ユニット９１０は、予め設定された順で現在画像ブロックのＭ個の近傍ブロックを順次取得し、前のＮ個の近傍ブロックとは、予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
任意選択的に、１つの実施例として、確定ユニット９２０は、Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット９２０は、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることでである。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、関連ブロックの動きベクトルと参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、現在画像ブロックの候補ブロックリストを構築し、候補ブロックリスト中の候補ブロックはＭ個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づき現在画像ブロックを符号化および復号するために用いられる。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０はさらに、Ｎ個の近傍ブロックにおいて事前設定条件に符合する近傍ブロックが走査されていない場合、Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化／復号するために用いられる。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、特定近傍ブロックは、Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとするために用いられる。
任意選択的に、１つの実施例として、確定ユニット９２０は、Ｎ個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの参照ブロックとするために用いられる。
任意選択的に、１つの実施例として、ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
任意選択的に、１つの実施例として、確定ユニット９２０は、
現在画像ブロックを複数のサブ画像ブロックに分割することと、
対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することのために用いられ、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
任意選択的に、１つの実施例として、現在画像ブロックは１つの符号化ユニットＣＵである。
任意選択的に、１つの実施例として、確定ユニット９２０は、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像中に現在画像ブロックの関連ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、近傍ブロックは現在画像上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄するために用いられる。
任意選択的に、１つの実施例として、確定ユニット９２０は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
なお、本実施例における取得ユニット９１０、確定ユニット９２０と符号化／復号ユニット９３０はいずれもプロセッサによって実現できる。
図１０に示すように、本出願の実施例はさらに、動画像処理装置１０００を提供する。該装置１０００は図８に示される方法の実施例を実行するために用いられる。該装置１０００は以下のユニットを含む。
取得ユニット１０１０であって、現在画像ブロックのＭ個の近傍ブロックを取得するために用いられる。
確定ユニット１０２０であって、Ｍ個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定するために用いられる。
分割ユニット１０３０であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
確定ユニット１０２０はさらに、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定するために用いられる。
符号化／復号ユニット１０４０であって、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号するために用いられる。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも８×８画素に固定される。
現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、１つの実施例として、Ｍ個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、少なくとも一部の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
任意選択的に、１つの実施例として、確定ユニット１０２０は、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることでである。
任意選択的に、１つの実施例として、確定ユニット１０２０は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられ、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
なお、本実施例における取得ユニット１０１０、確定ユニット１０２０、分割ユニット１０３０と符号化／復号ユニット１０４０はいずれもプロセッサによって実現できる。
図１１に示すように、本出願の実施例はさらに、動画像処理装置１１００を提供する。装置１１００は以上で説明される方法の実施例を実行するために用いてもよい。装置１１００はプロセッサ１１１０、メモリ１１２０を含み、メモリ１１２０は命令を記憶するために用いられ、プロセッサ１１１０はメモリ１１２０に記憶された命令を実行し、かつ、メモリ１１２０に記憶された命令の実行によってプロセッサ１１１０に上記の方法の実施例による方法を実行させるために用いられる。
任意選択的に、図１１に示すように、該装置１１００は、外部装置と通信するための通信インターフェース１１３０を含むことができる。例えば、プロセッサ１１１０は、信号の受信および／または送信を行うように通信インターフェース１１３０を制御するために用いられる。
本出願で提供される装置５００、６００、９００、１０００および１１００はコーダに応用されてもよく、デコーダに応用されてもよい。
以上の記載は、動きベクトル第２候補リストを説明したが、以下、動きベクトル第１候補リストについて説明する。
動き補償予測段階において、従来、主流となる動画像符号化規格には並進動きモデルのみが応用されている。現実世界では、拡大／縮小、回転、遠景動き、その他の不規則な動きなど、さまざまな動き形態がある。フレーム間予測の効率を高めるために、符号化および復号技術にアフィン変換（ａｆｆｉｎｅ）動き補償モデルを導入することができる。アフィン変換動き補償は１組のコントロールポイント（ｃｏｎｔｒｏｌ ｐｏｉｎｔ）のＭＶにより画像ブロックのアフィン動きフィールドを説明する。一例において、アフィン変換動き補償モデルに用いたのは４パラメータＡｆｆｉｎｅモデルであり、この場合、該組のコントロールポイントは２つのコントロールポイント（例えば、画像ブロックの左上隅のポイントと右上隅のポイント）を含む。一例において、アフィン変換動き補償モデルに用いたのは６パラメータＡｆｆｉｎｅモデルであり、この該組のコントロールポイントは３つのコントロールポイント（例えば、画像ブロックの左上隅のポイント、右上隅のポイントと左下隅のポイント）を含む。
一実施形態において、動きベクトルの第１候補リストを構築する時、入れられる候補は１組のコントロールポイントのＭＶであってもよく、またはコントロールポイント予測動きベクトル（ＣＰＭＶＰ、Ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）と称される。任意選択的に、動きベクトルの第１候補リストはＭｅｒｇｅモードに用いられてよく、具体的に、Ａｆｆｉｎｅ Ｍｅｒｇｅモードと称されてよく、対応的に、該動きベクトルの第１候補リストはａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔと称されてよい。Ａｆｆｉｎｅ Ｍｅｒｇｅモードにおいて、直接的に動きベクトルの第１候補リスト中の予測を用いて現在画像ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）とし、すなわち、ａｆｆｉｎｅ動き推定プロセスを行う必要はない。
一実施形態において、ＡＴＭＶＰ技術に基づいて確定された候補を動きベクトルの第１候補リストに入れることができる。
ここでは、一例において、現在画像ブロックの関連ブロックのコントロールポイントの動きベクトル群を候補として動きベクトルの第１候補リストに入れる。動きベクトルの第１リスト中の該候補を用いて予測する時、現在画像ブロックの関連ブロックのコントロールポイントの動きベクトル群に基づいて該現在画像ブロックを予測する。
ここでは、一例において、上記に示すように、現在の画像ブロックの関連ブロックの代表動きベクトルを候補として動きベクトルの第１候補リストに入れる。さらに、任意選択的に、該候補をＡＴＭＶＰ技術に基づいて確定されたものとマークする。動きベクトル第１候補リスト中の該候補を用いて予測する時、該マークと候補に基づき現在画像ブロックの関連ブロックを確定し、現在画像ブロックと該関連ブロックを同じ方式で複数のサブ画像ブロックに分割し、現在画像ブロック中の各サブ画像ブロックは前記関連ブロック中の各サブ画像ブロックと１対１に対応させ、該関連ブロック中の各サブ画像ブロックの動きベクトルに基づき現在画像ブロック中の対応するサブ画像ブロックの動きベクトルをそれぞれ予測する。
ここでは、任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出た時、該関連ブロックの代表動きベクトルで該取得不可な動きベクトルを代替し、現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックの代表動きベクトルがすべて取得不可な場合、ＡＴＭＶＰ技術に基づいて確定された候補を該動きベクトル第２候補リストに入れることを放棄する。一例において、関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する。
ここでは、任意選択的に、動きベクトルの第１候補リスト中の各候補は１組のコントロールポイントの動きベクトルを含み、現在画像ブロックの関連ブロックの代表動きベクトルを動きベクトルの第１候補リストに入れる時、データフォーマットの一貫性を保証するために、該関連ブロックの代表動きベクトルを候補中のそれぞれのコントロールポイントの動きベクトルとして挿入してもよい（つまり、該候補中の各コントロールポイントの動きベクトルはすべて該関連ブロックの代表動きベクトルに割り当てられる）。
ここでは、任意選択的に、現在画像ブロックの関連ブロックの代表動きベクトルとは、該関連ブロックの中央位置の動きベクトルを指してもよく、または他の該関連ブロックを代表する動きベクトルを指してもよく、ここでは限定しない。
上記の動きベクトル第２候補リストについての説明から分かるように、ＡＴＭＶＰ技術に基づいて候補を確定する時、現在画像ブロックの関連ブロックを確定する必要がある。本解決策において、ＡＴＭＶＰ技術に基づいて動きベクトル第１候補リストに入れられる候補を確定する時、現在画像ブロックの関連ブロックを確定する方法には、
現在画像ブロックの予め設定されたＭ個の近傍ブロック中のＮ個の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定し、ＮはＭより小さく、Ｍは４以下であり、前記対象近傍ブロックの動きベクトル、前記現在の画像ブロックおよび前記現在の画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定する方法１と、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づいて現在画像ブロックのＭ個の近傍ブロックを確定し、該Ｍ個の近傍ブロック中のＮ個の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定し、ＮはＭより小さく、Ｍは４以下であり、該対象近傍ブロックの動きベクトル、現在の画像ブロックおよび現在の画像ブロックの参照画像に基づいて、前記現在の画像ブロックの関連ブロックを確定する方法２とが含まれる。ここでは、動きベクトル第２候補リスト中のＭ個の候補とは、現在画像ブロックのＭ個の近傍ブロックを指してもよい。
ここでは、方法１と方法２における「走査結果に基づいて対象近傍ブロックを確定する」、および「前記対象近傍ブロックの動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定する」という２つのステップについての説明は、上記の説明を参照してよく、ここでは、再び説明しない。
一実施形態において、動きベクトルの第１候補リストに入れる候補を確定する方法は、現在の画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイントの動きベクトル群を確定し、それぞれの確定された近傍ブロックのコントロールポイントの動きベクトル群を１つの候補として動きベクトルの第１候補リストに入れることを含む。
ここでは、一例において、アフィン変換モードで予測する近傍ブロックとは、該近傍ブロックの動きベクトルがａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ中の候補に基づいて確定されたものであることを指す。すなわち、候補は現在画像ブロックのａｆｆｉｎｅモードを用いた空間領域近傍ブロックのａｆｆｉｎｅ動きモデルからのものであり、すなわち、ａｆｆｉｎｅモードを用いた空間領域近傍ブロックのＣＰＭＶを現在ブロックのＣＰＭＶＰとする。
ここでは、一例において、コントロールポイントの動きベクトル群は該近傍ブロックの２つのコントロールポイントの動きベクトル（例えば、該近傍ブロックの左上隅のポイントと右上隅のポイント）を含んでもよく、または該近傍ブロックの３つのコントロールポイントの動きベクトル（例えば、画像ブロックの左上隅のポイント、右上隅のポイントと左下隅のポイント）を含んでもよく、これは４パラメータＡｆｆｉｎｅモデルを用いたか、６パラメータＡｆｆｉｎｅモデルを用いたかに依存する。
ここでは、一例において、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイントの動きベクトル群を確定することは、
前記現在の画像ブロックの左側近傍ブロックにおいて第１走査順に応じて第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む。
例えば、図１２に示すように、図１２は現在画像ブロックの近傍ブロックによって動きベクトル第１候補リストの候補を取得する概略図である。現在画像ブロックの左側において、画像ブロックＡ−＞画像ブロックＤ−＞画像ブロックＥの走査順に応じて順次走査し、１つ目の事前設定条件を満たす第１の画像ブロックのコントロールポイントの動きベクトル群を１つの候補として動きベクトルの第１候補リストに入れる。現在画像ブロックの上側において、画像ブロックＢ−＞画像ブロックＣの走査順に応じて順次走査し、１つめのプリセット条件を満たす第１の画像ブロックのコントロールポイントの動きベクトル群を１つの候補として動きベクトルの第１候補リストに入れる。任意選択的に、該走査順で、該閾値条件を満たす画像ブロックを見つけなければ、該走査順で候補を確定することを放棄する。
一実施形態において、動きベクトル第１候補リストに入れる候補を確定する方法は、
前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第１候補リストに入れることと、を含む。
つまり、このような実施形態において、候補を構築することによって動きベクトルの第１候補リストに入れることである。一例において、候補を構築することによって動きベクトルの第１候補リストに入れる前、まず動きベクトルの第１候補リスト中の候補の数が既にプリセット数値（例えば、５）に達したか否かを判断し、プリセット数値に達していない場合、候補を構築することによって動きベクトルの第１候補リストに入れる。
一例において、構築される候補は現在画像ブロックの一部のコントロールポイントの近傍ブロックの動き情報を組み合せた後にＣＰＭＶＰとして動きベクトルの第１候補リストに入れる。
図１３に示すように、図１３は現在画像ブロックの近傍ブロックによって動きベクトルの第１候補リストの候補を構築する概略図である。現在画像ブロックは全部で４つのコントロールポイントがあり、それぞれＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４である。ここでは、画像ブロックＡ０とＡ１はＣＰ１の空間領域近傍ブロックであり、画像ブロックＡ２、Ｂ２とＢ３はＣＰ２の空間領域近傍ブロックであり、画像ブロックＢ０とＢ１はＣＰ２の空間領域近傍ブロックであり、ＴはＣＰ４の時間領域近傍ブロックである。コントロールポイントＣＰ１、ＣＰ２、ＣＰ３とＣＰ４の座標は、それぞれ（０，０）、（Ｗ，０）、（Ｈ，０）と（Ｗ，Ｈ）、ＷとＨはそれぞれ現在ＣＵの幅と高を示す。各コントロールポイントの近傍ブロックの動き情報を取得する優先順位は、
ＣＰ１に対し、取得の優先順位は、Ｂ２−＞Ｂ３−＞Ａ２である。Ｂ２が利用可能な場合、Ｂ２のＭＶを用いてコントロールポイントＣＰ１のＭＶとし、Ｂ２が利用不可なば場合、Ｂ３のＭＶを用いてコントロールポイントＣＰ１のＭＶとし、Ｂ２とＢ３がすべて利用不可な場合、Ａ１のＭＶを用いてコントロールポイントＣＰ１のＭＶとし、Ｂ２、Ｂ３とＡ１がすべて利用不可な場合、コントロールポイントＣＰ１の動き情報が得られない。
同様に、ＣＰ２に対し、取得の優先順位は、Ｂ１−＞Ｂ０であり、ＣＰ３に対し、取得の優先順位は、Ａ１−＞Ａ０であり、ＣＰ４に対し、直接的にＴのＭＶを用いてコントロールポイントＣＰ４のＭＶとする。
現在ＣＵのコントロールポイント（６パラメータモデル：ＣＰ０、ＣＰ１とＣＰ２、４パラメータモデル：ＣＰ０とＣＰ１）のＭＶがすべて利用可能になってからはじめて、構築されたＭＶを挿入し、そうでなければ直接的に次のステップに入る。すべてのコントロールポイントのＭＶ（存在する場合）を得た後、コントロールポイントのＭＶに対する異なる組み合わせを行い、複数のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓを得ることができ、組み合わせ方式は、
４パラメータａｆｆｉｎｅモデルを用いる場合、４つのコントロールポイントのＭＶのうちの２つを組み合わせると、１つまたは複数の候補を得ることができ、その中の２つの組み合わせ方式、つまり｛ＣＰ１、ＣＰ２｝、｛ＣＰ１、ＣＰ３｝を選択する。ここでは、組み合わせ方式｛ＣＰ１、ＣＰ３｝では、４パラメータモデルに基づいて、選択された２つのコントロールポイントのＭＶを現在ＣＵの左上隅と右上隅のコントロールポイントのＭＶ（ＣＰ１とＣＰ２）に変換する必要がある。
６パラメータａｆｆｉｎｅモデルを用いる場合、４つのコントロールポイントのＭＶのうちの３つを組み合わせると、１つまたは複数の候補を得ることができ、４つの組み合わせ方式、｛ＣＰ１、ＣＰ２、ＣＰ４｝、｛ＣＰ１，ＣＰ２、ＣＰ３｝、｛ＣＰ２、ＣＰ３、ＣＰ４｝、｛ＣＰ１、ＣＰ３、ＣＰ４｝を選択する。ここでは、組み合わせ方式｛ＣＰ１、ＣＰ２、ＣＰ３｝、｛ＣＰ２、ＣＰ３、ＣＰ４｝、｛ＣＰ１、ＣＰ３、ＣＰ４｝では６パラメータモデルに基づいて、選択された３つのコントロールポイントのＭＶを現在ＣＵの左上隅、右上隅と左下隅のコントロールポイントのＭＶ（ＣＰ１、ＣＰ２とＣＰ３）に変換する必要がある
一例において、異なる組み合わせのＭＶ（２個または３個）に使用される参照フレームが異なれば、該組み合わせによって構築された候補が使用不可であると考えられる。
一実施形態において、動きベクトルの第１候補リストに入れる候補を確定する方法は、デフォルトベクトルを用いて取り込むことを含む。任意選択的に、該デフォルトベクトルはゼロベクトルまたは他のベクトルであってもよい。任意選択的に、他の方法で動きベクトルの第１候補リストに入れる候補を確定した後、現在既に該第１候補リストに入れられた候補の数が既にプリセット数値に達したか否かを判断し、達していない場合、第１候補リスト中の候補の数がプリセット数値に達するまで、デフォルトベクトルを用いて第１候補リストに取り込む。
動きベクトルの第１候補リスト中の候補を用いて現在画像ブロックを予測する時、用いた候補はＡＴＭＶＰ技術によって確定された候補以外の少なくとも１つの候補である場合、アフィン動きモデルにより該候補に基づいて現在画像ブロック中のサブ画像ブロックの動きベクトルを導出する。用いた候補はＡＴＭＶＰ技術によって確定された候補である場合、上記の説明に基づいて、関連ブロックの中の各サブ画像ブロックの動きベクトルに基づいて現在画像ブロック中の各サブ画像ブロックの参照ブロックを確定し、各サブ画像ブロックの参照ブロックを現在画像ブロックの参照ブロックにつなぎ合わせ、該参照ブロックに基づいて現在画像ブロックの残差を算出する。
以下、図１４と図１５に関連して本出願の実施例で提供される動画像処理方法について例をあげて説明する。図１４に示すように、該方法は以下のステップを含む。
Ｓ１４１０、現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、ＮはＭより小さい。任意選択的に、Ｍは４以下である。
Ｓ１４２０、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定する。
Ｓ１４３０、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させる。
Ｓ１４４０、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測する。
図１４に示される動画像処理方法の説明は以上の記載に参照することができ、ここでは説明しない。
図１５に示すように、該方法は以下のステップを含む。
Ｓ１５１０、現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定する。
Ｓ１５２０、前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、ＮはＭより小さい。任意選択的に、Ｍは４以下である。
Ｓ１５３０、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定する。
Ｓ１５４０、前記現在画像ブロックの関連ブロックに基づき、前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定する。ここでは、該特定候補は以上の記載で言及されているＡＴＭＶＰ技術によって確定された候補であってもよい。
Ｓ１５５０、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させる。
Ｓ１５６０、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測する。
図１５に示される動画像処理方法の説明は以上の記載に参照することができ、ここでは説明しない。
図１６は本出願の実施例によって提供される動画像処理装置１６００の概略的ブロック図である。該装置１６００は図１４に示される方法の実施例を実行するために用いられる。該装置１６００は以下のユニットを含む。
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＮ（ＮはＭより小さい）個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定し、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させるために用いられる構築モジュール１６１０と、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュール１６２０とを含む。
一例において、Ｎは１または２に等しい。
一例において、予測モジュールはさらに、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測する前に前記関連ブロックの代表動きベクトルを候補として動きベクトル第１候補リストに入れ、
前記候補を採用すると確定した場合、前記予測モジュールは前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる。
一例において、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む。
一例において、前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる。
一例において、前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む。
一例において、予測モジュールはさらに、前記関連ブロック中に取得不可な動きベクトルのサブ画像ブロックが出た時、前記関連ブロックの代表動きベクトルを前記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中に取得不可な動きベクトルのサブ画像ブロックが出て、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中対応するサブ画像ブロックを予測することを放棄するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる時、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる。
一例において、構築モジュールはさらに、他の候補を確定し、前記他候補を前記動きベクトル第１候補リストに入れるために用いられ、ここでは、前記他の候補中の少なくとも１つの候補はサブ画像ブロックの動きベクトルを含む。
一例において、構築モジュールはさらに、前記他の候補のうちの１つの候補を採用することを確定する場合、前記採用した候補に基づき前記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定するために用いられる。
一例において、前記少なくとも１つの候補は一組のコントロールポイントの動きベクトルを含む。
一例において、予測モジュールはさらに、
前記少なくとも１つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行うことと、
前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる。
一例において、前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む。
一例において、構築モジュールはさらに、前記現在画像ブロックの近傍ブロックから、特定の走査順でアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れることとのために用いられる。
一例において、前記の前記現在画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することは、
前記現在画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む。
一例において、構築モジュールはさらに、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第１候補リストに入れることとのために用いられる。
一例において、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することは、
前記一部のコントロールポイントにおける各コントロールポイントに対し、第三走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む。
一例において、構築モジュールはさらに、
前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる。
一例において、前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい場合、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄する。
一例において、構築モジュールはさらに、
動きベクトル第２候補リストを構築し、ここでは、前記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる。
一例において、前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む。
一例において、前記構築動きベクトル第２候補リストは、
前記現在画像ブロックの現在画像上での複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを含む。
一例において、前記現在画像ブロックの現在画像上での複数の近傍ブロックは前記予め設定されたＭ個の近傍ブロックを含む。
一例において、構築モジュールはさらに、
予め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れるために用いられる。
前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
一例において、構築モジュールはさらに、
前記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる。
一例において、前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
一例において、前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む。
一例において、前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む。
一例において、構築モジュールはさらに、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、予測モジュールは前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる。
一例において、前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む。
一例において、前記特定近傍ブロックは、前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
一例において、前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、
前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることを含む。
一例において、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、ディフォルトブロックを前記現在画像ブロックの参照ブロックとする。
一例において、前記ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される。
一例において、前記現在画像ブロックは１つの符号化ユニットＣＵである。
一例において、前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む。
一例において、前記近傍ブロックは、前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含む。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む。
一例において、構築モジュールはさらに、
前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、Ｍは４以下である。
図１７は本出願の実施例によって提供される動画像処理装置１７００の概略的ブロック図である。該装置１７００は図１５に示される方法の実施例を実行するために用いられる。該装置１７００は以下のユニットを含む。
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定し、前記Ｍ個の近傍ブロックのうちＮ（ＮはＭより小さい）個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定し、前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定し、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックと１対１に対応させるために用いられる構築モジュール１７１０と、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュール１７２０とを含む。
一例において、前記動きベクトル第１候補リストの少なくとも１つの候補がサブ画像ブロックの動きベクトルを含み、前記動きベクトル第２候補リストの各候補が画像ブロックの動きベクトルを含む。
一例において、Ｎは１または２に等しい。
一例において、前記Ｍ個の候補は前記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルを含む。
一例において、前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
一例において、前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む。
一例において、前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む。
一例において、構築モジュールはさらに、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、予測モジュールは前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる。
一例において、前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む。
一例において、前記特定近傍ブロックは、前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
一例において、前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、
前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることを含む。
一例において、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、ディフォルトブロックを前記現在画像ブロックの参照ブロックとする。
一例において、前記ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される。
一例において、前記現在画像ブロックは１つの符号化ユニットＣＵである。
一例において、前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む。
一例において、前記近傍ブロックは、前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含む。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む。
一例において、構築モジュールはさらに、前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む。
一例において、前記の前記現在画像ブロックの関連ブロックに基づき、前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することは、
前記現在画像ブロックの関連ブロックの代表動きベクトルを前記特定候補として前記動きベクトル第１候補リストに入れることを含む。
一例において、前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる。
一例において、前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む。
一例において、予測モジュールはさらに、前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た時、前記関連ブロックの代表動きベクトルを前記取得不可な動きベクトルのサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中対応するサブ画像ブロックを予測することを放棄するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる時、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる。
一例において、予測モジュールはさらに、前記動きベクトル第２候補リスト中の前記特定候補以外のそのうちの１つの候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行い、
前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる。
一例において、前記動きベクトル第２候補リスト中の前記特定候補以外の少なくとも１つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む。
一例において、前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む。
一例において、予測モジュールはさらに、前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定し、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れるために用いられる。
一例において、前記の前記現在画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することは、
前記現在画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む。
一例において、構築モジュールはさらに、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第１候補リストに入れることとのために用いられる。
一例において、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することは、
前記一部のコントロールポイントにおける各コントロールポイントに対し、第三走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む。
一例において、構築モジュールはさらに以、前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す場合、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる。
一例において、構築モジュールはさらに、前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる。
一例において、構築モジュールはさらに、動きベクトル第２候補リストを構築すし、ここでは、前記動きベクトル第２候補リストに入れられる候補は１つの画像ブロックの動きベクトルであり、
前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる。
一例において、前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む。
一例において、前記構築動きベクトル第２候補リストは、
前記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる前記Ｍ個の候補を確定することを含む。
一例において、構築モジュールはさらに、め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れるために用いられ、
前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
一例において、構築モジュールはさらに、前記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる。
一例において、Ｍは４以下である。
本出願の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、コンピュータプログラムがコンピュータに実行されるときコンピュータに上記方法の実施例で提供される方法を実行させる。
本出願の実施例は命令を含むコンピュータプログラム製品をさらに提供し、該指令がコンピュータにより実行される時、コンピュータに上記方法の実施例で提供される方法を実行させる。
上記実施例において、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせにより全部又は一部で実施することができる。ソフトウェアで実現する場合、コンピュータプログラム製品の形で全部或いは一部で実現することができる。前記コンピュータプログラム製品は１つのまたは複数のコンピュータ命令を含む。コンピュータに前記コンピュータ命令をアップロードして実行すると、本出願の実施例による前記プロセス又は機能の全部又は一部が生成される。前記コンピュータは汎用コンピュータ、特殊用途コンピュータ、コンピュータネットワーク、または他プログラマブル装置であってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、あるいは、あるコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、前記コンピュータ命令は、あるウェブサイト、コンピュータ、サーバ、またはデータセンタから有線（例えば、同軸ケーブル、光ファイバ、デジタル（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ，ＤＳＬ）または無線（例えば、赤外線、無線、マイクロ波など）の方式で別のサイト、コンピュータ、サーバ、またはデータセンタに送信されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体であってもよいし、１つまたは複数の利用可能な媒体が統合されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は磁気媒体（例えば、フロッピーディスク、ハードディスク、テープ）、光媒体（例えばデジタル・ビデオ・ディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ））、または半導体媒体（例えば、ソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ））などであってもよい。
当業者であれば、本明細書に開示された実施例に関連して記載された各例のユニットおよびアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現可能であることを認識することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的解決策の特定応用と設計制約に依存する。当業者は、特定応用ごとに異なる方法を使用して、説明されている機能を実現できるが、その実現は本出願の範囲外とは見なすべきではない。
本明細書で提供されるいくつかの実施例では、開示されたシステム、装置、および方法は、他の方法で実現可能であることを理解されたい。例えば、以上に記述された装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は、論理的機能区分であるに過ぎず、実際に実現する際には他の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合してもよいか、もしくは、他のシステムに一体化してもよく、または、いくつかの特徴は無視してもよく、または実行しなくてもよい。そして、表示又は検討した相互結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
前記分離部材として説明したユニットは、物理的に分離しても物理的に分離しなくてもよく、ユニットとして表す部材は、物理ユニットであっても物理ユニットではなくてもよく、すなわち一つの場所に位置してもよいか、又は複数のネットワークユニットに分布してもよい。実際の需要に応じて、そのうちの一部又は全部のユニットを選択して本実施例の解決手段の目的を実現することができる。
また、本明細書の各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよいし、各ユニットが個別に物理的に存在してもよいし、２つ以上のユニットが１つのユニットに集積されてもよい。
以上のように、本出願の発明を実施するための形態にすぎず、本出願の保護範囲は、これに限定されるものではなく、当業者であれば、本出願において開示されている技術範囲内において、容易に変更又は交換を行うことができるものであれば、本出願の保護範囲内に含まれるものである。したがって、本出願の保護範囲は、特許請求の範囲に準じるものとする。

Claims (186)

  1. 動画像処理方法であって、
    現在画像ブロックの予め設定されたＭ個の近傍ブロックのうち、Ｍよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
    前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
    前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させることと、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することとを含む、動画像処理方法。
  2. Ｎは１または２に等しい、請求項１に記載の方法。
  3. 前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測する前に、
    前記関連ブロックの代表動きベクトルを候補として動きベクトル第１候補リストに入れることと、
    前記候補を採用すると確定した場合、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することとをさらに含むことを特徴する請求項１または２に記載の方法。
  4. 前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、請求項３に記載の方法。
  5. 前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、請求項３に記載の方法。
  6. 前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む、請求項３に記載の方法。
  7. 前記方法は、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、前記関連ブロックの代表動きベクトルを前記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測することをさらに含む、請求項３に記載の方法。
  8. 前記方法は、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ前記関連ブロックの代表動きベクトルが取得不可な場合、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを放棄することをさらに含む、請求項７に記載の方法。
  9. 前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する、請求項８に記載の方法。
  10. 前記方法は、
    他の候補を確定し、前記他の候補を前記動きベクトル第１候補リストに入れることをさらに含み、前記他の候補中の少なくとも１つの候補はサブ画像ブロックの動きベクトルを含む、請求項３に記載の方法。
  11. 前記方法は、
    前記他の候補のうちの１つの候補を採用することを確定した場合、前記採用した候補に基づき前記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定することをさらに含む、請求項１０に記載の方法。
  12. 前記少なくとも１つの候補は一組のコントロールポイントの動きベクトルを含む、請求項１０または１１に記載の方法。
  13. 前記方法は、
    前記少なくとも１つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行うことと、
    前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとをさらに含む、請求項１０〜１２のいずれか一項に記載の方法。
  14. 前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
    前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、請求項１３に記載の方法。
  15. 前記方法は、
    前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
    それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れることとをさらに含む、請求項３〜１４のいずれか一項に記載の方法。
  16. 前記の前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
    前記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む、請求項１５に記載の方法。
  17. 前記方法は、
    前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
    前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることとをさらに含む、請求項３〜１４のいずれか一項に記載の方法。
  18. 前記の前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することは、
    前記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む請求項１７に記載の方法。
  19. 前記方法は、
    前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄することをさらに含む、請求項１７または１８に記載の方法。
  20. 前記方法は、
    前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄することをさらに含む、請求項１７または１８に記載の方法。
  21. 前記方法は、
    動きベクトル第２候補リストを構築し、前記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
    前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することをさらに含む、請求項３〜１５のいずれか一項に記載方法。
  22. 前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
    前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む、請求項２１に記載の方法。
  23. 前記の動きベクトル第２候補リストを構築することは、
    前記現在画像ブロックの現在画像での複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを含む、請求項２１に記載の方法。
  24. 前記現在画像ブロックの現在画像での複数の近傍ブロックは前記予め設定されたＭ個の近傍ブロックを含む、請求項２３に記載の方法。
  25. 予め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れ、
    前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す、請求項２４に記載の方法。
  26. 前記方法は、
    前記Ｍ個の近傍ブロックのうちの１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄することをさらに含む、請求項２４に記載の方法。
  27. 前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
    前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、請求項１または２６に記載の方法。
  28. 前記の前記走査した前記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
    前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む、請求項１９に記載の方法。
  29. 前記事前設定条件は、
    近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む、請求項１９または２８に記載の方法。
  30. 前記方法は、
    前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することをさらに含む、請求項２７〜２９のいずれか一項に記載の方法。
  31. 前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む、請求項３０に記載の方法。
  32. 前記特定近傍ブロックは前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、請求項３０に記載の方法。
  33. 前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記特定近傍ブロックの動きベクトルにスケーリング処理を行って、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにすることと、
    前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることとを含む、請求項３０に記載の方法。
  34. 前記方法は、
    前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを前記現在画像ブロックの参照ブロックとすることをさらに含む、請求項２７〜３０のいずれか一項に記載の方法。
  35. 前記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、請求項３４に記載の方法。
  36. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、請求項１〜３５のいずれか一項に記載の方法。
  37. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、請求項３６に記載の方法。
  38. 現在画像ブロックは１つの符号化ユニットＣＵである、請求項１〜３７のいずれか一項に記載の方法。
  39. 前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
    前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む、請求項１〜３８のいずれか一項に記載方法。
  40. 前記近傍ブロックは前記現在画像において前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、請求項１〜３９のいずれか一項に記載の方法。
  41. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項１〜４０のいずれか一項に記載の方法。
  42. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項４１に記載の方法。
  43. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である場合、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、請求項１〜４０のいずれか一項に記載の方法。
  44. 前記方法は、
    前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することをさらに含み、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項１〜４３のいずれか一項に記載の方法。
  45. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項４４に記載の方法。
  46. Ｍは４以下である、請求項１〜４５のいずれか一項に記載の方法。
  47. 動画像処理方法であって、
    現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定することと、
    前記Ｍ個の近傍ブロックのうち、Ｍより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
    前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
    前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、
    前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに１対１に対応させることと、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む、動画像処理方法。
  48. 前記動きベクトル第１候補リストの少なくとも１つの候補がサブ画像ブロックの動きベクトルを含み、前記動きベクトル第２候補リストの各候補が画像ブロックの動きベクトルを含む、請求項４７に記載の方法。
  49. Ｎは１または２に等しい、請求項４７または４８に記載の方法。
  50. 前記Ｍ個の候補は前記現在画像ブロックの現在画像でのＭ個の近傍ブロックの動きベクトルを含む、請求項４７〜４９のいずれか一項に記載の方法。
  51. 前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
    前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、請求項５０に記載の方法。
  52. 前記の前記走査した前記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
    前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む、請求項５０に記載の方法。
  53. 前記事前設定条件は、
    近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む、請求項５１または５２に記載の方法。
  54. 前記方法は、
    前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することをさらに含む、請求項５１〜５３のいずれか一項に記載の方法。
  55. 前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む、請求項５４に記載の方法。
  56. 前記特定近傍ブロックは前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、請求項５４に記載の方法。
  57. 前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記特定近傍ブロックの動きベクトルにスケーリング処理を行って、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにすることと、
    前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることとを含む、請求項５４に記載の方法。
  58. 前記方法は、
    前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを前記現在画像ブロックの参照ブロックとすることをさらに含む、請求項５１〜５３のいずれか一項に記載の方法。
  59. 前記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、請求項５８に記載の方法。
  60. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、請求項４７〜５９のいずれか一項に記載の方法。
  61. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、請求項６０に記載の方法。
  62. 前記現在画像ブロックは１つの符号化ユニットＣＵである、請求項４７〜６１のいずれか一項に記載の方法。
  63. 前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
    前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む、請求項４７〜６２のいずれか一項に記載方法。
  64. 前記近傍ブロックは前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、請求項４７〜６３のいずれか一項に記載の方法。
  65. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項４７〜６４のいずれか一項に記載の方法。
  66. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項６５に記載の方法。
  67. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、請求項４７〜６４のいずれか一項に記載の方法。
  68. 前記方法は、
    前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することをさらに含み、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項４７〜６７のいずれか一項に記載の方法。
  69. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項６８に記載の方法。
  70. 前記の前記関連ブロック中における各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む、請求項４７〜６９のいずれか一項に記載の方法。
  71. 前記の前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することは、
    前記現在画像ブロックの関連ブロックの代表動きベクトルを前記特定候補として前記動きベクトル第１候補リストに入れることを含む、請求項４７〜６９のいずれか一項に記載の方法。
  72. 前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、請求項７１に記載の方法。
  73. 前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む、請求項７１に記載の方法。
  74. 前記方法は、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、前記関連ブロックの代表動きベクトルを前記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測することをさらに含む、請求項７１に記載の方法。
  75. 前記方法は、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄することをさらに含む、請求項７４に記載の方法。
  76. 前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する、請求項７４に記載の方法。
  77. 前記方法は、
    前記動きベクトル第２候補リスト中の前記特定候補以外のそのうちの１つの候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行うことと、
    前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとをさらに含む、請求項４７〜７６のいずれか一項に記載方法。
  78. 前記動きベクトル第２候補リスト中の前記特定候補以外の少なくとも１つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む、請求項７７に記載の方法。
  79. 前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
    前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、請求項７８に記載の方法。
  80. 前記方法は、
    前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
    それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れることとをさらに含む、請求項４７〜７９のいずれか一項に記載の方法。
  81. 前記の前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
    前記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む、請求項８０に記載の方法。
  82. 前記方法は、
    前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
    前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることをさらに含む、請求項４７〜８１のいずれか一項に記載の方法。
  83. 前記の前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することは、
    前記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む請求項８２に記載の方法。
  84. 前記方法は、
    前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄することをさらに含む、請求項８２または８３に記載の方法。
  85. 前記方法は、
    前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄することをさらに含む、請求項８２または８３に記載の方法。
  86. 前記方法は、
    動きベクトル第２候補リストを構築し、ここでは、前記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
    前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することをさらに含む、請求項４９〜６１に記載の方法。
  87. 前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
    前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む、請求項８６に記載の方法。
  88. 前記の動きベクトル第２候補リストを構築することは、
    前記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる前記Ｍ個の候補を確定することを含む、請求項８６に記載の方法。
  89. 予め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れ、前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指すこと、
    および／または
    前記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄する、請求項８８に記載の方法。
  90. Ｍは４以下である、請求項４７〜８９のいずれか一項に記載の方法。
  91. 動画像処理装置であって、
    現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＭよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させることとのために用いられる構築モジュールと、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む、動画像処理装置。
  92. Ｎは１または２に等しい、請求項９１に記載の動画像処理装置。
  93. 前記予測モジュールはさらに、
    前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測する前に前記関連ブロックの代表動きベクトルを候補として動きベクトル第１候補リストに入れ、
    前記候補を採用すると確定した場合、前記予測モジュールは前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる、請求項９１または９２に記載の動画像処理装置。
  94. 前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、請求項９３に記載の動画像処理装置。
  95. 前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、請求項９３に記載の動画像処理装置。
  96. 前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む、請求項９３に記載の動画像処理装置。
  97. 前記予測モジュールはさらに、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、前記関連ブロックの代表動きベクトルを前記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる、請求項９３に記載の動画像処理装置。
  98. 前記予測モジュールはさらに、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄するために用いられる、請求項９７に記載の動画像処理装置。
  99. 前記予測モジュールはさらに、
    前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる、請求項９８に記載の動画像処理装置。
  100. 前記構築モジュールはさらに、
    他の候補を確定し、前記他候補を前記動きベクトル第１候補リストに入れるために用いられ、前記他の候補中の少なくとも１つの候補はサブ画像ブロックの動きベクトルをさらに含む、請求項９３に記載の動画像処理装置。
  101. 前記構築モジュールはさらに、
    前記他の候補のうちの１つの候補を採用することを確定する場合、前記採用した候補に基づき前記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定するために用いられる、請求項１００に記載の動画像処理装置。
  102. 前記少なくとも１つの候補は一組のコントロールポイントの動きベクトルを含む、請求項１００または１０１に記載の動画像処理装置。
  103. 前記予測モジュールはさらに、
    前記少なくとも１つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行うことと、
    前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる、請求項１００〜１０２のいずれか一項に記載の動画像処理装置。
  104. 前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
    前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、請求項１０３に記載の動画像処理装置。
  105. 前記構築モジュールはさらに、
    前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
    それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れることとのために用いられる、請求項９３〜１０４のいずれか一項に記載の動画像処理装置。
  106. 前記の前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
    前記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む、請求項１０５に記載の動画像処理装置。
  107. 前記構築モジュールはさらに、
    前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
    前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることのために用いられる、請求項９３〜１０４のいずれか一項に記載の動画像処理装置。
  108. 前記の前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することは、
    前記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む請求項１０７に記載の動画像処理装置。
  109. 前記構築モジュールはさらに、
    前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる、請求項１０７または１０８に記載の動画像処理装置。
  110. 前記構築モジュールはさらに、
    前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる、請求項１０７または１０８のいずれか一項に記載の動画像処理装置。
  111. 前記構築モジュールはさらに、
    動きベクトル第２候補リストを構築し、ここでは、前記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
    前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる、請求項９３〜１０５のいずれか一項に記載の動画像処理装置。
  112. 前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
    前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む、請求項１１１に記載の動画像処理装置。
  113. 前記構築動きベクトル第２候補リストは、
    前記現在画像ブロックの現在画像上での複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを含む、請求項１１１に記載の動画像処理装置。
  114. 前記現在画像ブロックの現在画像上での複数の近傍ブロックは前記予め設定されたＭ個の近傍ブロックを含む、請求項１１３に記載の動画像処理装置。
  115. 前記構築モジュールはさらに、
    予め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れるために用いられ、
    前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す、請求項１１４に記載の動画像処理装置。
  116. 前記構築モジュールはさらに、
    前記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる、請求項１１４に記載の動画像処理装置。
  117. 前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
    前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、請求項９１または１１６に記載の動画像処理装置。
  118. 前記の前記走査した前記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
    前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む、請求項１０９に記載の動画像処理装置。
  119. 前記事前設定条件は、
    近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む、請求項１０９または１１８に記載の動画像処理装置。
  120. 前記構築モジュールはさらに、
    前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、
    前記予測モジュールはさらに、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる、請求項１１７〜１１９のいずれか一項に記載の動画像処理装置。
  121. 前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む、請求項１２０に記載の動画像処理。
  122. 前記特定近傍ブロックは前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、請求項１２０に記載の動画像処理装置。
  123. 前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、
    前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることを含む、請求項１２０に記載の動画像処理装置。
  124. 前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを前記現在画像ブロックの参照ブロックとする、請求項１１７〜１２０のいずれか一項に記載の動画像処理装置。
  125. 前記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、請求項１２４に記載の動画像処理装置。
  126. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、請求項９１〜１２５のいずれか一項に記載の動画像処理装置。
  127. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、請求項１２６に記載の動画像処理装置。
  128. 前記現在画像ブロックは１つの符号化ユニットＣＵである、請求項９１〜１２７のいずれか一項に記載の動画像処理装置。
  129. 前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
    前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む、請求項９１〜１２８のいずれか一項に記載の動画像処理装置。
  130. 前記近傍ブロックは前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、請求項９１〜１２９のいずれか一項に記載の動画像処理装置。
  131. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項９１〜１３０のいずれか一項に記載の動画像処理装置。
  132. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項１３１に記載の動画像処理装置。
  133. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、請求項９１〜１３０のいずれか一項に記載の動画像処理装置。
  134. 前記構築モジュールはさらに、
    前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項９１〜１３３のいずれか一項に記載の動画像処理装置。
  135. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項１３４に記載の動画像処理装置。
  136. Ｍは４以下である、請求項９１〜１３５のいずれか一項に記載の動画像処理装置。
  137. 動画像処理装置であって、
    現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定することと、前記Ｍ個の近傍ブロックのうちＭより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに１対１に対応させることとのために用いられる構築モジュールと、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む、動画像処理装置。
  138. 前記動きベクトル第１候補リスト中の少なくとも１つの候補はサブ画像ブロックの動きベクトルを含み、前記動きベクトル第２候補リストののうちの各候補は画像ブロックの動きベクトルを含む、請求項１３７に記載の動画像処理装置。
  139. Ｎは１または２に等しい、請求項１３７または１３８に記載の動画像処理装置。
  140. 前記Ｍ個の候補は前記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルを含む、請求項１３７〜１３９のいずれか一項に記載の動画像処理装置。
  141. 前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
    前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、１４０に記載の動画像処理装置。
  142. 前記の前記走査した前記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
    前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む、請求項１４０に記載の動画像処理装置。
  143. 前記事前設定条件は、
    近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む、請求項１４１または１４２のいずれか一項に記載の動画像処理装置。
  144. 前記構築モジュールはさらに、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、
    前記予測モジュールはさらに、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる、請求項１４１〜１４３のいずれか一項に記載の動画像処理装置。
  145. 前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む、請求項１４４に記載の動画像処理装置。
  146. 前記特定近傍ブロックは前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、請求項１４４に記載の動画像処理装置。
  147. 前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにすることと、
    前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることとを含む、請求項１４４に記載の動画像処理装置。
  148. 前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを前記現在画像ブロックの参照ブロックとする、請求項１４１〜１４３のいずれか一項に記載の動画像処理装置。
  149. 前記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、請求項１４８に記載の動画像処理装置。
  150. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、請求項１３７〜１４９のいずれか一項に記載の動画像処理装置。
  151. 前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、請求項１５０に記載の動画像処理装置。
  152. 前記現在画像ブロックは１つの符号化ユニットＣＵである、請求項１３７〜１５１のいずれか一項に記載の動画像処理装置。
  153. 前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
    前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む、請求項１３７〜１５２のいずれか一項に記載の動画像処理装置。
  154. 前記近傍ブロックは前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、請求項１３７〜１５３のいずれか一項に記載の動画像処理装置。
  155. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項１３７〜１５４のいずれか一項に記載の動画像処理装置。
  156. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項１５５に記載の動画像処理装置。
  157. 前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である場合、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、請求項１３７〜１５４のいずれか一項に記載の動画像処理装置。
  158. 前記構築モジュールはさらに、
    前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
    前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、請求項１３７〜１５７のいずれか一項に記載の動画像処理装置。
  159. 前記処理後の前記関連ブロックの動きベクトルは、
    数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
    スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項１５８に記載の動画像処理装置。
  160. 前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
    前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、請求項１３７〜１５９のいずれか一項に記載の動画像処理装置。
  161. 前記の前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することは、
    前記現在画像ブロックの関連ブロックの代表動きベクトルを前記特定候補として前記動きベクトル第１候補リストに入れることを含む、請求項１３７〜１５９のいずれか一項に記載の動画像処理装置。
  162. 前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、請求項１６１に記載の動画像処理装置。
  163. 前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む、請求項１６１に記載の動画像処理装置。
  164. 前記予測モジュールはさらに、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックがで出ると、前記関連ブロックの代表動きベクトルを前記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するするために用いられる、請求項１６１に記載の動画像処理装置。
  165. 前記予測モジュールはさらに、
    前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄するために用いられる、請求項１６４に記載の動画像処理装置。
  166. 前記予測モジュールはさらに、
    前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たを確定するために用いられる、請求項１６４に記載の動画像処理装置。
  167. 前記予測モジュールはさらに、
    前記動きベクトル第２候補リスト中の前記特定候補以外のそのうちの１つの候補を採用することを確定した場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行うことと、
    前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる、請求項１３７〜１６６のいずれか一項に記載の動画像処理装置。
  168. 前記動きベクトル第２候補リスト中の前記特定候補以外の少なくとも１つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む、請求項１６７に記載の動画像処理装置。
  169. 前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
    前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、請求項１６８に記載の動画像処理装置。
  170. 前記構築モジュールはさらに、
    前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
    それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れることとのために用いられる、請求項１３７〜１６９のいずれか一項に記載の動画像処理装置。
  171. 前記の前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
    前記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
    前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む、請求項１７０に記載の動画像処理装置。
  172. 前記構築モジュールはさらに、
    前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
    前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れるために用いられる、請求項１３７〜１７１のいずれか一項に記載の動画像処理装置。
  173. 前記の前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することは、
    前記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む請求項１７２に記載の動画像処理装置。
  174. 前記構築モジュールはさらに、
    前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる、請求項１７２または１７３に記載の動画像処理装置。
  175. 前記構築モジュールはさらに、
    前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる、請求項１７２または１７３に記載の動画像処理装置。
  176. 前記構築モジュールはさらに、
    動きベクトル第２候補リストを構築し、ここでは、前記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
    前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる、請求項１３９〜１５１のいずれか一項に記載の動画像処理装置。
  177. 前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
    前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む、請求項１７６に記載の動画像処理装置。
  178. 前記の動きベクトル第２候補リストを構築することは、
    前記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる前記Ｍ個の候補を確定することを含む、請求項１７６に記載の動画像処理装置。
  179. 前記構築モジュールはさらに、予め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れるために用いられ、前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指すること、
    および／または
    前記構築モジュールはさらに、前記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる、請求項１７８に記載の動画像処理装置。
  180. Ｍは４以下である、請求項１３７〜１７９のいずれか一項に記載の動画像処理装置。
  181. 動画像処理装置であって、メモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行し、前記メモリに記憶された命令を実行することによって、前記プロセッサは請求項１〜４６のいずれか一項に記載の方法を実行するために用いられる、動画像処理装置。
  182. 動画像処理装置であって、メモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行し、前記メモリに記憶された命令を実行することによって、前記プロセッサは請求項４７〜９０のいずれか一項に記載の方法を実行するために用いられる、動画像処理装置。
  183. コンピュータ記憶媒体であって、それにコンピュータプログラムが記憶され、前記コンピュータプログラムはコンピュータに実行されると、前記コンピュータに請求項１〜４６のいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。
  184. コンピュータ記憶媒体であって、それにコンピュータプログラムが記憶され、前記コンピュータプログラムはコンピュータに実行されると、前記コンピュータに請求項４７〜９０のいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。
  185. 命令を含むコンピュータプログラム製品であって、前記命令がコンピュータに実行されると、コンピュータに請求項１〜４６のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
  186. 命令を含むコンピュータプログラム製品であって、前記命令がコンピュータに実行されると、コンピュータに請求項４７〜９０のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
JP2020553586A 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム Active JP7216109B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023006258A JP2023052491A (ja) 2018-04-02 2023-01-19 動画像処理方法および装置

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/081652 2018-04-02
PCT/CN2018/081652 WO2019191890A1 (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
PCT/CN2018/095710 WO2019192102A1 (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CNPCT/CN2018/095710 2018-07-13
CNPCT/CN2018/103693 2018-08-31
PCT/CN2018/103693 WO2019192141A1 (zh) 2018-04-02 2018-08-31 用于图像运动补偿的方法和装置
PCT/CN2018/107436 WO2019192152A1 (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置
CNPCT/CN2018/107436 2018-09-25
PCT/CN2018/112805 WO2019192170A1 (zh) 2018-04-02 2018-10-30 视频图像处理方法与装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023006258A Division JP2023052491A (ja) 2018-04-02 2023-01-19 動画像処理方法および装置

Publications (4)

Publication Number Publication Date
JP2021520121A true JP2021520121A (ja) 2021-08-12
JP2021520121A5 JP2021520121A5 (ja) 2021-12-09
JPWO2019192170A5 JPWO2019192170A5 (ja) 2022-09-14
JP7216109B2 JP7216109B2 (ja) 2023-01-31

Family

ID=68099733

Family Applications (11)

Application Number Title Priority Date Filing Date
JP2020553616A Active JP7088606B2 (ja) 2018-04-02 2018-04-02 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
JP2020553636A Pending JP2021520124A (ja) 2018-04-02 2018-07-13 画像動き補償方法及び装置
JP2020553654A Active JP7388659B2 (ja) 2018-04-02 2018-08-31 動画処理方法、ビットストリーム生成方法、動画処理装置、及びプログラム
JP2020553580A Active JP7294753B2 (ja) 2018-04-02 2018-09-25 動画像処理方法、及び動画像処理装置
JP2020553586A Active JP7216109B2 (ja) 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム
JP2020553581A Pending JP2021520120A (ja) 2018-04-02 2019-03-13 動画像処理方法および装置
JP2022182636A Pending JP2023017981A (ja) 2018-04-02 2022-11-15 動画処理方法、エンコーダ、非一時的なコンピュータ可読記憶媒体、及びプログラム
JP2023006258A Pending JP2023052491A (ja) 2018-04-02 2023-01-19 動画像処理方法および装置
JP2023092773A Pending JP2023110048A (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法
JP2023190720A Pending JP2024010198A (ja) 2018-04-02 2023-11-08 動画処理方法、ビットストリーム生成方法、及び動画処理装置
JP2024025977A Pending JP2024057014A (ja) 2018-04-02 2024-02-22 動画像符号化方法、動画像符号化装置、及びビットストリーム生成方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2020553616A Active JP7088606B2 (ja) 2018-04-02 2018-04-02 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
JP2020553636A Pending JP2021520124A (ja) 2018-04-02 2018-07-13 画像動き補償方法及び装置
JP2020553654A Active JP7388659B2 (ja) 2018-04-02 2018-08-31 動画処理方法、ビットストリーム生成方法、動画処理装置、及びプログラム
JP2020553580A Active JP7294753B2 (ja) 2018-04-02 2018-09-25 動画像処理方法、及び動画像処理装置

Family Applications After (6)

Application Number Title Priority Date Filing Date
JP2020553581A Pending JP2021520120A (ja) 2018-04-02 2019-03-13 動画像処理方法および装置
JP2022182636A Pending JP2023017981A (ja) 2018-04-02 2022-11-15 動画処理方法、エンコーダ、非一時的なコンピュータ可読記憶媒体、及びプログラム
JP2023006258A Pending JP2023052491A (ja) 2018-04-02 2023-01-19 動画像処理方法および装置
JP2023092773A Pending JP2023110048A (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法
JP2023190720A Pending JP2024010198A (ja) 2018-04-02 2023-11-08 動画処理方法、ビットストリーム生成方法、及び動画処理装置
JP2024025977A Pending JP2024057014A (ja) 2018-04-02 2024-02-22 動画像符号化方法、動画像符号化装置、及びビットストリーム生成方法

Country Status (6)

Country Link
US (14) US11330294B2 (ja)
EP (6) EP3780608A4 (ja)
JP (11) JP7088606B2 (ja)
KR (1) KR20200134319A (ja)
CN (16) CN117135346A (ja)
WO (4) WO2019191890A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116962717A (zh) * 2018-03-14 2023-10-27 Lx 半导体科技有限公司 图像编码/解码方法、存储介质和发送方法
JP7088606B2 (ja) 2018-04-02 2022-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
WO2020084554A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Searching based motion candidate derivation for sub-block motion vector prediction
WO2020130710A1 (ko) * 2018-12-21 2020-06-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113455002A (zh) * 2018-12-28 2021-09-28 瑞典爱立信有限公司 生成运动向量预测器列表
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
JP7460661B2 (ja) 2019-06-06 2024-04-02 北京字節跳動網絡技術有限公司 映像符号化のための動き候補リストの構成
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
WO2021018031A1 (en) * 2019-07-27 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Restrictions of usage of tools according to reference picture types
WO2021032162A1 (en) 2019-08-20 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Signaling for transform skip mode
EP4011077A4 (en) 2019-09-13 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SAMPLE WEIGHTED BIDIRECTIONAL PREDICTION IN VIDEO CODING
KR20220061108A (ko) 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
CN114556918A (zh) * 2019-10-12 2022-05-27 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
CN113727119B (zh) * 2020-05-20 2023-03-17 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
CN111724422B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112132732B (zh) * 2020-09-10 2023-06-02 宁波大学科学技术学院 立体图像的像素预测方法、可逆信息隐藏提取方法、终端及存储介质
WO2022141278A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 视频处理方法和编码装置
WO2023192335A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2024005456A1 (ko) * 2022-06-27 2024-01-04 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024005616A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085929A1 (en) * 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
WO2017133243A1 (zh) * 2016-02-06 2017-08-10 华为技术有限公司 图像编解码方法及装置
JP2020145486A (ja) * 2017-07-28 2020-09-10 シャープ株式会社 動画像符号化装置及び動画像復号装置

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1452039B1 (en) 2001-11-29 2008-12-31 Panasonic Corporation Coding distortion removal method and video encoding and decoding methods
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7660354B2 (en) 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
ZA200900102B (en) * 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
JP2010509799A (ja) * 2006-11-03 2010-03-25 サムスン エレクトロニクス カンパニー リミテッド 映像の予測符号化方法及び装置、その復号化方法及び装置
JP2009118221A (ja) * 2007-11-07 2009-05-28 Toshiba Corp ディジタル画像復号装置及びディジタル画像復号方法
CN101873500B (zh) * 2009-04-24 2012-05-23 华为技术有限公司 帧间预测编码方法、帧间预测解码方法及设备
ES2652337T3 (es) * 2010-02-09 2018-02-01 Nippon Telegraph And Telephone Corporation Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR20120016991A (ko) 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
KR20240034886A (ko) * 2010-10-08 2024-03-14 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
CN107071460B (zh) 2010-12-14 2020-03-06 M&K控股株式会社 用于编码运动画面的设备
US9635383B2 (en) 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for computing a motion vector
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
CN102611881B (zh) * 2011-01-19 2014-06-25 华为技术有限公司 参考运动矢量获取方法、模块及编、解码装置
KR101484171B1 (ko) * 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
EP3627839B1 (en) * 2011-03-21 2021-10-20 LG Electronics Inc. Method for selecting motion vector predictor
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
ES2715613T3 (es) * 2011-06-28 2019-06-05 Lg Electronics Inc Método para fijar una lista de vectores de movimiento
BR122015001004B1 (pt) * 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
KR102004113B1 (ko) * 2011-06-30 2019-07-25 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
CN105376576B (zh) 2011-08-29 2017-07-28 苗太平洋控股有限公司 用于解码合并模式下的运动信息的装置
CN102447904A (zh) * 2011-10-24 2012-05-09 成都虢电智能电力科技有限公司 一种快速对视频序列进行运动估计的方法
RU2604679C2 (ru) * 2011-10-27 2016-12-10 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
PL2773111T3 (pl) 2011-10-28 2020-06-29 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów i urządzenie do dekodowania obrazów
CN107948656B (zh) 2011-10-28 2021-06-01 太阳专利托管公司 图像解码方法及图像解码装置
TWI569634B (zh) 2011-10-31 2017-02-01 Jvc Kenwood Corp Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
ES2898887T3 (es) 2011-11-08 2022-03-09 Nokia Technologies Oy Manejo de imágenes de referencia
RU2566973C2 (ru) 2011-11-08 2015-10-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для определения вектора движения в кодировании или декодировании видео
CN107659813B (zh) 2011-12-23 2020-04-17 韩国电子通信研究院 图像解码方法、图像编码方法和记录介质
DK3716621T3 (da) * 2012-04-12 2021-12-06 Jvc Kenwood Corp Indretning til kodning af levende billeder, fremgangsmåde til kodning af levende billeder, program til kodning af levende billeder og indretning til afkodning af levende billeder, fremgangsmåde til afkodning af levende billeder, program til afkodning af levende billeder
JP2013223049A (ja) * 2012-04-13 2013-10-28 Sharp Corp 画像復号装置、および画像符号化装置
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
CN108055551A (zh) * 2012-07-02 2018-05-18 三星电子株式会社 用于预测对视频进行编码或解码的运动矢量的方法和设备
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
CN102883161B (zh) * 2012-09-19 2015-09-30 华为技术有限公司 视频编码和解码的处理方法和装置
US20150350684A1 (en) * 2012-09-20 2015-12-03 Sony Corporation Image processing apparatus and method
US9538180B2 (en) * 2012-12-17 2017-01-03 Qualcomm Incorporated Motion vector prediction in video coding
CN105075269B (zh) * 2013-04-04 2018-07-03 夏普株式会社 图像解码装置、图像编码装置及计算机可读取的记录介质
WO2014167817A1 (en) * 2013-04-07 2014-10-16 Sharp Kabushiki Kaisha Signaling change in output layer sets
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9930363B2 (en) 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
EP3021589A4 (en) * 2013-07-10 2017-02-15 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US9894369B2 (en) * 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
WO2015053286A1 (ja) * 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像符号化装置、及び、符号化データ
WO2015102042A1 (en) * 2014-01-02 2015-07-09 Sharp Kabushiki Kaisha Parameter set signaling
KR101658192B1 (ko) * 2014-01-02 2016-09-20 인텔렉추얼디스커버리 주식회사 다시점 영상을 위한 움직임 벡터를 부호화/복호화하는 방법 및 그 장치
US20170019666A1 (en) * 2014-03-13 2017-01-19 Sharp Kabushiki Kaisha Constrained reference picture parameters
US9788007B2 (en) * 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding
EP3198872A1 (en) * 2014-09-26 2017-08-02 VID SCALE, Inc. Intra block copy coding with temporal block vector prediction
CN112188204B (zh) 2014-10-31 2024-04-05 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
US9872296B2 (en) 2015-01-06 2018-01-16 Qualcomm Incorporated Techniques for beam shaping at a millimeter wave base station and a wireless device and fast antenna subarray selection at a wireless device
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
EP3342165B1 (en) * 2015-09-08 2021-11-10 MediaTek Inc. Method and system of decoded picture buffer for intra block copy mode
CN106534858B (zh) 2015-09-10 2019-09-06 展讯通信（上海）有限公司 真实运动估计方法及装置
CN114449288A (zh) * 2016-03-16 2022-05-06 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
CN108886618A (zh) 2016-03-24 2018-11-23 Lg 电子株式会社 视频编码系统中的帧间预测方法和装置
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
WO2017205700A1 (en) 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
EP3497932A4 (en) * 2016-08-15 2020-03-25 Nokia Technologies Oy VIDEO CODING AND DECODING
US11409855B2 (en) * 2016-08-22 2022-08-09 Lenovo (Singapore) Pte. Ltd. Gesture based CAPTCHA test
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
EP3343924A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10542280B2 (en) 2017-01-09 2020-01-21 QUALCOMM Incorpated Encoding optimization with illumination compensation and integer motion vector restriction
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
JP7036628B2 (ja) 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
KR102408258B1 (ko) * 2017-09-12 2022-06-13 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
CN107682705B (zh) * 2017-09-26 2020-05-12 杭州电子科技大学 基于mv-hevc框架的立体视频b帧错误隐藏方法
US20190141320A1 (en) * 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
US11057640B2 (en) 2017-11-30 2021-07-06 Lg Electronics Inc. Image decoding method and apparatus based on inter-prediction in image coding system
US11323705B2 (en) 2018-03-09 2022-05-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus using sample filtering
KR102502175B1 (ko) * 2018-04-01 2023-02-21 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3761644A4 (en) 2018-04-01 2021-01-20 LG Electronics Inc. PICTURE ENCODING PROCESS ON THE BASIS OF AN APPEAL MOTION PREDICTION AND DEVICE FOR IT
JP7088606B2 (ja) 2018-04-02 2022-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
CN114697663B (zh) * 2018-08-17 2024-01-30 华为技术有限公司 对编码视频位流进行解码的方法，解码设备以及译码系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085929A1 (en) * 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
JP2016537839A (ja) * 2013-09-26 2016-12-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Ｈｅｖｃにおけるサブ予測ユニット（ｐｕ）ベースの時間的動きベクトル予測および３ｄ−ｈｅｖｃにおけるサブｐｕ設計
WO2017133243A1 (zh) * 2016-02-06 2017-08-10 华为技术有限公司 图像编解码方法及装置
US20180376161A1 (en) * 2016-02-06 2018-12-27 Huawei Technologies Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
JP2019506089A (ja) * 2016-02-06 2019-02-28 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像符号化方法及び装置、並びに画像復号方法及び装置
JP2020145486A (ja) * 2017-07-28 2020-09-10 シャープ株式会社 動画像符号化装置及び動画像復号装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, ET AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: T, vol. JVET-G1001-v1, JPN6022053276, 19 August 2017 (2017-08-19), pages 1 - 44, ISSN: 0004947808 *

Also Published As

Publication number Publication date
CN110419217A (zh) 2019-11-05
EP3783897A1 (en) 2021-02-24
EP3780619A4 (en) 2022-02-23
CN114125440A (zh) 2022-03-01
JP7088606B2 (ja) 2022-06-21
EP3780618A1 (en) 2021-02-17
US20210227251A1 (en) 2021-07-22
CN113824966B (zh) 2023-09-12
CN110419220B (zh) 2023-08-29
JP2024057014A (ja) 2024-04-23
US11343534B2 (en) 2022-05-24
US20210021856A1 (en) 2021-01-21
CN110786012B (zh) 2024-01-30
CN113852828A (zh) 2021-12-28
KR20200134319A (ko) 2020-12-01
EP3783897A4 (en) 2022-02-23
CN110720219A (zh) 2020-01-21
EP3780619A1 (en) 2021-02-17
US20220353527A1 (en) 2022-11-03
CN113824966A (zh) 2021-12-21
JP7216109B2 (ja) 2023-01-31
WO2019192141A1 (zh) 2019-10-10
US20220321907A1 (en) 2022-10-06
US11368714B2 (en) 2022-06-21
WO2019191890A1 (zh) 2019-10-10
CN113852828B (zh) 2023-09-12
JP2021520119A (ja) 2021-08-12
CN116760999A (zh) 2023-09-15
US20210021855A1 (en) 2021-01-21
CN110720219B (zh) 2022-04-26
JP2023017981A (ja) 2023-02-07
JP2021520124A (ja) 2021-08-12
CN110326295B (zh) 2021-11-16
CN110786012A (zh) 2020-02-11
US20210227252A1 (en) 2021-07-22
CN117135346A (zh) 2023-11-28
EP3780615A4 (en) 2022-03-02
JP2024010198A (ja) 2024-01-23
WO2019192102A1 (zh) 2019-10-10
CN116781928A (zh) 2023-09-19
US20210227254A1 (en) 2021-07-22
JP7388659B2 (ja) 2023-11-29
US20220286706A1 (en) 2022-09-08
US11381839B2 (en) 2022-07-05
US20210021812A1 (en) 2021-01-21
WO2019192152A1 (zh) 2019-10-10
JP2023110048A (ja) 2023-08-08
US11190798B2 (en) 2021-11-30
JP2021526322A (ja) 2021-09-30
US11330294B2 (en) 2022-05-10
US11350124B2 (en) 2022-05-31
CN110326295A (zh) 2019-10-11
US11490118B2 (en) 2022-11-01
US20210021824A1 (en) 2021-01-21
JP2023052491A (ja) 2023-04-11
US11363294B2 (en) 2022-06-14
US20210021825A1 (en) 2021-01-21
CN114938452A (zh) 2022-08-23
US11490120B2 (en) 2022-11-01
US20210218989A1 (en) 2021-07-15
US20220086483A1 (en) 2022-03-17
US20210227253A1 (en) 2021-07-22
EP3780615A1 (en) 2021-02-17
US11871032B2 (en) 2024-01-09
CN117061738A (zh) 2023-11-14
CN110419220A (zh) 2019-11-05
CN117294837A (zh) 2023-12-26
EP3780618A4 (en) 2022-03-02
EP3780608A4 (en) 2021-12-01
JP7294753B2 (ja) 2023-06-20
US11949911B2 (en) 2024-04-02
US20210021865A1 (en) 2021-01-21
CN110495169A (zh) 2019-11-22
CN110495169B (zh) 2021-12-17
JP2021520126A (ja) 2021-08-12
CN110419217B (zh) 2023-09-26
US11323742B2 (en) 2022-05-03
US11159821B2 (en) 2021-10-26
JP2021520120A (ja) 2021-08-12
EP3780614A4 (en) 2022-02-23
EP3780608A1 (en) 2021-02-17
EP3780614A1 (en) 2021-02-17
US11949912B2 (en) 2024-04-02
CN115037942A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
JP7216109B2 (ja) 動画像処理方法、動画像処理装置、及びコンピュータプログラム
WO2019192301A1 (zh) 视频图像处理方法与装置
WO2019192170A1 (zh) 视频图像处理方法与装置
US11997312B2 (en) Method and device for video image processing
US20240137559A1 (en) Method and device for image motion compensation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230119

R150 Certificate of patent or registration of utility model

Ref document number: 7216109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150