JP2023052491A - 動画像処理方法および装置 - Google Patents

動画像処理方法および装置 Download PDF

Info

Publication number
JP2023052491A
JP2023052491A JP2023006258A JP2023006258A JP2023052491A JP 2023052491 A JP2023052491 A JP 2023052491A JP 2023006258 A JP2023006258 A JP 2023006258A JP 2023006258 A JP2023006258 A JP 2023006258A JP 2023052491 A JP2023052491 A JP 2023052491A
Authority
JP
Japan
Prior art keywords
block
motion vector
image block
current image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023006258A
Other languages
English (en)
Other versions
JP7497948B2 (ja
Inventor
ゼン、シャオゼン
Xiaozhen Zheng
フ、ティアンリアン
Tianliang Fu
ワン、シャンシェ
Shanshe Wang
マ、シウェイ
Siwei Ma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2018/112805 external-priority patent/WO2019192170A1/zh
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2023052491A publication Critical patent/JP2023052491A/ja
Priority to JP2024085959A priority Critical patent/JP2024116183A/ja
Application granted granted Critical
Publication of JP7497948B2 publication Critical patent/JP7497948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】高度／選択可能な時間動きベクトル予測（ＡＴＭＶＰ）技術の性能上の利得を維持したまま、ＡＴＭＶＰ技術の複雑さを低減する動画像処理方法および装置を提供する。【解決手段】方法は、対象近傍ブロック、現在画像ブロック及び現在画像ブロックの同位フレームの動きベクトルに従って、現在画像ブロックの関連ブロックを確定する段階と、現在画像ブロックの関連ブロックの動きベクトルに従って、現在画像ブロックを復号化する段階と、現在画像ブロックの一部のコントロールポイントの対象近傍ブロックに従って、一部のコントロールポイントの動きベクトルを構築する段階と、現在画像ブロックの動きベクトル候補リストに現在画像ブロックの一部のコントロールポイントの動きベクトルを追加する段階と、を備える。【選択図】図４

Description

著作権表示
本特許文献に開示されている内容には著作権保護の対象となる材料が含まれている。該著作権は著作権所有者が所有する。著作権所有者は、これらの特許書類または特許開示の何人による複製に対しても、特許庁の公式レコードまたはファイルに表示される通りであれば異議を唱えない。
本出願は、動画像の符号化および復号の分野に関連し、具体的には、動画像処理方法および装置に関する。
現在、主要な動画像符号化に関する標準規格では、フレーム間予測部分においていずれもブロックに基づく動き補償技術を採用し、その主な原理は、現在画像ブロックのためにすでに符号化された画像の中で最も類似したブロックを探索することであり、このプロセスは動き補償と呼ばれる。例えば、１フレームの画像に対し、まず、サイズが同じな符号化領域（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）に分割し、例えば、サイズが６４×６４または１２８×１２８である。各ＣＴＵは、さらに、方形または矩形の符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割することができる。各ＣＵは、参照フレーム（通常は現在のフレームの時間領域の近くにおける再構築されたフレーム）の中で最も類似したブロックを現在のＣＵの予測ブロックとして探索する。現在のブロック（つまり、現在のＣＵ）と類似ブロック（つまり、現在のＣＵの予測ブロック）の間の相対変位は、動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、ＭＶ）と呼ばれる。参照フレームの中で現在のブロックの予測ブロックとして最も類似したブロックを探索するプロセスが動き補償である。
現在の技術では、通常、現在ＣＵの符号化された近傍ブロックの動きベクトルに基づいて、現在ＣＵの動きベクトル候補リストを構築し、これはｍｅｒｇｅ候補リストとも呼ばれる。ｍｅｒｇｅ候補リストから、最適な動きベクトル候補を選択して現在のＣＵの動きベクトルとし、現在のＣＵの動きベクトルに基づき現在のＣＵの予測ブロックを確定する。
高度／選択可能な時間動きベクトル予測技術（Ａｄｖａｎｃｅｄ／Ａｌｔｅｒｎａｔｉｖｅ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＡＴＭＶＰ）は動きベクトル予測メカニズムである。ＡＴＭＶＰ技術の基本的な構想は、現在のＣＵ内の複数のサブブロックの動き情報を取得することで動き補償を行うことである。ＡＴＭＶＰ技術は候補リスト（例えばｍｅｒｇｅ候補リストまたはＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）候補リスト）の構築において、現在のＣＵ内における複数のサブブロックの動き情報を候補として導入する。ＡＴＭＶＰ技術の実現は、ほぼ二つのステップに分けられる。ステップ１は、現在のＣＵの動きベクトル候補リストまたは現在のＣＵの隣接する画像ブロックの動きベクトルを走査することにより、１つの時間ベクトルを確定することである。ステップ２は、現在のＣＵをＮ×Ｎ（Ｎはデフォルトで４）のサブブロック（ｓｕｂ－ＣＵ）に分割し、ステップ１で取得した時間ベクトルに基づき各サブブロックの参照フレーム内での対応するブロックを確定し、各サブブロックの参照フレーム内での対応するブロックの動きベクトルに基づき各サブブロックの動きベクトルを確定することである。
現在のＡＴＭＶＰ技術のステップ１では、現在のＣＵの動きベクトル候補リストまたは現在のＣＵの隣接画像ブロックの動きベクトルを走査することで、時間ベクトルを確定するプロセスには改良の余地がある。
本出願は、従来のＡＴＭＶＰ技術の性能上の利得を維持したまま、ＡＴＭＶＰ技術の複雑さを低減することができる動画像処理方法および装置を提供する。
第１の態様は、動画像処理方法を提供し、該方法は、
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうち、Ｍよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させることと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む。
本出願により提供される解決策では、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得したＭ個の動きベクトル候補のうちＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減らすことができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術のステップ１に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
第２の態様は、動画像処理方法を提供し、該方法は、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定することと、
前記Ｍ個の近傍ブロックのうち、Ｍより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、
前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに１対１に対応させることと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む。
第３の態様は、動画像処理装置を提供し、該装置は、
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＭよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させることとのために用いられる構築モジュールと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む。
第４の態様は、動画像処理装置を提供し、該装置は、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定することと、前記Ｍ個の近傍ブロックのうちＭより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに１対１に対応させることとのために用いられる構築モジュールと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む。
第５態様は、動画像処理装置を提供し、該装置はメモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行するために用いられ、前記メモリに記憶された命令を実行することによって、前記プロセッサは第１態様または第１態様のいずれかの可能な実施形態における方法を実行するために用いられる。
第６態様は、動画像処理装置を提供し、該装置はメモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行するために用いられ、前記メモリに記憶された命令を実行することによって、前記プロセッサは第２態様または第２態様のいずれかの可能な実施形態における方法を実行するために用いられる。
第７態様は、コンピュータ記憶媒体を提供し、それにコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピュータにより実行されると、前記コンピュータに第１態様または第１態様のいずれかの可能な実施形態における方法を実行させる。
第８態様は、コンピュータ記憶媒体を提供し、それにコンピュータプログラムが記憶され、前記コンピュータプログラムがコンピュータにより実行されると、前記コンピュータに第２態様または第２態様のいずれかの可能な実施形態における方法を実行させる。
第９態様は、命令を含むコンピュータプログラム製品を提供し、前記命令がコンピュータにより実行されると、前記コンピュータに第１態様または第１態様のいずれかの可能な実施形態における方法を実行させる。
第１０態様は、命令を含むコンピュータプログラム製品を提供し、前記命令がコンピュータにより実行されると、前記コンピュータに第２態様または第２態様のいずれかの可能な実施形態における方法を実行させる。
本出願の実施例によって提供される動画像処理方法の概略的な流れ図である。 現在画像ブロックの近傍ブロックによって現在ブロックの動きベクトル候補を取得する概略図である。 動きベクトル候補にスケーリング処理を行う概略図である。 本出願の実施例によって提供される動画像処理方法のもう１つの概略的流れ図である。 本出願の実施例によって提供される動画像処理装置の概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のもう１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理方法の概略的な流れ図である。 本出願の実施例によって提供される動画像処理方法のもう１つの概略的流れ図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 動きベクトル第１候補リストの候補を取得する概略図である。 動きベクトル第１候補リストの候補を構築するさらなる１つの概略図である。 本出願の実施例によって提供される動画像処理方法の概略的流れ図である。 本出願の実施例によって提供される動画像処理方法の概略的流れ図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる１つの概略的ブロック図である。
動画像の符号化および復号において、予測ステップは画像中の冗長情報を減少するために用いられる。予測ブロックとは、１フレームの画像中の予測のための基本ユニットを意味し、いくつかの標準規格において、この予測ブロックは予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）とも呼ばれる。１フレームの画像を符号化／圧縮する前に、画像は複数の画像ブロックに分割され、さらに、該複数の画像ブロック中の各画像ブロックは、複数の画像ブロックに再度分割でき、これに基づいて類推することができる。異なる符号化方法では、分割された階層の数が異なってもよいし、担当する操作方法も異なる。異なる符号化標準規格において、同一階層上の画像ブロックの名称が異なることがある。例えば、いくつかの動画像標準規格では、１フレームの画像が一回目に分割された複数の画像ブロック中の各画像ブロックは符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）と呼ばれ、各符号化ツリーユニットは１つの符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）を含んでもよいし、または再び複数の符号化ユニットに分割されてもよい。１つの符号化ユニットは予測方式に応じて１つ、二つ、四つまたは他の数量の予測ユニットに分割することができる。いくつかの動画像標準規格では、当該符号化ツリーユニットは最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）とも呼ばれる。
予測とは、該予測ブロックと類似した画像データを探索することであり、この予測ブロックの参照ブロックとも呼ばれる。該予測ブロックと該予測ブロックの参照ブロックとの差分を符号化／圧縮することにより、符号化／圧縮における冗長情報を減少する。ここで、予測ブロックと参照ブロックとの差分は、該予測ブロックから該参照ブロックの対応する画素値を減算して得られる残差であってもよい。予測はフレーム内予測とフレーム間予測を含む。フレーム内予測とは、予測ブロックが位置するフレーム内で該予測ブロックの参照ブロックを探索することを指し、フレーム間予測とは、予測ブロックが位置するフレーム以外のフレーム内で該予測ブロックの参照ブロックを探索することを指す。
従来のいくつかの動画像標準規格では、予測ユニットは画像中の最小のユニットであり、予測ユニットは引き続き複数の画像ブロックに分割されない。後述する「画像ブロック」又は「現在画像ブロック」とは、１つの予測ユニット（又は１つの符号化ユニット）を意味し、また、１つの画像ブロックを複数のサブ画像ブロックに引き続き分割でき、各サブ画像ブロックをさらに予測することができる。
本解決策では、現在画像ブロックを予測する前に、動きベクトル候補リストを構築し、該動きベクトル候補リストの中で選択された動きベクトル候補に基づき現在画像ブロックを予測する。動きベクトル候補リストには複数のモードがある。以下、動きベクトル候補リストの複数のモードについて例をあげて説明する。
第１のモードでは、第１の例として、符号化側では、動きベクトル候補リストを構築した後、以下のステップで現在画像ブロックの符号化を完了ことができる。
１）動きベクトル候補リストから最適な動きベクトル（ＭＶ１と記す）を選択し、選択したＭＶ１を現在画像ブロックの動きベクトルとし、該ＭＶ１の動きベクトル候補リストでのインデックスを取得する。
２）現在画像ブロックの動きベクトルＭＶ１に基づき、参照画像（すなわち参照フレーム）から現在画像ブロックの予測画像ブロックを確定する。つまり、現在画像ブロックの予測画像ブロックの参照フレームでの位置を確定する。
３）現在画像ブロックと予測画像ブロックとの間の残差を取得する。
４）復号側へ現在画像ブロックの動きベクトルＭＶ１が動きベクトル候補リストにおけるインデックスおよびステップ３）で取得した残差を送信する。
例として、復号側において、以下のステップで現在画像ブロックを復号化することができる。
１）符号化側から残差と現在画像ブロックの動きベクトルの動きベクトル候補リストにおけるインデックスを受信する。
２）本出願の実施例による方法によって動きベクトル候補リストを取得する。復号側で取得した動きベクトル候補リストは符号化側で取得した動きベクトル候補リストと一致する。
３）インデックスに基づき、動きベクトル候補リストから現在画像ブロックの動きベクトルＭＶ１を取得する。
４）動きベクトルＭＶ１に基づき、現在画像ブロックの予測画像ブロックを取得し、残差と合わせて、復号によって現在画像ブロックを取得する。
つまり、第１モードでは、現在画像ブロックの動きベクトルは予測ＭＶ（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）に等しい。いくつかの標準規格では、第１モードはＭｅｒｇｅモードとも呼ばれる。
第２モードでは、第１モードと異なって、符号化側は動きベクトル候補リストから最適な動きベクトルＭＶ１を選択した後、さらに該ＭＶ１を探索起点として動き探索を行い、最終的に探索した位置と探索起点の変位を動きベクトル差分値（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ＭＶＤ）と記す。続いて現在画像ブロックの動きベクトルＭＶ１＋ＭＶＤに基づき、参照画像から現在画像ブロックの予測画像ブロックを確定する。符号化側はさらに、復号側にＭＶＤを送信する。いくつかの標準規格では、第２モードはＡＭＶＰモード（すなわち通常フレーム間予測モード）とも呼ばれる。
異なるモードでの動きベクトル候補リストの構築方式は同じであってもよいし、異なってもよい。同じ方式で構築された動きベクトル候補リストはそのうちの１つのモードのみに適用してもよく、異なる構築モードに適用してもよく、ここでは限定しない。
本解決策において、二つの構築方式の動きベクトル候補リストを提供し、説明の便宜上、以下ではこの２つの構築方式の動きベクトル候補リストを、動きベクトル第１候補リストと動きベクトル第２候補リストと呼ぶ。この２つのリストの１つの違いは、動きベクトル第１候補リスト中の少なくとも１つの候補がサブ画像ブロックの動きベクトルを含み、動きベクトル第２候補リスト中の各候補が画像ブロックの動きベクトルを含むことである。上記で説明したように、ここでの画像ブロックと現在画像ブロックは同じタイプの概念であり、いずれも１つの予測ユニット（または１つの符号化ユニット）を指し、サブ画像ブロックとは、該画像ブロックをもとに分割された複数のサブ画像ブロックを指す。動きベクトル第１候補リスト中の候補を用いて予測する時、該候補に基づき現在画像ブロックの参照ブロックを確定し、続いて該画像ブロックと該参照ブロックとの残差を算出する。動きベクトル第２候補リスト中の候補を用いて予測する時、用いた候補がサブ画像ブロックの動きベクトルであれば、該候補に基づき現在画像ブロック中の各サブ画像ブロックの参照ブロックを確定し、続いて現在画像ブロック中の各サブ画像ブロックとその参照ブロックとの残差を算出し、各サブ画像ブロックの残差を該現在画像ブロックの残差につなぎ合わせる。
ここでは、動きベクトル第１候補リストおよび／または動きベクトル第２候補リスト中の候補を確定する時、ＡＴＭＶＰ技術に基づきそのうち１つの候補を確定することができる。１つの例において、動きベクトル第１候補リストを構築する時、ＡＴＭＶＰ技術に基づいて確定された動きベクトルを第１候補としてリストに入れることができる。１つの例において、動きベクトル第２候補リストを構築する時、現在画像ブロックの予め設定された位置での予め設定された数の空間領域近傍ブロックの動きベクトルに基づき動きベクトル第２候補リスト中に候補を入れた後、ＡＴＭＶＰ技術に基づいて確定された動きベクトルを候補としてリストに入れ、当然ながら、この二つの候補リストの候補の加入順は他の順であってもよいが、ここでは限定しない。
以下、まず動きベクトル第２候補リストの構築方式の使用方式に合わせて如何にＡＴＭＶＰ技術に基づきそのうち１つの候補を確定するかについて例をあげて説明する。
動きベクトル第２候補リストの構築方式についての説明において、理解を容易にするため、ここで、動きベクトルを説明する。１つの画像ブロックの動きベクトルは、１）該動きベクトルが指す画像、２）変位という二つの情報を含むことができる。１つの画像ブロックの動きベクトルとは、該動きベクトルが指す画像において該画像ブロックと該変位を有する画像ブロックを意味する。符号化／復号済みの画像ブロックに対し、その動きベクトルの概念は、該符号化／復号済みの画像ブロックの参照画像、および符号化／復号済みの画像ブロックの参照ブロックの該符号化／復号済みの画像ブロックに対する変位を含む。なお、ここで説明する１つの画像ブロックの参照ブロックとは、該画像ブロックの残差を算出するために使用される画像ブロックを意味する。
図１は本出願の実施例によって提供される動画像処理方法の概略的流れ図である。該方法は以下のステップを含む。
Ｓ１１０、現在画像ブロックの動きベクトル第２候補リストに入れるためのＭ個の動きベクトル候補を確定する。
現在画像ブロックは符号化（または復号）対象の画像ブロックである。現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。例えば、現在画像ブロックは１つの符号化ユニット（ＣＵ）である。
例えば、現在画像ブロックの動きベクトル第２候補リストはＭｅｒｇｅ候補リストまたはＡＭＶＰ候補リストであってもよい。例えば、該動きベクトル第２候補リストはＭｅｒｇｅ候補リスト中の通常動きベクトル候補リスト（Ｎｏｒｍａｌ Ｍｅｒｇｅ Ｌｉｓｔ）であってもよい。動きベクトル第２候補リストは別の名称を有してもよいと理解されたい。
Ｍ個の動きベクトル候補は現在画像ブロックの現在フレーム内におけるＭ個の近傍ブロックの動きベクトルに基づき確定されてもよい。近傍ブロックは現在フレームにおいて現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックであってもよい。なお、このＭ個の近傍ブロックは現在フレーム内における符号化（または復号）済みの画像ブロックである。
一例として、図２に示すように、現在画像ブロックのＭ個の近傍ブロックは図２に示される現在画像ブロックの周囲の４つの位置Ａ１（左）→Ｂ１（上）→Ｂ０（右上）→Ａ０（左下）に位置する画像ブロックである。この４つの位置の画像ブロックの動きベクトルに基づき現在画像ブロックのＭ（すなわちＭが４に等しい）個の動きベクトル候補を確定する。
また、該Ｍ個の近傍ブロックに取得不可な近傍ブロックが現れた場合、または該Ｍ個の近傍ブロックにフレーム内符号化モードを用いた近傍ブロックが現れた場合、該取得不可な近傍ブロックまたは該フレーム内符号化モードを用いた近傍ブロックの動きベクトルが取得不可である。そこで、該取得不可な近傍ブロックの動きベクトルは動きベクトル候補とせず、該取得不可な動きベクトルを現在画像ブロックの動きベクトル第２候補リストに入れることを放棄する。
１つの可能な実施形態として、ステップＳ１１０を完了した後、Ｍ個の動きベクトル候補はすでに動きベクトル第２候補リストに入れられた。ステップＳ１２０において、動きベクトル第２候補リストを直接走査できる。
Ｓ１２０、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を順次走査し、走査結果に基づき参照動きベクトルを確定し、ＮがＭより小さい。ここでは、ＭとＮはいずれも自然数である。
該Ｍ個の動きベクトル候補がすべて動きベクトル第２候補リストに入れられるか、それとも該Ｍ個の動きベクトル候補のうちに一部の動きベクトルが取得不可になることによって該Ｍ個の動きベクトル候補のうち一部の動きベクトル候補のみが動きベクトル第２候補リストに入れられるかにもかかわらず、該Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を固定的に順次走査する。該Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を固定的に順次走査することとは、該Ｎ個の動きベクトル候補のうちすでに動きベクトル候補リストに入れられた動きベクトル候補を固定的に走査することを指してもよいし、または、該Ｍ個の動きベクトル候補のうちすでに動きベクトル候補リストに入れられたＮ個の動きベクトル候補を固定的に走査することを指してもよい。
Ｎ個の動きベクトル候補の走査結果に基づき参照動きベクトルを確定するプロセスは、事前設定条件に基づきＮ個の動きベクトル候補を順次判断し、判断結果に基づき参照動きベクトルを確定するプロセスであってもよい。
一例として、事前設定条件は、画像ブロックが取得可能であり、またはフレーム内予測符号化モードを採用せず、かつ前記動きベクトル候補が指す参照フレームが現在画像ブロックの参照画像と同じであることを含む。
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化および復号側に予め設定された参照画像であり、または、現在画像ブロックの参照画像は動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中に指定される参照画像である。
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。いくつかの応用シーンにおいて、該同位フレームは位置関連フレーム（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）とも呼ばれる。
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
以下、Ｎ個の動きベクトル候補の走査結果に基づき参照動きベクトルを確定するプロセスを詳細に説明する。
ステップＳ１２０において、ステップＳ１１０で取得されたＭ個の動きベクトル候補のうちのＮ個の動きベクトルのみを走査し、このようにして走査の回数を減少できる。
任意選択的に、ステップＳ１２０において、Ｍ個の動きベクトル候補のうち前のＮ個の動きベクトル候補を順次走査してもよい。
任意選択的に、ステップＳ１２０において、Ｍ個の動きベクトル候補のうちの最後のＮ個の動きベクトル候補を順次走査してもよいし、または、Ｍ個の動きベクトル候補のうちの中間のＮ個の動きベクトル候補を順次走査してもよい。本出願はこれに対して限定しない。
一例として、ステップＳ１２０において、Ｍ個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
もう一例として、ステップＳ１２０において、現在、すでに動きベクトル第２候補リストに入れられた動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
Ｓ１３０、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れられる動きベクトル候補を確定する。
現在画像ブロックの動きベクトル第２候補リストには、ステップＳ１１０で確定されたＭ個の動きベクトル候補およびステップＳ１３０で確定された動きベクトル候補が含まれる。一例において、Ｓ１３０で動きベクトル第２候補リストに引き続き入れる第Ｍ＋１個の動きベクトル候補を確定した後、他の方法によって動きベクトル第２候補リストに引き続き入れる他の動きベクトル候補を確定し、ここでは限定しない。
動きベクトル第２候補リストの構築を完了した後、図１に示すように、該方法は、ステップＳ１３０で得られた動きベクトル第２候補リストに基づき、現在画像ブロックの動きベクトルを確定するステップＳ１４０をさらに含む。
本出願で提供される解決策は、ＡＴＭＶＰ技術に適用できることを理解されたい。従来のＡＴＭＶＰ技術のステップ１において、動きベクトル第２候補リストに現在すでに入れられたすべての空間動きベクトル候補を走査することによって、現在画像ブロックの時間ベクトルを取得する。例えば、動きベクトル第２候補リストには一般に、４個の空間動きベクトル候補が取り込まれるので、画像ブロックの時間ベクトルを得るために、４個の動きベクトル候補を走査する必要がある場合がある。
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたＭ個の動きベクトル候補のうちのＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術のステップ１に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
出願人は、次世代動画像符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の最新の参照ソフトウェアＶＴＭ－２．０上で、テストシーケンスとして公式通用テストシーケンスを選び、ＲＡ構成およびＬＤＢ構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ＡＴＭＶＰ技術の性能上の利得を維持することができる。
従って、本出願で提供される解決策は、従来のＡＴＭＶＰ技術の性能上の利得を維持したまま、ＡＴＭＶＰ技術の複雑さを低減することができる。
本出願で提供される構築に関する解決策で形成される動きベクトル第２候補リストは符号化側と復号側に応用できる。換言すれば、本出願で提供される方法の実行主体は符号化側であってもよく、復号側であってもよい。
一例として、本出願で提供される構築に関する解決策で形成される動きベクトル第２候補リストは上記の第１モード（例えばＭｅｒｇｅモード）に応用できる。
任意選択的に、本実施例において、ステップＳ１１０では、現在画像ブロックの現在フレーム内での４個の近傍ブロックの動きベクトルに基づき、現在画像ブロックの動きベクトル第２候補リストに入れるための４個の動きベクトル候補を確定し、すなわち、Ｍが４に等しい。ステップＳ１２０において、４個の動きベクトル候補のうちのＮ個の動きベクトル候補を走査し、Ｎが４よりも小さい。
例えば、Ｎは１に等しい。例えば、ステップＳ１２０において、動きベクトル第２候補リスト中の１つ目の動きベクトル候補のみを走査する。また、例えば、Ｎは２または３に等しい。
以下、ステップＳ１２０においてＮ個の動きベクトル候補の走査結果に基づき現在画像ブロックの参照動きベクトルを確定する方式について説明する。
ステップＳ１２０において、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補が事前設定条件を満たすかどうかを１つずつ判断し、判断結果に基づき参照動きベクトルを確定する。ここでは、事前設定条件の定義は動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じであることを例として説明する。
任意選択的に、ステップＳ１２０において、Ｎ個の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、すなわち、１つ目の参照フレームと現在フレームの同位フレームが同じである動きベクトル候補まで走査すると、走査を停止し、走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定する。
１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査回数はＮに等しいか、Ｎより小さいこともある。例えば、１つ目に走査する動きベクトル候補が事前設定条件を満たすと、走査を停止し、この動きベクトル候補を現在画像ブロックの参照動きベクトルとする。
任意選択的に、ステップＳ１２０において、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわちＮ個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、デフォルト値を参照動きベクトルの値とする。
例えば、デフォルト値は（０，０）であり、すなわち参照動きベクトルは（０，０）である。実況によって、デフォルト値は別の定義がさらにある。
任意選択的に、ステップＳ１２０において、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわち、Ｎ個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定する。
該特定動きベクトル候補は、Ｎ個の動きベクトル候補のうち、走査順で得られた１つ目の動きベクトルまたは最後の動きベクトルであってもよい。
該特定動きベクトル候補はさらに、Ｎ個の動きベクトル候補のうち、他の走査順で得られた動きベクトルであってもよい。
事前設定条件の定義は動きベクトル候補の指す参照フレームが現在画像ブロックの参照フレームと同じである場合、動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することであり、それは、スケーリング処理された特定動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じとなるように動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行うことと、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとすることとを含む。
図３に示すように、ｃｕｒｒ＿ｐｉｃは現在画像ブロックが位置する画像を表し、ｃｏｌ＿ｐｉｃは現在画像ブロックの同位フレーム（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）を表し、ｎｅｉｇｈ＿ｒｅｆ＿ｐｉｃは特定動きベクトル候補が指す参照フレームを表す。一実施形態において、特定動きベクトル候補が指す参照画像ｎｅｉｇｈ＿ｒｅｆ＿ｐｉｃと該特定動きベクトルに対応する画像ブロックが位置する画像ｃｕｒｒ＿ｐｉｃとの間の時間距離、および現在画像ブロックの参照画像ｃｏｌ＿ｐｉｃと現在画像ブロックが位置する画像ｃｕｒｒ＿ｐｉｃとの間の時間距離に基づき、該特定動きベクトルの縮尺を確定する。
画像フレームと画像フレームとの間の動き程度の相違性が悪く、現在フレームとその同位フレームとの間に動きが激しい場合に、動きベクトル（０，０）を現在ブロックの対応ブロックを位置決めする根拠として用いれば、フレーム間の動きを考慮せず、そのまま現在のブロックの同位フレームでの絶対座標が変更されていないと仮定するが、実際には、現在のブロックの同位フレームでの座標と現在のフレームでのその座標とが異なる確率が非常に大きいため、大きなばらつきが生じると理解されたい。
本出願の実施例において、Ｎ個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、Ｎ個の動きベクトル候補のうち１つの動きベクトル候補にスケーリング処理を行い、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとする。このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。
任意選択的に、ＮがＭより小さくかつ１より大きい整数の場合、本実施例における特定動きベクトル候補はＮ個の動きベクトル候補のうち参照フレームと現在画像ブロックの同位フレームが時間領域において距離が最も近い動きベクトル候補であってもよい。
Ｎ個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームの距離が最も近い動きベクトル候補を選択してそれにスケーリング処理を行い、スケーリング処理にかかる時間を減らし、それにより現在画像ブロックの動きベクトルを取得する効率を向上させることができる。
任意選択的に、ＮがＭより小さくかつ１より大きい整数の場合、本実施例における特定動きベクトル候補はＮ個の動きベクトル候補のうちのいずれかの動きベクトル候補であってもよい。
なお、Ｎが１に等しい場合、本実施例における特定動きベクトル候補はすなわち走査するこの動きベクトル候補である。
任意選択的に、１つの実施例として、Ｎが１に等しく、ステップＳ１２０において、該動きベクトル第２候補リスト中の１つの動きベクトル候補を走査することによって、該現在画像ブロックの参照動きベクトルを取得する。走査するこの動きベクトル候補が指す参照フレームと現在画像ブロックが位置する現在フレームの同位フレームが異なる場合、この動きベクトル候補にスケーリング処理を行って、該スケーリング処理された動きベクトル候補の参照フレームと該現在フレームの同位がフレーム同じになるようにし、該スケーリング処理後の動きベクトル候補を該現在画像ブロックの参照動きベクトルとする。走査するこの動きベクトル候補の参照フレームと現在フレームの同位フレームが同じである場合、この動きベクトル候補を現在画像ブロックの動きベクトルとする。
本実施例において、該動きベクトル候補リスト中の１つの動きベクトル候補を走査することで、該現在画像ブロックの動きベクトルを取得し、現在画像ブロックの動きベクトルを取得するプロセスにおける動きベクトル候補の走査回数を効果的に減少し、走査する動きベクトル候補の参照フレームは現在フレームの同位フレームと異なる場合、この動きベクトル候補にスケーリング処理を行って、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理後の動きベクトル候補を現在画像ブロックの動きベクトルとし、このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。従って、従来技術に対し、本出願の実施例によって提供される解決策は、現在画像ブロックの動きベクトルを確定するプロセスを簡略化するだけでなく、現在画像ブロックの動きベクトルの正確さを向上させることもできる。
事前設定条件の定義が変化する場合、動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行うプロセスも対応的に変化し、すなわちスケーリング処理後の特定動きベクトル候補が事前設定条件を満たすことを保証する必要があることを理解されたい。
以下、ステップＳ１３０において、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するプロセスを説明する。
任意選択的に、一実施形態として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、参照動きベクトルに基づき、現在画像ブロックの参照画像中にサブ画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
一例において、現在画像ブロック中の各サブ画像ブロックの関連ブロックの動きベクトルを候補として動きベクトル第２候補リストに入れる。該候補を用いて予測する時、現在画像ブロック中の各サブ画像ブロックの関連ブロックの動きベクトルに基づき該サブ画像ブロックを予測する。
一例において、現在画像ブロックの関連ブロックの代表動きベクトルを候補として動きベクトル第２候補リストに入れ、該候補をＡＴＭＶＰ技術に基づいて確定されたものとしてマークする。該候補を用いて予測する時、該マークと候補に基づき現在画像ブロックの関連ブロックを確定し、現在画像ブロックと該関連ブロックを同じ方式で複数のサブ画像ブロックに分割し、現在画像ブロック中の各サブ画像ブロックを前記関連ブロック中の各サブ画像ブロックと１対１に対応させ、該関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出た場合、該関連ブロックの代表動きベクトルで該取得不可な動きベクトルを代替し、現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出ており、かつ関連ブロックの代表動きベクトルがすべて取得不可な場合、ＡＴＭＶＰ技術に基づいて確定された候補を該動きベクトル第２候補リストに入れることを放棄する。一例において、関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たを確定する。
任意選択的に、現在画像ブロックの関連ブロックの代表動きベクトルとは、該関連ブロックの中央位置の動きベクトルを指してもよく、または他の該関連ブロックを代表する動きベクトルを指してもよく、ここでは限定しない。
いくつかの動画像符号化および復号に関する標準規格において、関連ブロックはｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋまたはｃｏｒｒｅｓｐｏｎｄｉｎｇ ｂｌｏｃｋと呼ばれてもよい。
例えば、現在画像ブロックは１つのＣＵであり、それを分割した後に得られたサブ画像ブロックはｓｕｂ－ＣＵと呼ばれてもよい。任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４画素以上に固定される。任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを４×４に設定すると、該サブ画像ブロックの動きベクトルのサイズ（４×４ともする）は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ＡＴＭＶＰ技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、もう一つの実施形態として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することは、参照動きベクトルに基づき、現在画像ブロックの参照画像中に現在画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
符号化／復号技術において、一般的に符号化／復号済みの画像を現在の符号化／復号対象の参照画像として用いる。いくつかの実施例において、さらに、１つの参照画像を構築して、参照画像と現在の符号化／復号対象の画像の類似度を向上させることができる。
例えば、動画像コンテンツには、背景がほとんど変化せず、動画像の前景だけが変化したり、動きしたりする特定の符号化／復号シーンが存在する。例えば、ビデオモニタリングはこのようなシーンに属する。ビデオモニタリングのシーンでは通常、監視カメラが固定されており、または、ゆっくりと動いているだけであり、背景はほとんど変化していないと考えられる。これに対し、ビデオ監視カメラで撮影された人や車などの物体はつねに移動したり変化が発生したりし、前景はつねに変化していると考えられる。このようなシーンでは、高品質の背景情報のみを含む特定参照画像をつくることができる。該特定参照画像には複数の画像ブロックが含まれてもよく、いずれかの画像ブロックも、ある復号済みの画像から取り出され、該特定参照画像中の異なる画像ブロックは、異なる復号済みの画像から取得されることがある。レーム間予測をする時、現在符号化／復号対象の画像の背景部分は該特定参照画像を参照することで、フレーム間予測の残差情報を減少し、それにより符号化／復号効率を向上させることができる。
以上は、特定参照画像の具体例である。いくつかの実施形態において、特定参照画像は、構造フレーム（ｃｏｍｐｏｓｉｔｅ ｒｅｆｅｒｅｎｃｅ）、長期参照画像、非出力画像のうちの少なくとも１つの性質を有する。ここでは、該非出力画像とは、出力されて表示されない画像を指し、一般に、該非出力画像は、他の画像の参照画像として存在する。例えば、該特定参照画像は、構築された長期参照画像であってもよいし、非出力構造フレームであってもよいし、非出力長期参照画像であってもよい。いくつかの実施形態において、構造フレームは合成参照フレームとも呼ばれる。
いくつかの実施形態において、非特定参照画像は、構造フレーム、長期参照画像、非出力画像のうちの以下の少なくとも１つの性質を有していない参照画像であってもよい。例えば、該特定参照画像は、構造フレーム以外の参照画像を含んでもよいし、または長期参照画像以外の参照画像を含んでもよいし、または非出力画像以外の参照画像を含んでもよいし、または構築された長期参照画像以外の参照画像を含んでもよいし、または非出力構造フレーム以外の参照画像を含んでもよいし、または非出力長期参照画像以外の参照画像などを含んでもよい。
いくつかの実施形態において、動画像中の画像を参照画像とすることができる場合に、長期参照画像と短期参照画像とを区別することができる。ここで、短期参照画像は、長期参照画像に対応する概念である。短期参照画像は、参照画像バッファに一定時間存在し、該短期参照画像の後ろの復号済み参照画像の参照画像バッファにおけるいくつかの出入り動作の後に、短期参照画像はバッファ外から移り出される。参照画像バッファは参照画像リストキャッシュ、参照画像リスト、参照フレームリストキャッシュまたは参照フレームリストなどとも呼ばれてもよく、ここでは参照画像バッファと総称される。
長期参照画像（または長期参照画像中のデータの一部）は、つねに参照画像バッファ内に存在することができ、該長期参照画像（又は長期参照画像中のデータの一部）は、復号化された参照画像の参照画像バッファ内での出入り動作の影響を受けず、復号側で更新命令を送信する操作をした場合にのみ、該長期参照画像（または長期参照画像中のデータの一部）が参照画像バッファから移り出される。
短期参照画像と長期参照画像の異なる標準規格での呼び方は異なることがあり、例えば、Ｈ．２６４／高度動画像符号化（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＡＶＣ）またはＨ．２６５／ＨＥＶＣなどの規格では、短期参照画像は短期参照フレーム（ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）と呼ばれ、長期参照画像は長期参照フレーム（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）と呼ばれる。また、ソース符号化規格（ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ、ＡＶＳ）１－Ｐ２、ＡＶＳ２－Ｐ２、電気電子技術者協会（ｉｎｓｔｉｔｕｔｅ ｏｆ ｅｌｅｃｔｒｉｃａｌ ａｎｄ ｅｌｅｃｔｒｏｎｉｃｓ ｅｎｇｉｎｅｅｒｓ、ＩＥＥＥ）１８５７．９－Ｐ４などの規格において、長期参照画像はバックグラウンドフレーム（ｂａｃｋｇｒｏｕｎｄ ｐｉｃｔｕｒｅ）と呼ばれる。また、ＶＰ８、ＶＰ９などの規格において、長期参照画像はゴールデンフレーム（ｇｏｌｄｅｎ ｆｒａｍｅ）と呼ばれる。
なお、本出願の実施例では特定用語を用いているが、特定のシーンに適用しなければならないことを表すものではない。例えば、長期参照画像を長期参照フレームと呼ぶことは、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣなどの規格に対応する技術に適用しなければならないことを表すものではない。
以上のような長期参照画像は、複数の復号済みの画像から取り出された画像ブロック構造から得たものであってもよく、または複数の復号済みの画像を用いて既存の参照フレーム（例えば、予め記憶された参照フレーム）を更新して得たものであってもよい。当然ながら、該構造的な特定参照画像は短期参照画像であってもよい。または、長期参照画像は構造的な参照画像ではない場合もある。
上記の実施形態において、特定参照画像は長期参照画像を含んでもよく、非特定参照画像は短期参照画像を含んでもよい。
任意選択的に、参照フレームのタイプは、特殊なフィールドによって、コードストリーム構造内で識別することができる。
任意選択的に、参照画像が長期参照画像と確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定された場合に、該参照画像を特定参照画像と確定し、または、参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定されており、さらに該参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定する。
任意選択的に、各種の参照画像は、それぞれの識別子を有していてもよい。この場合、復号化側にとって、参照画像が有する識別子に基づき、該参照画像が特定参照画像であるか否かを確定することができる。
いくつかの実施形態において、参照画像が長期の参照画像の識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像が非出力識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像が構造フレームの識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像は、長期参照画像の識別子、非出力識別子、構造フレームまたは合成参照フレームの識別子という三つの識別子のうちの少なくとも二つの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。例えば、参照画像が非出力識別子を有すると確定し、かつ参照画像が構造フレームの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。
具体的に、画像は、出力フレームであるか否かを示す識別子を有していてもよく、ある画像が出力されないと示された場合、該フレームが参照画像であることを示しており、さらに、該フレームが構造フレームの識別子を有しているか否かを判定し、そうであれば、前記参照画像が特定参照画像であると確定する。ある画像が出力されると示された場合に、構造フレームであるか否かの判断は行わず、該フレームが特定参照画像ではないことを直接確定することができる。あるいは、画像が出力されないと示されていても、構造フレームではないとの識別子を有する場合に、該フレームが特定参照画像ではないと確定することができる。
任意選択的に、画像ヘッダ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）、画像パラメータセット（ＰＰＳ、ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）からパラメータを解析して前記参照画像が以下の条件のうちの１つを満たしていることを確定した場合、前記参照画像が特定参照画像であることを確定する。つまり、
前記参照画像は長期参照画像であること、
前記参照画像は構造参照画像であること、
前記参照画像は非出力画像であることであり、
前記参照画像は非出力画像の場合、さらに前記参照画像が構造参照画像であると判断する。
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第１画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第１画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第１画像ブロックと該第１画像ブロックの時間領域参照ブロック（または関連ブロック）が異なる画像上に位置することである。そこで、該時間領域参照ブロック（または関連ブロック）の動きベクトルを利用して第１画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック（または関連ブロック）の動きベクトルをスケーリングする必要があることがある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
例えば、ＡＴＭＶＰ技術をＡＭＶＰ候補リストの構築に応用する場合、ＡＴＭＶＰ技術に基づき現在画像ブロックの関連ブロックの動きベクトルを確定する時、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づき現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づき、該関連ブロックの動きベクトルの縮尺を確定する。
一例において、該関連ブロックの動きベクトルはＭＶ ２と呼ばれ、該動きベクトルＭＶ ２が指す参照画像の参照フレームインデックス値はｘと呼ばれる。ここでは、該参照フレームインデックス値ｘはＭＶ ２が指す参照画像の順序番号（例えばＰＯＣ）と該関連ブロックが位置する画像の順序番号との差である。第１画像ブロックの参照画像の参照フレームインデックス値はｙと呼ばれる。ここでは、該参照フレームインデックス値ｙは第１画像ブロックの参照画像の順序番号と該第１画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルＭＶ ２に対する縮尺はｙ／ｘである。任意選択的に、動きベクトルＭＶ ２とｙ／ｘの積を第１画像ブロックの動きベクトルとすることができる。
しかしながら、関連ブロックの動きベクトルＭＶ ２が特定参照画像を指す場合、または、第１の画像ブロックの参照画像が特定参照画像である時には、特定参照画像と第１の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルＭＶ ２に対するスケーリングには意味がない。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定することを放棄する。
いくつかの実施例において、ステップＳ１２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の特定動きベクトル候補に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の特定動きベクトル候補の動きベクトルと処理前の特定動きベクトル候補の動きベクトルは同じである。
ここでは、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
いくつかの実施例において、ステップＳ１２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、特定動きベクトル候補に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
以上からわかるように、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたＭ個の動きベクトル候補のうちのＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
Ｎ個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、Ｎ個の動きベクトル候補のうち１つの動きベクトル候補にスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
現在画像ブロックをサイズ８×８のサブ画像ブロックに分割し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
図４に示すように、本出願の実施例は動画像処理方法をさらに提供し、該方法は以下のステップを含む。
Ｓ４１０、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得する。
ステップＳ４１０は以上の記載で説明されるステップＳ１１０に対応し、具体的な説明は以上の記載を参照し、ここでは再び説明しない。
Ｓ４２０、Ｍ個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。
オプションの実施形態として、Ｍ個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。このような実施形態で、ステップＳ４２０は以上の記載で説明されるステップＳ１２０に対応でき、具体的な説明は以上の記載を参照する。
もう１つのオプションの実施形態として、Ｍ個の動きベクトル候補のうちの全ての動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。
なお、ステップＳ４２０において、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する具体的な方式は以上の実施例での関連説明を参照でき、ここでは再び説明しない。
Ｓ４３０、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
例えば、現在画像ブロックは１つのＣＵであり、それを分割した後に得られたサブ画像ブロックはｓｕｂ－ＣＵと呼ばれてもよい。
Ｓ４４０、参照動きベクトルに基づき現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定する。
現在画像ブロックの参照画像は現在画像ブロックの同位フレームであってもよい。
Ｓ４５０、関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定する。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを４×４に設定すると、該サブ画像ブロックの動きベクトルのサイズ（４×４ともする）は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ＡＴＭＶＰ技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、ステップＳ４２０において、少なくとも一部の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定する。
走査された１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定することは、１つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとすることを含む。
任意選択的に、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
任意選択的に、ステップＳ４５０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、ステップＳ４５０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づきベクトルの第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
したがって、図４に示される実施例では、現在画像ブロックをサイズ８×８のサブ画像ブロックに分割し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
以上は、如何にＡＴＭＶＰ技術に基づいて動きベクトル第２候補リストに入れる候補を確定する方法について説明した。いくつかの実施形態において、動きベクトル第２候補リストに他の候補を入れることもできるが、ここでは限定しない。
以上、図１および図４に関連して、本出願の方法の実施例を説明した。以下、上記方法の実施例に対応する装置の実施例について説明する。装置の実施例の説明と、方法の実施例の説明は互いに対応しているので、詳細に説明されていない内容については、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない。
図５は本出願の実施例によって提供される動画像処理装置５００の概略的ブロック図である。該装置５００は図１に示される方法の実施例を実行するために用いられる。該装置５００は以下のユニットを含む。
取得ユニット５１０であって、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得するために用いられる。
確定ユニット５２０であって、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を順次走査し、走査結果に基づき参照動きベクトルを確定し、ＮがＭより小さい。
確定ユニット５２０は、さらに、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第２候補リストに引き続き入れられる動きベクトル候補を確定するために用いられる。
確定ユニット５２０はさらに、動きベクトル第２候補リストに基づき、現在画像ブロックの動きベクトルを確定するために用いられる。
従来のＡＴＭＶＰ技術のステップ１において、動きベクトル第２候補リスト中の現在すでに入れられたすべての動きベクトル候補を走査することによって、現在画像ブロックの時間ベクトルを取得する。例えば、動きベクトル第２候補リストには一般に、４個の動きベクトル候補が取り込まれるので、画像ブロックの時間ベクトルを得るために、４個の動きベクトル候補を走査する必要がある場合がある。
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたＭ個の動きベクトル候補のうちのＮ（ＮはＭより小さい）個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のＡＴＭＶＰ技術のステップ１に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
出願人は、次世代動画像符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の最新の参照ソフトウェアＶＴＭ－２．０上で、テストシーケンスとして公式通用テストシーケンスを選び、ＲＡ構成およびＬＤＢ構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ＡＴＭＶＰ技術の性能上の利得を維持することができる。
従って、本出願で提供される解決策は、従来のＡＴＭＶＰ技術の性能上の利得を維持したまま、ＡＴＭＶＰ技術の複雑さを低減することができる。
任意選択的に、１つの実施例として、取得ユニット５１０は、現在画像ブロックの現在フレーム内でのＭ個の近傍ブロックの動きベクトルに基づき、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得するために用いられる。
任意選択的に、１つの実施例として、近傍ブロックは現在フレーム上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｍ個の動きベクトル候補のうちの前のＮ個の動きベクトル候補を順次走査するために用いられる。
任意選択的に、１つの実施例として、Ｍは４に等しく、Ｎは４より小さい。
任意選択的に、１つの実施例として、Ｎは１または２に等しい。
任意選択的に、１つの実施例として、確定ユニット５２０は、事前設定条件に基づき、Ｍ個の動きベクトル候補のうちのＮ個の動きベクトル候補を順次走査し、走査結果に基づき、参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、指す参照フレームと現在画像ブロックの参照画像が同じである動きベクトル候補を含む。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｎ個の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第２候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、特定動きベクトル候補は、Ｎ個の動きベクトル候補のうち、走査順で得られた１つ目の動きベクトルまたは最後の動きベクトルである。
任意選択的に、１つの実施例として、確定ユニット５２０は、動きベクトル第２候補リスト中の特定動きベクトル候補にスケーリング処理を行い、スケーリング処理された特定動きベクトル候補が指す参照フレームは現在画像ブロックの参照画像と同じであるようにし、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとするために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、Ｎ個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、デフォルト値を参照動きベクトルとするために用いられる。
任意選択的に、１つの実施例として、デフォルト値は動きベクトル（０，０）である。
任意選択的に、１つの実施例として、確定ユニット５２０は、現在画像ブロックを複数のサブ画像ブロックに分割し、参照動きベクトルに基づき、現在画像ブロックの参照画像のうちサブ画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
任意選択的に、１つの実施例として、現在画像ブロックは１つの符号化ユニットＣＵである。
任意選択的に、１つの実施例として、確定ユニット５２０は、参照動きベクトルに基づき、現在画像ブロックの参照画像のうち現在画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づき、動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、１つの実施例として、確定ユニット５２０は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルの動きベクトルに基づきベクトルの第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
任意選択的に、１つの実施例として、確定ユニット５２０は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の特定動きベクトル候補に基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の特定動きベクトル候補の動きベクトルと処理前の特定動きベクトル候補の動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、１つの実施例として、確定ユニット５２０は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、特定動きベクトル候補に基づきベクトルの第２候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
任意選択的に、１つの実施例として、動きベクトル第２候補リストはＭｅｒｇｅ候補リストである。
任意選択的に、１つの実施例として、現在画像ブロックの参照画像は現在画像ブロックの同位フレームである。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
なお、本実施例における取得ユニット５１０と確定ユニット５２０はいずれもプロセッサによって実現できる。
図６に示すように、本出願の実施例はさらに、動画像処理装置６００を提供する。該装置６００は図４に示される方法の実施例を実行するために用いられる。該装置６００は以下のユニットを含む。
確定ユニット６１０であって、現在画像ブロックの動きベクトル第２候補リストに入れられるＭ個の動きベクトル候補を取得するために用いられる。
確定ユニット６２０であって、Ｍ個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定するために用いられる。
分割ユニット６３０であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
確定ユニット６２０はさらに、参照動きベクトルに基づき現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられる。
確定ユニット６２０はさらに、関連ブロックの動きベクトルに基づき動きベクトル第２候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
任意選択的に、１つの実施例として、確定ユニット６２０は、少なくとも一部の動きベクトル候補を順次走査し、１つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット６２０は、１つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとするために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
なお、本実施例における取得ユニット６１０、確定ユニット６２０と分割ユニット６３０はいずれもプロセッサによって実現できる。
以上の説明において、１つの画像ブロックの動きベクトルは、１）該動きベクトルが指す画像、２）変位という二つの情報を含む。いくつかの応用シーンにおいて、１つの画像ブロックの動きベクトルは「変位」という情報のみを含む。該画像ブロックはまた、該画像ブロックの参照画像を指示するためのインデックス情報を提供する。符号化／復号済みの画像ブロックに対し、その動きベクトルの意味は、該符号化／復号済み画像ブロックの参照ブロックの参照画像上における該符号化／復号済み画像ブロックと位置と同じでありかつ該参照画像に位置する画像ブロックに対する変位を含む。該符号化／復号済みの画像ブロックの参照ブロックを確定する時、該符号化／復号済みの画像ブロックの参照画像のインデックス情報および該符号化／復号済みの画像ブロックの動きベクトルによって該符号化／復号済みの画像ブロックの参照ブロックを確定する必要がある。そこで、図１に示す動画像処理方法では、ステップＳ１２０は、動きベクトル第２候補リスト中の動きベクトル候補を走査するかわりに、該動きベクトル候補に対応する画像ブロックを直接走査する。以下、該動きベクトルの新しい定義（すなわち、「変位」情報を含むが「指す画像」を含まない）に対して、動画像処理方法を提供する。なお、「動きベクトル」の２つの異なる意味に対してそれぞれ提供されるＡＴＭＶＰ技術に基づいて動きベクトル候補を確定する方法は、ほぼ一致であり、上記の説明は、以下で提供される動画像処理方法にも適用され、区別は主に、動きベクトル第２候補リストの構築において、ＡＴＭＶＰ技術に基づいて動きベクトル第２候補リストに入れる候補を確定する時、上述した動画像処理方法では、動きベクトル第２候補リストに入れられた動きベクトルを走査することに対して、後述する動画像処理方法では、該動きベクトル第２候補リストに入れられた動きベクトルに対応する画像ブロックを走査することである。
図７に示すように、本出願の実施例は動画像処理方法を提供し、該方法は以下のステップを含む。
Ｓ７１０、現在画像ブロックのＭ個の近傍ブロックを確定する。
現在画像ブロックは符号化（または復号）対象の画像ブロックである。例えば、現在画像ブロックは１つの符号化ユニット（ＣＵ）である。
現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。
近傍ブロックは、現在画像において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
Ｍ個の近傍ブロックは現在フレーム内における符号化（または復号）済みの画像ブロックである。
一例として、図２に示すように、図２に示される現在画像ブロックの周囲の４つの位置Ａ１（左）→Ｂ１（上）→Ｂ０（右上）→Ａ０（左下）に位置する画像ブロックの順で、現在画像ブロックの４個の近傍ブロックを順次確定する。
Ｓ７２０、Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、ＮはＭより小さい。
Ｎ個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定するプロセスは、事前設定条件に基づきＮ個の近傍ブロックを順次判断し、判断結果に基づき対象近傍ブロックを確定するプロセスであってもよい。
一例として、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像と同じであることを含む。
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化および復号側に予め設定された参照画像であり、または、現在画像ブロックの参照画像は動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中に指定される参照画像である。
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
以下、Ｎ個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定するプロセスを詳細に説明する。
ステップＳ７２０において、ステップＳ７１０で取得されたＭ個の近傍ブロックのうちのＮ個の近傍ブロックのみを走査し、このようにして走査の回数を減少できる。
任意選択的に、ステップＳ７２０において、Ｍ個の近傍ブロックのうちの前のＮ個の近傍ブロックを順次走査してもよい。
ステップＳ７１０において、予め設定された順で現在画像ブロックのＭ個の近傍ブロックを順次確定する時、ステップＳ７２０で取得された前のＮ個の近傍ブロックとは、該予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
任意選択的に、ステップＳ７２０において、Ｍ個の近傍ブロックのうちの最後のＮ個の近傍ブロックを順次走査してもよいし、または、Ｍ個の近傍ブロックのうちの中間のＮ個の近傍ブロックを順次走査してもよい。本出願はこれに対して限定しない。
Ｓ７３０、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定する。
Ｓ７４０、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号する。
任意選択的に、ステップＳ７４０は、関連ブロックの動きベクトルと参照画像に基づき、現在画像ブロックの参照ブロックを確定することを含む。
例えば、ステップＳ７４０は、現在画像ブロックの候補ブロックリストを構築し、該候補ブロックリスト中の候補ブロックはＭ個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づき現在画像ブロックに符号化および復号を行う。
一例において、該候補ブロックリストは現在画像ブロックのｍｅｒｇｅ候補リストである。一例において。該候補ブロックリストは現在画像ブロックのＡＭＶＰ候補リストである。
符号化側において、現在ブロックの候補ブロックのインデックス（ｉｎｄｅｘ）をコードストリームに書き込む。復号側において、インデックスを取得した後、候補ブロックリストから該インデックスに対応する候補ブロックを見つけ、該候補ブロックの参照ブロックに基づき現在画像ブロックの参照ブロックを確定し、または、該候補ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する。
例えば、そのまま候補ブロックの参照ブロックを現在画像ブロックの参照ブロックとして確定し、または、そのまま候補ブロックの動きベクトルを現在画像ブロックの動きベクトルとして確定する。また、例えば、符号化側は該現在ブロックのＭＶＤをコードストリーム中に書き込む。復号側は該ＭＶＤを取得した後、該候補ブロックの動きベクトルにＭＶＤを加えたものを現在ブロックの動きベクトルとし、続いて該動きベクトルと現在ブロックの参照画像に基づき現在ブロックの参照ブロックを確定する。
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたＭ個の近傍ブロックのうちのＮ（ＮはＭより小さい）個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
任意選択的に、本実施例において、ステップＳ７１０では、現在画像ブロックの現在フレーム内での４個の近傍ブロックを確定し、すなわちＭは４に等しい。ステップＳ７２０において、４個の近傍ブロックのうちのＮ個の近傍ブロックを走査し、Ｎは４より小さい。
例えば、Ｎは１に等しい。例えば、ステップＳ７２０において、４個の近傍ブロックのうちのの１つ目の近傍ブロックのみを走査する。
また、例えば、Ｎは２または３に等しい。
以下、ステップＳ７２０において、Ｎ個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定する方式を説明する。
任意選択的に、ステップＳ７２０において、Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定する。
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることを含む。
将来進化する技術では、事前条件は他の定義を与えることもあることを理解されたい。
ここでは、事前設定条件の定義は近傍ブロックの参照画像が現在画像ブロックの参照画像と同じであることを例として説明する。
例えば、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
任意選択的に、ステップＳ７２０において、Ｎ個の近傍ブロックにおいて事前設定条件に符合する近傍ブロックが走査されていない場合、該方法はさらに、Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化／復号することを含む。
例えば、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定する。
任意選択的に、特定近傍ブロックは、Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
該特定近傍ブロックは、Ｎ個の近傍ブロックのうち、他の走査順で得られた近傍ブロックであってもよい。
任意選択的に、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化／復号することは、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとすることを含む。
任意選択的に、ステップＳ７２０において、Ｎ個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの候補参照ブロックとする。
例えば、ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
以下、ステップＳ７３０において、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定するプロセスを説明する。
任意選択的に、実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することとを含み、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
関連ブロックはｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋまたはｃｏｒｒｅｓｐｏｎｄｉｎｇ ｂｌｏｃｋと呼ばれてもよい。
例えば、現在画像ブロックは１つのＣＵであり、それを分割した後に得られたサブ画像ブロックはｓｕｂ－ＣＵと呼ばれてもよい。
任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４画素以上に固定される。
任意選択的に、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはいずれも８×８画素に固定される。
現在のＡＴＭＶＰ技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで４×４であり、ある条件を満たす時、サブ画像ブロックのサイズは８×８に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのＡＴＭＶＰモードの符号化時にＣＵ中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が８×８に設定され、そうでなければデフォルト値４×４を使用する。現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを４×４に設定すると、該サブ画像ブロックの動きベクトルのサイズ（４×４ともする）は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ＡＴＭＶＰ技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、もう１つの実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定することは、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定することを含む。
任意選択的に、ステップＳ７４０は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの候補参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、ステップＳ７４０は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの候補参照ブロックを確定することを放棄する。
いくつかの実施例において、ステップＳ７２０は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
ここでは、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
以上からわかるように、本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたＭ個の近傍ブロックのうちのＮ（ＮはＭより小さい）個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
Ｎ個の近傍ブロックのうち参照フレームと現在フレームの同位フレームが同じである近傍ブロックが走査されていない場合、Ｎ個の近傍ブロックのうち１つの近傍ブロックの動きベクトルにスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトルを現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
現在画像ブロックをサイズ８×８のサブ画像ブロックに分割し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第１画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第１画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第１画像ブロックと該第１画像ブロックの時間領域参照ブロック（または関連ブロック）が異なる画像上に位置することである。そこで、該時間領域参照ブロック（または関連ブロック）の動きベクトルを利用して第１画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック（または関連ブロック）の動きベクトルをスケーリングする必要がある可能性がある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
例えば、ＡＴＭＶＰ技術応用をＡＭＶＰ候補リストの構築に応用する場合、ＡＴＭＶＰ技術に基づき現在画像ブロックの関連ブロックを確定した後、該関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づき現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づき、該関連ブロックの動きベクトルの縮尺を確定する。
一例において、該関連ブロックの動きベクトルはＭＶ ２と呼ばれ、該動きベクトルＭＶ ２が指す参照画像の参照フレームインデックス値はｘと呼ばれる。ここでは、該参照フレームインデックス値ｘはＭＶ ２が指す参照画像の順序番号（例えばＰＯＣ）と該関連ブロックが位置する画像の順序番号との差である。第１画像ブロックの参照画像の参照フレームインデックス値はｙと呼ばれる。ここでは、該参照フレームインデックス値ｙは第１画像ブロックの参照画像の順序番号と該第１画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルＭＶ ２に対する縮尺はｙ／ｘである。任意選択的に、動きベクトルＭＶ ２とｙ／ｘの積を第１画像ブロックの動きベクトルとすることができる。
しかしながら、関連ブロックの動きベクトルＭＶ ２が特定参照画像を指す場合、または、第１の画像ブロックの参照画像が特定参照画像である時には、特定参照画像と第１の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルＭＶ ２に対するスケーリングには意味がない。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定することを放棄する。
図８に示すように、本出願の実施例は動画像処理方法をさらに提供し、該方法は以下のステップを含む。
Ｓ８１０、現在画像ブロックのＭ個の近傍ブロックを確定する。
ステップＳ８１０は上記の実施例中のステップＳ７１０に対応できる。
Ｓ８２０、Ｍ個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
任意選択的に、Ｍ個の近傍ブロック中の部分近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
任意選択的に、Ｍ個の近傍ブロック中の全ての近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
Ｓ８３０、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
Ｓ８４０、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定する。
任意選択的に、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像である。
任意選択的に、現在画像ブロックの参照画像は符号化側および復号側で予め設定された参照画像である。
任意選択的に、現在画像ブロックの参照画像は在動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中で指定される参照画像である。
Ｓ８５０、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号する。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも８×８画素に固定される。
現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、ステップＳ８２０は、少なくとも一部の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
例えば、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることを含む。
任意選択的に、ステップＳ８４０は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することを含み、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
以上、図７および図８に関連して、本出願の方法の実施例を説明した。以下、図７および図８に示す方法の実施例に対応する装置の実施例について説明する。なお、装置の実施例の説明と、方法の実施の形態の説明は互いに対応しているので、詳細に説明されていないものについては、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない
図９は本出願の実施例によって提供される動画像処理装置９００の概略的ブロック図である。該装置９００は図７に示される方法の実施例を実行するために用いられる。該装置９００は以下のユニットを含む。
取得ユニット９１０であって、現在画像ブロックのＭ個の近傍ブロックを取得するために用いられる。
取得ユニット９２０であって、Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定するために用いられ、ＮはＭより小さい。
確定ユニット９２０はさらに、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定するために用いられる。
符号化／復号ユニット９３０であって、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号するために用いられる。
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたＭ個の近傍ブロックのうちのＮ（ＮはＭより小さい）個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
任意選択的に、１つの実施例として、Ｍは４に等しく、Ｎは４より小さい。
任意選択的に、１つの実施例として、Ｎは１または２に等しい。
任意選択的に、１つの実施例として、確定ユニット９２０は、Ｍ個の近傍ブロック中の前のＮ個の近傍ブロックを順次走査するために用いられる。
任意選択的に、１つの実施例として、取得ユニット９１０は、予め設定された順で現在画像ブロックのＭ個の近傍ブロックを順次取得し、前のＮ個の近傍ブロックとは、予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
任意選択的に、１つの実施例として、確定ユニット９２０は、Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、確定ユニット９２０は、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることでである。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、関連ブロックの動きベクトルと参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、現在画像ブロックの候補ブロックリストを構築し、候補ブロックリスト中の候補ブロックはＭ個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づき現在画像ブロックを符号化および復号するために用いられる。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０はさらに、Ｎ個の近傍ブロックにおいて事前設定条件に符合する近傍ブロックが走査されていない場合、Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化／復号するために用いられる。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、特定近傍ブロックは、Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとするために用いられる。
任意選択的に、１つの実施例として、確定ユニット９２０は、Ｎ個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの参照ブロックとするために用いられる。
任意選択的に、１つの実施例として、ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
任意選択的に、１つの実施例として、確定ユニット９２０は、
現在画像ブロックを複数のサブ画像ブロックに分割することと、
対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することのために用いられ、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
任意選択的に、１つの実施例として、現在画像ブロックは１つの符号化ユニットＣＵである。
任意選択的に、１つの実施例として、確定ユニット９２０は、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像中に現在画像ブロックの関連ブロックを確定するために用いられる。
任意選択的に、１つの実施例として、近傍ブロックは現在画像上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、１つの実施例として、符号化／復号ユニット９３０は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄するために用いられる。
任意選択的に、１つの実施例として、確定ユニット９２０は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、１つの実施例として、処理後の関連ブロックの動きベクトルは、数値が１の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
なお、本実施例における取得ユニット９１０、確定ユニット９２０と符号化／復号ユニット９３０はいずれもプロセッサによって実現できる。
図１０に示すように、本出願の実施例はさらに、動画像処理装置１０００を提供する。該装置１０００は図８に示される方法の実施例を実行するために用いられる。該装置１０００は以下のユニットを含む。
取得ユニット１０１０であって、現在画像ブロックのＭ個の近傍ブロックを取得するために用いられる。
確定ユニット１０２０であって、Ｍ個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定するために用いられる。
分割ユニット１０３０であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは６４以上の画素に固定される。
確定ユニット１０２０はさらに、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定するために用いられる。
符号化／復号ユニット１０４０であって、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化／復号するために用いられる。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを６４以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、１つの実施例として、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも８×８画素に固定される。
現在、次世代の動画像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）において、８×８のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを８×８に設定し、動画像標準規格ＶＶＣで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズが６４画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズはＡ×Ｂ、Ａ≦６４、Ｂ≦６４であり、ＡとＢはともに４の整数である。例えば、サブ画像ブロックのサイズおよび／またはサブ画像ブロックの関連ブロックのサイズは４×１６画素、または１６×４画素である。
任意選択的に、１つの実施例として、Ｍ個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、少なくとも一部の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
任意選択的に、１つの実施例として、確定ユニット１０２０は、１つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
任意選択的に、１つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることでである。
任意選択的に、１つの実施例として、確定ユニット１０２０は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられ、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
なお、本実施例における取得ユニット１０１０、確定ユニット１０２０、分割ユニット１０３０と符号化／復号ユニット１０４０はいずれもプロセッサによって実現できる。
図１１に示すように、本出願の実施例はさらに、動画像処理装置１１００を提供する。装置１１００は以上で説明される方法の実施例を実行するために用いてもよい。装置１１００はプロセッサ１１１０、メモリ１１２０を含み、メモリ１１２０は命令を記憶するために用いられ、プロセッサ１１１０はメモリ１１２０に記憶された命令を実行し、かつ、メモリ１１２０に記憶された命令の実行によってプロセッサ１１１０に上記の方法の実施例による方法を実行させるために用いられる。
任意選択的に、図１１に示すように、該装置１１００は、外部装置と通信するための通信インターフェース１１３０を含むことができる。例えば、プロセッサ１１１０は、信号の受信および／または送信を行うように通信インターフェース１１３０を制御するために用いられる。
本出願で提供される装置５００、６００、９００、１０００および１１００はコーダに応用されてもよく、デコーダに応用されてもよい。
以上の記載は、動きベクトル第２候補リストを説明したが、以下、動きベクトル第１候補リストについて説明する。
動き補償予測段階において、従来、主流となる動画像符号化規格には並進動きモデルのみが応用されている。現実世界では、拡大／縮小、回転、遠景動き、その他の不規則な動きなど、さまざまな動き形態がある。フレーム間予測の効率を高めるために、符号化および復号技術にアフィン変換（ａｆｆｉｎｅ）動き補償モデルを導入することができる。アフィン変換動き補償は１組のコントロールポイント（ｃｏｎｔｒｏｌ ｐｏｉｎｔ）のＭＶにより画像ブロックのアフィン動きフィールドを説明する。一例において、アフィン変換動き補償モデルに用いたのは４パラメータＡｆｆｉｎｅモデルであり、この場合、該組のコントロールポイントは２つのコントロールポイント（例えば、画像ブロックの左上隅のポイントと右上隅のポイント）を含む。一例において、アフィン変換動き補償モデルに用いたのは６パラメータＡｆｆｉｎｅモデルであり、この該組のコントロールポイントは３つのコントロールポイント（例えば、画像ブロックの左上隅のポイント、右上隅のポイントと左下隅のポイント）を含む。
一実施形態において、動きベクトルの第１候補リストを構築する時、入れられる候補は１組のコントロールポイントのＭＶであってもよく、またはコントロールポイント予測動きベクトル（ＣＰＭＶＰ、Ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）と称される。任意選択的に、動きベクトルの第１候補リストはＭｅｒｇｅモードに用いられてよく、具体的に、Ａｆｆｉｎｅ Ｍｅｒｇｅモードと称されてよく、対応的に、該動きベクトルの第１候補リストはａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔと称されてよい。Ａｆｆｉｎｅ Ｍｅｒｇｅモードにおいて、直接的に動きベクトルの第１候補リスト中の予測を用いて現在画像ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）とし、すなわち、ａｆｆｉｎｅ動き推定プロセスを行う必要はない。
一実施形態において、ＡＴＭＶＰ技術に基づいて確定された候補を動きベクトルの第１候補リストに入れることができる。
ここでは、一例において、現在画像ブロックの関連ブロックのコントロールポイントの動きベクトル群を候補として動きベクトルの第１候補リストに入れる。動きベクトルの第１リスト中の該候補を用いて予測する時、現在画像ブロックの関連ブロックのコントロールポイントの動きベクトル群に基づいて該現在画像ブロックを予測する。
ここでは、一例において、上記に示すように、現在の画像ブロックの関連ブロックの代表動きベクトルを候補として動きベクトルの第１候補リストに入れる。さらに、任意選択的に、該候補をＡＴＭＶＰ技術に基づいて確定されたものとマークする。動きベクトル第１候補リスト中の該候補を用いて予測する時、該マークと候補に基づき現在画像ブロックの関連ブロックを確定し、現在画像ブロックと該関連ブロックを同じ方式で複数のサブ画像ブロックに分割し、現在画像ブロック中の各サブ画像ブロックは前記関連ブロック中の各サブ画像ブロックと１対１に対応させ、該関連ブロック中の各サブ画像ブロックの動きベクトルに基づき現在画像ブロック中の対応するサブ画像ブロックの動きベクトルをそれぞれ予測する。
ここでは、任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出た時、該関連ブロックの代表動きベクトルで該取得不可な動きベクトルを代替し、現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックの代表動きベクトルがすべて取得不可な場合、ＡＴＭＶＰ技術に基づいて確定された候補を該動きベクトル第２候補リストに入れることを放棄する。一例において、関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する。
ここでは、任意選択的に、動きベクトルの第１候補リスト中の各候補は１組のコントロールポイントの動きベクトルを含み、現在画像ブロックの関連ブロックの代表動きベクトルを動きベクトルの第１候補リストに入れる時、データフォーマットの一貫性を保証するために、該関連ブロックの代表動きベクトルを候補中のそれぞれのコントロールポイントの動きベクトルとして挿入してもよい（つまり、該候補中の各コントロールポイントの動きベクトルはすべて該関連ブロックの代表動きベクトルに割り当てられる）。
ここでは、任意選択的に、現在画像ブロックの関連ブロックの代表動きベクトルとは、該関連ブロックの中央位置の動きベクトルを指してもよく、または他の該関連ブロックを代表する動きベクトルを指してもよく、ここでは限定しない。
上記の動きベクトル第２候補リストについての説明から分かるように、ＡＴＭＶＰ技術に基づいて候補を確定する時、現在画像ブロックの関連ブロックを確定する必要がある。本解決策において、ＡＴＭＶＰ技術に基づいて動きベクトル第１候補リストに入れられる候補を確定する時、現在画像ブロックの関連ブロックを確定する方法には、
現在画像ブロックの予め設定されたＭ個の近傍ブロック中のＮ個の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定し、ＮはＭより小さく、Ｍは４以下であり、前記対象近傍ブロックの動きベクトル、前記現在の画像ブロックおよび前記現在の画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定する方法１と、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づいて現在画像ブロックのＭ個の近傍ブロックを確定し、該Ｍ個の近傍ブロック中のＮ個の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定し、ＮはＭより小さく、Ｍは４以下であり、該対象近傍ブロックの動きベクトル、現在の画像ブロックおよび現在の画像ブロックの参照画像に基づいて、前記現在の画像ブロックの関連ブロックを確定する方法２とが含まれる。ここでは、動きベクトル第２候補リスト中のＭ個の候補とは、現在画像ブロックのＭ個の近傍ブロックを指してもよい。
ここでは、方法１と方法２における「走査結果に基づいて対象近傍ブロックを確定する」、および「前記対象近傍ブロックの動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定する」という２つのステップについての説明は、上記の説明を参照してよく、ここでは、再び説明しない。
一実施形態において、動きベクトルの第１候補リストに入れる候補を確定する方法は、現在の画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイントの動きベクトル群を確定し、それぞれの確定された近傍ブロックのコントロールポイントの動きベクトル群を１つの候補として動きベクトルの第１候補リストに入れることを含む。
ここでは、一例において、アフィン変換モードで予測する近傍ブロックとは、該近傍ブロックの動きベクトルがａｆｆｉｎｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ中の候補に基づいて確定されたものであることを指す。すなわち、候補は現在画像ブロックのａｆｆｉｎｅモードを用いた空間領域近傍ブロックのａｆｆｉｎｅ動きモデルからのものであり、すなわち、ａｆｆｉｎｅモードを用いた空間領域近傍ブロックのＣＰＭＶを現在ブロックのＣＰＭＶＰとする。
ここでは、一例において、コントロールポイントの動きベクトル群は該近傍ブロックの２つのコントロールポイントの動きベクトル（例えば、該近傍ブロックの左上隅のポイントと右上隅のポイント）を含んでもよく、または該近傍ブロックの３つのコントロールポイントの動きベクトル（例えば、画像ブロックの左上隅のポイント、右上隅のポイントと左下隅のポイント）を含んでもよく、これは４パラメータＡｆｆｉｎｅモデルを用いたか、６パラメータＡｆｆｉｎｅモデルを用いたかに依存する。
ここでは、一例において、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイントの動きベクトル群を確定することは、
前記現在の画像ブロックの左側近傍ブロックにおいて第１走査順に応じて第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む。
例えば、図１２に示すように、図１２は現在画像ブロックの近傍ブロックによって動きベクトル第１候補リストの候補を取得する概略図である。現在画像ブロックの左側において、画像ブロックＡ－＞画像ブロックＤ－＞画像ブロックＥの走査順に応じて順次走査し、１つ目の事前設定条件を満たす第１の画像ブロックのコントロールポイントの動きベクトル群を１つの候補として動きベクトルの第１候補リストに入れる。現在画像ブロックの上側において、画像ブロックＢ－＞画像ブロックＣの走査順に応じて順次走査し、１つめのプリセット条件を満たす第１の画像ブロックのコントロールポイントの動きベクトル群を１つの候補として動きベクトルの第１候補リストに入れる。任意選択的に、該走査順で、該閾値条件を満たす画像ブロックを見つけなければ、該走査順で候補を確定することを放棄する。
一実施形態において、動きベクトル第１候補リストに入れる候補を確定する方法は、
前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第１候補リストに入れることと、を含む。
つまり、このような実施形態において、候補を構築することによって動きベクトルの第１候補リストに入れることである。一例において、候補を構築することによって動きベクトルの第１候補リストに入れる前、まず動きベクトルの第１候補リスト中の候補の数が既にプリセット数値（例えば、５）に達したか否かを判断し、プリセット数値に達していない場合、候補を構築することによって動きベクトルの第１候補リストに入れる。
一例において、構築される候補は現在画像ブロックの一部のコントロールポイントの近傍ブロックの動き情報を組み合せた後にＣＰＭＶＰとして動きベクトルの第１候補リストに入れる。
図１３に示すように、図１３は現在画像ブロックの近傍ブロックによって動きベクトルの第１候補リストの候補を構築する概略図である。現在画像ブロックは全部で４つのコントロールポイントがあり、それぞれＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４である。ここでは、画像ブロックＡ０とＡ１はＣＰ１の空間領域近傍ブロックであり、画像ブロックＡ２、Ｂ２とＢ３はＣＰ２の空間領域近傍ブロックであり、画像ブロックＢ０とＢ１はＣＰ２の空間領域近傍ブロックであり、ＴはＣＰ４の時間領域近傍ブロックである。コントロールポイントＣＰ１、ＣＰ２、ＣＰ３とＣＰ４の座標は、それぞれ（０，０）、（Ｗ，０）、（Ｈ，０）と（Ｗ，Ｈ）、ＷとＨはそれぞれ現在ＣＵの幅と高を示す。各コントロールポイントの近傍ブロックの動き情報を取得する優先順位は、
ＣＰ１に対し、取得の優先順位は、Ｂ２－＞Ｂ３－＞Ａ２である。Ｂ２が利用可能な場合、Ｂ２のＭＶを用いてコントロールポイントＣＰ１のＭＶとし、Ｂ２が利用不可なば場合、Ｂ３のＭＶを用いてコントロールポイントＣＰ１のＭＶとし、Ｂ２とＢ３がすべて利用不可な場合、Ａ１のＭＶを用いてコントロールポイントＣＰ１のＭＶとし、Ｂ２、Ｂ３とＡ１がすべて利用不可な場合、コントロールポイントＣＰ１の動き情報が得られない。
同様に、ＣＰ２に対し、取得の優先順位は、Ｂ１－＞Ｂ０であり、ＣＰ３に対し、取得の優先順位は、Ａ１－＞Ａ０であり、ＣＰ４に対し、直接的にＴのＭＶを用いてコントロールポイントＣＰ４のＭＶとする。
現在ＣＵのコントロールポイント（６パラメータモデル：ＣＰ０、ＣＰ１とＣＰ２、４パラメータモデル：ＣＰ０とＣＰ１）のＭＶがすべて利用可能になってからはじめて、構築されたＭＶを挿入し、そうでなければ直接的に次のステップに入る。すべてのコントロールポイントのＭＶ（存在する場合）を得た後、コントロールポイントのＭＶに対する異なる組み合わせを行い、複数のａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓを得ることができ、組み合わせ方式は、
４パラメータａｆｆｉｎｅモデルを用いる場合、４つのコントロールポイントのＭＶのうちの２つを組み合わせると、１つまたは複数の候補を得ることができ、その中の２つの組み合わせ方式、つまり｛ＣＰ１、ＣＰ２｝、｛ＣＰ１、ＣＰ３｝を選択する。ここでは、組み合わせ方式｛ＣＰ１、ＣＰ３｝では、４パラメータモデルに基づいて、選択された２つのコントロールポイントのＭＶを現在ＣＵの左上隅と右上隅のコントロールポイントのＭＶ（ＣＰ１とＣＰ２）に変換する必要がある。
６パラメータａｆｆｉｎｅモデルを用いる場合、４つのコントロールポイントのＭＶのうちの３つを組み合わせると、１つまたは複数の候補を得ることができ、４つの組み合わせ方式、｛ＣＰ１、ＣＰ２、ＣＰ４｝、｛ＣＰ１，ＣＰ２、ＣＰ３｝、｛ＣＰ２、ＣＰ３、ＣＰ４｝、｛ＣＰ１、ＣＰ３、ＣＰ４｝を選択する。ここでは、組み合わせ方式｛ＣＰ１、ＣＰ２、ＣＰ３｝、｛ＣＰ２、ＣＰ３、ＣＰ４｝、｛ＣＰ１、ＣＰ３、ＣＰ４｝では６パラメータモデルに基づいて、選択された３つのコントロールポイントのＭＶを現在ＣＵの左上隅、右上隅と左下隅のコントロールポイントのＭＶ（ＣＰ１、ＣＰ２とＣＰ３）に変換する必要がある
一例において、異なる組み合わせのＭＶ（２個または３個）に使用される参照フレームが異なれば、該組み合わせによって構築された候補が使用不可であると考えられる。
一実施形態において、動きベクトルの第１候補リストに入れる候補を確定する方法は、デフォルトベクトルを用いて取り込むことを含む。任意選択的に、該デフォルトベクトルはゼロベクトルまたは他のベクトルであってもよい。任意選択的に、他の方法で動きベクトルの第１候補リストに入れる候補を確定した後、現在既に該第１候補リストに入れられた候補の数が既にプリセット数値に達したか否かを判断し、達していない場合、第１候補リスト中の候補の数がプリセット数値に達するまで、デフォルトベクトルを用いて第１候補リストに取り込む。
動きベクトルの第１候補リスト中の候補を用いて現在画像ブロックを予測する時、用いた候補はＡＴＭＶＰ技術によって確定された候補以外の少なくとも１つの候補である場合、アフィン動きモデルにより該候補に基づいて現在画像ブロック中のサブ画像ブロックの動きベクトルを導出する。用いた候補はＡＴＭＶＰ技術によって確定された候補である場合、上記の説明に基づいて、関連ブロックの中の各サブ画像ブロックの動きベクトルに基づいて現在画像ブロック中の各サブ画像ブロックの参照ブロックを確定し、各サブ画像ブロックの参照ブロックを現在画像ブロックの参照ブロックにつなぎ合わせ、該参照ブロックに基づいて現在画像ブロックの残差を算出する。
以下、図１４と図１５に関連して本出願の実施例で提供される動画像処理方法について例をあげて説明する。図１４に示すように、該方法は以下のステップを含む。
Ｓ１４１０、現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、ＮはＭより小さい。任意選択的に、Ｍは４以下である。
Ｓ１４２０、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定する。
Ｓ１４３０、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させる。
Ｓ１４４０、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測する。
図１４に示される動画像処理方法の説明は以上の記載に参照することができ、ここでは説明しない。
図１５に示すように、該方法は以下のステップを含む。
Ｓ１５１０、現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定する。
Ｓ１５２０、前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、ＮはＭより小さい。任意選択的に、Ｍは４以下である。
Ｓ１５３０、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定する。
Ｓ１５４０、前記現在画像ブロックの関連ブロックに基づき、前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定する。ここでは、該特定候補は以上の記載で言及されているＡＴＭＶＰ技術によって確定された候補であってもよい。
Ｓ１５５０、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させる。
Ｓ１５６０、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測する。
図１５に示される動画像処理方法の説明は以上の記載に参照することができ、ここでは説明しない。
図１６は本出願の実施例によって提供される動画像処理装置１６００の概略的ブロック図である。該装置１６００は図１４に示される方法の実施例を実行するために用いられる。該装置１６００は以下のユニットを含む。
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＮ（ＮはＭより小さい）個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定し、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと１対１に対応させるために用いられる構築モジュール１６１０と、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュール１６２０とを含む。
一例において、Ｎは１または２に等しい。
一例において、予測モジュールはさらに、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測する前に前記関連ブロックの代表動きベクトルを候補として動きベクトル第１候補リストに入れ、
前記候補を採用すると確定した場合、前記予測モジュールは前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる。
一例において、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む。
一例において、前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる。
一例において、前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む。
一例において、予測モジュールはさらに、前記関連ブロック中に取得不可な動きベクトルのサブ画像ブロックが出た時、前記関連ブロックの代表動きベクトルを前記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中に取得不可な動きベクトルのサブ画像ブロックが出て、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中対応するサブ画像ブロックを予測することを放棄するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる時、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる。
一例において、構築モジュールはさらに、他の候補を確定し、前記他候補を前記動きベクトル第１候補リストに入れるために用いられ、ここでは、前記他の候補中の少なくとも１つの候補はサブ画像ブロックの動きベクトルを含む。
一例において、構築モジュールはさらに、前記他の候補のうちの１つの候補を採用することを確定する場合、前記採用した候補に基づき前記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定するために用いられる。
一例において、前記少なくとも１つの候補は一組のコントロールポイントの動きベクトルを含む。
一例において、予測モジュールはさらに、
前記少なくとも１つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行うことと、
前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる。
一例において、前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む。
一例において、構築モジュールはさらに、前記現在画像ブロックの近傍ブロックから、特定の走査順でアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れることとのために用いられる。
一例において、前記の前記現在画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することは、
前記現在画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む。
一例において、構築モジュールはさらに、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第１候補リストに入れることとのために用いられる。
一例において、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することは、
前記一部のコントロールポイントにおける各コントロールポイントに対し、第三走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む。
一例において、構築モジュールはさらに、
前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる。
一例において、前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい場合、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄する。
一例において、構築モジュールはさらに、
動きベクトル第２候補リストを構築し、ここでは、前記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる。
一例において、前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む。
一例において、前記構築動きベクトル第２候補リストは、
前記現在画像ブロックの現在画像上での複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを含む。
一例において、前記現在画像ブロックの現在画像上での複数の近傍ブロックは前記予め設定されたＭ個の近傍ブロックを含む。
一例において、構築モジュールはさらに、
予め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れるために用いられる。
前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
一例において、構築モジュールはさらに、
前記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる。
一例において、前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
一例において、前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む。
一例において、前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む。
一例において、構築モジュールはさらに、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、予測モジュールは前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる。
一例において、前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む。
一例において、前記特定近傍ブロックは、前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
一例において、前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、
前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることを含む。
一例において、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、ディフォルトブロックを前記現在画像ブロックの参照ブロックとする。
一例において、前記ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される。
一例において、前記現在画像ブロックは１つの符号化ユニットＣＵである。
一例において、前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む。
一例において、前記近傍ブロックは、前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含む。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む。
一例において、構築モジュールはさらに、
前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、Ｍは４以下である。
図１７は本出願の実施例によって提供される動画像処理装置１７００の概略的ブロック図である。該装置１７００は図１５に示される方法の実施例を実行するために用いられる。該装置１７００は以下のユニットを含む。
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、前記現在画像ブロックのＭ個の近傍ブロックを確定し、前記Ｍ個の近傍ブロックのうちＮ（ＮはＭより小さい）個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定し、前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定し、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックと１対１に対応させるために用いられる構築モジュール１７１０と、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュール１７２０とを含む。
一例において、前記動きベクトル第１候補リストの少なくとも１つの候補がサブ画像ブロックの動きベクトルを含み、前記動きベクトル第２候補リストの各候補が画像ブロックの動きベクトルを含む。
一例において、Ｎは１または２に等しい。
一例において、前記Ｍ個の候補は前記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルを含む。
一例において、前記の前記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
前記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
一例において、前記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
前記１つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む。
一例において、前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む。
一例において、構築モジュールはさらに、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、予測モジュールは前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる。
一例において、前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む。
一例において、前記特定近傍ブロックは、前記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目近傍ブロックまたは最後の近傍ブロックである。
一例において、前記の前記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、
前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることを含む。
一例において、前記Ｎ個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、ディフォルトブロックを前記現在画像ブロックの参照ブロックとする。
一例において、前記ディフォルトブロックは動きベクトル（０，０）が指す画像ブロックである。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される。
一例において、前記サブ画像ブロックのサイズおよび／または前記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される。
一例において、前記現在画像ブロックは１つの符号化ユニットＣＵである。
一例において、前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む。
一例において、前記近傍ブロックは、前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含む。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む。
一例において、構築モジュールはさらに、前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が１の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
一例において、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む。
一例において、前記の前記現在画像ブロックの関連ブロックに基づき、前記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することは、
前記現在画像ブロックの関連ブロックの代表動きベクトルを前記特定候補として前記動きベクトル第１候補リストに入れることを含む。
一例において、前記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる。
一例において、前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む。
一例において、予測モジュールはさらに、前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た時、前記関連ブロックの代表動きベクトルを前記取得不可な動きベクトルのサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中対応するサブ画像ブロックを予測することを放棄するために用いられる。
一例において、予測モジュールはさらに、前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる時、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる。
一例において、予測モジュールはさらに、前記動きベクトル第２候補リスト中の前記特定候補以外のそのうちの１つの候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行い、
前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる。
一例において、前記動きベクトル第２候補リスト中の前記特定候補以外の少なくとも１つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む。
一例において、前記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
前記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、前記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む。
一例において、予測モジュールはさらに、前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定し、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として前記動きベクトル第１候補リストに入れるために用いられる。
一例において、前記の前記現在画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することは、
前記現在画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第１近傍ブロックのコントロールポイントの動きベクトル群と前記第２近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第１候補リストに入れることと、を含む。
一例において、構築モジュールはさらに、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第１候補リストに入れることとのために用いられる。
一例において、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することは、
前記一部のコントロールポイントにおける各コントロールポイントに対し、第三走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む。
一例において、構築モジュールはさらに以、前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す場合、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる。
一例において、構築モジュールはさらに、前記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第１候補リストに入れることを放棄するために用いられる。
一例において、構築モジュールはさらに、動きベクトル第２候補リストを構築すし、ここでは、前記動きベクトル第２候補リストに入れられる候補は１つの画像ブロックの動きベクトルであり、
前記動きベクトル第２候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる。
一例において、前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む。
一例において、前記構築動きベクトル第２候補リストは、
前記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる前記Ｍ個の候補を確定することを含む。
一例において、構築モジュールはさらに、め設定された順で順に前記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、前記動きベクトル第２候補リストに入れるために用いられ、
前記Ｎ個の近傍ブロックとは、前記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す。
一例において、構築モジュールはさらに、前記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記１つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる。
一例において、Ｍは４以下である。
本出願の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、コンピュータプログラムがコンピュータに実行されるときコンピュータに上記方法の実施例で提供される方法を実行させる。
本出願の実施例は命令を含むコンピュータプログラム製品をさらに提供し、該指令がコンピュータにより実行される時、コンピュータに上記方法の実施例で提供される方法を実行させる。
上記実施例において、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせにより全部又は一部で実施することができる。ソフトウェアで実現する場合、コンピュータプログラム製品の形で全部或いは一部で実現することができる。前記コンピュータプログラム製品は１つのまたは複数のコンピュータ命令を含む。コンピュータに前記コンピュータ命令をアップロードして実行すると、本出願の実施例による前記プロセス又は機能の全部又は一部が生成される。前記コンピュータは汎用コンピュータ、特殊用途コンピュータ、コンピュータネットワーク、または他プログラマブル装置であってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、あるいは、あるコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、前記コンピュータ命令は、あるウェブサイト、コンピュータ、サーバ、またはデータセンタから有線（例えば、同軸ケーブル、光ファイバ、デジタル（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ，ＤＳＬ）または無線（例えば、赤外線、無線、マイクロ波など）の方式で別のサイト、コンピュータ、サーバ、またはデータセンタに送信されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体であってもよいし、１つまたは複数の利用可能な媒体が統合されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は磁気媒体（例えば、フロッピーディスク、ハードディスク、テープ）、光媒体（例えばデジタル・ビデオ・ディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ））、または半導体媒体（例えば、ソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ））などであってもよい。
当業者であれば、本明細書に開示された実施例に関連して記載された各例のユニットおよびアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現可能であることを認識することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的解決策の特定応用と設計制約に依存する。当業者は、特定応用ごとに異なる方法を使用して、説明されている機能を実現できるが、その実現は本出願の範囲外とは見なすべきではない。
本明細書で提供されるいくつかの実施例では、開示されたシステム、装置、および方法は、他の方法で実現可能であることを理解されたい。例えば、以上に記述された装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は、論理的機能区分であるに過ぎず、実際に実現する際には他の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合してもよいか、もしくは、他のシステムに一体化してもよく、または、いくつかの特徴は無視してもよく、または実行しなくてもよい。そして、表示又は検討した相互結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
前記分離部材として説明したユニットは、物理的に分離しても物理的に分離しなくてもよく、ユニットとして表す部材は、物理ユニットであっても物理ユニットではなくてもよく、すなわち一つの場所に位置してもよいか、又は複数のネットワークユニットに分布してもよい。実際の需要に応じて、そのうちの一部又は全部のユニットを選択して本実施例の解決手段の目的を実現することができる。
また、本明細書の各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよいし、各ユニットが個別に物理的に存在してもよいし、２つ以上のユニットが１つのユニットに集積されてもよい。
以上のように、本出願の発明を実施するための形態にすぎず、本出願の保護範囲は、これに限定されるものではなく、当業者であれば、本出願において開示されている技術範囲内において、容易に変更又は交換を行うことができるものであれば、本出願の保護範囲内に含まれるものである。したがって、本出願の保護範囲は、特許請求の範囲に準じるものとする。
［項目１］
動画像処理方法であって、
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうち、Ｍよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、
上記現在画像ブロックと上記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロック中の各サブ画像ブロックと１対１に対応させることと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することとを含む、動画像処理方法。
［項目２］
Ｎは１または２に等しい、項目１に記載の方法。
［項目３］
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測する前に、
上記関連ブロックの代表動きベクトルを候補として動きベクトル第１候補リストに入れることと、
上記候補を採用すると確定した場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することとをさらに含むことを特徴する項目１または２に記載の方法。
［項目４］
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、項目３に記載の方法。
［項目５］
上記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、項目３に記載の方法。
［項目６］
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目３に記載の方法。
［項目７］
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測することをさらに含む、項目３に記載の方法。
［項目８］
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可な場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを放棄することをさらに含む、項目７に記載の方法。
［項目９］
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する、項目８に記載の方法。
［項目１０］
上記方法は、
他の候補を確定し、上記他の候補を上記動きベクトル第１候補リストに入れることをさらに含み、上記他の候補中の少なくとも１つの候補はサブ画像ブロックの動きベクトルを含む、項目３に記載の方法。
［項目１１］
上記方法は、
上記他の候補のうちの１つの候補を採用することを確定した場合、上記採用した候補に基づき上記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定することをさらに含む、項目１０に記載の方法。
［項目１２］
上記少なくとも１つの候補は一組のコントロールポイントの動きベクトルを含む、項目１０または１１に記載の方法。
［項目１３］
上記方法は、
上記少なくとも１つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとをさらに含む、項目１０～１２のいずれか一項に記載の方法。
［項目１４］
上記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、項目１３に記載の方法。
［項目１５］
上記方法は、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として上記動きベクトル第１候補リストに入れることとをさらに含む、項目３～１４のいずれか一項に記載の方法。
［項目１６］
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第１近傍ブロックのコントロールポイントの動きベクトル群と上記第２近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第１候補リストに入れることと、を含む、項目１５に記載の方法。
［項目１７］
上記方法は、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることとをさらに含む、項目３～１４のいずれか一項に記載の方法。
［項目１８］
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目１７に記載の方法。
［項目１９］
上記方法は、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄することをさらに含む、項目１７または１８に記載の方法。
［項目２０］
上記方法は、
上記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄することをさらに含む、項目１７または１８に記載の方法。
［項目２１］
上記方法は、
動きベクトル第２候補リストを構築し、上記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
上記動きベクトル第２候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することをさらに含む、項目３～１５のいずれか一項に記載方法。
［項目２２］
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目２１に記載の方法。
［項目２３］
上記の動きベクトル第２候補リストを構築することは、
上記現在画像ブロックの現在画像での複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる候補を確定することを含む、項目２１に記載の方法。
［項目２４］
上記現在画像ブロックの現在画像での複数の近傍ブロックは上記予め設定されたＭ個の近傍ブロックを含む、項目２３に記載の方法。
［項目２５］
予め設定された順で順に上記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、上記動きベクトル第２候補リストに入れ、
上記Ｎ個の近傍ブロックとは、上記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す、項目２４に記載の方法。
［項目２６］
上記方法は、
上記Ｍ個の近傍ブロックのうちの１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記１つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる候補を確定することを放棄することをさらに含む、項目２４に記載の方法。
［項目２７］
上記の上記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、項目１または２６に記載の方法。
［項目２８］
上記の上記走査した上記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記１つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目１９に記載の方法。
［項目２９］
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目１９または２８に記載の方法。
［項目３０］
上記方法は、
上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することをさらに含む、項目２７～２９のいずれか一項に記載の方法。
［項目３１］
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目３０に記載の方法。
［項目３２］
上記特定近傍ブロックは上記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、項目３０に記載の方法。
［項目３３］
上記の上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行って、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにすることと、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることとを含む、項目３０に記載の方法。
［項目３４］
上記方法は、
上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとすることをさらに含む、項目２７～３０のいずれか一項に記載の方法。
［項目３５］
上記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、項目３４に記載の方法。
［項目３６］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、項目１～３５のいずれか一項に記載の方法。
［項目３７］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、項目３６に記載の方法。
［項目３８］
現在画像ブロックは１つの符号化ユニットＣＵである、項目１～３７のいずれか一項に記載の方法。
［項目３９］
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目１～３８のいずれか一項に記載方法。
［項目４０］
上記近傍ブロックは上記現在画像において上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目１～３９のいずれか一項に記載の方法。
［項目４１］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目１～４０のいずれか一項に記載の方法。
［項目４２］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目４１に記載の方法。
［項目４３］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である場合、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目１～４０のいずれか一項に記載の方法。
［項目４４］
上記方法は、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することをさらに含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目１～４３のいずれか一項に記載の方法。
［項目４５］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目４４に記載の方法。
［項目４６］
Ｍは４以下である、項目１～４５のいずれか一項に記載の方法。
［項目４７］
動画像処理方法であって、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、上記現在画像ブロックのＭ個の近傍ブロックを確定することと、
上記Ｍ個の近傍ブロックのうち、Ｍより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、
上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、
上記特定候補を用いることを確定した場合、上記現在画像ブロックと上記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロックの各サブ画像ブロックに１対１に対応させることと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む、動画像処理方法。
［項目４８］
上記動きベクトル第１候補リストの少なくとも１つの候補がサブ画像ブロックの動きベクトルを含み、上記動きベクトル第２候補リストの各候補が画像ブロックの動きベクトルを含む、項目４７に記載の方法。
［項目４９］
Ｎは１または２に等しい、項目４７または４８に記載の方法。
［項目５０］
上記Ｍ個の候補は上記現在画像ブロックの現在画像でのＭ個の近傍ブロックの動きベクトルを含む、項目４７～４９のいずれか一項に記載の方法。
［項目５１］
上記の上記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、項目５０に記載の方法。
［項目５２］
上記の上記走査した上記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記１つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目５０に記載の方法。
［項目５３］
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目５１または５２に記載の方法。
［項目５４］
上記方法は、
上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない時、上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することをさらに含む、項目５１～５３のいずれか一項に記載の方法。
［項目５５］
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目５４に記載の方法。
［項目５６］
上記特定近傍ブロックは上記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、項目５４に記載の方法。
［項目５７］
上記の上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行って、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにすることと、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることとを含む、項目５４に記載の方法。
［項目５８］
上記方法は、
上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとすることをさらに含む、項目５１～５３のいずれか一項に記載の方法。
［項目５９］
上記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、項目５８に記載の方法。
［項目６０］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、項目４７～５９のいずれか一項に記載の方法。
［項目６１］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、項目６０に記載の方法。
［項目６２］
上記現在画像ブロックは１つの符号化ユニットＣＵである、項目４７～６１のいずれか一項に記載の方法。
［項目６３］
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目４７～６２のいずれか一項に記載方法。
［項目６４］
上記近傍ブロックは上記現在画像上で上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目４７～６３のいずれか一項に記載の方法。
［項目６５］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目４７～６４のいずれか一項に記載の方法。
［項目６６］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目６５に記載の方法。
［項目６７］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目４７～６４のいずれか一項に記載の方法。
［項目６８］
上記方法は、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することをさらに含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目４７～６７のいずれか一項に記載の方法。
［項目６９］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目６８に記載の方法。
［項目７０］
上記の上記関連ブロック中における各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む、項目４７～６９のいずれか一項に記載の方法。
［項目７１］
上記の上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することは、
上記現在画像ブロックの関連ブロックの代表動きベクトルを上記特定候補として上記動きベクトル第１候補リストに入れることを含む、項目４７～６９のいずれか一項に記載の方法。
［項目７２］
上記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、項目７１に記載の方法。
［項目７３］
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目７１に記載の方法。
［項目７４］
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測することをさらに含む、項目７１に記載の方法。
［項目７５］
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可である場合、上記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄することをさらに含む、項目７４に記載の方法。
［項目７６］
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する、項目７４に記載の方法。
［項目７７］
上記方法は、
上記動きベクトル第２候補リスト中の上記特定候補以外のそのうちの１つの候補を採用することを確定する場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとをさらに含む、項目４７～７６のいずれか一項に記載方法。
［項目７８］
上記動きベクトル第２候補リスト中の上記特定候補以外の少なくとも１つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む、項目７７に記載の方法。
［項目７９］
上記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、項目７８に記載の方法。
［項目８０］
上記方法は、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として上記動きベクトル第１候補リストに入れることとをさらに含む、項目４７～７９のいずれか一項に記載の方法。
［項目８１］
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第１近傍ブロックのコントロールポイントの動きベクトル群と上記第２近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第１候補リストに入れることと、を含む、項目８０に記載の方法。
［項目８２］
上記方法は、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることをさらに含む、項目４７～８１のいずれか一項に記載の方法。
［項目８３］
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目８２に記載の方法。
［項目８４］
上記方法は、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄することをさらに含む、項目８２または８３に記載の方法。
［項目８５］
上記方法は、
上記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄することをさらに含む、項目８２または８３に記載の方法。
［項目８６］
上記方法は、
動きベクトル第２候補リストを構築し、ここでは、上記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
上記動きベクトル第２候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することをさらに含む、項目４９～６１に記載の方法。
［項目８７］
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目８６に記載の方法。
［項目８８］
上記の動きベクトル第２候補リストを構築することは、
上記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる上記Ｍ個の候補を確定することを含む、項目８６に記載の方法。
［項目８９］
予め設定された順で順に上記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、上記動きベクトル第２候補リストに入れ、上記Ｎ個の近傍ブロックとは、上記予め設定された順で最初に確定されたＮ個の近傍ブロックを指すこと、
および／または
上記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記１つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる候補を確定することを放棄する、項目８８に記載の方法。
［項目９０］
Ｍは４以下である、項目４７～８９のいずれか一項に記載の方法。
［項目９１］
動画像処理装置であって、
現在画像ブロックの予め設定されたＭ個の近傍ブロックのうちＭよりも小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、上記現在画像ブロックと上記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロック中の各サブ画像ブロックと１対１に対応させることとのために用いられる構築モジュールと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む、動画像処理装置。
［項目９２］
Ｎは１または２に等しい、項目９１に記載の動画像処理装置。
［項目９３］
上記予測モジュールはさらに、
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測する前に上記関連ブロックの代表動きベクトルを候補として動きベクトル第１候補リストに入れ、
上記候補を採用すると確定した場合、上記予測モジュールは上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる、項目９１または９２に記載の動画像処理装置。
［項目９４］
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、項目９３に記載の動画像処理装置。
［項目９５］
上記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、項目９３に記載の動画像処理装置。
［項目９６］
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目９３に記載の動画像処理装置。
［項目９７］
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる、項目９３に記載の動画像処理装置。
［項目９８］
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可である場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄するために用いられる、項目９７に記載の動画像処理装置。
［項目９９］
上記予測モジュールはさらに、
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる、項目９８に記載の動画像処理装置。
［項目１００］
上記構築モジュールはさらに、
他の候補を確定し、上記他候補を上記動きベクトル第１候補リストに入れるために用いられ、上記他の候補中の少なくとも１つの候補はサブ画像ブロックの動きベクトルをさらに含む、項目９３に記載の動画像処理装置。
［項目１０１］
上記構築モジュールはさらに、
上記他の候補のうちの１つの候補を採用することを確定する場合、上記採用した候補に基づき上記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定するために用いられる、項目１００に記載の動画像処理装置。
［項目１０２］
上記少なくとも１つの候補は一組のコントロールポイントの動きベクトルを含む、項目１００または１０１に記載の動画像処理装置。
［項目１０３］
上記予測モジュールはさらに、
上記少なくとも１つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる、項目１００～１０２のいずれか一項に記載の動画像処理装置。
［項目１０４］
上記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、項目１０３に記載の動画像処理装置。
［項目１０５］
上記構築モジュールはさらに、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として上記動きベクトル第１候補リストに入れることとのために用いられる、項目９３～１０４のいずれか一項に記載の動画像処理装置。
［項目１０６］
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第１近傍ブロックのコントロールポイントの動きベクトル群と上記第２近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第１候補リストに入れることと、を含む、項目１０５に記載の動画像処理装置。
［項目１０７］
上記構築モジュールはさらに、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることのために用いられる、項目９３～１０４のいずれか一項に記載の動画像処理装置。
［項目１０８］
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目１０７に記載の動画像処理装置。
［項目１０９］
上記構築モジュールはさらに、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄するために用いられる、項目１０７または１０８に記載の動画像処理装置。
［項目１１０］
上記構築モジュールはさらに、
上記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄するために用いられる、項目１０７または１０８のいずれか一項に記載の動画像処理装置。
［項目１１１］
上記構築モジュールはさらに、
動きベクトル第２候補リストを構築し、ここでは、上記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
上記動きベクトル第２候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定するために用いられる、項目９３～１０５のいずれか一項に記載の動画像処理装置。
［項目１１２］
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目１１１に記載の動画像処理装置。
［項目１１３］
上記構築動きベクトル第２候補リストは、
上記現在画像ブロックの現在画像上での複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる候補を確定することを含む、項目１１１に記載の動画像処理装置。
［項目１１４］
上記現在画像ブロックの現在画像上での複数の近傍ブロックは上記予め設定されたＭ個の近傍ブロックを含む、項目１１３に記載の動画像処理装置。
［項目１１５］
上記構築モジュールはさらに、
予め設定された順で順に上記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、上記動きベクトル第２候補リストに入れるために用いられ、
上記Ｎ個の近傍ブロックとは、上記予め設定された順で最初に確定されたＮ個の近傍ブロックを指す、項目１１４に記載の動画像処理装置。
［項目１１６］
上記構築モジュールはさらに、
上記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記１つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる、項目１１４に記載の動画像処理装置。
［項目１１７］
上記の上記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、項目９１または１１６に記載の動画像処理装置。
［項目１１８］
上記の上記走査した上記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記１つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目１０９に記載の動画像処理装置。
［項目１１９］
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目１０９または１１８に記載の動画像処理装置。
［項目１２０］
上記構築モジュールはさらに、
上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない時、上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、
上記予測モジュールはさらに、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測するために用いられる、項目１１７～１１９のいずれか一項に記載の動画像処理装置。
［項目１２１］
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目１２０に記載の動画像処理。
［項目１２２］
上記特定近傍ブロックは上記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、項目１２０に記載の動画像処理装置。
［項目１２３］
上記の上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにし、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることを含む、項目１２０に記載の動画像処理装置。
［項目１２４］
上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとする、項目１１７～１２０のいずれか一項に記載の動画像処理装置。
［項目１２５］
上記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、項目１２４に記載の動画像処理装置。
［項目１２６］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、項目９１～１２５のいずれか一項に記載の動画像処理装置。
［項目１２７］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、項目１２６に記載の動画像処理装置。
［項目１２８］
上記現在画像ブロックは１つの符号化ユニットＣＵである、項目９１～１２７のいずれか一項に記載の動画像処理装置。
［項目１２９］
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目９１～１２８のいずれか一項に記載の動画像処理装置。
［項目１３０］
上記近傍ブロックは上記現在画像上で上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目９１～１２９のいずれか一項に記載の動画像処理装置。
［項目１３１］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目９１～１３０のいずれか一項に記載の動画像処理装置。
［項目１３２］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目１３１に記載の動画像処理装置。
［項目１３３］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目９１～１３０のいずれか一項に記載の動画像処理装置。
［項目１３４］
上記構築モジュールはさらに、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目９１～１３３のいずれか一項に記載の動画像処理装置。
［項目１３５］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目１３４に記載の動画像処理装置。
［項目１３６］
Ｍは４以下である、項目９１～１３５のいずれか一項に記載の動画像処理装置。
［項目１３７］
動画像処理装置であって、
現在画像ブロックの動きベクトル第２候補リスト中のＭ個の候補に基づき、上記現在画像ブロックのＭ個の近傍ブロックを確定することと、上記Ｍ個の近傍ブロックのうちＭより小さいＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することと、上記特定候補を用いることを確定した場合、上記現在画像ブロックと上記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロックの各サブ画像ブロックに１対１に対応させることとのために用いられる構築モジュールと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む、動画像処理装置。
［項目１３８］
上記動きベクトル第１候補リスト中の少なくとも１つの候補はサブ画像ブロックの動きベクトルを含み、上記動きベクトル第２候補リストののうちの各候補は画像ブロックの動きベクトルを含む、項目１３７に記載の動画像処理装置。
［項目１３９］
Ｎは１または２に等しい、項目１３７または１３８に記載の動画像処理装置。
［項目１４０］
上記Ｍ個の候補は上記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルを含む、項目１３７～１３９のいずれか一項に記載の動画像処理装置。
［項目１４１］
上記の上記Ｍ個の近傍ブロックのうちのＮ個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記Ｎ個の近傍ブロックを順次走査し、１つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、１４０に記載の動画像処理装置。
［項目１４２］
上記の上記走査した上記１つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記１つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目１４０に記載の動画像処理装置。
［項目１４３］
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目１４１または１４２のいずれか一項に記載の動画像処理装置。
［項目１４４］
上記構築モジュールはさらに、上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、
上記予測モジュールはさらに、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測するために用いられる、項目１４１～１４３のいずれか一項に記載の動画像処理装置。
［項目１４５］
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目１４４に記載の動画像処理装置。
［項目１４６］
上記特定近傍ブロックは上記Ｎ個の近傍ブロックのうち、走査順で得られた１つ目の近傍ブロックまたは最後の近傍ブロックである、項目１４４に記載の動画像処理装置。
［項目１４７］
上記の上記Ｍ個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにすることと、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることとを含む、項目１４４に記載の動画像処理装置。
［項目１４８］
上記Ｎ個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとする、項目１４１～１４３のいずれか一項に記載の動画像処理装置。
［項目１４９］
上記デフォルトブロックは動きベクトル（０，０）が指す画像ブロックである、項目１４８に記載の動画像処理装置。
［項目１５０］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは６４以上の画素に固定される、項目１３７～１４９のいずれか一項に記載の動画像処理装置。
［項目１５１］
上記サブ画像ブロックのサイズおよび／または上記サブ画像ブロックの関連ブロックのサイズは８×８画素、または１６×４画素または４×１６画素に固定される、項目１５０に記載の動画像処理装置。
［項目１５２］
上記現在画像ブロックは１つの符号化ユニットＣＵである、項目１３７～１５１のいずれか一項に記載の動画像処理装置。
［項目１５３］
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目１３７～１５２のいずれか一項に記載の動画像処理装置。
［項目１５４］
上記近傍ブロックは上記現在画像上で上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目１３７～１５３のいずれか一項に記載の動画像処理装置。
［項目１５５］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目１３７～１５４のいずれか一項に記載の動画像処理装置。
［項目１５６］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目１５５に記載の動画像処理装置。
［項目１５７］
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である場合、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目１３７～１５４のいずれか一項に記載の動画像処理装置。
［項目１５８］
上記構築モジュールはさらに、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目１３７～１５７のいずれか一項に記載の動画像処理装置。
［項目１５９］
上記処理後の上記関連ブロックの動きベクトルは、
数値が１の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目１５８に記載の動画像処理装置。
［項目１６０］
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、項目１３７～１５９のいずれか一項に記載の動画像処理装置。
［項目１６１］
上記の上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第１候補リスト中の特定候補を確定することは、
上記現在画像ブロックの関連ブロックの代表動きベクトルを上記特定候補として上記動きベクトル第１候補リストに入れることを含む、項目１３７～１５９のいずれか一項に記載の動画像処理装置。
［項目１６２］
上記関連ブロックの代表動きベクトルを１つ目の候補として動きベクトル第１候補リストに入れる、項目１６１に記載の動画像処理装置。
［項目１６３］
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目１６１に記載の動画像処理装置。
［項目１６４］
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックがで出ると、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測するするために用いられる、項目１６１に記載の動画像処理装置。
［項目１６５］
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可である場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄するために用いられる、項目１６４に記載の動画像処理装置。
［項目１６６］
上記予測モジュールはさらに、
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たを確定するために用いられる、項目１６４に記載の動画像処理装置。
［項目１６７］
上記予測モジュールはさらに、
上記動きベクトル第２候補リスト中の上記特定候補以外のそのうちの１つの候補を採用することを確定した場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる、項目１３７～１６６のいずれか一項に記載の動画像処理装置。
［項目１６８］
上記動きベクトル第２候補リスト中の上記特定候補以外の少なくとも１つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む、項目１６７に記載の動画像処理装置。
［項目１６９］
上記アフィン変換モデルは４パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は２つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは６パラメータアフィン変換モデルを含む場合、上記少なくとも１つの候補において、各候補は３つのコントロールポイントの動きベクトルを含む、項目１６８に記載の動画像処理装置。
［項目１７０］
上記構築モジュールはさらに、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を１つの候補として上記動きベクトル第１候補リストに入れることとのために用いられる、項目１３７～１６９のいずれか一項に記載の動画像処理装置。
［項目１７１］
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第１走査順で第１近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第２走査順で第２近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第１近傍ブロックのコントロールポイントの動きベクトル群と上記第２近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第１候補リストに入れることと、を含む、項目１７０に記載の動画像処理装置。
［項目１７２］
上記構築モジュールはさらに、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れるために用いられる、項目１３７～１７１のいずれか一項に記載の動画像処理装置。
［項目１７３］
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第３走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目１７２に記載の動画像処理装置。
［項目１７４］
上記構築モジュールはさらに、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄するために用いられる、項目１７２または１７３に記載の動画像処理装置。
［項目１７５］
上記構築モジュールはさらに、
上記動きベクトル第１候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第１候補リストに入れることを放棄するために用いられる、項目１７２または１７３に記載の動画像処理装置。
［項目１７６］
上記構築モジュールはさらに、
動きベクトル第２候補リストを構築し、ここでは、上記動きベクトル第２候補リストに入れる候補は１つの画像ブロックの動きベクトルであり、
上記動きベクトル第２候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定するために用いられる、項目１３９～１５１のいずれか一項に記載の動画像処理装置。
［項目１７７］
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目１７６に記載の動画像処理装置。
［項目１７８］
上記の動きベクトル第２候補リストを構築することは、
上記現在画像ブロックの現在画像上でのＭ個の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる上記Ｍ個の候補を確定することを含む、項目１７６に記載の動画像処理装置。
［項目１７９］
上記構築モジュールはさらに、予め設定された順で順に上記予め設定されたＭ個の近傍ブロックの動きベクトルをそれぞれＭ個の候補として、上記動きベクトル第２候補リストに入れるために用いられ、上記Ｎ個の近傍ブロックとは、上記予め設定された順で最初に確定されたＮ個の近傍ブロックを指すること、
および／または
上記構築モジュールはさらに、上記Ｍ個の近傍ブロック中の１つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記１つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第２候補リストに入れる候補を確定することを放棄するために用いられる、項目１７８に記載の動画像処理装置。
［項目１８０］
Ｍは４以下である、項目１３７～１７９のいずれか一項に記載の動画像処理装置。
［項目１８１］
動画像処理装置であって、メモリとプロセッサを含み、上記メモリは命令を記憶するために用いられ、上記プロセッサは上記メモリに記憶された命令を実行し、上記メモリに記憶された命令を実行することによって、上記プロセッサは項目１～４６のいずれか一項に記載の方法を実行するために用いられる、動画像処理装置。
［項目１８２］
動画像処理装置であって、メモリとプロセッサを含み、上記メモリは命令を記憶するために用いられ、上記プロセッサは上記メモリに記憶された命令を実行し、上記メモリに記憶された命令を実行することによって、上記プロセッサは項目４７～９０のいずれか一項に記載の方法を実行するために用いられる、動画像処理装置。
［項目１８３］
コンピュータ記憶媒体であって、それにコンピュータプログラムが記憶され、上記コンピュータプログラムはコンピュータに実行されると、上記コンピュータに項目１～４６のいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。
［項目１８４］
コンピュータ記憶媒体であって、それにコンピュータプログラムが記憶され、上記コンピュータプログラムはコンピュータに実行されると、上記コンピュータに項目４７～９０のいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。
［項目１８５］
命令を含むコンピュータプログラム製品であって、上記命令がコンピュータに実行されると、コンピュータに項目１～４６のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
［項目１８６］
命令を含むコンピュータプログラム製品であって、上記命令がコンピュータに実行されると、コンピュータに項目４７～９０のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。

Claims (10)

  1. 対象近傍ブロック、現在画像ブロック、及び前記現在画像ブロックの同位フレームの動きベクトルに従って、前記現在画像ブロックの関連ブロックを確定する段階と、
    前記現在画像ブロックの前記関連ブロックの前記動きベクトルに従って、前記現在画像ブロックを復号化する段階と、
    前記現在画像ブロックの一部のコントロールポイントの前記対象近傍ブロックに従って、前記一部のコントロールポイントの動きベクトルを構築する段階と、
    前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する段階と
    を備える動画像処理方法。
  2. 前記現在画像ブロックを複数のサブブロックに分割する段階と、
    前記対象近傍ブロックの動きベクトルに従って、前記現在画像ブロックの前記同位フレームにおける前記複数のサブブロックの関連ブロックを確定する段階と、
    前記複数のサブブロックの前記関連ブロックの前記動きベクトルに従って前記現在画像ブロックを復号化する段階と
    を備える、請求項１に記載の動画像処理方法。
  3. 前記現在画像ブロックを複数のサブブロックに分割する段階と、
    前記対象近傍ブロックの動きベクトルに従って、前記現在画像ブロックの前記同位フレームにおける前記複数のサブブロックの関連ブロックを確定する段階と、
    利用できない動きベクトルを有するサブブロックが存在することに応じて、前記現在画像ブロックの前記関連ブロックの代表動きベクトルを使用して、前記利用できない動きベクトルを置き換えて、前記現在画像ブロックにおける対応する前記サブブロックを予測する段階と
    を備える、請求項１に記載の動画像処理方法。
  4. 前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルが追加される前に、前記動きベクトル候補リストの候補の数量が予め定められた数値に達したかどうかを判断する段階と、
    前記動きベクトル候補リストの候補の数量が前記予め定められた数値に達していない場合、前記動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する段階と
    を備える、請求項１に記載の動画像処理方法。
  5. 特定走査順でアフィン変換モードを採用して予測を行う前記現在画像ブロックの一または複数の前記対象近傍ブロックのそれぞれのコントロールポイント動きベクトル群を確定する段階と、
    前記対象近傍ブロックの確定された前記コントロールポイント動きベクトル群を候補として前記動きベクトル候補リストに追加する段階と
    を備え、
    それぞれの前記コントロールポイント動きベクトル群は、近傍ブロックの２または３のコントロールポイントの動きベクトルを含む、請求項１に記載の動画像処理方法。
  6. 特定走査順でアフィン変換モードを採用して予測を行う前記現在画像ブロックの一または複数の前記対象近傍ブロックのそれぞれのコントロールポイント動きベクトル群を確定する前記段階は、
    第１走査順に従って前記現在画像ブロックの左側近傍ブロックを走査し、前記アフィン変換モードを採用して予測を行う第１左側近傍ブロックに達することに応じて前記第１左側近傍ブロックのコントロールポイント動きベクトル群を確定する段階と、
    第２走査順に従って前記現在画像ブロックの上側近傍ブロックを走査し、前記アフィン変換モードを採用して予測を行う第１上側近傍ブロックに達することに応じて前記第１上側近傍ブロックのコントロールポイント動きベクトル群を確定する段階と
    を含み、
    前記対象近傍ブロックの確定された前記コントロールポイント動きベクトル群を候補として前記動きベクトル候補リストに追加する前記段階は、
    前記第１左側近傍ブロックの前記コントロールポイント動きベクトル群及び前記第１上側近傍ブロックの前記コントロールポイント動きベクトル群を、候補として前記現在画像ブロックの前記動きベクトル候補リストに追加する段階を含む、請求項５に記載の動画像処理方法。
  7. 前記動きベクトルにより指定される参照画像と、前記参照画像に位置付けられる前記同位フレームとの間の距離と、前記同位フレームと前記現在画像ブロックが位置付けられる現在フレームとの間の距離とに従って、前記現在画像ブロックの前記関連ブロックの前記動きベクトルのスケーリングファクタを確定する段階と、
    前記スケーリングファクタに基づいて前記現在画像ブロックの前記関連ブロックの前記動きベクトルをスケーリングする段階と
    を備える、請求項１に記載の動画像処理方法。
  8. 前記現在画像ブロックの前記関連ブロックの前記動きベクトルが長期参照画像を指定する、または前記現在画像ブロックの前記同位フレームが長期参照画像である場合、前記関連ブロックの前記動きベクトルを１のスケーリングファクタに従ってスケーリングする段階、または前記スケーリングする段階をスキップする段階をさらに備える、請求項１に記載の動画像処理方法。
  9. 命令を格納するメモリと、
    前記命令を実行することで、
    対象近傍ブロック、現在画像ブロック、及び前記現在画像ブロックの同位フレームの動きベクトルに従って、前記現在画像ブロックの関連ブロックを確定し、
    前記現在画像ブロックの前記関連ブロックの前記動きベクトルに従って、前記現在画像ブロックを復号化し、
    前記現在画像ブロックの一部のコントロールポイントの前記対象近傍ブロックに従って、前記一部のコントロールポイントの動きベクトルを構築し、
    前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する、ように構成されるプロセッサと
    を備える動画像処理装置。
  10. 対象近傍ブロック、現在画像ブロック、及び前記現在画像ブロックの同位フレームの動きベクトルに従って、前記現在画像ブロックの関連ブロックを確定する段階と、
    前記現在画像ブロックの前記関連ブロックの前記動きベクトルに従って、前記現在画像ブロックを復号化する段階と、
    前記現在画像ブロックの一部のコントロールポイントの前記対象近傍ブロックに従って、前記一部のコントロールポイントの動きベクトルを構築する段階と、
    前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する段階と
    を含む動画像符号化方法によって得られる符号化データを格納するコンピュータ可読記録媒体。
JP2023006258A 2018-04-02 2023-01-19 動画像処理方法および装置 Active JP7497948B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024085959A JP2024116183A (ja) 2018-04-02 2024-05-28 動画像処理方法、動画処理装置、およびビットストリーム生成方法

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
PCT/CN2018/081652 WO2019191890A1 (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CNPCT/CN2018/081652 2018-04-02
PCT/CN2018/095710 WO2019192102A1 (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CNPCT/CN2018/095710 2018-07-13
PCT/CN2018/103693 WO2019192141A1 (zh) 2018-04-02 2018-08-31 用于图像运动补偿的方法和装置
CNPCT/CN2018/103693 2018-08-31
CNPCT/CN2018/107436 2018-09-25
PCT/CN2018/107436 WO2019192152A1 (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置
PCT/CN2018/112805 WO2019192170A1 (zh) 2018-04-02 2018-10-30 视频图像处理方法与装置
JP2020553586A JP7216109B2 (ja) 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020553586A Division JP7216109B2 (ja) 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024085959A Division JP2024116183A (ja) 2018-04-02 2024-05-28 動画像処理方法、動画処理装置、およびビットストリーム生成方法

Publications (2)

Publication Number Publication Date
JP2023052491A true JP2023052491A (ja) 2023-04-11
JP7497948B2 JP7497948B2 (ja) 2024-06-11

Family

ID=68099733

Family Applications (12)

Application Number Title Priority Date Filing Date
JP2020553616A Active JP7088606B2 (ja) 2018-04-02 2018-04-02 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
JP2020553636A Pending JP2021520124A (ja) 2018-04-02 2018-07-13 画像動き補償方法及び装置
JP2020553654A Active JP7388659B2 (ja) 2018-04-02 2018-08-31 動画処理方法、ビットストリーム生成方法、動画処理装置、及びプログラム
JP2020553580A Active JP7294753B2 (ja) 2018-04-02 2018-09-25 動画像処理方法、及び動画像処理装置
JP2020553586A Active JP7216109B2 (ja) 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム
JP2020553581A Active JP7533945B2 (ja) 2018-04-02 2019-03-13 動画像処理方法、及び動画像処理装置
JP2022182636A Active JP7525236B2 (ja) 2018-04-02 2022-11-15 動画処理方法、エンコーダ、非一時的なコンピュータ可読記憶媒体、及びプログラム
JP2023006258A Active JP7497948B2 (ja) 2018-04-02 2023-01-19 動画像処理方法および装置
JP2023092773A Active JP7534039B2 (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法
JP2023190720A Pending JP2024010198A (ja) 2018-04-02 2023-11-08 動画処理方法、ビットストリーム生成方法、及び動画処理装置
JP2024025977A Pending JP2024057014A (ja) 2018-04-02 2024-02-22 動画像符号化方法、動画像符号化装置、及びビットストリーム生成方法
JP2024085959A Pending JP2024116183A (ja) 2018-04-02 2024-05-28 動画像処理方法、動画処理装置、およびビットストリーム生成方法

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2020553616A Active JP7088606B2 (ja) 2018-04-02 2018-04-02 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
JP2020553636A Pending JP2021520124A (ja) 2018-04-02 2018-07-13 画像動き補償方法及び装置
JP2020553654A Active JP7388659B2 (ja) 2018-04-02 2018-08-31 動画処理方法、ビットストリーム生成方法、動画処理装置、及びプログラム
JP2020553580A Active JP7294753B2 (ja) 2018-04-02 2018-09-25 動画像処理方法、及び動画像処理装置
JP2020553586A Active JP7216109B2 (ja) 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム
JP2020553581A Active JP7533945B2 (ja) 2018-04-02 2019-03-13 動画像処理方法、及び動画像処理装置
JP2022182636A Active JP7525236B2 (ja) 2018-04-02 2022-11-15 動画処理方法、エンコーダ、非一時的なコンピュータ可読記憶媒体、及びプログラム

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2023092773A Active JP7534039B2 (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法
JP2023190720A Pending JP2024010198A (ja) 2018-04-02 2023-11-08 動画処理方法、ビットストリーム生成方法、及び動画処理装置
JP2024025977A Pending JP2024057014A (ja) 2018-04-02 2024-02-22 動画像符号化方法、動画像符号化装置、及びビットストリーム生成方法
JP2024085959A Pending JP2024116183A (ja) 2018-04-02 2024-05-28 動画像処理方法、動画処理装置、およびビットストリーム生成方法

Country Status (6)

Country Link
US (19) US11330294B2 (ja)
EP (6) EP3780608A4 (ja)
JP (12) JP7088606B2 (ja)
KR (2) KR20240110905A (ja)
CN (16) CN117294837A (ja)
WO (4) WO2019191890A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116962717A (zh) * 2018-03-14 2023-10-27 Lx 半导体科技有限公司 图像编码/解码方法、存储介质和发送方法
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
CN115250350B (zh) * 2018-09-03 2024-04-09 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
WO2020084552A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on spatial neighboring block in sub-block motion vector prediction
US11838540B2 (en) * 2018-12-21 2023-12-05 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
EP3903495A4 (en) * 2018-12-28 2022-03-16 Telefonaktiebolaget Lm Ericsson (Publ) GENERATION OF A LIST OF MOTION VECTOR PREDICTORS
KR20220016075A (ko) 2019-06-04 2022-02-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 후보 리스트 구성 프로세스의 조건부 구현
WO2020244571A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
EP3967040A4 (en) 2019-06-06 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. CONSTRUCTION OF MOTION CANDIDATE LISTS FOR VIDEO ENCODING
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
EP3984227A4 (en) * 2019-07-27 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. TOOL USE RESTRICTIONS BASED ON TYPES OF REFERENCE IMAGES
EP4000265A4 (en) 2019-08-20 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. USING DEFAULT AND CUSTOM SCALING MATRICES
CN114402591B (zh) 2019-09-13 2024-08-02 北京字节跳动网络技术有限公司 并置运动矢量的推导
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
BR112022012807A2 (pt) 2019-12-27 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo e meios não transitórios legíveis por computador
CN113727119B (zh) * 2020-05-20 2023-03-17 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
CN111724422B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112132732B (zh) * 2020-09-10 2023-06-02 宁波大学科学技术学院 立体图像的像素预测方法、可逆信息隐藏提取方法、终端及存储介质
WO2022141278A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 视频处理方法和编码装置
US20230224474A1 (en) * 2022-01-12 2023-07-13 Tencent America LLC Adjustment based local illumination compensation
WO2023192335A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2024005456A1 (ko) * 2022-06-27 2024-01-04 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024005616A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024117533A1 (ko) * 2022-11-29 2024-06-06 현대자동차주식회사 아핀 모델 기반의 예측을 이용하는 비디오 코딩방법 및 장치
US20240314343A1 (en) * 2023-03-13 2024-09-19 Tencent America LLC Block based weighting factor for joint motion vector difference coding mode

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085929A1 (en) * 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
WO2017133243A1 (zh) * 2016-02-06 2017-08-10 华为技术有限公司 图像编解码方法及装置
JP2020145486A (ja) * 2017-07-28 2020-09-10 シャープ株式会社 動画像符号化装置及び動画像復号装置

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2435757C (en) * 2001-11-29 2013-03-19 Matsushita Electric Industrial Co., Ltd. Video coding distortion removal method and apparatus using a filter
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7660354B2 (en) 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
ZA200900857B (en) * 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
JP2010509799A (ja) * 2006-11-03 2010-03-25 サムスン エレクトロニクス カンパニー リミテッド 映像の予測符号化方法及び装置、その復号化方法及び装置
JP2009118221A (ja) * 2007-11-07 2009-05-28 Toshiba Corp ディジタル画像復号装置及びディジタル画像復号方法
CN101873500B (zh) * 2009-04-24 2012-05-23 华为技术有限公司 帧间预测编码方法、帧间预测解码方法及设备
JP5367098B2 (ja) * 2010-02-09 2013-12-11 日本電信電話株式会社 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR20120016991A (ko) 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
KR20140139615A (ko) * 2010-10-08 2014-12-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 분할 및 블록 병합을 지원하는 픽처 코딩
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
CN107105280B (zh) 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
US9635382B2 (en) 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for determining a motion vector
CN102611881B (zh) * 2011-01-19 2014-06-25 华为技术有限公司 参考运动矢量获取方法、模块及编、解码装置
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
KR101484171B1 (ko) * 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
ES2900107T3 (es) * 2011-03-21 2022-03-15 Lg Electronics Inc Método para seleccionar un predictor de vector de movimiento
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
EP3849192B1 (en) * 2011-06-28 2023-01-11 LG Electronics, Inc. Method for deriving a motion vector for video decoding and video encoding
KR20140043242A (ko) * 2011-06-30 2014-04-08 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
WO2013002342A1 (ja) * 2011-06-30 2013-01-03 ソニー株式会社 画像処理装置および方法
MX2014002347A (es) 2011-08-29 2014-04-25 Ibex Pt Holdings Co Ltd Aparato para decodificar informacion de movimiento de modo de fusion.
CN102447904A (zh) * 2011-10-24 2012-05-09 成都虢电智能电力科技有限公司 一种快速对视频序列进行运动估计的方法
RU2604679C2 (ru) * 2011-10-27 2016-12-10 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
CN107948656B (zh) 2011-10-28 2021-06-01 太阳专利托管公司 图像解码方法及图像解码装置
KR101935976B1 (ko) 2011-10-28 2019-01-07 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
TWI569634B (zh) 2011-10-31 2017-02-01 Jvc Kenwood Corp Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
BR122015021739A2 (pt) * 2011-11-08 2019-08-27 Samsung Electronics Co Ltd método para decodificar uma imagem
EP3576412B1 (en) 2011-11-08 2021-09-01 Nokia Technologies Oy Reference picture handling
CN107566836B (zh) 2011-12-23 2020-04-07 韩国电子通信研究院 图像解码方法、图像编码方法和记录介质
RU2658146C9 (ru) 2012-04-12 2018-12-12 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство декодирования движущегося изображения и способ декодирования движущегося изображения
JP2013223049A (ja) * 2012-04-13 2013-10-28 Sharp Corp 画像復号装置、および画像符号化装置
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
RU2673846C1 (ru) 2012-07-02 2018-11-30 Самсунг Электроникс Ко., Лтд. Способ и устройство для прогнозирования вектора движения для кодирования видео или декодирования видео
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
CN102883161B (zh) * 2012-09-19 2015-09-30 华为技术有限公司 视频编码和解码的处理方法和装置
US20150350684A1 (en) * 2012-09-20 2015-12-03 Sony Corporation Image processing apparatus and method
US9538180B2 (en) * 2012-12-17 2017-01-03 Qualcomm Incorporated Motion vector prediction in video coding
JP6352248B2 (ja) * 2013-04-04 2018-07-04 シャープ株式会社 画像復号装置、および画像符号化装置
SG10201913539SA (en) * 2013-04-07 2020-02-27 Dolby Int Ab Signaling change in output layer sets
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9930363B2 (en) 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
CN105210370B (zh) * 2013-07-10 2019-04-12 夏普株式会社 运动图像解码装置
US9894369B2 (en) * 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US10104362B2 (en) * 2013-10-08 2018-10-16 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coded data
EP3091741B1 (en) 2014-01-02 2021-10-27 Intellectual Discovery Co., Ltd. Method for decoding multi-view video
WO2015102042A1 (en) * 2014-01-02 2015-07-09 Sharp Kabushiki Kaisha Parameter set signaling
US20170019666A1 (en) * 2014-03-13 2017-01-19 Sharp Kabushiki Kaisha Constrained reference picture parameters
US9756355B2 (en) * 2014-06-20 2017-09-05 Qualcomm Incorporated Value ranges for syntax elements in video coding
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
EP4418654A2 (en) * 2014-10-31 2024-08-21 Samsung Electronics Co., Ltd Video encoding device and video decoding device using high-precision skip encoding and method thereof
US9872296B2 (en) 2015-01-06 2018-01-16 Qualcomm Incorporated Techniques for beam shaping at a millimeter wave base station and a wireless device and fast antenna subarray selection at a wireless device
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
KR102164062B1 (ko) * 2015-09-08 2020-10-13 미디어텍 인크. 인트라 블록 복사 모드를 위한 디코딩된 픽처 버퍼의 방법 및 시스템
CN106534858B (zh) 2015-09-10 2019-09-06 展讯通信（上海）有限公司 真实运动估计方法及装置
CN114449287A (zh) * 2016-03-16 2022-05-06 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
US10659801B2 (en) 2016-03-24 2020-05-19 Lg Electronics Inc. Method and apparatus for inter prediction in video coding system
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CA3025334C (en) 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
KR102191846B1 (ko) 2016-08-15 2020-12-17 노키아 테크놀로지스 오와이 비디오 인코딩 및 디코딩
US11409855B2 (en) * 2016-08-22 2022-08-09 Lenovo (Singapore) Pte. Ltd. Gesture based CAPTCHA test
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
EP3343924A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10542280B2 (en) 2017-01-09 2020-01-21 QUALCOMM Incorpated Encoding optimization with illumination compensation and integer motion vector restriction
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
KR102233964B1 (ko) * 2017-09-12 2021-03-30 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
CN107682705B (zh) * 2017-09-26 2020-05-12 杭州电子科技大学 基于mv-hevc框架的立体视频b帧错误隐藏方法
US20190141320A1 (en) * 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
WO2019107916A1 (ko) 2017-11-30 2019-06-06 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
US11323705B2 (en) 2018-03-09 2022-05-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus using sample filtering
JP2021517797A (ja) 2018-04-01 2021-07-26 エルジー エレクトロニクス インコーポレイティド アフィン動き予測に基づく映像コーディング方法及び装置
WO2019194514A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
CN114501018B (zh) * 2018-08-17 2024-01-09 华为技术有限公司 参考图像管理的解码方法、设备和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085929A1 (en) * 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
JP2016537839A (ja) * 2013-09-26 2016-12-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Ｈｅｖｃにおけるサブ予測ユニット（ｐｕ）ベースの時間的動きベクトル予測および３ｄ−ｈｅｖｃにおけるサブｐｕ設計
WO2017133243A1 (zh) * 2016-02-06 2017-08-10 华为技术有限公司 图像编解码方法及装置
US20180376161A1 (en) * 2016-02-06 2018-12-27 Huawei Technologies Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
JP2019506089A (ja) * 2016-02-06 2019-02-28 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像符号化方法及び装置、並びに画像復号方法及び装置
JP2020145486A (ja) * 2017-07-28 2020-09-10 シャープ株式会社 動画像符号化装置及び動画像復号装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, ET AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: T, vol. JVET-G1001-v1, JPN6022053276, 19 August 2017 (2017-08-19), pages 1 - 44, ISSN: 0005222543 *

Also Published As

Publication number Publication date
CN113852828A (zh) 2021-12-28
CN110495169B (zh) 2021-12-17
US20210227251A1 (en) 2021-07-22
EP3780619A4 (en) 2022-02-23
US20240137559A1 (en) 2024-04-25
CN117294837A (zh) 2023-12-26
US11343534B2 (en) 2022-05-24
CN110419220B (zh) 2023-08-29
EP3780615A1 (en) 2021-02-17
US20220321907A1 (en) 2022-10-06
WO2019191890A1 (zh) 2019-10-10
JP7533945B2 (ja) 2024-08-14
JP2023017981A (ja) 2023-02-07
EP3780614A1 (en) 2021-02-17
US20240236365A9 (en) 2024-07-11
US20210227252A1 (en) 2021-07-22
JP7216109B2 (ja) 2023-01-31
CN114938452A (zh) 2022-08-23
US20210021812A1 (en) 2021-01-21
WO2019192152A1 (zh) 2019-10-10
CN110419217B (zh) 2023-09-26
CN117061738A (zh) 2023-11-14
JP7088606B2 (ja) 2022-06-21
EP3780608A1 (en) 2021-02-17
JP2021526322A (ja) 2021-09-30
JP2021520126A (ja) 2021-08-12
US11490120B2 (en) 2022-11-01
US20210227253A1 (en) 2021-07-22
US11159821B2 (en) 2021-10-26
EP3783897A4 (en) 2022-02-23
JP7525236B2 (ja) 2024-07-30
CN113824966A (zh) 2021-12-21
JP2021520120A (ja) 2021-08-12
US20220286706A1 (en) 2022-09-08
US20210021856A1 (en) 2021-01-21
JP2024010198A (ja) 2024-01-23
CN115037942A (zh) 2022-09-09
KR102685009B1 (ko) 2024-07-12
EP3780619A1 (en) 2021-02-17
JP2021520124A (ja) 2021-08-12
US11363294B2 (en) 2022-06-14
US11949911B2 (en) 2024-04-02
US20240251099A1 (en) 2024-07-25
CN113824966B (zh) 2023-09-12
CN110326295B (zh) 2021-11-16
US20240314356A1 (en) 2024-09-19
KR20200134319A (ko) 2020-12-01
EP3780618A4 (en) 2022-03-02
CN110419217A (zh) 2019-11-05
JP2024057014A (ja) 2024-04-23
CN110786012B (zh) 2024-01-30
US11350124B2 (en) 2022-05-31
JP7497948B2 (ja) 2024-06-11
CN110786012A (zh) 2020-02-11
US11997312B2 (en) 2024-05-28
US11368714B2 (en) 2022-06-21
US20240259592A1 (en) 2024-08-01
US11490118B2 (en) 2022-11-01
JP7294753B2 (ja) 2023-06-20
EP3783897A1 (en) 2021-02-24
US11381839B2 (en) 2022-07-05
CN116781928A (zh) 2023-09-19
US11871032B2 (en) 2024-01-09
US11949912B2 (en) 2024-04-02
US11330294B2 (en) 2022-05-10
CN116760999A (zh) 2023-09-15
JP7534039B2 (ja) 2024-08-14
US20210021865A1 (en) 2021-01-21
US20210021825A1 (en) 2021-01-21
US20210218989A1 (en) 2021-07-15
JP2021520119A (ja) 2021-08-12
CN114125440A (zh) 2022-03-01
US20210021855A1 (en) 2021-01-21
CN110419220A (zh) 2019-11-05
CN113852828B (zh) 2023-09-12
US20220353527A1 (en) 2022-11-03
JP2024116183A (ja) 2024-08-27
US20210021824A1 (en) 2021-01-21
EP3780615A4 (en) 2022-03-02
CN110326295A (zh) 2019-10-11
CN110720219A (zh) 2020-01-21
CN117135346A (zh) 2023-11-28
EP3780608A4 (en) 2021-12-01
JP2023110048A (ja) 2023-08-08
CN110495169A (zh) 2019-11-22
JP7388659B2 (ja) 2023-11-29
US11323742B2 (en) 2022-05-03
WO2019192141A1 (zh) 2019-10-10
US20220086483A1 (en) 2022-03-17
WO2019192102A1 (zh) 2019-10-10
US11190798B2 (en) 2021-11-30
EP3780614A4 (en) 2022-02-23
KR20240110905A (ko) 2024-07-16
JP2021520121A (ja) 2021-08-12
CN110720219B (zh) 2022-04-26
EP3780618A1 (en) 2021-02-17
US20210227254A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
JP7216109B2 (ja) 動画像処理方法、動画像処理装置、及びコンピュータプログラム
US20170150172A1 (en) Picture encoding device, picture encoding method, picture encoding program, picture decoding device, picture decoding method, and picture decoding program
TW202025763A (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
TWI729497B (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
WO2019192301A1 (zh) 视频图像处理方法与装置
CN115152233A (zh) 包括dpb管理处理的图像解码方法及其设备
WO2019192170A1 (zh) 视频图像处理方法与装置
JP2024147810A (ja) 動画像処理方法、動画処理装置、及びビットストリーム生成方法
CN118104234A (zh) 基于帧内预测模式导出的帧内预测方法和设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240528

R150 Certificate of patent or registration of utility model

Ref document number: 7497948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150