JP2022522217A - 双方向オプティカル・フローに対するビット幅制御方法およびデバイス - Google Patents
双方向オプティカル・フローに対するビット幅制御方法およびデバイス Download PDFInfo
- Publication number
- JP2022522217A JP2022522217A JP2021555567A JP2021555567A JP2022522217A JP 2022522217 A JP2022522217 A JP 2022522217A JP 2021555567 A JP2021555567 A JP 2021555567A JP 2021555567 A JP2021555567 A JP 2021555567A JP 2022522217 A JP2022522217 A JP 2022522217A
- Authority
- JP
- Japan
- Prior art keywords
- prediction sample
- sample
- value
- correlation value
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、すべての内容が全体として参照により本明細書に組み込まれている、2019年3月15日出願の米国仮特許出願第62/819,408号に基づいており、その優先権を主張する。
Claims (22)
- ビデオ信号を符号化するための双方向オプティカル・フロー(BDOF)のビット幅制御方法であって、
ビデオ・ブロックに関連付けられた第1の参照ピクチャI(0)および第2の参照ピクチャI(1)を取得することであり、表示順で、前記第1の参照ピクチャI(0)が、現在のピクチャの前にあり、前記第2の参照ピクチャI(1)が、前記現在のピクチャの後にある、取得することと、
前記第1の参照ピクチャI(0)内の参照ブロックから、前記ビデオ・ブロックの第1の予測サンプルI(0)(i,j)を取得することであり、iおよびjが、前記現在のピクチャに対する1つのサンプルの座標を表す、取得することと、
前記第2の参照ピクチャI(1)内の参照ブロックから、前記ビデオ・ブロックの第2の予測サンプルI(1)(i,j)を取得することと、
中間パラメータの内部ビット幅を導出することによって、前記BDOFの内部ビット幅を制御することであり、前記中間パラメータが、前記第1の予測サンプルI(0)(i,j)と前記第2の予測サンプルI(1)(i,j)との間の水平勾配値、垂直勾配値、およびサンプル差を備える、制御することと、
前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づいて前記ビデオ・ブロックに適用される前記BDOFに基づいて、前記ビデオ・ブロック内のサンプルに対する動き補正を取得することと、
前記動き補正に基づいて、前記ビデオ・ブロックの双方向予測サンプルを取得することとを備える方法。 - 前記中間パラメータの前記内部ビット幅を導出することが、
第1の予測サンプルI(0)(i+1,j)と第1の予測サンプルI(0)(i-1,j)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の水平勾配値を取得することと、
第2の予測サンプルI(1)(i+1,j)と第2の予測サンプルI(1)(i-1,j)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の水平勾配値を取得することと、
第1の予測サンプルI(0)(i,j+1)と第1の予測サンプルI(0)(i,j-1)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の垂直勾配値を取得することと、
第2の予測サンプルI(1)(i,j+1)と第2の予測サンプルI(1)(i,j-1)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の垂直勾配値を取得することと、
前記第1および第2の水平勾配値を第1のビットシフト値だけ右シフトすることと、
前記第1および第2の垂直勾配値を前記第1のビットシフト値だけ右シフトすることとを備える、請求項1に記載の方法。 - 前記中間パラメータの前記内部ビット幅を導出することが、
第1の相関関係値を取得することであり、前記第1の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記水平勾配値の和である、取得することと、
第2の相関関係値を取得することであり、前記第2の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記垂直勾配値の和である、取得することと、
第2のビットシフト値を使用して前記第1の相関関係値を右シフトすることによって、前記第1の相関関係値を修正することと、
第2のビットシフト値を使用して前記第2の相関関係値を右シフトすることによって、前記第2の相関関係値を修正することとをさらに備える、請求項1に記載の方法。 - 第3のビットシフト値を使用して前記第1の予測サンプルI(0)(i,j)値を右シフトすることによって、第1の修正された予測サンプルを取得することと、
前記第3のビットシフト値を使用して前記第2の予測サンプルI(1)(i,j)値を右シフトすることによって、第2の修正された予測サンプルを取得することと、
第3の相関関係値を取得することであり、前記第3の相関関係値が、前記第1の修正された予測サンプルと前記第2の修正された予測サンプルとの間の差である、取得することと
をさらに備える、請求項3に記載の方法。 - 前記第2のビットシフト値および前記第3のビットシフト値が、それぞれ1および4に等しい、請求項4に記載の方法。
- 前記ビデオ・ブロックの各4×4サブブロック内の前記第1の相関関係値および前記第2の相関関係値の和に基づいて、第1の内部加算値を取得することと、
第1のパラメータに基づいて前記第1の内部加算値をクリッピングすることであり、前記第1のパラメータが、前記第1の内部加算値の出力ビット深さを制御する、クリッピングすることと、
前記ビデオ・ブロックの各4×4サブブロック内の前記第2の相関関係値および前記第3の相関関係値の和に基づいて、第2の内部加算値を取得することと、
第2のパラメータに基づいて前記第2の内部加算値をクリッピングすることであり、前記第2のパラメータが、前記第2の内部加算値の出力ビット深さを制御する、クリッピングすることと
をさらに備える、請求項4に記載の方法。 - 前記第1のパラメータが26に等しく、前記第2のパラメータが28に等しい、請求項6に記載の方法。
- ビデオ信号を符号化するための双方向オプティカル・フロー(BDOF)のビット幅制御方法であって、
ビデオ・ブロックに関連付けられた第1の参照ピクチャI(0)および第2の参照ピクチャI(1)を取得することであり、表示順で、前記第1の参照ピクチャI(0)が、現在のピクチャの前にあり、前記第2の参照ピクチャI(1)が、前記現在のピクチャの後にある、取得することと、
前記第1の参照ピクチャI(0)内の参照ブロックから、前記ビデオ・ブロックの第1の予測サンプルI(0)(i,j)を取得することであり、iおよびjが、前記現在のピクチャに対する1つのサンプルの座標を表す、取得することと、
前記第2の参照ピクチャI(1)内の参照ブロックから、前記ビデオ・ブロックの第2の予測サンプルI(1)(i,j)を取得することと、
中間パラメータの内部ビット幅を導出することによって、前記BDOFの内部ビット幅を制御することであり、前記中間パラメータが、前記第1の予測サンプルI(0)(i,j)と前記第2の予測サンプルI(1)(i,j)との間の水平勾配値、垂直勾配値、およびサンプル差を備える、制御することと、
前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)を使用して前記ビデオ・ブロックに適用される前記BDOFおよび局所ウィンドウに基づいて、前記ビデオ・ブロック内のサンプルに対する動き補正を取得することであり、前記局所ウィンドウが、前記ビデオ・ブロックを含み、前記局所ウィンドウが、6×6画素のウィンドウ・サイズを有する、取得することと、
前記動き補正に基づいて、前記ビデオ・ブロックの双方向予測サンプルを取得することとを備える方法。 - 前記中間パラメータの前記内部ビット幅を導出することによって、前記BDOFの前記内部ビット幅を制御することが、
第1の予測サンプルI(0)(i+1,j)と第1の予測サンプルI(0)(i-1,j)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の水平勾配値を取得することと、
第2の予測サンプルI(1)(i+1,j)と第2の予測サンプルI(1)(i-1,j)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の水平勾配値を取得することと、
第1の予測サンプルI(0)(i,j+1)と第1の予測サンプルI(0)(i,j-1)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の垂直勾配値を取得することと、
第2の予測サンプルI(1)(i,j+1)と第2の予測サンプルI(1)(i,j-1)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の垂直勾配値を取得することと、
前記水平勾配値を6だけ右シフトすることと、
前記垂直勾配値を6だけ右シフトすることとを備える、請求項8に記載の方法。 - 前記中間パラメータの前記内部ビット幅を導出することが、
第1の相関関係値を取得することであり、前記第1の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記水平勾配値の和である、取得することと、
第2の相関関係値を取得することであり、前記第2の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記垂直勾配値の和である、取得することと、
前記第1の相関関係値を1だけ右シフトすることによって、前記第1の相関関係値を修正することと、
前記第2の相関関係値を1だけ右シフトすることによって、前記第2の相関関係値を修正することとをさらに備える、請求項9に記載の方法。 - 前記第1の予測サンプルI(0)(i,j)値を4だけ右シフトすることによって、第1の修正された予測サンプルを取得することと、
前記第2の予測サンプルI(1)(i,j)値を4だけ右シフトすることによって、第2の修正された予測サンプルを取得することと、
第3の相関関係値を取得することであり、前記第3の相関関係値が、前記第1の修正された予測サンプルと前記第2の修正された予測サンプルとの間の差である、取得することと
をさらに備える、請求項10に記載の方法。 - 1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを備え、前記1つまたは複数のプロセッサが、
ビデオ・ブロックに関連付けられた第1の参照ピクチャI(0)および第2の参照ピクチャI(1)を取得することであり、表示順で、前記第1の参照ピクチャI(0)が、現在のピクチャの前にあり、前記第2の参照ピクチャI(1)が、前記現在のピクチャの後にある、取得することと、
前記第1の参照ピクチャI(0)内の参照ブロックから、前記ビデオ・ブロックの第1の予測サンプルI(0)(i,j)を取得することであり、iおよびjが、前記現在のピクチャに対する1つのサンプルの座標を表す、取得することと、
前記第2の参照ピクチャI(1)内の参照ブロックから、前記ビデオ・ブロックの第2の予測サンプルI(1)(i,j)を取得することと、
中間パラメータの内部ビット幅を導出することによって、双方向オプティカル・フロー(BDOF)の内部ビット幅を制御することであり、前記中間パラメータが、前記第1の予測サンプルI(0)(i,j)と前記第2の予測サンプルI(1)(i,j)との間の水平勾配値、垂直勾配値、およびサンプル差を備える、制御することと、
前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づいて前記ビデオ・ブロックに適用される前記BDOFに基づいて、前記ビデオ・ブロック内のサンプルに対する動き補正を取得することと、
前記動き補正に基づいて、前記ビデオ・ブロックの双方向予測サンプルを取得することとを行うように構成される、
コンピューティング・デバイス。 - 前記中間パラメータの前記内部ビット幅を導出することによって、前記BDOFの前記内部ビット幅を制御するように構成された前記1つまたは複数のプロセッサが、
第1の予測サンプルI(0)(i+1,j)と第1の予測サンプルI(0)(i-1,j)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の水平勾配値を取得することと、
第2の予測サンプルI(1)(i+1,j)と第2の予測サンプルI(1)(i-1,j)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の水平勾配値を取得することと、
第1の予測サンプルI(0)(i,j+1)と第1の予測サンプルI(0)(i,j-1)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の垂直勾配値を取得することと、
第2の予測サンプルI(1)(i,j+1)と第2の予測サンプルI(1)(i,j-1)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の垂直勾配値を取得することと、
前記第1および第2の水平勾配値を第1のビットシフト値だけ右シフトすることと、
前記第1および第2の垂直勾配値を前記第1のビットシフト値だけ右シフトすることとを行うようにさらに構成される、請求項12に記載のコンピューティング・デバイス。 - 前記中間パラメータの前記内部ビット幅を導出することによって、前記BDOFの前記内部ビット幅を制御するように構成された前記1つまたは複数のプロセッサが、
第1の相関関係値を取得することであり、前記第1の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記水平勾配値の和である、取得することと、
第2の相関関係値を取得することであり、前記第2の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記垂直勾配値の和である、取得することと、
第2のビットシフト値を使用して前記第1の相関関係値を右シフトすることによって、前記第1の相関関係値を修正することと、
第2のビットシフト値を使用して前記第2の相関関係値を右シフトすることによって、前記第2の相関関係値を修正することとを行うようにさらに構成される、請求項12に記載のコンピューティング・デバイス。 - 前記1つまたは複数のプロセッサは、
第3のビットシフト値を使用して前記第1の予測サンプルI(0)(i,j)値を右シフトすることによって、第1の修正された予測サンプルを取得することと、
前記第3のビットシフト値を使用して前記第2の予測サンプルI(1)(i,j)値を右シフトすることによって、第2の修正された予測サンプルを取得することと、
第3の相関関係値を取得することであり、前記第3の相関関係値が、前記第1の修正された予測サンプルと前記第2の修正された予測サンプルとの間の差である、取得することとを行うようにさらに構成される、請求項14に記載のコンピューティング・デバイス。 - 前記第2のビットシフト値および前記第3のビットシフト値が、それぞれ1および4に等しい、請求項15に記載のコンピューティング・デバイス。
- 前記1つまたは複数のプロセッサが、
前記ビデオ・ブロックの各4×4サブブロック内の前記第1の相関関係値および前記第2の相関関係値の和に基づいて、第1の内部加算値を取得することと、
第1のパラメータに基づいて前記第1の内部加算値をクリッピングすることであり、前記第1のパラメータが、前記第1の内部加算値の出力ビット深さを制御する、クリッピングすることと、
前記ビデオ・ブロックの各4×4サブブロック内の前記第2の相関関係値および前記第3の相関関係値の和に基づいて、第2の内部加算値を取得することと、
第2のパラメータに基づいて前記第2の内部加算値をクリッピングすることであり、前記第2のパラメータが、前記第2の内部加算値の出力ビット深さを制御する、クリッピングすることとを行うようにさらに構成される、請求項15に記載のコンピューティング・デバイス。 - 前記第1のパラメータが26に等しく、前記第2のパラメータが28に等しい、請求項17に記載のコンピューティング・デバイス。
- 1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを備え、前記1つまたは複数のプロセッサが、
ビデオ・ブロックに関連付けられた第1の参照ピクチャI(0)および第2の参照ピクチャI(1)を取得することであり、表示順で、前記第1の参照ピクチャI(0)が、現在のピクチャの前にあり、前記第2の参照ピクチャI(1)が、前記現在のピクチャの後にある、取得することと、
前記第1の参照ピクチャI(0)内の参照ブロックから、前記ビデオ・ブロックの第1の予測サンプルI(0)(i,j)を取得することであり、iおよびjが、前記現在のピクチャに対する1つのサンプルの座標を表す、取得することと、
前記第2の参照ピクチャI(1)内の参照ブロックから、前記ビデオ・ブロックの第2の予測サンプルI(1)(i,j)を取得することと、
中間パラメータの内部ビット幅を導出することによって、双方向オプティカル・フロー(BDOF)の内部ビット幅を制御することであり、前記中間パラメータが、前記第1の予測サンプルI(0)(i,j)と前記第2の予測サンプルI(1)(i,j)との間の水平勾配値、垂直勾配値、およびサンプル差を備える、制御することと、
前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)を使用して前記ビデオ・ブロックに適用される前記BDOFおよび局所ウィンドウに基づいて、前記ビデオ・ブロック内のサンプルに対する動き補正を取得することであり、前記局所ウィンドウが、前記ビデオ・ブロックを含み、前記局所ウィンドウが、6×6画素のウィンドウ・サイズを有する、取得することと、
前記動き補正に基づいて、前記ビデオ・ブロックの双方向予測サンプルを取得することとを行うように構成される、
コンピューティング・デバイス。 - 前記中間パラメータの前記内部ビット幅を導出することによって、前記BDOFの前記内部ビット幅を制御するように構成された前記1つまたは複数のプロセッサが、
第1の予測サンプルI(0)(i+1,j)と第1の予測サンプルI(0)(i-1,j)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の水平勾配値を取得することと、
第2の予測サンプルI(1)(i+1,j)と第2の予測サンプルI(1)(i-1,j)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の水平勾配値を取得することと、
第1の予測サンプルI(0)(i,j+1)と第1の予測サンプルI(0)(i,j-1)との間の差に基づいて、第1の予測サンプルI(0)(i,j)の第1の垂直勾配値を取得することと、
第2の予測サンプルI(1)(i,j+1)と第2の予測サンプルI(1)(i,j-1)との間の差に基づいて、第2の予測サンプルI(1)(i,j)の第2の垂直勾配値を取得することと、
前記水平勾配値を6だけ右シフトすることと、
前記垂直勾配値を6だけ右シフトすることとを行うようにさらに構成される、請求項19に記載のコンピューティング・デバイス。 - 前記1つまたは複数のプロセッサが、
第1の相関関係値を取得することであり、前記第1の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記水平勾配値の和である、取得することと、
第2の相関関係値を取得することであり、前記第2の相関関係値が、前記第1の予測サンプルI(0)(i,j)および前記第2の予測サンプルI(1)(i,j)に基づく前記垂直勾配値の和である、取得することと、
前記第1の相関関係値を1だけ右シフトすることによって、前記第1の相関関係値を修正することと、
前記第2の相関関係値を1だけ右シフトすることによって、前記第2の相関関係値を修正することとを行うようにさらに構成される、請求項20に記載のコンピューティング・デバイス。 - 前記1つまたは複数のプロセッサが、
前記第1の予測サンプルI(0)(i,j)値を4だけ右シフトすることによって、第1の修正された予測サンプルを取得することと、
前記第2の予測サンプルI(1)(i,j)値を4だけ右シフトすることによって、第2の修正された予測サンプルを取得することと、
第3の相関関係値を取得することであり、前記第3の相関関係値が、前記第1の修正された予測サンプルと前記第2の修正された予測サンプルとの間の差である、取得することとを行うようにさらに構成される、請求項21に記載のコンピューティング・デバイス。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022106654A JP7355894B2 (ja) | 2019-03-15 | 2022-06-30 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
JP2023156482A JP2023169341A (ja) | 2019-03-15 | 2023-09-21 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962819408P | 2019-03-15 | 2019-03-15 | |
US62/819,408 | 2019-03-15 | ||
PCT/US2020/023027 WO2020190896A1 (en) | 2019-03-15 | 2020-03-16 | Methods and devices for bit-width control for bi-directional optical flow |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022106654A Division JP7355894B2 (ja) | 2019-03-15 | 2022-06-30 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022522217A true JP2022522217A (ja) | 2022-04-14 |
JP7100772B2 JP7100772B2 (ja) | 2022-07-13 |
Family
ID=72521267
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021555567A Active JP7100772B2 (ja) | 2019-03-15 | 2020-03-16 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
JP2022106654A Active JP7355894B2 (ja) | 2019-03-15 | 2022-06-30 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
JP2023156482A Pending JP2023169341A (ja) | 2019-03-15 | 2023-09-21 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022106654A Active JP7355894B2 (ja) | 2019-03-15 | 2022-06-30 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
JP2023156482A Pending JP2023169341A (ja) | 2019-03-15 | 2023-09-21 | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス |
Country Status (7)
Country | Link |
---|---|
US (2) | US11979583B2 (ja) |
EP (1) | EP3925224A4 (ja) |
JP (3) | JP7100772B2 (ja) |
KR (2) | KR20220112864A (ja) |
CN (2) | CN113632484A (ja) |
MX (1) | MX2021011197A (ja) |
WO (1) | WO2020190896A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10855632B2 (en) | 2016-07-19 | 2020-12-01 | Snap Inc. | Displaying customized electronic messaging graphics |
WO2020084476A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Sub-block based prediction |
WO2020084475A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Utilization of refined motion vector |
EP3857879A4 (en) | 2018-11-12 | 2022-03-16 | Beijing Bytedance Network Technology Co., Ltd. | SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION |
WO2020103877A1 (en) | 2018-11-20 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Coding and decoding of video coding modes |
KR20210091161A (ko) | 2018-11-20 | 2021-07-21 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 부분적 위치에 기반한 차분 계산 |
KR102635518B1 (ko) | 2019-03-06 | 2024-02-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 변환된 단예측 후보의 사용 |
KR20230169434A (ko) * | 2019-04-02 | 2023-12-15 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 디코더 측 움직임 벡터 유도 |
CN113661708B (zh) | 2019-04-02 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 基于双向光流的视频编解码和解码 |
CN113728630B (zh) | 2019-04-19 | 2023-11-17 | 北京字节跳动网络技术有限公司 | 不同运动矢量细化中的基于区域的梯度计算 |
WO2020211867A1 (en) | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Delta motion vector in prediction refinement with optical flow process |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017134957A1 (ja) * | 2016-02-03 | 2017-08-10 | シャープ株式会社 | 動画像復号装置、動画像符号化装置、および予測画像生成装置 |
WO2018169989A1 (en) * | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
WO2019010156A1 (en) * | 2017-07-03 | 2019-01-10 | Vid Scale, Inc. | MOTION COMPENSATION PREDICTION BASED ON A BIDIRECTIONAL OPTICAL FLOW |
WO2020061082A1 (en) * | 2018-09-21 | 2020-03-26 | Vid Scale, Inc. | Complexity reduction and bit-width control for bi-directional optical flow |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103503458B (zh) * | 2011-01-07 | 2017-09-22 | 诺基亚技术有限公司 | 视频编码中的运动预测 |
CN106664416B (zh) * | 2014-07-06 | 2019-11-05 | Lg电子株式会社 | 处理视频信号的方法及其装置 |
WO2016056782A1 (ko) * | 2014-10-08 | 2016-04-14 | 엘지전자 주식회사 | 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치 |
US20180249172A1 (en) * | 2015-09-02 | 2018-08-30 | Mediatek Inc. | Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques |
US10375413B2 (en) * | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
EP3398331A4 (en) * | 2016-02-05 | 2019-04-10 | Mediatek Inc. | METHOD AND APPARATUS FOR MOTION COMPENSATION BASED ON BIDIRECTIONAL OPTICAL FLUSH TECHNOLOGIES FOR VIDEO CODING |
WO2017157281A1 (en) * | 2016-03-16 | 2017-09-21 | Mediatek Inc. | Method and apparatus of pattern-based motion vector derivation for video coding |
US10931969B2 (en) * | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
US10701390B2 (en) * | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
DE102017105706A1 (de) | 2017-03-16 | 2018-09-20 | Aesculap Ag | Additiv hergestelltes medizintechnisches Instrument sowie Verfahren zur Herstellung eines solchen Instruments |
US10805630B2 (en) * | 2017-04-28 | 2020-10-13 | Qualcomm Incorporated | Gradient based matching for motion search and derivation |
US10904565B2 (en) * | 2017-06-23 | 2021-01-26 | Qualcomm Incorporated | Memory-bandwidth-efficient design for bi-directional optical flow (BIO) |
US10757442B2 (en) * | 2017-07-05 | 2020-08-25 | Qualcomm Incorporated | Partial reconstruction based template matching for motion vector derivation |
CN116668717B (zh) * | 2019-01-06 | 2024-03-15 | 北京达佳互联信息技术有限公司 | 视频编码方法、计算设备和介质 |
-
2020
- 2020-03-16 KR KR1020227026603A patent/KR20220112864A/ko active Application Filing
- 2020-03-16 MX MX2021011197A patent/MX2021011197A/es unknown
- 2020-03-16 CN CN202080021231.4A patent/CN113632484A/zh active Pending
- 2020-03-16 CN CN202210037179.2A patent/CN114363612B/zh active Active
- 2020-03-16 KR KR1020217029914A patent/KR102429449B1/ko active IP Right Grant
- 2020-03-16 JP JP2021555567A patent/JP7100772B2/ja active Active
- 2020-03-16 WO PCT/US2020/023027 patent/WO2020190896A1/en unknown
- 2020-03-16 EP EP20772609.2A patent/EP3925224A4/en active Pending
-
2021
- 2021-09-15 US US17/476,252 patent/US11979583B2/en active Active
- 2021-09-15 US US17/476,361 patent/US11843785B2/en active Active
-
2022
- 2022-06-30 JP JP2022106654A patent/JP7355894B2/ja active Active
-
2023
- 2023-09-21 JP JP2023156482A patent/JP2023169341A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017134957A1 (ja) * | 2016-02-03 | 2017-08-10 | シャープ株式会社 | 動画像復号装置、動画像符号化装置、および予測画像生成装置 |
WO2018169989A1 (en) * | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
WO2019010156A1 (en) * | 2017-07-03 | 2019-01-10 | Vid Scale, Inc. | MOTION COMPENSATION PREDICTION BASED ON A BIDIRECTIONAL OPTICAL FLOW |
WO2020061082A1 (en) * | 2018-09-21 | 2020-03-26 | Vid Scale, Inc. | Complexity reduction and bit-width control for bi-directional optical flow |
Non-Patent Citations (3)
Title |
---|
TAKESHI CHUJOH AND TOMOHIRO IKAI: "Non-CE9: An improvement of BDOF", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0063-v3, JPN6022005496, January 2019 (2019-01-01), pages 1 - 3, ISSN: 0004706797 * |
XIAOYU XIU, ET AL.: "CE9-related: Improvements on bi-directional optical flow (BDOF)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0325, JPN6022005498, 13 March 2019 (2019-03-13), pages 1 - 7, ISSN: 0004706795 * |
XIAOYU XIU, YUWEN HE, AND YAN YE: "CE9-related: Complexity reduction and bit-width control for bi-directional optical flow (BIO)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0256_v2, JPN6022005497, September 2018 (2018-09-01), pages 1 - 15, ISSN: 0004706796 * |
Also Published As
Publication number | Publication date |
---|---|
US20220030270A1 (en) | 2022-01-27 |
US20220007030A1 (en) | 2022-01-06 |
KR102429449B1 (ko) | 2022-08-03 |
CN114363612A (zh) | 2022-04-15 |
KR20220112864A (ko) | 2022-08-11 |
MX2021011197A (es) | 2021-10-22 |
CN114363612B (zh) | 2024-05-03 |
JP7100772B2 (ja) | 2022-07-13 |
EP3925224A4 (en) | 2022-11-30 |
WO2020190896A1 (en) | 2020-09-24 |
JP2022130647A (ja) | 2022-09-06 |
US11979583B2 (en) | 2024-05-07 |
JP7355894B2 (ja) | 2023-10-03 |
EP3925224A1 (en) | 2021-12-22 |
CN113632484A (zh) | 2021-11-09 |
JP2023169341A (ja) | 2023-11-29 |
US11843785B2 (en) | 2023-12-12 |
KR20210119549A (ko) | 2021-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7100772B2 (ja) | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス | |
KR102548737B1 (ko) | 영상 부호화 및 복호화 장치 및 그 방법 | |
US11102515B2 (en) | In loop chroma deblocking filter | |
KR101974261B1 (ko) | Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치 | |
JP7474262B2 (ja) | 双方向オプティカルフローに対するビット幅制御 | |
JP7480303B2 (ja) | ビデオ符号化のための方法並びに、その装置、及びコンピュータプログラム | |
JP2022537604A (ja) | Prof(prediction refinement with optical flow)の方法および装置 | |
US20240098255A1 (en) | Video picture component prediction method and apparatus, and computer storage medium | |
JP2023164968A (ja) | オプティカルフローによる予測洗練化における方法および装置 | |
JP2022525688A (ja) | オプティカルフローを用いる予測改善のための方法および装置 | |
JPWO2011105231A1 (ja) | フィルタ係数符号化装置、フィルタ係数復号装置、動画像符号化装置、動画像復号装置、および、データ構造 | |
CN114175659A (zh) | 用于双向光流的比特宽度控制的装置和方法 | |
WO2021263251A1 (en) | State transition for dependent quantization in video coding | |
CN113615197B (zh) | 用于双向光流的比特深度控制的方法和设备 | |
JP2024510433A (ja) | ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク | |
JP2024096199A (ja) | ビデオ符号化のための方法及び装置 | |
JP2013223149A (ja) | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210914 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7100772 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |