CN114286101A - 一种视频编解码方法及设备 - Google Patents
一种视频编解码方法及设备 Download PDFInfo
- Publication number
- CN114286101A CN114286101A CN202111667192.8A CN202111667192A CN114286101A CN 114286101 A CN114286101 A CN 114286101A CN 202111667192 A CN202111667192 A CN 202111667192A CN 114286101 A CN114286101 A CN 114286101A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- bdof
- dmvr
- correct
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 239000013598 vector Substances 0.000 claims abstract description 660
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 71
- 238000012937 correction Methods 0.000 claims description 74
- 238000004590 computer program Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000004044 response Effects 0.000 claims 4
- 230000003287 optical effect Effects 0.000 abstract description 23
- 238000012545 processing Methods 0.000 abstract description 22
- 230000008569 process Effects 0.000 abstract description 15
- 230000011664 signaling Effects 0.000 description 74
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种视频编解码方法及设备,该设备包括:在接收到的已编码视频流中提取待解码视频图像帧,视频图像帧包含至少一个编码单元CU;若CU编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息取值,选择BDOF对CU的参考像素或选择DMVR对CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息取值不同;利用修正后CU的运动矢量,对已编码视频流进行解码。本发明提供的视频编解码方法及设备,解决了现有视频编解码方法在进行视频编解码时,处理效率低及存在时延的问题。
Description
本申请是中国专利申请第202010085186.0号的分案申请,该中国专利申请要求在2019年02月08日提交美国专利局、申请号为62/803,417、申请名称为“Bi-directionalOptical Flow and Decoder-side Motion Vector Refinement for Video Coding”的美国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及视频编码技术领域,特别涉及一种视频编解码方法及设备。
背景技术
在对视频数据进行处理时可以使用各种视频编码技术来压缩视频数据。视频编码是根据一个或多个视频编码标准来执行的。例如,视频编码标准包括多功能视频编码(VVC)、联合勘探测试模型(JEM)、高效率视频编码(HEVC)、高级视频编码(AVC)、运动图像专家组(MPEG)编码等。视频编码通常利用视频图像或视频序列中存在冗余的预测方法(例如,帧间预测、帧内预测等)。视频编码技术的一个重要目标是将视频数据压缩为使用较低比特率的形式,同时避免或最小化对视频质量的下降。
JVET会议定义的VVC编码方法中,图像划分结构将输入视频分为称为编码树单元(CTU)的块,具有嵌套多类型树的四叉树将一个CTU划分为编码单元CU,该编码单元具有定义共享相同预测模式的区域的叶子编码单元。
目前在VVC中,视频编码中的双向预测是从重建的参考图像获得的两个时域预测的简单组合。然而,由于基于块的运动补偿的限制,在两个预测块的采样之间存在小的运动,降低了运动补偿预测的效率及精度。为了解决该问题,双向光流(Bi-directionalOptical Flow,BDOF)和解码器侧运动矢量修正(Decoder-side Motion VectorRefinement,DMVR)被应用于VVC中,其中,BDOF是当使用双向预测时在基于块的运动补偿预测上执行的逐采样运动修正方法,能够降低两个预测块的采样之间存在的小的运动对一个块内部的每个采样的影响,提高了运动补偿预测的效率;DMVR是用于合并块的双预测技术,该合并块具有初始发出信号的两个运动矢量,这两个运动矢量通过使用双向匹配预测来进一步修正,因此能够提高双向预测运动矢量的准确性及预测精度。
虽然BDOF和DMVR能够提高运动补偿预测的效率、准确性或预测精度,但是在当前VVC中,在进行运动补偿预测时,启用BDOF或DMVR方法进行运动矢量修正均有对应的约束条件,在同时满足BDOF和DMVR对应的约束条件时,会同时启用BDOF和DMVR方法进行运动矢量修正。一方面,同时启用BDOF和DMVR增加了处理负荷,占用了较多的资源,导致处理效率降低,另一方面,在同时启用BDOF和DMVR方法进行运动矢量修正时,BDOF的执行依赖于DMVR的最终运动补偿结果,因此在执行时存在时延问题。
发明内容
本发明提供了一种视频编解码方法及设备,用以解决现有视频编解码方法在进行视频编解码时,处理效率低及存在时延的问题。
根据本发明实施例的第一方面,提供一种视频解码方法,该方法包括:
在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
利用修正后所述CU的运动矢量,对所述已编码视频流进行解码。
根据本发明实施例的第二方面,提供一种视频编码方法,该方法包括:
在待编码视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
利用修正后所述CU的运动矢量,对所述待编码视频流进行编码,并将编码得到的视频流发送到解码端。
根据本发明实施例的第三方面,提供一种视频解码设备,包括:
编码单元确定模块,用于在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
修正判决模块,用于若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
修正选择模块,用于若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
解码模块,用于利用修正后所述CU的运动矢量,对所述已编码视频流进行解码。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于DMVR的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于BDOF的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
根据本发明实施例的第四方面,提供一种视频编码设备,包括:
编码单元确定模块,用于在待编码视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
修正判决模块,用于若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
修正选择模块,用于若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
编码模块,用于利用修正后所述CU的运动矢量,对所述待编码视频流进行编码,并将编码得到的视频流发送到解码端。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,其中,不同选择结果映射为指定标志位的不同取值。
可选的,所述修正选择模块根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择DMVR对所述CU的运动矢量进行修正,并在确定应用于DMVR的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择BDOF对所述CU的参考像素进行修正,并在确定应用于BDOF的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
根据本发明实施例的第五方面,提供一种视频解码设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序:
在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
利用修正后所述CU的运动矢量,对所述已编码视频流进行解码。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于DMVR的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于BDOF的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
根据本发明实施例的第六方面,提供一种视频编码设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,实现如上述第二方面任一所述的视频编码方法的步骤。
在待编码视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
利用修正后所述CU的运动矢量,对所述待编码视频流进行编码,并将编码得到的视频流发送到解码端。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,其中,不同选择结果映射为指定标志位的不同取值。
可选的,所述处理器根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择DMVR对所述CU的运动矢量进行修正,并在确定应用于DMVR的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择BDOF对所述CU的参考像素进行修正,并在确定应用于BDOF的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
根据本发明实施例的第七方面,提供一种芯片,所述芯片与设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本发明实施例的第八方面,提供一种计算机可读存储介质,该计算机存储介质存储有程序指令,当其在计算机上运行时,使得计算机执行本发明实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本发明实施例的第九方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
利用本发明提供的视频编解码方法及设备,具有以下有益效果:
本发明提供的视频编解码方法及设备,在同时满足启用BDOF和DMVR的约束条件时,根据指定参考信息的取值,选择BDOF对所述CU的参考像素进行修正,或选择DMVR对所述CU的运动矢量进行修正,能够降低处理负荷,减少占用的资源,提高处理效率。并且,在同时启用BDOF和DMVR方法进行运动矢量修正时,BDOF的执行无需依赖于DMVR的最终运动补偿结果,因此消除了执行时存在的时延问题。解决了目前视频编解码方法存在的运算复杂、实施成本高的问题。解决了现有视频编解码方法在进行视频编解码时,处理效率低及存在时延的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中提供的一种视频编码方法示意图;
图2为本发明实施例中提供的一种双向光流BDOF模型的示意图;
图3为本发明实施例中提供的一种解码器侧运动矢量修正DMVR中双向匹配的示意图;
图4为本发明实施例中提供的一种视频解码方法示意图;
图5为本发明实施例中提供的一种视频解码设备示意图;
图6为本发明实施例中提供的一种视频编码设备示意图;
图7为本发明实施例中提供的一种视频解码设备结构示意图;
图8为本发明实施例中提供的一种视频编码设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
为了方便理解,下面对本发明实施例中涉及的名词进行解释:
1)运动矢量(Motion Vector,MV):在帧间编码中,运动矢量表示当前编码块与其参考图像中的最佳匹配块之间的相对位移;每个划分的编码块都有相应的运动信息需要传送到解码端,如果对每个编码块的运动矢量进行独立编码和传输,需要消耗相当多的比特;因此在编码时利用相邻宏块之间的空间相关性,根据相邻已编码块的运动信息对当前待编码块的运动信息进行预测,然后对预测差进行编码,这样可以有效地降低表示运动信息的比特数;
2)帧间预测:指利用视频图像帧间的相关性,即时间相关性,来达到视频图像压缩的目的,广泛应用于视频数据的压缩编码中;大多数视频图像相邻帧间细节变化是很小的,即视频图像帧间具有很强的相关性,利用视频图像帧所具有的相关性进行帧间编码,可获得比帧内编码高得多的压缩比,提高了视频数据压缩编码的效率。
实施例1
本发明实施例提供一种视频编码方法,应用于编码端,如图1所示,包括:
步骤S101,在待编码视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
获取待编码视频流,在获取到的待编码视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码单元CU。图像划分结构将输入的当前视频图像帧分为称为编码树单元CTU的块,使用具有嵌套多类型树结构的四叉树将一个编码树单元CTU划分成编码单元CU,该编码单元CU具有定义共享相同预测模式的区域的叶子编码单元,所述相同预测模式的区域可以是帧内或帧间等。每个CU包含一个或多个预测单元PU和变换单元树。在VVC中,每个CU始终用作于进行预测和变换的基本单位,而无需进一步分区。
在本申请实施例中,术语“单元(unit)”定义了覆盖所有分量的图像的区域,具体例如亮度分量或色度分量等。
步骤S102,若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
VVC中视频编解码时常用的编码模式包括帧间模式与帧内模式。对给定的编码单元进行运动矢量预测时,可以基于帧间预测形成,或者基于帧内预测形成。在帧间预测中,基于来自先前重构帧的像素,通过运动预估和运动补偿来形成预测值。在帧内预测中,基于当前帧的重构像素来形成预测值。
目前常用的帧间预测模式有六种。在进行帧间预测时,可以通过模式决策,从中选择一种帧间预测模式来对CU进行运动矢量预测。在确定采用的帧间模式后,对CU进行帧间预测时,可以采用多种运动矢量预测方法,本实施例中选择双向预测方法对CU进行运动矢量预测。
视频编码中,双向预测是两个时域预测的组合,该两个时域预测从重建的参考图像获得。具体的,针对CU进行运动矢量预测,得到双向预测合并候选列表,该合并候选列表中的双向预测运动矢量包括前向预测的运动矢量和后向预测的运动矢量,分别对应列表0的运动矢量和列表1的运动矢量;然后按照一定规则分别从两个列表中选择运动矢量,根据选择的运动矢量推导得到CU的运动矢量预测。
具体实施时,上述进行双向预测的方法可采用现有技术,本实施例中不再详述。
确定CU的编码模式为帧间模式,且采用双向预测方式进行CU的运动矢量预测时,在满足对应的约束条件时,可以启用BDOF或DMVR对CU进行运动修正,从而提高运动补偿的效率及运动矢量预测的效率和精度。
参照图2,为本发明实施例提供的双向光流BDOF模型的示意图。如图所示,BDOF是在基于块的运动补偿预测上执行的逐采样运动修正。BDOF对CU进行运动修正时,获取采用双向预测方式确定的CU的双向预测运动矢量,利用双向预测运动矢量中前向预测的运动矢量推导确定一个参考块,利用双向预测运动矢量中后向预测的运动矢量推导确定一个参考块。对得到的两个参考块的像素值取平均值得到平均像素值,然后对该平均像素值进行像素值修正,得到CU修正后的运动矢量。
具体实施时,首先根据两个参考块中的像素值确定梯度值,然后计算梯度的自相关和互相关,其次,根据确定的自相关和互相关参数计算参考块的运动修正值,最后,利用该运动修正值对CU进行运动修正,通过沿基于BDOF光流模型的运动轨迹差值前向预测的运动矢量和后向预测的运动矢量,得到CU的修正后的运动矢量,最终利用修正后的运动矢量去推导像素的修正值。
参照图3,为本发明实施例提供的解码器侧运动矢量修正DMVR中双向匹配的示意图。DMVR对CU进行运动修正时,获取采用双向预测方式确定的CU的双向预测运动矢量,利用双向匹配对双向预测运动矢量中前向预测的运动矢量和后向预测的运动矢量分别进行运动修正,利用修正后的运动矢量分别得到两个参考块,利用这两个参考块推导确定CU的运动矢量。如图3所示,双向匹配用于通过沿两个不同参考图像中的当前CU的运动轨迹查找最接近的匹配,推导出当前CU的运动信息。在完成匹配过程之后,修正后的运动矢量用于预测运动补偿、去块滤波器中的边界强度计算、用于随后图像的时域运动矢量预测等。在连续运动轨迹的假设下,指向CU的两个参考块的运动矢量和应与当前图像和两个参考图像之间的时域距离成正比,即与TD0和TD1成正比。
目前现有技术在同时启用BDOF和DMVR对CU进行运动修正时,首先执行DMVR修正,然后基于DMVR的运动修正结果,执行BDOF运动修正。具体的,获取采用双向预测方式确定的CU的双向预测运动矢量,利用DMVR对双向预测运动矢量中前向预测的运动矢量和后向预测的运动矢量分别进行运动修正,利用修正后的运动矢量分别得到两个参考块。然后,对得到的两个参考块的像素值取平均值得到平均像素值,再利用BDOF对该平均像素值进行运动修正,推导得到CU修正后的运动矢量。
上述在启用BDOF或DMVR对CU进行运动修正时,需要满足一定的约束条件。
具体的,若启用BDOF对CU的参考像素进行修正,需满足如下所有约束条件:
1)当前块使用双向预测,双向运动矢量中一个运动矢量以显示顺序指向在当前图像之前的参考图像,另一个运动矢量以显示顺序指向在当前图像之后的参考图像;
2)不启用加权预测;
3)当前CU的高度不等于4;
4)当前CU的尺寸不等于4×8,即CU宽度不为4且高度不为8;
5)当前CU未编码成对称运动矢量差值MVD模式,其中对称MVD模式是VVC中的特殊MVD编码模式;
6)当前CU未编码成仿射模式;
7)当前CU未编码成子块合并模式;
8)当对当前CU的双向预测运动矢量中前向预测的运动矢量和后向预测的运动矢量取平均值时,不使用不同的权重。
若启用DMVR对CU的运动矢量进行修正,需满足如下所有约束条件:
1)当前块使用双向预测,双向运动矢量中一个运动矢量按显示顺序指向当前图像之前的参考图像,另一个运动矢量按显示顺序指向当前图像之后的参考图像,此外,当前图像和前向参考图像之间的距离以及当前图像和后向参考图像之间的距离相同;
2)当前CU被编码成合并模式,并且所选择的合并候选是常规的合并候选,例如,正常的非子块空域合并候选或时域合并候选等;
3)当前CU的高度等于或大于8;
4)当前CU的面积等于或大于64;
5)当前CU未被编码成仿射模式;
6)当前CU未被编码成子块合并模式;
7)当前CU未被编码成MMVD模式。
编码端在对CU进行编码时,若该CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,则确定是否满足上述启用双向光流BDOF或启用解码端运动矢量修正DMVR的约束条件。
上述采用BDOF或DMVR对CU进行运动修正的方法为现有技术,这里不再详述。
步骤S103,若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
本实施例中CU的参考像素指的是:通过双向预测方式确定CU的双向预测运动矢量后,利用双向预测运动矢量中前向预测的运动矢量推导确定一个参考块,利用双向预测运动矢量中后向预测的运动矢量推导确定一个参考块,对得到的两个参考块的像素进行平均后得到的像素。
本实施例根据指定参数的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。上述指定参数可以是新的参数并携带在信令中指示给解码端,也可是编码信息中的指定参数或者其他的参数。
本申请根据指定参数的不同选择不同的运动修正方式,可以根据编解码过程中不同的参数选择合适的运动修正方式,因此,在编解码过程中能够选择到修正效果相对较好的运动修正方式,更加灵活高效的进行运动修正。
进一步的,本实施例中增加附加约束,附加约束可独立的或者结合的应用在选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正的过程中。具体的,可采用如下任一种方式:
方式一,根据是否对利用CU的运动矢量得到的参考块进行加权预测,选择BDOF对CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
若对利用CU的运动矢量得到的参考块进行加权预测,则选择BDOF对所述CU的参考像素进行修正,采用DMVR对所述CU的运动矢量进行修正是不允许的,即,在这种情况下不允许启用DMVR。
DMVR是对CU的双向预测的运动矢量进行修正,因此在对利用CU的运动矢量得到的参考块进行加权预测时,若启用DMVR则需要再次获取或调用CU的双向预测的运动矢量,增加了不必要的数据处理,因此,上述方法对DMVR的启用加以约束,从而使DMVR能够在恰当的条件下被启用,避免了不必要的数据处理,能够提高编码效率。
方式二,根据是否对CU的运动矢量采用不同权重进行加权预测,选择BDOF对CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
若对CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。采用DMVR对所述CU的运动矢量进行修正是不允许的,即,在这种情况下不允许启用DMVR。
DMVR对CU的双向预测的运动矢量进行修正时,无需对两个运动矢量进行加权平均,而是直接根据修正后的两个运动矢量得到两个参考块。在对CU的运动矢量采用不同权重进行加权预测时,需要对CU的双向预测两个运动矢量进行加权平均,与DMVR的方法是不同的。若启用DMVR则需要增加执行与运动矢量预测不同的步骤,增加了不必要的数据处理,因此,上述方法对DMVR的启用加以约束,从而使DMVR能够在恰当的条件下被启用,避免了不必要的数据处理,能够提高编码效率。
方式三,若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正,即,在这种情况下BDOF与DMVR均不允许启用。
若确定对所述CU不进行DMVR与BDOF的运动矢量修正,则在利用双向预测方法得到CU的双向预测运动矢量后,不对CU的运动矢量进行修正,直接利用CU的双向预测运动矢量中前向预测的运动矢量和后向预测的运动矢量推导得到CU的运动矢量,利用CU的运动矢量,对待编码视频流进行编码。
DMVR对CU的双向预测的运动矢量进行修正时,无需对两个运动矢量进行加权平均,而是直接根据修正后的两个运动矢量得到两个参考块。BDOF对CU的参考像素进行修正时,也无需对两个运动矢量进行加权平均,是对根据双向预测运动矢量得到的两个参考块的像素进行修正的。在对CU的运动矢量采用不同权重进行加权预测时,需要对CU的双向预测两个运动矢量进行加权平均,与DMVR和BDOF的方法均不同。若启用DMVR或BDOF则需要增加执行与运动矢量预测不同的步骤,增加了不必要的数据处理,因此,上述方法对DMVR和BDOF的启用均加以约束,从而使上述情况下DMVR和BDOF均不启用,进一步避免了不必要的数据处理,提高了编码效率。
综上,上述在启用DMVR或BDOF时增加附加约束,能够在更合适的条件下启用DMVR或BDOF,避免不必要的数据处理,提高编码效率。
步骤S104,利用修正后所述CU的运动矢量,对所述待编码视频流进行编码,并将编码得到的视频流发送到解码端。
利用上述步骤确定的运动矢量,对获取的待编码视频流进行编码,得到已编码视频流,并将所述已编码视频流发送到解码端。具体实施时可采用现有技术,本实施例不再详述。
本发明实施例提供一种视频解码方法,应用于解码端,如图4所示,包括:
步骤S401,在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
接收解码端发送的已编码视频流,在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码单元CU。图像划分结构将输入的当前视频图像帧分为称为编码树单元CTU的块,使用具有嵌套多类型树结构的四叉树将一个编码树单元CTU划分成编码单元CU,该编码单元CU具有定义共享相同预测模式的区域的叶子编码单元,所述相同预测模式的区域可以是帧内或帧间等。每个CU包含一个或多个预测单元PU和变换单元树。在VVC中,每个CU时钟用作于进行预测和变换的基本单位,而无需进一步分区。
在本申请实施例中,术语“单元(unit)”定义了覆盖所有分量的图像的区域,具体例如亮度分量或色度分量等。
步骤S402,若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
确定CU的编码模式为帧间模式,且采用双向预测方式进行CU的运动矢量预测时,可以启用BDOF或DMVR对CU进行运动修正,从而提高运动补偿的效率及运动矢量预测的效率和精度。
采用BDOF和DMVR对CU进行运动修正时,采用与上述实施例中相同的方法,本实施例不再重述。
上述在启用BDOF或DMVR对CU进行运动修正时,需要满足一定的约束条件。具体约束条件与上述实施例中相同,本实施例不再重述。
编码端在对CU进行编码时,若该CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,则确定是否满足上述启用双向光流BDOF或启用解码端运动矢量修正DMVR的约束条件。
上述采用BDOF或DMVR对CU进行运动修正的方法为现有技术,这里不再详述。
步骤S403,若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
若上述步骤确定同时满足上述启用双向光流BDOF和启用解码端运动矢量修正DMVR的约束条件,则选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
在启用DMVR时增加附加约束,这些附加约束可独立的或者结合的应用在选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正的过程中。增加的附加约束的具体实施方式与编码端的实施方式相同,本实施例不再重述。
步骤S404,利用修正后所述CU的运动矢量,对所述已编码视频流进行解码。
利用上述步骤确定的运动矢量,对已编码视频流进行解码,具体实施时可采用现有技术,本实施例不再详述。
本发明上述实施例提供的视频编解码方法,在同时满足启用BDOF和DMVR的约束条件时,根据指定参考信息的取值,选择BDOF对所述CU的参考像素进行修正,或选择DMVR对所述CU的运动矢量进行修正,能够降低处理负荷,减少占用的资源,提高处理效率。并且,在同时启用BDOF和DMVR方法进行运动矢量修正时,BDOF的执行无需依赖于DMVR的最终运动补偿结果,因此消除了执行时存在的时延问题;解决了目前视频编解码方法存在的运算复杂、实施成本高的问题;解决了现有视频编解码方法在进行视频编解码时,处理效率低及存在时延的问题。
实施例2
上述实施例1提供的方法中,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正时,编码端和解码端采用如下方法。
确定同时满足启用双向光流BDOF和启用解码端运动矢量修正DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正时,可采用如下任一种方式:
方式一,根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
作为一种可选的实施方式,根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合。
具体的,可采用如下任一种实施方式:
1)若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
在对当前CU进行双向运动矢量预测时,仅在针对当前CU选择常规的合并模式时,启用DMVR对当前CU的运动矢量进行修正,在这种情况下不启用BDOF对CU进行运动修正;在针对当前CU未选择常规的合并模式时,启用BDOF对CU的参考像素进行运动矢量修正,不启用DMVR。
上述方式根据是否针对当前CU选择常规的合并模式,确定是否启用DMVR或BDOF对CU进行运动修正,针对当前CU选择的编解码模式为能够直接确定的参考信息,因此能够根据编解码过程中可以直接获得的参考信息,高效的确定当前CU的运动修正方法,提高了编解码效率。
2)根据编码模式指示信息是否指示常规的合并模式,及对应的编码合并索引,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可采用如下任一示例的方法:
示例1、若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
作为一种可选的实施方式,在对当前CU进行双向运动矢量预测时,若用于当前CU的常规合并模式的编码合并索引为奇数合并索引号,则选择DMVR对CU的运动矢量进行修正;若用于当前CU的常规合并模式的编码合并索引为偶数合并索引号,则选择BDOF对CU的参考像素进行修正。
作为另一种可选的实施方式,在对当前CU进行双向运动矢量预测时,若用于当前CU的常规合并模式的编码合并索引为奇数合并索引号,则选择BDOF对CU的参考像素进行修正;若用于当前CU的常规合并模式的编码合并索引为偶数合并索引号,则选择DMVR对CU的运动矢量进行修正。
示例2、若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
作为一种可选的实施方式,在对当前CU进行双向运动矢量预测时,若用于当前CU的常规合并模式的编码合并索引为小于预定义阈值的合并索引号,则选择DMVR对CU的运动矢量进行修正;若用于当前CU的常规合并模式的编码合并索引为等于或大于预定义阈值的合并索引号,则选择BDOF对CU的参考像素进行修正。
作为另一种可选的实施方式,在对当前CU进行双向运动矢量预测时,若用于当前CU的常规合并模式的编码合并索引为大于预定义阈值的合并索引号,则选择DMVR对CU的运动矢量进行修正;若用于当前CU的常规合并模式的编码合并索引为等于或小于预定义阈值的合并索引号,则选择BDOF对CU的参考像素进行修正。
上述方式根据是否针对当前CU选择常规的合并模式,及编码合并索引的取值,选择性的启用DMVR或BDOF对CU进行运动修正,针对当前CU选择的编解码模式及编码合并索引的取值为能够直接确定的参考信息,因此能够根据编解码过程中可以直接获得的参考信息,高效的确定当前CU的运动修正方法,提高了编解码效率。
作为另一种可选的实施方式,根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
具体的,可采用如下任一种实施方式:
1)根据指定编码块信息中的块的运动矢量,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可采用如下任一示例的方法:
示例1、若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
示例2、若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
示例3、若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
例如,当CU从合并候选列表中选择的运动矢量,与之前的合并候选列表中的运动矢量候选的差值大于预设阈值,或者在当前的参考图像与先前合并候选列表中候选的参考图像不同时,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
上述示例的方法根据当前CU的运动矢量,选择性的启用DMVR或BDOF对CU进行运动修正,在双向预测过程中,当前CU的运动矢量为能够直接获取的参考信息,因此能够根据编解码过程中可以直接获取的参考信息,高效的确定当前CU的运动修正方法,提高了编解码效率。
2)根据指定编码块信息中的块的形状,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可采用如下任一示例的方法:
示例1、若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
示例2、若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
上述示例的方法根据当前CU的形状,选择性的启用DMVR或BDOF对CU进行运动修正,当前CU的形状为能够直接确定的参考信息,因此能够根据编解码过程中可以直接确定的参考信息,高效的确定当前CU的运动修正方法,提高了编解码效率。
3)根据指定编码块信息中的块的尺寸,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可采用如下任一示例的方法:
示例1、若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
示例2、若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
上述示例的方法根据当前CU的尺寸,选择性的启用DMVR或BDOF对CU进行运动修正,当前CU的尺寸为能够直接确定的参考信息,因此能够根据编解码过程中可以直接确定的参考信息,高效的确定当前CU的运动修正方法,提高了编解码效率。
上述方式一提供的实施方式中,根据指定编码信息,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。CU的编码信息为能够直接确定或容易获得的参考信息,因此利用CU不同的编码信息,能够高效的确定不同的用于当前CU的运动修正方法,提高了编解码效率。
方式二,编码端选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果通过信令指示给解码端;解码端根据编码端的指示选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
具体的,可采用如下任一种实施方式:
1)编码端选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,其中,不同选择结果映射为指定标志位的不同取值;解码端根据编码端发送的信令中的指定标志位的取值,选择对应的方法对CU进行运动修正。
该方法中,编码端选择DMVR或BDOF对CU进行运动修正后,仅需发送一个信号指示解码端,解码端就能选择对应的方法对CU进行运动修正,因此能够简单迅速的确定当前CU的运动修正方法,提高了编解码效率。
2)编码端选择DMVR对所述CU的运动矢量进行修正,并在确定应用于DMVR的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正;解码端接收编码端在确定应用于DMVR的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
编码端和解码端分别生成相同单独的合并候选列表,并且将其单独的应用于DMVR。编码端在确定该合并候选列表的尺寸大于预设值时,启用DMVR对CU的运动矢量进行修正,并发出信令指示解码端应用于DMVR的合并模式,及对应的编码合并索引;解码端收到该指示信令后,在该指示信令指示的合并模式下,启用DMVR对CU的运动矢量进行修正,在其他模式下则不启用DMVR。
所述预设值为正整数,本发明实施例中预设值为1。
本实施例中,编码端和解码端生成单独的用于DMVR的合并候选列表的方法可以采用新定义的方法,或者采用现有的常规合并列表生成方法,或者采用现有的不同于常规合并候选列表的列表生成方法。
该方法中,编码端生成单独的合并候选列表并单独的应用于DMVR,并增加对合并候选列表尺寸的判断,在满足预设条件时,发送一个信号指示解码端,解码端再选择对应的方法对CU进行运动修正,通过DMVR专用的合并候选列表及相应约束,提高了DMVR进行运动修正的精度,提高了编解码的准确度。
3)编码端选择BDOF对所述CU的参考像素进行修正,并在确定应用于BDOF的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正;解码端接收编码端在确定应用于BDOF的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
编码端和解码端分别生成相同单独的合并候选列表,并且将其单独的应用于BDOF。编码端在确定该合并候选列表的尺寸大于预设值时,启用BDOF对CU的运动矢量进行修正,并发出信令指示解码端应用于BDOF的合并模式,及对应的编码合并索引;解码端收到该指示信令后,在该指示信令指示的合并模式下,启用BDOF对CU的运动矢量进行修正,在其他模式下则不启用BDOF。
所述预设值为正整数,本发明实施例中预设值为1。
本实施例中,编码端和解码端生成单独的用于BDOF的合并候选列表的方法可以采用新定义的方法,或者采用现有的常规合并列表生成方法,或者采用现有的不同于常规合并候选列表的列表生成方法。
该方法中,编码端生成单独的合并候选列表并单独的应用于BDOF,并增加对合并候选列表尺寸的判断,在满足预设条件时,发送一个信号指示解码端,解码端再选择对应的方法对CU进行运动修正,通过BDOF专用的合并候选列表及相应约束,提高了BDOF进行运动修正的精度,提高了编解码的准确度。
上述提供的方法中,编码端在选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正时,可以选择BDOF与DMVR中的任一方法对CU进行运动修正,或者对BDOF与DMVR方法进行测试,选择其中对CU的运动修正效果更好的方法,对CU进行运动修正。
上述方式二提供的实施方式,编码端选择DMVR或BDOF对CU进行运动修正后,仅需发送一个信号指示解码端,解码端就能选择对应的方法对CU进行运动修正,因此能够简单迅速的确定当前CU的运动修正方法,提高了编解码效率。
方式三,根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
绝对差之和或平均差之和反映各个值与平均值之间的差异,绝对差之和或平均差之和越大,则预测精度越低。因此,上述方法在CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值时,选择修正准确度更高的DMVR方法,能够得到精度更高的修正的运动矢量,提高编解码精度。
上述方式三提供的实施方式,编码端根据反映预测精度的参数,选择DMVR或BDOF对CU进行运动修正,因此能够根据不同精度需求,简单迅速的确定当前CU的运动修正方法,提高了编解码效率及准确度。
本发明上述实施例提供的视频编解码方法,在同时满足启用BDOF和DMVR的约束条件时,根据指定参考信息的取值,选择BDOF对所述CU的参考像素进行修正,或选择DMVR对所述CU的运动矢量进行修正,能够降低处理负荷,减少占用的资源,提高处理效率。并且,在同时启用BDOF和DMVR方法进行运动矢量修正时,BDOF的执行无需依赖于DMVR的最终运动补偿结果,因此消除了执行时存在的时延问题。解决了目前视频编解码方法存在的运算复杂、实施成本高的问题。解决了现有视频编解码方法在进行视频编解码时,处理效率低及存在时延的问题。
实施例4
以上对本发明中一种视频编解码方法进行说明,以下对执行上述视频编解码设备进行说明。
请参阅图5,本发明实施例提供一种视频解码设备,应用于解码端,包括:
编码单元确定模块501,用于在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
修正判决模块502,用于若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
修正选择模块503,用于若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
解码模块504,用于利用修正后所述CU的运动矢量,对所述已编码视频流进行解码。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于DMVR的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于BDOF的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
请参阅图6,本发明实施例提供一种视频编码设备,应用于编码端,包括:
编码单元确定模块601,用于在待编码视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
修正判决模块602,用于若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
修正选择模块603,用于若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
编码模块604,用于利用修正后所述CU的运动矢量,对所述待编码视频流进行编码,并将编码得到的视频流发送到解码端。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,其中,不同选择结果映射为指定标志位的不同取值。
可选的,所述修正选择模块根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择DMVR对所述CU的运动矢量进行修正,并在确定应用于DMVR的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择BDOF对所述CU的参考像素进行修正,并在确定应用于BDOF的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述修正选择模块根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述修正选择模块根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
上面从模块化功能实体的角度对本申请实施例中的视频编解码设备进行了描述,下面从硬件处理的角度对本申请实施例中的视频编解码设备进行描述。
请参阅图7,本申请实施例中视频解码设备的另一个实施例包括:
处理器701、存储器702、收发器709以及总线系统711;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
利用修正后所述CU的运动矢量,对所述已编码视频流进行解码。
图7是本发明实施例提供的一种视频解码设备的结构示意图,应用于解码端,该设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(英文全称:central processing units,英文简称:CPU)701(例如,一个或一个以上处理器)和存储器702,一个或一个以上存储应用程序704或数据706的存储介质703(例如一个或一个以上海量存储设备)。其中,存储器702和存储介质703可以是短暂存储或持久存储。存储在存储介质703的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地,处理器701可以设置为与存储介质703通信,在设备700上执行存储介质703中的一系列指令操作。
设备700还可以包括一个或一个以上电源710,一个或一个以上有线或无线网络接口707,一个或一个以上输入输出接口708,和/或,一个或一个以上操作系统705,例如Windows Server,MacOSX,Unix,Linux,FreeBSD等。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于DMVR的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据编码端发送的信令中的指定标志位的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
接收编码端在确定应用于BDOF的合并候选列表的尺寸大于预设值时发送的信令,根据信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
请参阅图8,本申请实施例中视频编码设备的另一个实施例包括:
处理器801、存储器802、收发器809以及总线系统811;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
在待编码视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码单元CU;
若所述CU的编码模式为帧间模式,且采用双向预测方式确定运动矢量,确定是否满足启用双向光流BDOF或解码端运动矢量修正DMVR的约束条件;
若同时满足启用BDOF和DMVR的约束条件,根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,其中BDOF和DMVR对应的指定参考信息的取值不同;
利用修正后所述CU的运动矢量,对所述待编码视频流进行编码,并将编码得到的视频流发送到解码端。
图8是本发明实施例提供的一种视频编码设备的结构示意图,应用于编码端,该设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(英文全称:central processing units,英文简称:CPU)801(例如,一个或一个以上处理器)和存储器802,一个或一个以上存储应用程序804或数据806的存储介质803(例如一个或一个以上海量存储设备)。其中,存储器802和存储介质803可以是短暂存储或持久存储。存储在存储介质803的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地,处理器801可以设置为与存储介质803通信,在设备800上执行存储介质803中的一系列指令操作。
设备800还可以包括一个或一个以上电源810,一个或一个以上有线或无线网络接口807,一个或一个以上输入输出接口808,和/或,一个或一个以上操作系统805,例如Windows Server,MacOSX,Unix,Linux,FreeBSD等。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据是否对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对利用所述CU的运动矢量得到的参考块进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据是否对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若对所述CU的运动矢量采用不同权重进行加权预测,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器还用于:
若同时满足启用BDOF和DMVR的约束条件,且对所述CU的运动矢量采用不同权重进行加权预测时,确定对所述CU不进行DMVR与BDOF的运动矢量修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;或者
选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,其中,不同选择结果映射为指定标志位的不同取值。
可选的,所述处理器根据指定编码信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码模式信息包括编码模式指示信息、编码合并索引的任一或任多组合;或者
根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,所述指定编码块信息包括CU的形状、尺寸、运动矢量中的任一或任多组合。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若编码模式指示信息指示选择常规的合并模式,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码模式信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的奇偶,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正;
若编码模式指示信息指示选择常规的合并模式,根据所述编码合并索引的取值与预设合并索引号阈值的比较结果,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括如下任一步骤:
若所述CU的前向预测的运动矢量与后向预测的运动矢量之和大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若所述CU的前向预测的运动矢量与后向预测的运动矢量的差值大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;
若针对所述CU从合并候选列表中选择的运动矢量,与之前合并候选列表中的运动矢量候选相差预定义阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的形状为正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的形状为非正方形,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定编码块信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若所述CU的尺寸大于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正;或者
若所述CU的尺寸小于预设尺寸阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择DMVR对所述CU的运动矢量进行修正,并在确定应用于DMVR的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,并将选择结果映射为指定标志位的取值,以信令的方式发送给解码端,包括:
选择BDOF对所述CU的参考像素进行修正,并在确定应用于BDOF的合并候选列表的尺寸大于预设值时向解码端发送信令,以使解码端根据所述信令中的指定标志位确定选择BDOF对所述CU的参考像素进行修正。
可选的,所述处理器根据指定参考信息的取值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
根据所述CU的运动矢量确定对应的参考块,对所述参考块进行采样,根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正。
可选的,所述处理器根据采样像素值,选择BDOF对所述CU的参考像素或选择DMVR对所述CU的运动矢量进行修正,包括:
若CU的前向预测的运动矢量对应的采样像素值与后向预测的运动矢量对应的采样像素值的绝对差之和SAD或平方差之和SSD大于预设阈值,选择DMVR对所述CU的运动矢量进行修正,否则,选择BDOF对所述CU的参考像素进行修正。
本发明实施例还提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述实施例提供的视频编解码方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
以上对本申请所提供的技术方案进行了详细介绍,本申请中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (17)
1.一种视频解码方法,包括:
在接收到的已编码视频流中提取待解码视频图像帧,其中,所述视频图像帧中包含至少一个编码单元CU;
响应于确定所述CU的编码模式为帧间模式,且所述CU同时满足启用BDOF的约束条件和启用DMVR的约束条件,根据指定参考信息的取值,确定是否选择BDOF对所述CU的参考像素进行修正,其中,所述启用BDOF的约束条件和所述启用DMVR的约束条件两者均包括对所述CU使用双向预测;以及
响应于确定不选择BDOF对所述CU的参考像素进行修正,通过利用DMVR修正所述CU的运动矢量,来对所述视频图像帧进行解码。
2.根据权利要求1所述的方法,其中,所述指定参考信息包括所述CU的前向预测的运动矢量所对应的采样像素值与后向预测的运动矢量所对应的采样像素值的绝对差和SAD,并且其中,所述根据指定参考信息的取值,确定是否选择BDOF对所述CU的参考像素进行修正包括:
根据所述SAD的取值与预设阈值之间的比较,确定是否选择BDOF对所述CU的参考像素进行修正。
3.根据权利要求1所述的方法,其中,所述启用BDOF的约束条件还包括:
所述CU利用前向参考图片和后向参考图片来使用所述双向预测;
不启用加权预测;
所述CU的尺寸不等于4×8;
所述CU未以对称运动矢量差MVD模式被编码;以及
所述CU未以子块合并模式被编码。
4.根据权利要求1所述的方法,其中,所述启用DMVR的约束条件还包括:
所述视频图像帧和前向参考图片之间的距离与所述视频图像帧和后向参考图片之间的距离相同;
所述CU的高度等于或大于8;
所述CU没有以仿射模式被编码;
所述CU没有以子块合并模式被编码;以及
所述CU没有以具有运动矢量差的合并模式MMVD被编码。
5.根据权利要求1所述的方法,其中,所述利用DMVR修正所述CU的运动矢量包括:
利用双向匹配分别对所述双向预测中的前向矢量和后向矢量进行运动修正。
6.根据权利要求5所述的方法,其中,所述双向匹配用于沿所述CU的运动轨迹查找前向参考图片和后向参考图片中的最接近的两个参考块。
7.一种视频编码方法,包括:
在待编码视频流中提取待编码视频图像帧,其中,所述视频图像帧中包含至少一个编码单元CU;
响应于确定所述CU的编码模式为帧间模式,且所述CU同时满足启用BDOF的约束条件和启用DMVR的约束条件,根据指定参考信息的取值,确定是否选择BDOF对所述CU的参考像素进行修正,其中,所述启用BDOF的约束条件和所述启用DMVR的约束条件两者均包括对所述CU使用双向预测;以及
响应于确定不选择BDOF对所述CU的参考像素进行修正,通过利用DMVR修正所述CU的运动矢量,来对所述视频图像帧进行编码。
8.根据权利要求7所述的方法,其中,所述指定参考信息包括所述CU的前向预测的运动矢量所对应的采样像素值与后向预测的运动矢量所对应的采样像素值的绝对差和SAD,并且其中,所述根据指定参考信息的取值,确定是否选择BDOF对所述CU的参考像素进行修正包括:
根据所述SAD的取值与预设阈值之间的比较,确定是否选择BDOF对所述CU的参考像素进行修正。
9.根据权利要求7所述的方法,其中,所述启用BDOF的约束条件还包括:
所述CU利用前向参考图片和后向参考图片来使用所述双向预测;
不启用加权预测;
所述CU的尺寸不等于4×8;
所述CU未以对称运动矢量差MVD模式被编码;以及
所述CU未以子块合并模式被编码。
10.根据权利要求7所述的方法,其中,所述启用DMVR的约束条件还包括:
所述视频图像帧和前向参考图片之间的距离与所述视频图像帧和后向参考图片之间的距离相同;
所述CU的高度等于或大于8;
所述CU没有以仿射模式被编码;
所述CU没有以子块合并模式被编码;以及
所述CU没有以具有运动矢量差的合并模式MMVD被编码。
11.根据权利要求7所述的方法,其中,所述利用DMVR修正所述CU的运动矢量包括:
利用双向匹配分别对所述双向预测中的前向矢量和后向矢量进行运动修正。
12.根据权利要求11所述的方法,其中,所述双向匹配用于沿所述CU的运动轨迹查找前向参考图片和后向参考图片中的最接近的两个参考块。
13.一种视频解码设备,包括:
存储器和处理器;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,实现如权利要求1-6中任一项所述的方法。
14.一种视频编码设备,包括:
存储器和处理器;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,实现如权利要求7-12中任一项所述的方法。
15.一种存储有视频比特流的计算机可读存储介质,其中,在所述视频比特流由处理器处理时,所述处理器执行如权利要求1-6中任一项所述的方法。
16.一种存储有视频比特流的计算机可读存储介质,其中,所述视频比特流由权利要求7-12中任一项所述方法编码得到。
17.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现如权利要求1-12中任一项所述方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962803417P | 2019-02-08 | 2019-02-08 | |
US62/803,417 | 2019-02-08 | ||
CN202010085186.0A CN111294598B (zh) | 2019-02-08 | 2020-02-10 | 一种视频编解码方法及设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010085186.0A Division CN111294598B (zh) | 2019-02-08 | 2020-02-10 | 一种视频编解码方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114286101A true CN114286101A (zh) | 2022-04-05 |
CN114286101B CN114286101B (zh) | 2022-10-04 |
Family
ID=71029974
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111233781.5A Active CN113965746B (zh) | 2019-02-08 | 2020-02-08 | 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备 |
CN202210827077.0A Active CN115209159B (zh) | 2019-02-08 | 2020-02-08 | 用于视频编码的方法、设备和介质 |
CN202310894965.9A Active CN116828185B (zh) | 2019-02-08 | 2020-02-08 | 一种用于视频解码的方法、计算设备、程序产品和介质 |
CN202080013232.4A Pending CN113424537A (zh) | 2019-02-08 | 2020-02-08 | 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备 |
CN202310971968.8A Pending CN116886925A (zh) | 2019-02-08 | 2020-02-08 | 一种用于视频编码的方法、计算设备和介质 |
CN202010085186.0A Active CN111294598B (zh) | 2019-02-08 | 2020-02-10 | 一种视频编解码方法及设备 |
CN202111667192.8A Active CN114286101B (zh) | 2019-02-08 | 2020-02-10 | 一种视频编解码方法及设备 |
Family Applications Before (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111233781.5A Active CN113965746B (zh) | 2019-02-08 | 2020-02-08 | 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备 |
CN202210827077.0A Active CN115209159B (zh) | 2019-02-08 | 2020-02-08 | 用于视频编码的方法、设备和介质 |
CN202310894965.9A Active CN116828185B (zh) | 2019-02-08 | 2020-02-08 | 一种用于视频解码的方法、计算设备、程序产品和介质 |
CN202080013232.4A Pending CN113424537A (zh) | 2019-02-08 | 2020-02-08 | 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备 |
CN202310971968.8A Pending CN116886925A (zh) | 2019-02-08 | 2020-02-08 | 一种用于视频编码的方法、计算设备和介质 |
CN202010085186.0A Active CN111294598B (zh) | 2019-02-08 | 2020-02-10 | 一种视频编解码方法及设备 |
Country Status (13)
Country | Link |
---|---|
US (3) | US20210368200A1 (zh) |
EP (3) | EP4333435A3 (zh) |
JP (6) | JP7232345B2 (zh) |
KR (4) | KR102384240B1 (zh) |
CN (7) | CN113965746B (zh) |
DK (1) | DK3909247T3 (zh) |
ES (1) | ES2981908T3 (zh) |
FI (1) | FI3909247T3 (zh) |
HU (1) | HUE067106T2 (zh) |
MX (1) | MX2021009529A (zh) |
PL (1) | PL3909247T3 (zh) |
PT (1) | PT3909247T (zh) |
WO (1) | WO2020163837A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PT3909247T (pt) * | 2019-02-08 | 2024-05-13 | Beijing Dajia Internet Information Tech Co Ltd | Método e dispositivo para aplicação seletiva de refinamento de vetor de movimento do lado do descodificador para codificação de vídeo |
EP3907998A4 (en) | 2019-02-14 | 2022-03-16 | LG Electronics Inc. | METHOD AND DEVICE FOR INTER-PREDICTION BASED ON A DMVR |
CN118200548A (zh) | 2019-02-24 | 2024-06-14 | Lg 电子株式会社 | 基于dmvr的帧间预测方法和设备 |
CN112004091B (zh) * | 2020-07-31 | 2021-08-03 | 浙江大华技术股份有限公司 | 帧间预测方法及其相关装置 |
CN112132915B (zh) * | 2020-08-10 | 2022-04-26 | 浙江大学 | 一种基于生成对抗机制的多样化动态延时视频生成方法 |
CN112055222B (zh) * | 2020-08-21 | 2024-05-07 | 浙江大华技术股份有限公司 | 视频编解码方法、电子设备及计算机可读存储介质 |
CN112218075B (zh) * | 2020-10-17 | 2022-10-28 | 浙江大华技术股份有限公司 | 候选列表的填充方法、电子设备、计算机可读存储介质 |
US11917165B2 (en) | 2021-08-16 | 2024-02-27 | Tencent America LLC | MMVD signaling improvement |
WO2023044247A1 (en) * | 2021-09-16 | 2023-03-23 | Qualcomm Incorporated | Multiple inter predictors with decoder side motion vector derivation for video coding |
WO2023132723A1 (ko) * | 2022-01-09 | 2023-07-13 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
WO2024117694A1 (ko) * | 2022-12-01 | 2024-06-06 | 현대자동차주식회사 | 템플릿 매칭 기반 인터 예측을 이용하는 비디오 코딩을 위한 방법 및 장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011129672A2 (ko) * | 2010-04-16 | 2011-10-20 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 장치 및 방법 |
CN103561263A (zh) * | 2013-11-06 | 2014-02-05 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于运动矢量约束和加权运动矢量的运动补偿预测方法 |
US20160057444A1 (en) * | 2013-04-05 | 2016-02-25 | Canon Kabushiki Kaisha | Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme |
US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
TW201830968A (zh) * | 2016-12-22 | 2018-08-16 | 聯發科技股份有限公司 | 用於視訊編解碼的運動細化的方法以及裝置 |
US20180262773A1 (en) * | 2017-03-13 | 2018-09-13 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
US20190020895A1 (en) * | 2017-06-28 | 2019-01-17 | Futurewei Technologies, Inc. | Decoder Side Motion Vector Refinement in Video Coding |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017084512A1 (en) * | 2015-11-20 | 2017-05-26 | Mediatek Inc. | Method and apparatus of motion vector prediction or merge candidate derivation for video coding |
CN109155847A (zh) * | 2016-03-24 | 2019-01-04 | 英迪股份有限公司 | 用于编码/解码视频信号的方法和装置 |
CA3025520A1 (en) * | 2016-05-25 | 2017-11-30 | Arris Enterprises Llc | Improved weighted angular prediction coding for intra coding |
US11638027B2 (en) * | 2016-08-08 | 2023-04-25 | Hfi Innovation, Inc. | Pattern-based motion vector derivation for video coding |
CN116320493A (zh) * | 2016-11-28 | 2023-06-23 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
US10750203B2 (en) * | 2016-12-22 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive bi-prediction for video coding |
JP2018107580A (ja) | 2016-12-26 | 2018-07-05 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム |
US10595035B2 (en) * | 2017-03-22 | 2020-03-17 | Qualcomm Incorporated | Constraining motion vector information derived by decoder-side motion vector derivation |
WO2019001737A1 (en) * | 2017-06-30 | 2019-01-03 | Huawei Technologies Co., Ltd. | RESEARCH AREA FOR MOVEMENT VECTOR ENHANCEMENT |
US11750832B2 (en) * | 2017-11-02 | 2023-09-05 | Hfi Innovation Inc. | Method and apparatus for video coding |
CN118474345A (zh) * | 2018-09-21 | 2024-08-09 | Vid拓展公司 | 用于双向光流的复杂度降低和位宽控制 |
US11146810B2 (en) * | 2018-11-27 | 2021-10-12 | Qualcomm Incorporated | Decoder-side motion vector refinement |
EP3905676A4 (en) | 2018-12-28 | 2022-10-26 | Sony Group Corporation | IMAGE FORMING METHOD AND APPARATUS |
US11252431B2 (en) | 2019-01-02 | 2022-02-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Side motion refinement in video encoding/decoding systems |
US11153590B2 (en) * | 2019-01-11 | 2021-10-19 | Tencent America LLC | Method and apparatus for video coding |
PT3909247T (pt) * | 2019-02-08 | 2024-05-13 | Beijing Dajia Internet Information Tech Co Ltd | Método e dispositivo para aplicação seletiva de refinamento de vetor de movimento do lado do descodificador para codificação de vídeo |
-
2020
- 2020-02-08 PT PT207522475T patent/PT3909247T/pt unknown
- 2020-02-08 EP EP24152518.7A patent/EP4333435A3/en active Pending
- 2020-02-08 ES ES20752247T patent/ES2981908T3/es active Active
- 2020-02-08 CN CN202111233781.5A patent/CN113965746B/zh active Active
- 2020-02-08 KR KR1020217025204A patent/KR102384240B1/ko active IP Right Grant
- 2020-02-08 FI FIEP20752247.5T patent/FI3909247T3/fi active
- 2020-02-08 WO PCT/US2020/017382 patent/WO2020163837A1/en unknown
- 2020-02-08 DK DK20752247.5T patent/DK3909247T3/da active
- 2020-02-08 KR KR1020227011121A patent/KR20220046005A/ko active Search and Examination
- 2020-02-08 PL PL20752247.5T patent/PL3909247T3/pl unknown
- 2020-02-08 EP EP20752247.5A patent/EP3909247B1/en active Active
- 2020-02-08 JP JP2021546307A patent/JP7232345B2/ja active Active
- 2020-02-08 CN CN202210827077.0A patent/CN115209159B/zh active Active
- 2020-02-08 CN CN202310894965.9A patent/CN116828185B/zh active Active
- 2020-02-08 MX MX2021009529A patent/MX2021009529A/es unknown
- 2020-02-08 HU HUE20752247A patent/HUE067106T2/hu unknown
- 2020-02-08 KR KR1020217035265A patent/KR102409275B1/ko active IP Right Grant
- 2020-02-08 CN CN202080013232.4A patent/CN113424537A/zh active Pending
- 2020-02-08 KR KR1020227019687A patent/KR20220083862A/ko active Application Filing
- 2020-02-08 EP EP24152590.6A patent/EP4333436A3/en active Pending
- 2020-02-08 CN CN202310971968.8A patent/CN116886925A/zh active Pending
- 2020-02-10 CN CN202010085186.0A patent/CN111294598B/zh active Active
- 2020-02-10 CN CN202111667192.8A patent/CN114286101B/zh active Active
-
2021
- 2021-08-06 US US17/396,641 patent/US20210368200A1/en active Pending
- 2021-08-06 US US17/396,648 patent/US12108030B2/en active Active
-
2022
- 2022-05-23 JP JP2022084108A patent/JP7339395B2/ja active Active
-
2023
- 2023-05-01 JP JP2023075405A patent/JP7546721B2/ja active Active
- 2023-11-16 JP JP2023194974A patent/JP2024012627A/ja active Pending
-
2024
- 2024-05-10 JP JP2024076928A patent/JP2024099849A/ja active Pending
- 2024-05-15 US US18/665,512 patent/US20240297985A1/en active Pending
- 2024-06-26 JP JP2024102550A patent/JP2024114809A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011129672A2 (ko) * | 2010-04-16 | 2011-10-20 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 장치 및 방법 |
US20160057444A1 (en) * | 2013-04-05 | 2016-02-25 | Canon Kabushiki Kaisha | Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme |
CN103561263A (zh) * | 2013-11-06 | 2014-02-05 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于运动矢量约束和加权运动矢量的运动补偿预测方法 |
TW201830968A (zh) * | 2016-12-22 | 2018-08-16 | 聯發科技股份有限公司 | 用於視訊編解碼的運動細化的方法以及裝置 |
US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
US20180262773A1 (en) * | 2017-03-13 | 2018-09-13 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
US20190020895A1 (en) * | 2017-06-28 | 2019-01-17 | Futurewei Technologies, Inc. | Decoder Side Motion Vector Refinement in Video Coding |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114286101B (zh) | 一种视频编解码方法及设备 | |
US10979707B2 (en) | Method and apparatus of adaptive inter prediction in video coding | |
US20190058896A1 (en) | Method and apparatus of video coding with affine motion compensation | |
CN107318026B (zh) | 视频编码器以及视频编码方法 | |
US20140044181A1 (en) | Method and a system for video signal encoding and decoding with motion estimation | |
CN111010578B (zh) | 一种帧内帧间联合预测的方法、装置以及存储介质 | |
EP4099696A1 (en) | Video decoding method, video coding method, electronic device, and storage medium | |
TWI831358B (zh) | 用於仿射預測或運動補償的共享預加載區域的方法和裝置 | |
CN113366831B (zh) | 重叠块运动补偿和其他工具之间的协调 | |
KR102489605B1 (ko) | 조합된 인터 및 인트라 예측을 위한 시스템 및 방법 | |
CN112887732B (zh) | 一种权值可配置的帧间帧内联合预测编解码的方法及装置 | |
CN110753222B (zh) | 视频编码方法和确定采用帧间编码方式的方法及设备 | |
CN110876058B (zh) | 一种历史候选列表更新方法与装置 | |
AU2016316317B2 (en) | Method and apparatus of prediction offset derived based on neighbouring area in video coding | |
CN117730531A (zh) | 用于解码器侧帧内模式推导的方法和设备 | |
CN110602493B (zh) | 一种仿射运动补偿的交织预测的方法及设备 | |
CN116158079A (zh) | 用于视频编解码的加权ac预测 | |
CN111246216B (zh) | 一种基于三角预测的视频编解码方法及设备 | |
JP2022513492A (ja) | 構築されたアフィンマージ候補を導出する方法 | |
US20130170565A1 (en) | Motion Estimation Complexity Reduction | |
WO2023221993A1 (en) | Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding | |
CN110740330B (zh) | 一种子块运动候选的冗余校验的方法及设备 | |
JP2024519848A (ja) | 動きベクトル精緻化を伴う幾何学的分割モード | |
TW202420810A (zh) | 視訊編碼系統中使用模板匹配進行畫面間預測的方法和裝置 | |
KR20230013163A (ko) | 조합된 인터 및 인트라 예측을 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |