CN111629206A - 视频编码方法、视频播放方法、相关设备及介质 - Google Patents

视频编码方法、视频播放方法、相关设备及介质 Download PDF

Info

Publication number
CN111629206A
CN111629206A CN202010452023.1A CN202010452023A CN111629206A CN 111629206 A CN111629206 A CN 111629206A CN 202010452023 A CN202010452023 A CN 202010452023A CN 111629206 A CN111629206 A CN 111629206A
Authority
CN
China
Prior art keywords
mode
prediction mode
prediction
target
information set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010452023.1A
Other languages
English (en)
Inventor
张清
王诗涛
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010452023.1A priority Critical patent/CN111629206A/zh
Publication of CN111629206A publication Critical patent/CN111629206A/zh
Priority to PCT/CN2021/089770 priority patent/WO2021238546A1/zh
Priority to US17/719,691 priority patent/US20220239904A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开一种视频编码方法、视频播放方法、相关设备及介质;视频编码方法包括:获取目标图像块中的目标预测单元及模式信息集;在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果;根据至少一种候选预测模式对应的检测结果,对模式信息集中至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;根据校准后的模式信息集中各候选预测模式的模式代价,从多种候选预测模式中选取目标预测模式;采用目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据。本申请可减少图像块在编码后出现失真的概率,提升图像块的主观质量。

Description

视频编码方法、视频播放方法、相关设备及介质
技术领域
本申请涉及互联网技术领域,具体涉及图像处理技术领域,尤其涉及一种视频编码方法、一种视频播放方法、一种视频编码装置、一种视频播放装置、一种视频编码设备、一种视频播放设备及一种计算机存储介质。
背景技术
视频编码通常是将待编码图像划分成多个图像块,通过对各图像块进行编码来得到待编码图像的码流数据的。在对任一图像块进行编码的过程中,通常需要先采用预测模式对该图像块对应的各预测单元进行预测,以得到图像块的残差块;然后对残差块进行后续的变换量化等处理,从而得到图像块的编码数据。经研究表明,在对图像块的编码过程中,若针对预测单元所选取的预测模式不合适,则容易导致图像块在编码后产生较大的失真,使得图像块的主观质量较低。
发明内容
本发明实施例提供了一种视频编码方法、视频播放方法、相关设备及介质,可以减少图像块在编码后出现失真的概率,从而提升图像块的主观质量。
一方面,本发明实施例提供了一种视频编码方法,该视频编码方法包括:
获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
另一方面,本发明实施例提供了一种视频编码装置,该视频编码装置包括:
获取单元,用于获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
编码单元,用于在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
所述编码单元,还用于根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
所述编码单元,还用于根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
所述编码单元,还用于采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
在一种实施方式中,所述至少一种候选预测模式为帧间预测模式,所述帧间预测模式至少包括以下模式:第一预测模式、第二预测模式和第三预测模式;
所述第一预测模式是指需传输与所述目标图像块相关的参考图像块的索引信息的模式;
第二预测模式是指需传输所述目标图像块的残差信息以及与所述目标图像块相关的参考图像块的索引信息的模式;
第三预测模式是指需传输所述目标图像块的残差信息、所述目标图像块的运动矢量数据,以及与所述目标图像块相关的参考图像块的索引信息的模式。
再一种实施方式中,编码单元在用于在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果时,可具体用于:
采用参考预测模式对所述目标预测单元中的各像素点进行像素值预测,得到各像素点的预测值;所述参考预测模式为所述帧间预测模式中的任一模式;
计算所述目标预测单元中的各像素点的像素值和预测值之间的残差绝对值;
若所述目标预测单元中存在残差绝对值大于目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点;
若所述目标预测单元中不存在残差绝对值大于所述目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在所述异常失真点。
再一种实施方式中,所述目标阈值与所述参考预测模式相关联;
若所述参考预测模式为所述帧间预测模式中的第一预测模式,则所述目标阈值等于第一阈值;所述第一阈值大于无效数值且小于像素值域的最大值;
若所述任一候选预测模式为所述帧间预测模式中的所述第二预测模式或者所述第三预测模式,则所述目标阈值等于第二阈值;所述第二阈值大于或等于所述第一阈值,且小于所述像素值域的最大值。
再一种实施方式中,编码单元在用于根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集时,可具体用于:
若参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在异常失真点,则保持所述模式信息集中的所述参考预测模式的模式代价不变,以得到校准后的模式信息集;所述参考预测模式为所述帧间预测模式中的任一模式;
若所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点,则采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整,以得到校准后的模式信息集。
再一种实施方式中,编码单元在用于采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,具体用于:
若所述参考预测模式为所述第二预测模式或者所述第三预测模式,则采用惩罚因子对所述参考预测模式的模式代价进行放大处理,得到所述参考预测模式的校准后的模式代价。
再一种实施方式中,编码单元在用于采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,还可用于:
若所述参考预测模式为所述第一预测模式,则获取预设代价;所述预设代价大于所述校准后的模式信息集中除所述第一预测模式以外的各候选预测模式的模式代价,且大于所述第一预测模式在所述模式信息集中的模式代价;
在所述模式信息集中,将所述参考预测模式的模式代价调整为所述预设代价。
再一种实施方式中,编码单元在用于根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式时,可具体用于:
从所述多种候选预测模式中,选取所述校准后的模式信息中模式代价最小的候选预测模式作为目标预测模式。
再一种实施方式中,编码单元在用于采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,还可用于:
若所述参考预测模式为所述第一预测模式,则保持所述模式信息集中的所述第一预测模式的模式代价不变;
为所述第一预测模式添加禁用标识,所述禁用标识指示禁止使用所述第一预测模式对所述目标预测单元进行预测处理。
再一种实施方式中,编码单元在用于根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式时,可具体用于:
若所述校准后的模式信息集中模式代价最小的候选预测模式不为所述第一预测模式,或者所述模式代价最小的候选预测模式为第一预测模式且所述第一预测模式不具有所述禁用标识,则将所述模式代价最小的候选预测模式作为目标预测模式;
若所述模式代价最小的候选预测模式为第一预测模式,且所述第一预测模式具有所述禁用标识,则选取所述校准后的模式信息集中模式代价次小的候选预测模式作为目标预测模式。
再一种实施方式中,所述多种候选预测模式包括:帧内预测模式和帧间预测模式;编码单元还可用于:
对所述目标预测单元进行复杂度分析,得到所述目标预测单元的预测复杂度;
若根据所述预测复杂度确定所述目标预测单元满足预设条件,则采用所述帧内预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据;其中,所述预设条件包括:所述预测复杂度小于或等于所述复杂度阈值,且所述目标预测单元在所述帧间预测模式中的至少一种模式下存在异常失真点;
若根据所述预测复杂度确定所述目标预测单元不满足所述预设条件,则执行根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集的步骤。
再一方面,本发明实施例提供了一种视频编码设备,所述视频编码设备包括输入接口和输出接口,所述视频编码设备还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如下步骤:
获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
再一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由处理器加载并执行如下步骤:
获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
本发明实施例在编码过程中,可先在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果。其次,可根据至少一种候选预测模式对应的检测结果,对模式信息集中的至少一种候选预测模式的模式代价进行校准;使得校准后的模式信息集中的各候选预测模式的模式代价更能准确地反映相应候选预测模式所对应的码率和失真,从而使得能够根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中选取出更适合目标预测单元的目标预测模式。然后,可采用合适的目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据,这样可在一定程度上减少目标图像块在编码后出现失真的概率;并且,由于本发明实施例主要是通过修正模式决策过程来选取合适的目标预测模式的方式减少失真概率的,因此可实现在基本不影响压缩效率以及编码复杂度的情况下,有效改善图像压缩质量,提升目标图像块的主观质量。
另一方面,本发明实施例提供了一种视频播放方法,该视频播放方法包括:
获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用上述的视频编码方法编码得到;
对所述各帧图像的码流数据进行解码,得到所述各帧图像;
在播放界面中依次显示所述各帧图像。
另一方面,本发明实施例提供了一种视频播放装置,该视频播放装置包括:
获取单元,用于获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用上述的视频编码方法编码得到;
解码单元,用于对所述各帧图像的码流数据进行解码,得到所述各帧图像;
显示单元,用于在播放界面中依次显示所述各帧图像。
再一方面,本发明实施例提供了一种视频播放设备,所述视频播放设备包括输入接口和输出接口,所述视频播放设备还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如下步骤:
获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用上述的视频编码方法编码得到;
对所述各帧图像的码流数据进行解码,得到所述各帧图像;
在播放界面中依次显示所述各帧图像。
再一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由处理器加载并执行如下步骤:
获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用上述的视频编码方法编码得到;
对所述各帧图像的码流数据进行解码,得到所述各帧图像;
在播放界面中依次显示所述各帧图像。
本发明实施例可先获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据。其次,可对各帧图像的码流数据进行解码,得到各帧图像;并在播放界面中依次显示各帧图像。由于目标视频对应的图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据均采用上述的视频编码方法编码得到的;因此可有效减少各图像块出现失真的概率,从而使得在播放界面中显示各帧图像时,能够在一定程度上减少各帧图像出现脏点的概率,提升各帧图像的主观质量。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种图像处理系统的架构示意图;
图1b是本发明实施例提供的一种图像处理流程的示意图;
图1c是本发明实施例提供的一种将帧图像划分成图像块的示意图;
图1d是本发明实施例提供的一种帧间预测模式的划分示意图;
图1e是本发明实施例提供的一种对帧图像进行编码的示意图;
图1f是本发明实施例提供的另一种对帧图像进行编码的示意图;
图2是本发明实施例提供的一种视频编码方法的流程示意图;
图3是本发明实施例提供的一种视频编码方法的流程示意图;
图4是本发明实施例提供的一种视频播放方法的流程示意图;
图5是本发明实施例提供的一种视频编码方法以及视频播放方法的应用场景图;
图6是本发明实施例提供的一种视频编码装置的结构示意图;
图7是本发明实施例提供的一种视频编码设备的结构示意图;
图8是本发明实施例提供的一种视频播放装置的结构示意图;
图9是本发明实施例提供的一种视频播放设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明实施例中,涉及了一种图像处理系统;参见图1a所示,该图像处理系统至少包括:视频编码设备11、视频播放设备12以及传输媒介13。其中,视频编码设备11可以是服务器或者终端;此处的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等;终端可以是智能手机、平板电脑、笔记本电脑、台式计算机,等等。视频编码设备11的内部可至少包括编码器,该编码器用于执行一系列的编码流程。视频播放设备12可以是具有视频播放功能的任意设备,如智能手机、平板电脑、笔记本电脑、智能手表等终端,或者投影仪、投影机等可将视频图像投射到幕布上播放的设备。视频播放设备12中可至少包括解码器,该解码器用于执行一系列的解码流程。传输媒介13是指数据传输所经由的空间或实体,主要用于在视频编码设备11和视频解码设备12之间传输数据;其具体可以包括但不限于:移动网络、无线网络、有线网络等网络介质、或者诸如U盘(Universal Serial Bus,优盘)、移动硬盘等具有读写功能的可移动硬件介质。应理解的是,图1a只是示例性地表征本发明实施例所涉及的图像处理系统的架构,并不对图像处理系统的具体架构进行限定。例如,在其他实施例中,视频编码设备11和视频播放设备12也可以是同一个设备;再如,在其他实施例中,视频播放设备12的数量也可不局限于一个,等等。
在上述的图像处理系统中,针对图像帧序列中的任一帧图像的处理流程可一并参见图1b所示,其大致包括如下几个阶段:
(1)编码阶段:
视频编码设备11中的编码器在获取到待编码的当前帧图像后,可基于主流的视频编码标准对该当前帧图像进行编码,得到当前帧图像的码流数据。其中,主流的视频编码标准可包括但不限于:H.264、H.265、VVC(Versatile Video Coding,多功能视频编码标准)、AVS3(Audio Video coding Standard 3,音视频编码标准),等等;此处的H.265又可称为HEVC(High Efficiency Video Coding,高性能视频编码标准)。以H.265为例,其大致的编码流程具体如下:
①将待编码的当前帧图像划分成若干个图像块(或称为CU(Coding Unit,编码单元)),此处的图像块是指视频编码的基本单元。具体实现中,可先将待编码的当前帧图像划分为若干个互不重叠的LCU(Largest Coding Unit,最大编码单元)。然后,可根据每个LCU的特点将相应的LCU进一步划分得到若干个CU,如图1c所示;应理解的是,图1c只是示例性表示LCU的划分方式,并不对其进行限定;如图1c表示的是将LCU平均地划分为多个CU,但实际也可将LCU非平均地划分为多个CU。每个CU可对应一种模式类型的预测模式,如帧间预测模式(Inter模式)和帧内预测模式(Intra模式)。其中,帧内预测模式主要从当前帧图像中已编码的图像块中查找参考图像块,并利用参考图像块的解码信息进行预测;帧内预测模式需将相应的预测模式以及残差信息传输至解码器。帧间预测模式主要根据当前图像块的运动估计(ME)和运动补偿(MC),从图像帧序列中已编码的帧图像中查找与当前图像块相匹配的参考图像块,并利用参考图像块的解码信息进行基于MV(Motion Vector,运动矢量)的预测。
参见图1d所示,帧间预测模式可至少包括AMVP(Advanced Motion VectorPrediction,高级运动向量预测)模式和Merge模式。其中,AMVP模式需传输当前图像块的运动矢量数据(MVD)、参考图像块的索引信息以及当前图像块的残差信息至解码器;此处的MVD是指MVP(预测得到的运动矢量)与基于运动估计(ME)得到的运动矢量之间的差值。而Merge模式则无需传输当前图像块的运动矢量数据(MVD),其又可细分为普通Merge模式和SKIP模式。此处的SKIP模式是Merge模式中的一种特殊情况,SKIP模式和普通Merge模式的区别在于:普通Merge模式需传输参考图像块的索引信息以及当前图像块的残差信息至解码器,而SKIP模式则只需传输参考图像块的索引信息至解码器,无需传输当前图像块的残差信息。
②针对待编码的当前图像块,采用预测模式对该当前图像块中的各像素进行像素值预测,得到该当前图像块所对应的预测块;预测块中包括各像素的预测值。在具体实现中,可将当前图像块进一步划分为一个或多个预测单元(Prediction Unit,PU),并进行模式决策以根据输入信号的特征动态决策当前图像块对应的各预测单元的预测模式。具体的,可先根据当前图像块的特征确定模式类型,如帧间预测类型或者帧内预测类型;然后分别根据各预测单元的特征从该模式类型的预测模式中选取相应的预测模式。若确定的模式类型为帧内预测类型,则当前图像块对应的各预测单元的预测模式均为帧内预测模式;若确定的模式类型为帧间预测类型,则当前图像块对应的各预测单元的预测模式可为AMVP模式、普通Merge模式或者SKIP模式;在此情况下,当前图像块对应的各预测单元的预测模式可以相同,也可以不同。在确定各预测单元的预测模式后,便可采用相应的预测模式对各预测单元进行预测处理,得到每个预测单元的预测结果。然后,采用各预测单元的预测结果组合得到当前图像块所对应的预测块。
③根据预测块和当前图像块计算得到当前图像块的残差块,此处的残差块包括当前图像块中的各像素的预测值和实际像素值之间的差值;然后对残差块依次执行变换、量化以及熵编码处理,得到当前图像块的编码数据。迭代执行上述编码流程所涉及的步骤②-③,直至当前帧图像中的各图像块均被编码;此时便可得到当前帧图像所包含的各个图像块的编码数据,从而得到当前帧图像的码流数据。
(2)传输阶段:
视频编码设备11经过上述编码阶段,得到当前帧图像的码流数据以及编码信息传输至视频显示设备12,以使得该视频显示设备12通过解码阶段采用编码信息对各个图像块的编码数据进行解码,得到当前帧图像。其中,码流数据包括当前帧图像中的各图像块的编码数据;编码信息至少包括在对当前帧图像中的各图像块的预测单元进行预测时,采用的预测模式所规定的传输信息,如AMVP模式规定的当前图像块的运动矢量数据、参考图像块的索引信息以及当前图像块的残差信息等传输信息,SKIP模式规定的参考图像块的索引信息等传输信息,等等。
(3)解码阶段:
视频显示设备12在接收到当前帧图像的码流数据以及编码信息后,便可根据编码信息依次对码流数据中的各图像块的编码数据进行解码。针对任一图像块的解码流程具体如下:对当前图像块的编码数据依次执行解码、反量化以及反变换处理,得到当前图像块的残差块。然后,可根据编码信息中当前图像块所对应的传输信息确定当前图像块的各预测单元所使用的预测模式,并根据确定的预测模式和残差块得到图像块。迭代执行上述解码流程所涉及的各步骤,可得到当前帧图像的各个图像块,从而得到当前帧图像。在得到当前帧图像后,视频显示设备12便可在播放界面显示该当前帧图像。
由上述图像处理流程可知,编码阶段所涉及的模式决策过程通常涉及多种预测模式。若在模式决策过程中针对预测单元所选取的预测模式不合适,且对残差块进行变换量化时所涉及的量化参数(Quantization Parameter,QP)较大时;则会导致图像块在编码后容易产生一些特别异常的失真点,如失真高达100+的像素点;进而使得在通过解码阶段解码得到的图像块中出现一些脏点,影响图像块和帧图像的主观质量,如图1e所示。基于此,本发明实施例提出了一种视频编码方案;该视频编码方案主要用于在编码过程中指导编码器进行模式决策,通过为预测单元选取合适的预测模式来减少图像块在编码后产生异常失真点的概率;此处的异常失真点是指解码得到的像素值和编码前的像素值之间的差值绝对值大于某个阈值的像素点。在具体实现中,该视频编码方案的方案原理大致如下:
对于待编码的目标帧图像,可将目标帧图像划分成一个或多个图像块;并可从目标帧图像中选取一个图像块作为待编码的目标图像块,然后将目标图像块进一步划分为一个或多个预测单元。针对目标图像块中的任一预测单元,在通过模式决策为该预测单元选取预测模式时,可先获取各预测模式的模式代价;并检测该预测单元在至少一个预测模式下是否存在异常失真点。若不存在,则采用模式决策算法从多个预测模式中为预测单元选取一个预测模式;此处的模式决策算法用于指示选取模式代价最小的预测模式。若存在,则调整模式决策算法;此处的调整模式决策算法是指:先对存在异常失真点所对应的预测模式的模式代价进行校准,然后根据被校准的预测模式的校准后的模式代价以及未被校准的预测模式的模式代价,为预测单元选取预测模式。在为预测单元选取了预测模式后,便可采用被选取的预测模式对预测单元进行预测处理;迭代上述步骤以对目标图像块中的各预测单元进行预测处理,从而得到目标图像块的编码数据。在得到目标图像块的编码数据后,便可从目标帧图像中重新选取一个图像块作为新的目标图像块,并执行上述步骤得到新的目标图像块的编码数据;在目标帧图像中的各图像块均被编码后,便可得到目标帧图像的码流数据。
为了更清楚地说明本发明实施例所提出的视频编码方案的有益效果,仍以目标帧图像为图1e中上侧图所示的原始帧图像为例,采用本发明实施例的视频编码方案对其进行编码,可得到如图1f中下侧图所示的编码后的帧图像。通过对比图1e中的下侧图和图1f中的下侧图可见,本发明实施例所提出的编码方案通过在模式决策过程中增加异常失真点检测机制,可实现根据异常失真点检测结果来修正模式决策过程,从而有效较少目标图像帧在编码后所产生的异常失真点的数量,提升目标图像帧的主观质量。
基于上述视频编码方案的描述,本发明实施例提出一种视频编码方法;该视频编码方法可以由上述所提及的视频编码设备执行,具体可由视频编码设备中的编码器执行。请参见图2,该视频编码方法可包括以下步骤S201-S205:
S201,获取目标图像块中的目标预测单元及目标预测单元的模式信息集。
在本发明实施例中,目标预测单元可以是目标图像块中的任一预测单元;目标预测单元的模式信息集可包括多种候选预测模式及各种候选预测模式的模式代价,此处的模式代价可用于反映采用候选预测模式对目标预测单元进行预测所带来的码率和失真,其可以包括但不限于率失真代价。其中,多种候选预测模式可至少包括:帧内预测模式和帧间预测模式;帧间预测模式可至少包括以下模式:第一预测模式、第二预测模式和第三预测模式。所谓的第一预测模式是指需传输与目标图像块相关的参考图像块的索引信息的模式,其具体可以是前述所提及的SKIP模式;第二预测模式是指需传输目标图像块的残差信息以及与目标图像块相关的参考图像块的索引信息的模式,其具体可以是前述所提及的普通merge模式;第三预测模式是指需传输目标图像块的残差信息、目标图像块的运动矢量数据,以及与目标图像块相关的参考图像块的索引信息的模式,其具体可以是前述所提及的AMVP模式。
S202,在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果。
在一种具体实现中,可在模式信息集中的各候选预测模式下均对目标预测单元进行异常失真点检测,得到各候选预测模式所对应的检测结果;即在此具体实现中,至少一种候选预测模式可包括帧内预测模式和帧间预测模式。其中,每个候选预测模式的检测结果可用于指示:目标预测单元在该候选预测模式下是否存在异常失真点。再一种具体实现中,经研究表明:采用帧内预测模式进行预测而导致产生异常失真点的概率较小;采用帧间预测模式进行预测而导致产生异常失真点的概率较大,尤其是帧间预测模式中的SKIP模式。由于采用SKIP模式进行预测时,MV是从其他参考图像块推导出的,且不传输残差信息;因此虽然SKIP模式可极大地节省码率,提升编码效率,但是在一些特殊场景下(如屏幕分享场景、视频直播场景等)容易造成局部点失真过大,使得目标图像块中产生异常失真点的概率较大。基于此研究结果,本发明实施例可只在帧间预测模式所包括的各模式下对目标预测单元进行异常失真点检测,得到帧间预测模式所包括的各模式对应的检测结果;即在此具体实现中,至少一种候选预测模式可为帧间预测模式。在此具体实现中,由于不对帧内预测模式执行任何检测处理,这样可通过减少执行在帧内预测模式下对目标预测单元进行异常失真点检测的操作,可有效节省处理资源,提升编码速度。
由前述可知,异常失真点是指解码得到的像素值和编码前的像素值之间的差值绝对值大于某个阈值的像素点。因此在一种实施方式中,本发明实施例可采用像素点的预测值和实际像素值(即编码前的像素值)之间的差异来判断该像素点是否为异常像素点。基于此,在任一候选预测模式下对目标预测单元进行异常失真点检测的检测原理如下:可采用该任一候选预测模式对目标预测单元中的各像素点进行像素值预测,若存在至少一个像素点的预测值和实际像素值之间的差异较大,则可确定目标预测单元在该任一候选预测模式下存在异常失真点;若各像素点的预测值和实际像素值之间的差异均较小,则可确定目标预测单元在该任一候选预测模式下不存在异常失真点。
再一种实施方式中,当至少一个候选预测模式为帧间预测模式时,还可根据像素点的运动补偿值和实际像素值(即编码前的像素值)之间的差异来判断该像素点是否为异常像素点,以提高检测结果的准确性;此处的运动补偿值等于像素点的预测值和对残差信息进行反变换反量化后所得到的残差的总和。需说明的是,由于第一预测模式不传输残差信息,因此在第一预测模式下的像素点的运动补偿值和预测值是相等的。基于此,在帧间预测模式中的任一模式下对目标预测单元进行异常失真点检测的检测原理还可如下:可采用任一模式对目标预测单元中的各像素点进行像素值预测,根据各像素点的预测值和残差信息计算得到各像素点的运动补偿值;若存在至少一个像素点的运动补偿值和实际像素值之间的差异较大,则可确定目标预测单元在任一模式下存在异常失真点;若各像素点的运动补偿值和实际像素值之间的差异均较小,则可确定目标预测单元在任一模式下不存在异常失真点。
S203,根据至少一种候选预测模式对应的检测结果,对模式信息集中的至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集。
在具体实现中,可依次遍历被检测的至少一种候选预测模式中的各候选预测模式的检测结果。在每次遍历流程中,可根据当前被遍历的候选预测模式的检测结果,对模式信息集中的当前被遍历的候选预测模式的模式代价进行校准;具体的,若当前被遍历的候选预测模式的检测结果指示目标预测单元在该当前被遍历的候选预测模式下不存在异常失真点,则在模式信息中保持该当前被遍历的候选预测模式的模式代价不变;即在此情况下,当前被遍历的候选预测模式的校准后的模式代价与校准前的模式代价相同。若当前被遍历的候选预测模式的检测结果指示目标预测单元在该当前被遍历的候选预测模式下存在异常失真点,则可在模式信息集中对该当前被遍历的候选预测模式的模式代价执行以下至少一种惩罚处理:对当前被遍历的候选预测模式的模式代价进行放大处理,以及为该当前被遍历的候选预测模式添加禁用标识;即在此情况下,当前被遍历的候选预测模式的校准后的模式代价与校准前的模式代价可能相同,可能不同。迭代上述遍历步骤,直至在步骤S202中被检测的各候选预测模式均被遍历,则可得到校准后的模式信息集;该校准后的模式信息集中包括在步骤S202中被检测的各候选预测模式的校准后的模式代价,以及在步骤S202中未被检测的候选预测模式的模式代价。
S204,根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中选取目标预测模式。
在一种具体实现中,可从多种候选预测模式中,选取校准后的模式信息集中的模式代价最小的候选预测模式作为目标预测模式。可选的,若校准后的模式信息集中的模式代价最小的候选预测模式具有禁用标识,则可选取校准后的模式信息集中的模式代价次小(即第二小)的候选预测模式作为目标预测模式。进一步的,若校准后的模式信息集中的模式代价次小的候选预测模式也具有禁用标识,则可选取校准后的模式信息集中的模式代价第三小的候选预测模式作为目标预测模式,以此类推。再一种具体实现中,可先根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中筛选出备用预测模式;此处的备用预测模式是指校准后的模式信息集中模式代价大于代价阈值的候选预测模式,该代价阈值可根据经验值设置。然后,可从筛选出的备用预测模式中随机选取一个备用预测模式作为目标预测模式。
S205,采用目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据。
在具体实现中,可采用目标预测模式对目标预测单元中的各像素点进行像素值预测,得到目标预测单元的预测结果;此处的目标预测单元的预测结果可包括目标预测单元中的各像素点的预测值。重复迭代上述步骤S201-S205,得到目标图像块中的各预测单元的预测结果;然后可采用各预测单元的预测结果组合得到目标图像块所对应的预测块,并根据目标图像块和预测块得到残差块;最后对残差块依次执行变换、量化和熵编码处理,得到目标图像块的编码数据。
本发明实施例在编码过程中,可先在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果。其次,可根据至少一种候选预测模式对应的检测结果,对模式信息集中的至少一种候选预测模式的模式代价进行校准;使得校准后的模式信息集中的各候选预测模式的模式代价更能准确地反映相应候选预测模式所对应的码率和失真,从而使得能够根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中选取出更适合目标预测单元的目标预测模式。然后,可采用合适的目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据,这样可在一定程度上减少目标图像块在编码后出现失真的概率;并且,由于本发明实施例主要是通过修正模式决策过程来选取合适的目标预测模式的方式减少失真概率的,因此可实现在基本不影响压缩效率以及编码复杂度的情况下,有效改善图像压缩质量,提升目标图像块的主观质量。
请参见图3,是本发明实施例提供的另一种视频编码方法的流程示意图。该视频编码方法可以由上述所提及的视频编码设备执行,具体可由视频编码设备中的编码器执行。请参见图3,该视频编码方法可包括以下步骤S301-S307:
S301,获取目标图像块中的目标预测单元及目标预测单元的模式信息集。
在具体实现中,可将目标图像块划分为至少一个预测单元;然后,从至少一个预测单元中选取一个未进行预测处理的预测单元作为目标预测单元。在确定目标预测单元后,还可获取与目标预测单元相匹配的模式信息集。由前述可知,目标预测单元的模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;那么相应的,获取与目标预测单元相匹配的模式信息集的具体实施方式可以包括如下步骤:
首先,可确定与目标预测单元相匹配的多个候选预测模式。具体的,可检测目标图像块是否属于I Slice(Intra Slice,帧内条带)。由于I Slice中通常只包括I宏块,而I宏块只能利用当前帧图像中已编码的像素点作为参考进行帧内预测;因此若目标图像块属于I Slice,则可直接采用帧内预测模式对目标预测单元进行预测处理,不再执行后续步骤。若目标图像块不属于I Slice,则表明可采用帧内预测模式或者帧间预测模式中的任一模式对目标预测单元进行预测;因此,可选取帧内预测模式和帧间预测模式中的各模式,作为与目标预测单元相匹配的多个候选预测模式。在确定多个候选预测模式后,便可采用代价函数分别计算各候选预测模式的模式代价;此处的代价函数可包括但不限于:RDO(Rate-disto rtion Optimized,率失真优化)模式的代价函数,例如下述公式1.1所示的代价函数;非RDO模式的代价函数,例如下述公式1.2所示的代价函数,等等。然后,可将计算得到的各候选预测模式的模式代价和相应的候选预测模式添加至模式信息集中。
cost=HAD+λ·R 式1.1
cost=SAD+4R*λ(QP) 式1.2
在式1.1中,cost表示候选预测模式的模式代价;HAD表示目标预测单元的残差信号经过Hadamard(哈达码)变换后的系数绝对值之和;λ表示拉格朗日系数,R表示编码候选预测模式所需的比特数(即码率)。在式1.2中,cost仍表示候选预测模式的模式代价;SAD表示采用候选预测模式对目标预测单元中的各像素点进行像素值预测,所得到的预测结果和目标预测单元之间的绝对差值和;4R表示使用候选预测模式后所估计得到的比特数;λ(QP)表示与量化参数(QP)相关的指数函数。需要说明的是,上述式1.1和1.2均只是用于对代价函数进行举例,并非穷举。
S302,在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果。
在本发明实施例中,主要以至少一种候选预测模式为帧间预测模式为例进行说明;该帧间预测模式至少包括以下模式:第一预测模式(SKIP模式)、第二预测模式(普通Merge模式)和第三预测模式(AMVP模式)。由于在帧间预测模式中的各模式下对目标预测单元进行异常失真点检测的原理类似,因此为便于阐述,下面以参考预测模式为例对步骤S302的实施方式进行说明;其中,参考预测模式为帧间预测模式中的任一模式;即参考预测模式可以是第一预测模式、第二预测模式或者第三预测模式。
在一种具体实现中,可采用下述式1.3来进行异常失真点的检测:
ABS(DIFF(x,y))>TH 式1.3
在上述式1.3中,DIFF(x,y)表示目标预测单元中位置(x,y)处的像素点的实际像素值与预测值之间的残差(即差值);ABS表示取绝对值,TH表示目标阈值。若目标预测单元中位置(x,y)处的像素点的实际像素值与预测值之间的残差绝对值大于目标阈值,则可确定该像素点为异常像素点;否则,则可确定该像素点为正常的像素点。基于此,在具体执行步骤S302的过程中,可先采用参考预测模式对目标预测单元中的各像素点进行像素值预测,得到各像素点的预测值。其次,可计算目标预测单元中的各像素点的像素值和预测值之间的残差绝对值。若目标预测单元中存在残差绝对值大于目标阈值的像素点,则确定参考预测模式对应的检测结果指示目标预测单元在参考预测模式下存在异常失真点;若目标预测单元中不存在残差绝对值大于目标阈值的像素点,则可确定参考预测模式对应的检测结果指示目标预测单元在参考预测模式下不存在异常失真点。
其中,目标阈值可至少包括以下两种取值方式:在一种实施方式中,可以根据经验值将上述所提及的目标阈值设置为一个统一的固定值;即此情况下,无论参考预测模式是第一预测模式、第二预测模式或者第三预测模式,用于进行异常失真点判断的目标阈值均是相同的。再一种实施方式中,由于第二预测模式和第三预测模式需传输残差信息,因此可将第二预测模式和第三预测模式下的异常失真点的检测标准放宽一些;在此情况下,可根据经验值分别为不同的参考目标阈值针对性地设置目标阈值;即目标阈值可与参考预测模式相关联。具体的,若参考预测模式为帧间预测模式中的第一预测模式,则目标阈值可等于第一阈值。其中,第一阈值大于无效数值且小于像素值域的最大值;此处无效数值可根据经验值设置,例如设置为0;像素值域的最大值可根据像素位宽确定,所谓的像素位宽是指一次传输或显示像素的数量。也就是说,第一阈值(TH1)的取值范围可为:0<TH1<(2<<(BITDEPTH));其中,BITDEPTH表示像素位宽,<<表示取次方运算,2<<(BITDEPTH)表示像素值域的最大值;例如像素位宽为8,则像素值域的最大值便等于2的8次方(即256);那么第一阈值便可以是0-256中的任意值,例如可以将第一阈值设置为30。若任一候选预测模式为帧间预测模式中的第二预测模式或者第三预测模式,则目标阈值可等于第二阈值;该第二阈值大于或等于第一阈值,且小于像素值域的最大值。即第二阈值(TH2)的取值范围可为:TH1=<TH1<(2<<(BITDEPTH))。
再一种具体实现中,在具体执行步骤S302的过程中,还可先采用参考预测模式对目标预测单元中的各像素点进行像素值预测,得到各像素点的预测值;并根据各像素点的预测值和残差信息计算得到各像素点的运动补偿值。其次,可计算目标预测单元中的各像素点的像素值和运动补偿值之间的差值绝对值。若目标预测单元中存在差值绝对值大于目标阈值的像素点,则可确定参考预测模式对应的检测结果指示目标预测单元在参考预测模式下存在异常失真点;若目标预测单元中不存在差值绝对值大于目标阈值的像素点,则可确定参考预测模式对应的检测结果指示目标预测单元在参考预测模式下不存在异常失真点。其中,此实施方式下的目标阈值可设置为统一的固定值。
S303,对目标预测单元进行复杂度分析,得到目标预测单元的预测复杂度。
在一种具体实现中,可对目标预测单元所包含的像素值进行梯度运算,得到目标预测单元的图像梯度值;将该图像梯度值作为目标预测单元的预测复杂度。再一种具体实现中,可对目标预测单元所包含的像素值进行方差运算或均值运算,将运算得到的方差或均值作为目标预测单元的预测复杂度。应理解的是,本发明实施例只是示例性地列举了两种复杂度分析的具体实施方式,并非穷举。在分析得到目标预测单元的预测复杂度之后,便可根据预测复杂度检测目标预测单元是否满足预设条件;其中,预设条件可至少包括:预测复杂度小于或等于复杂度阈值,且目标预测单元在帧间预测模式中的至少一种模式下存在异常失真点。若满足,则可执行步骤S304;若不满足,则可执行步骤S305-S308。由此可见,本发明实施例通过加入预测复杂度等先验信息,可使得在根据预测复杂度确定目标预测单元满足预设条件时,跳过其他模式的决策过程,直接进行帧内预测;这样可有效加快模式决策过程,从而提升编码速度。
S304,若根据预测复杂度确定目标预测单元满足预设条件,则采用帧内预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据。
S305,若根据预测复杂度确定目标预测单元不满足预设条件,则根据至少一种候选预测模式对应的检测结果,对模式信息集中的至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集。
由于根据各候选预测模式的检测结果对各候选预测模式的模式代价进行校准的原理类似;因此为便于阐述,下面以参考预测模式为例对步骤S305的实施方式进行说明;其中,参考预测模式为帧间预测模式中的任一模式;即参考预测模式可以是第一预测模式、第二预测模式或者第三预测模式。在具体实现中,若参考预测模式对应的检测结果指示目标预测单元在参考预测模式下不存在异常失真点,则可保持模式信息集中的所述参考预测模式的模式代价不变,以得到校准后的模式信息集。若参考预测模式对应的检测结果指示目标预测单元在参考预测模式下存在异常失真点,则可采用参考预测模式的代价调整策略对模式信息集中的参考预测模式的模式代价进行调整,以得到校准后的模式信息集。
具体的,若参考预测模式为第二预测模式或者第三预测模式,则采用参考预测模式的代价调整策略对模式信息集中的参考预测模式的模式代价进行调整这一步骤可包括:采用惩罚因子对参考预测模式的模式代价进行放大处理,得到参考预测模式的校准后的模式代价。其中,惩罚因子为大于0的任意值;其具体取值可根据经验值设置。需说明的是,在此情况下,若后续通过步骤S306选取的目标预测模式为第二预测模式或者第三预测模式,则还可强制视频编码设备(或编码器)将未进行变换量化的目标图像块中的各像素的残差值传输至解码器,以便于解码器可根据该残差值进行解码。若参考预测模式为第一预测模式,则采用参考预测模式的代价调整策略对模式信息集中的参考预测模式的模式代价进行调整这一步骤还可包括以下几种实施方式:
第一种实施方式,可获取预设代价;该预设代价大于校准后的模式信息集中除第一预测模式以外的各候选预测模式的模式代价,且大于第一预测模式在模式信息集中的模式代价(即大于第一预测模式在校准前的模式代价)。然后在模式信息集中,将参考预测模式的模式代价调整为预设代价。在此实施方式下,下述步骤S306的具体实施方式可以是:从多种候选预测模式中,直接选取校准后的模式信息中模式代价最小的候选预测模式作为目标预测模式。由此可见,在此实施方式下,若目标预测单元在第一预测模式下存在异常失真点,则可通过将第一预测模式的模式代价设置为一个无穷大的值,使得后续在按照模式代价从小到大的顺序选取目标预测模式时不会选取到该第一预测模式。
第二种实施方式,可保持模式信息集中的第一预测模式的模式代价不变;并为第一预测模式添加禁用标识,该禁用标识指示禁止使用第一预测模式对目标预测单元进行预测处理。在此实施方式下,下述步骤S306的具体实施方式可以是:若校准后的模式信息集中模式代价最小的候选预测模式不为第一预测模式,或者模式代价最小的候选预测模式为第一预测模式且第一预测模式不具有禁用标识,则可将模式代价最小的候选预测模式作为目标预测模式。若模式代价最小的候选预测模式为第一预测模式,且第一预测模式具有禁用标识,则可选取校准后的模式信息集中模式代价次小的候选预测模式作为目标预测模式。由此可见,在此实施方式下,若目标预测单元在第一预测模式下存在异常失真点,则可通过添加禁用标识的方式,使得后续在选取目标预测模式时不会选取到该第一预测模式。
第三种实施方式,可保持模式信息集中的第一预测模式的模式代价不变;并不对第一预测模式执行任何处理。在此实施方式下,下述步骤S306的具体实施方式可以是:若校准后的模式信息集中模式代价最小的候选预测模式不为第一预测模式,则直接将模式代价最小的候选预测模式作为目标预测模式。若校准后的模式信息集中模式代价最小的候选预测模式不为第一预测模式,则可再次查询第一预测模式的检测结果。若第一预测模式的检测结果指示目标预测单元在第一预测模式下存在异常失真点,则可选取校准后的模式信息集中模式代价次小的候选预测模式作为目标预测模式;若第一预测模式的检测结果指示目标预测单元在第一预测模式下不存在异常失真点,则可将该第一预测模式作为目标预测模式。
S306,根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中选取目标预测模式。
S307,采用目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据。
本发明实施例在编码过程中,可先在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果。其次,可根据至少一种候选预测模式对应的检测结果,对模式信息集中的至少一种候选预测模式的模式代价进行校准;使得校准后的模式信息集中的各候选预测模式的模式代价更能准确地反映相应候选预测模式所对应的码率和失真,从而使得能够根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中选取出更适合目标预测单元的目标预测模式。然后,可采用合适的目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据,这样可在一定程度上减少目标图像块在编码后出现失真的概率;并且,由于本发明实施例主要是通过修正模式决策过程来选取合适的目标预测模式的方式减少失真概率的,因此可实现在基本不影响压缩效率以及编码复杂度的情况下,有效改善图像压缩质量,提升目标图像块的主观质量。
基于上述的视频编码方法实施例的相关描述,本发明实施例还提出了一种视频播放方法;该视频播放方法可以由上述所提及的视频播放设备执行。请参见图4,该视频播放方法可包括以下步骤S401-S403:
S401,获取目标视频对应的图像帧序列中的各帧图像的码流数据。
其中,目标视频可包括但不限于:屏幕分享视频、网络会议视频、网络直播视频、影视剧视频、短视频,等等。目标视频对应的图像帧序列中的每帧图像的码流数据中可包括多个图像块的编码数据;并且,图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据均可采用如图2或图3所示的视频编码方法编码得到。
在具体实现中,视频播放设备可从视频编码设备处获取目标视频对应的图像帧序列中的各帧图像的码流数据。在一种实施方式中,目标视频所对应的图像帧序列中的各帧图像的码流数据可以是实时编码得到的;在此情况下,视频播放设备可实时地从视频编码设备处获取各帧图像的码流数据。也就是说,在此实施方式下,视频编码设备每编码得到一帧图像的码流数据,便可将该帧图像的码流数据传输至视频播放设备进行解码播放。再一种实施方式中,目标视频所对应的图像帧序列中的各帧图像的码流数据也可以是预先离线编码得到的;在此情况下,视频播放设备也可从视频编码设备处一次性获取图像帧序列中的各帧图像的码流数据。也就是说,在此实施方式下,视频编码设备可在编码得到所有帧图像的码流数据后,再可将所有帧图像的码流数据传输至视频播放设备进行解码播放。
S402,对各帧图像的码流数据进行解码,得到各帧图像。
S403,在播放界面中依次显示各帧图像。
需要说明的是,步骤S402-S403的具体实施方式可参见前述图像处理流程所提及的解码阶段的相关内容,在此不再赘述。且还需说明的是,若目标视频所对应的图像帧序列中的各帧图像的码流数据是实时编码且实时传输至视频播放设备的,则视频播放设备每接收到一帧图像的码流数据,便可执行步骤S402-S403,以实现帧图像的实时显示,从而实现目标视频的实时播放。
本发明实施例可先获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据。其次,可对各帧图像的码流数据进行解码,得到各帧图像;并在播放界面中依次显示各帧图像。由于目标视频对应的图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据均采用上述的视频编码方法编码得到的;因此可有效减少各图像块出现失真的概率,从而使得在播放界面中显示各帧图像时,能够在一定程度上减少各帧图像出现脏点的概率,提升各帧图像的主观质量。
应理解的是,本发明实施例所提出的视频编码方法和视频播放方法可运用在各种应用场景中;如视频会议中的屏幕分享场景、视频直播场景、影视剧视频播放场景,等等。下面以视频会议中的屏幕分享场景为例,对本发明实施例所提出的视频编码方法和视频播放方法的具体应用进行阐述:
在多个用户使用具有视频会议的通信客户端(如企业微信客户端、腾讯会议客户端等)进行视频会议的过程中,若用户A想要和其他用户分享自己的屏幕内容,则可开启屏幕分享功能。用户A所使用的第一通信客户端在检测到屏幕分享功能被打开后,可实时地获取用户A所对应的终端屏幕中的显示内容,并根据实时获取到的显示内容生成屏幕分享视频的当前帧图像。然后,第一通信客户端可对该当前帧图像进行编码,得到该当前帧图像的码流数据。具体的,可将该当前帧图像划分成多个图像块,并采用图2或图3所示的视频编码方法对各图像块进行编码,得到各图像块的编码数据;并采用各图像块的编码数据组合得到当前帧图像的码流数据。在得到当前帧图像的码流数据后,第一通信客户端便可通过服务器将该当前帧图像的码流数据传输至其他用户所使用的第二通信客户端中。相应的,其他用户所使用的第二通信客户端在接收到第一通信客户端发送的当前帧图像的码流数据后,可采用如图4所示的视频播放方法对当前帧图像的码流数据进行解码,得到当前帧图像;并在用户界面中显示该当前帧图像,如图5所示。
由此可见,采用本发明实施例所提出的视频编码方法和视频播放方法,可有效减少屏幕分享场景中出现异常失真点的概率,可有效改善屏幕分享视频的压缩视频质量,提升屏幕分享视频的主观质量。
基于上述视频编码方法实施例的描述,本发明实施例还公开了一种视频编码装置,所述视频编码装置可以是运行于视频编码设备中的一个计算机程序(包括程序代码)。该视频编码装置可以执行图2-图3所示的方法。请参见图6,所述视频编码装置可以运行如下单元:
获取单元601,用于获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
编码单元602,用于在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
所述编码单元602,还用于根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
所述编码单元602,还用于根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
所述编码单元602,还用于采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
在一种实施方式中,所述至少一种候选预测模式为帧间预测模式,所述帧间预测模式至少包括以下模式:第一预测模式、第二预测模式和第三预测模式;
所述第一预测模式是指需传输与所述目标图像块相关的参考图像块的索引信息的模式;
第二预测模式是指需传输所述目标图像块的残差信息以及与所述目标图像块相关的参考图像块的索引信息的模式;
第三预测模式是指需传输所述目标图像块的残差信息、所述目标图像块的运动矢量数据,以及与所述目标图像块相关的参考图像块的索引信息的模式。
再一种实施方式中,编码单元602在用于在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果时,可具体用于:
采用参考预测模式对所述目标预测单元中的各像素点进行像素值预测,得到各像素点的预测值;所述参考预测模式为所述帧间预测模式中的任一模式;
计算所述目标预测单元中的各像素点的像素值和预测值之间的残差绝对值;
若所述目标预测单元中存在残差绝对值大于目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点;
若所述目标预测单元中不存在残差绝对值大于所述目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在所述异常失真点。
再一种实施方式中,所述目标阈值与所述参考预测模式相关联;
若所述参考预测模式为所述帧间预测模式中的第一预测模式,则所述目标阈值等于第一阈值;所述第一阈值大于无效数值且小于像素值域的最大值;
若所述任一候选预测模式为所述帧间预测模式中的所述第二预测模式或者所述第三预测模式,则所述目标阈值等于第二阈值;所述第二阈值大于或等于所述第一阈值,且小于所述像素值域的最大值。
再一种实施方式中,编码单元602在用于根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集时,可具体用于:
若参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在异常失真点,则保持所述模式信息集中的所述参考预测模式的模式代价不变,以得到校准后的模式信息集;所述参考预测模式为所述帧间预测模式中的任一模式;
若所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点,则采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整,以得到校准后的模式信息集。
再一种实施方式中,编码单元602在用于采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,可具体用于:
若所述参考预测模式为所述第二预测模式或者所述第三预测模式,则采用惩罚因子对所述参考预测模式的模式代价进行放大处理,得到所述参考预测模式的校准后的模式代价。
再一种实施方式中,编码单元602在用于采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,还可用于:
若所述参考预测模式为所述第一预测模式,则获取预设代价;所述预设代价大于所述校准后的模式信息集中除所述第一预测模式以外的各候选预测模式的模式代价,且大于所述第一预测模式在所述模式信息集中的模式代价;
在所述模式信息集中,将所述参考预测模式的模式代价调整为所述预设代价。
再一种实施方式中,编码单元602在用于根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式时,可具体用于:
从所述多种候选预测模式中,选取所述校准后的模式信息中模式代价最小的候选预测模式作为目标预测模式。
再一种实施方式中,编码单元602在用于采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,还可用于:
若所述参考预测模式为所述第一预测模式,则保持所述模式信息集中的所述第一预测模式的模式代价不变;
为所述第一预测模式添加禁用标识,所述禁用标识指示禁止使用所述第一预测模式对所述目标预测单元进行预测处理。
再一种实施方式中,编码单元602在用于根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式时,可具体用于:
若所述校准后的模式信息集中模式代价最小的候选预测模式不为所述第一预测模式,或者所述模式代价最小的候选预测模式为第一预测模式且所述第一预测模式不具有所述禁用标识,则将所述模式代价最小的候选预测模式作为目标预测模式;
若所述模式代价最小的候选预测模式为第一预测模式,且所述第一预测模式具有所述禁用标识,则选取所述校准后的模式信息集中模式代价次小的候选预测模式作为目标预测模式。
再一种实施方式中,所述多种候选预测模式包括:帧内预测模式和帧间预测模式;相应的,编码单元602还可用于:
对所述目标预测单元进行复杂度分析,得到所述目标预测单元的预测复杂度;
若根据所述预测复杂度确定所述目标预测单元满足预设条件,则采用所述帧内预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据;其中,所述预设条件包括:所述预测复杂度小于或等于所述复杂度阈值,且所述目标预测单元在所述帧间预测模式中的至少一种模式下存在异常失真点;
若根据所述预测复杂度确定所述目标预测单元不满足所述预设条件,则执行根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集的步骤。
根据本发明的一个实施例,图2-图3所示的方法所涉及的各个步骤均可以是由图6所示的视频编码装置中的各个单元来执行的。例如,图2中所示的步骤S201可由图6中所示的获取单元601来执行,步骤S202-S205可由图6中所示的编码单元602来执行;又如,图3中所示的步骤S301可由图6中所示的获取单元601来执行,步骤S302-S307可由图6中所示的编码单元602来执行。
根据本发明的另一个实施例,图6所示的视频编码装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于视频编码装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本发明的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2-图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图6中所示的视频编码装置设备,以及来实现本发明实施例的视频编码方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本发明实施例在编码过程中,可先在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果。其次,可根据至少一种候选预测模式对应的检测结果,对模式信息集中的至少一种候选预测模式的模式代价进行校准;使得校准后的模式信息集中的各候选预测模式的模式代价更能准确地反映相应候选预测模式所对应的码率和失真,从而使得能够根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中选取出更适合目标预测单元的目标预测模式。然后,可采用合适的目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据,这样可在一定程度上减少目标图像块在编码后出现失真的概率;并且,由于本发明实施例主要是通过修正模式决策过程来选取合适的目标预测模式的方式减少失真概率的,因此可实现在基本不影响压缩效率以及编码复杂度的情况下,有效改善图像压缩质量,提升目标图像块的主观质量。
基于上述视频编码方法实施例以及视频编码装置实施例的描述,本发明实施例还提供一种视频编码设备。请参见图7,该视频编码设备至少包括处理器701、输入接口702、输出接口703、计算机存储介质704以及编码器705。其中,计算机存储介质704可以存储在视频编码设备的存储器中,计算机存储介质704用于存储计算机程序,所述计算机程序包括程序指令,所述处理器701用于执行计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit,中央处理器))是视频编码设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本发明实施例所述的处理器701可以用于对目标图像块进行一系列的视频编码,包括:获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据,等等。
本发明实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是视频编码设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括视频编码设备中的内置存储介质,当然也可以包括视频编码设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了视频编码设备的操作系统。并且,在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器701加载并执行计算机存储介质中存放的一条或多条第一指令,以实现上述有关视频编码方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第一指令由处理器701加载并执行如下步骤:
获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
在一种实施方式中,所述至少一种候选预测模式为帧间预测模式,所述帧间预测模式至少包括以下模式:第一预测模式、第二预测模式和第三预测模式;
所述第一预测模式是指需传输与所述目标图像块相关的参考图像块的索引信息的模式;
第二预测模式是指需传输所述目标图像块的残差信息以及与所述目标图像块相关的参考图像块的索引信息的模式;
第三预测模式是指需传输所述目标图像块的残差信息、所述目标图像块的运动矢量数据,以及与所述目标图像块相关的参考图像块的索引信息的模式。
再一种实施方式中,在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果时,所述一条或多条第一指令由处理器701加载并具体执行:
采用参考预测模式对所述目标预测单元中的各像素点进行像素值预测,得到各像素点的预测值;所述参考预测模式为所述帧间预测模式中的任一模式;
计算所述目标预测单元中的各像素点的像素值和预测值之间的残差绝对值;
若所述目标预测单元中存在残差绝对值大于目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点;
若所述目标预测单元中不存在残差绝对值大于所述目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在所述异常失真点。
再一种实施方式中,所述目标阈值与所述参考预测模式相关联;
若所述参考预测模式为所述帧间预测模式中的第一预测模式,则所述目标阈值等于第一阈值;所述第一阈值大于无效数值且小于像素值域的最大值;
若所述任一候选预测模式为所述帧间预测模式中的所述第二预测模式或者所述第三预测模式,则所述目标阈值等于第二阈值;所述第二阈值大于或等于所述第一阈值,且小于所述像素值域的最大值。
再一种实施方式中,在根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集时,所述一条或多条第一指令可由处理器701加载并具体执行:
若参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在异常失真点,则保持所述模式信息集中的所述参考预测模式的模式代价不变,以得到校准后的模式信息集;所述参考预测模式为所述帧间预测模式中的任一模式;
若所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点,则采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整,以得到校准后的模式信息集。
再一种实施方式中,在采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,所述一条或多条第一指令由处理器701加载并具体执行:
若所述参考预测模式为所述第二预测模式或者所述第三预测模式,则采用惩罚因子对所述参考预测模式的模式代价进行放大处理,得到所述参考预测模式的校准后的模式代价。
再一种实施方式中,在采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,所述一条或多条第一指令由处理器701加载并具体执行:
若所述参考预测模式为所述第一预测模式,则获取预设代价;所述预设代价大于所述校准后的模式信息集中除所述第一预测模式以外的各候选预测模式的模式代价,且大于所述第一预测模式在所述模式信息集中的模式代价;
在所述模式信息集中,将所述参考预测模式的模式代价调整为所述预设代价。
再一种实施方式中,在根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式时,所述一条或多条第一指令由处理器701加载并具体执行:
从所述多种候选预测模式中,选取所述校准后的模式信息中模式代价最小的候选预测模式作为目标预测模式。
再一种实施方式中,在采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整时,所述一条或多条第一指令由处理器701加载并具体执行:
若所述参考预测模式为所述第一预测模式,则保持所述模式信息集中的所述第一预测模式的模式代价不变;
为所述第一预测模式添加禁用标识,所述禁用标识指示禁止使用所述第一预测模式对所述目标预测单元进行预测处理。
再一种实施方式中,在根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式时,所述一条或多条第一指令由处理器701加载并具体执行:
若所述校准后的模式信息集中模式代价最小的候选预测模式不为所述第一预测模式,或者所述模式代价最小的候选预测模式为第一预测模式且所述第一预测模式不具有所述禁用标识,则将所述模式代价最小的候选预测模式作为目标预测模式;
若所述模式代价最小的候选预测模式为第一预测模式,且所述第一预测模式具有所述禁用标识,则选取所述校准后的模式信息集中模式代价次小的候选预测模式作为目标预测模式。
再一种实施方式中,所述多种候选预测模式包括:帧内预测模式和帧间预测模式;相应的,所述一条或多条第一指令还可由处理器701加载并具体执行:
对所述目标预测单元进行复杂度分析,得到所述目标预测单元的预测复杂度;
若根据所述预测复杂度确定所述目标预测单元满足预设条件,则采用所述帧内预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据;其中,所述预设条件包括:所述预测复杂度小于或等于所述复杂度阈值,且所述目标预测单元在所述帧间预测模式中的至少一种模式下存在异常失真点;
若根据所述预测复杂度确定所述目标预测单元不满足所述预设条件,则执行根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集的步骤。
本发明实施例在编码过程中,可先在模式信息集中的至少一种候选预测模式下对目标预测单元进行异常失真点检测,得到至少一种候选预测模式对应的检测结果。其次,可根据至少一种候选预测模式对应的检测结果,对模式信息集中的至少一种候选预测模式的模式代价进行校准;使得校准后的模式信息集中的各候选预测模式的模式代价更能准确地反映相应候选预测模式所对应的码率和失真,从而使得能够根据校准后的模式信息集中的各候选预测模式的模式代价,从多种候选预测模式中选取出更适合目标预测单元的目标预测模式。然后,可采用合适的目标预测模式对目标预测单元进行预测处理,以得到目标图像块的编码数据,这样可在一定程度上减少目标图像块在编码后出现失真的概率;并且,由于本发明实施例主要是通过修正模式决策过程来选取合适的目标预测模式的方式减少失真概率的,因此可实现在基本不影响压缩效率以及编码复杂度的情况下,有效改善图像压缩质量,提升目标图像块的主观质量。
基于上述视频播放方法实施例的描述,本发明实施例还公开了一种视频播放装置,所述视频播放装置可以是运行于视频播放设备中的一个计算机程序(包括程序代码)。该视频播放装置可以执行图4所示的方法。请参见图8,所述视频播放装置可以运行如下单元:
获取单元801,用于获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用图2或图3所示的视频编码方法编码得到;
解码单元802,用于对所述各帧图像的码流数据进行解码,得到所述各帧图像;
显示单元803,用于在播放界面中依次显示所述各帧图像。
根据本发明的一个实施例,图4所示的方法所涉及的各个步骤均可以是由图8所示的视频播放装置中的各个单元来执行的。例如,图4中所示的步骤S401-S403可分别由图8中所示的获取单元801、解码单元802以及显示单元803来执行。根据本发明的另一个实施例,图8所示的视频播放编码装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于视频播放装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本发明的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的视频播放装置设备,以及来实现本发明实施例的视频播放方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
基于上述视频播放方法实施例以及视频播放装置实施例的描述,本发明实施例还提供一种视频播放设备。请参见图9,该视频播放设备至少包括处理器901、输入接口902、输出接口903、计算机存储介质904以及解码器905。其中,计算机存储介质904可以存储在视频播放设备的存储器中,计算机存储介质904用于存储计算机程序,所述计算机程序包括程序指令,所述处理器901用于执行计算机存储介质904存储的程序指令。处理器901(或称CPU(Central Processing Unit,中央处理器))是视频播放设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本发明实施例所述的处理器901可以用于对目标视频进行一系列的视频播放,包括:获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用图2或图3所示的视频编码方法编码得到;对所述各帧图像的码流数据进行解码,得到所述各帧图像;在播放界面中依次显示所述各帧图像,等等。
本发明实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是视频播放设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括视频播放设备中的内置存储介质,当然也可以包括视频播放设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了视频播放设备的操作系统。并且,在该存储空间中还存放了适于被处理器901加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器901加载并执行计算机存储介质中存放的一条或多条第二指令,以实现上述有关视频播放方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第二指令由处理器901加载并执行如下步骤:
获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用图2或图3所示的视频编码方法编码得到;
对所述各帧图像的码流数据进行解码,得到所述各帧图像;
在播放界面中依次显示所述各帧图像。
本发明实施例可先获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据。其次,可对各帧图像的码流数据进行解码,得到各帧图像;并在播放界面中依次显示各帧图像。由于目标视频对应的图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据均采用上述的视频编码方法编码得到的;因此可有效减少各图像块出现失真的概率,从而使得在播放界面中显示各帧图像时,能够在一定程度上减少各帧图像出现脏点的概率,提升各帧图像的主观质量。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (15)

1.一种视频编码方法,其特征在于,包括:
获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
2.如权利要求1所述的方法,其特征在于,所述至少一种候选预测模式为帧间预测模式,所述帧间预测模式至少包括以下模式:第一预测模式、第二预测模式和第三预测模式;
所述第一预测模式是指需传输与所述目标图像块相关的参考图像块的索引信息的模式;
第二预测模式是指需传输所述目标图像块的残差信息以及与所述目标图像块相关的参考图像块的索引信息的模式;
第三预测模式是指需传输所述目标图像块的残差信息、所述目标图像块的运动矢量数据,以及与所述目标图像块相关的参考图像块的索引信息的模式。
3.如权利要求2所述的方法,其特征在于,所述在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果,包括:
采用参考预测模式对所述目标预测单元中的各像素点进行像素值预测,得到各像素点的预测值;所述参考预测模式为所述帧间预测模式中的任一模式;
计算所述目标预测单元中的各像素点的像素值和预测值之间的残差绝对值;
若所述目标预测单元中存在残差绝对值大于目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点;
若所述目标预测单元中不存在残差绝对值大于所述目标阈值的像素点,则确定所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在所述异常失真点。
4.如权利要求3所述的方法,其特征在于,所述目标阈值与所述参考预测模式相关联;
若所述参考预测模式为所述帧间预测模式中的第一预测模式,则所述目标阈值等于第一阈值;所述第一阈值大于无效数值且小于像素值域的最大值;
若所述任一候选预测模式为所述帧间预测模式中的所述第二预测模式或者所述第三预测模式,则所述目标阈值等于第二阈值;所述第二阈值大于或等于所述第一阈值,且小于所述像素值域的最大值。
5.如权利要求2所述的方法,其特征在于,所述根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集,包括:
若参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下不存在异常失真点,则保持所述模式信息集中的所述参考预测模式的模式代价不变,以得到校准后的模式信息集;所述参考预测模式为所述帧间预测模式中的任一模式;
若所述参考预测模式对应的检测结果指示所述目标预测单元在所述参考预测模式下存在异常失真点,则采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整,以得到校准后的模式信息集。
6.如权利要求5所述的方法,其特征在于,所述采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整,包括:
若所述参考预测模式为所述第二预测模式或者所述第三预测模式,则采用惩罚因子对所述参考预测模式的模式代价进行放大处理,得到所述参考预测模式的校准后的模式代价。
7.如权利要求6所述的方法,其特征在于,所述采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整,还包括:
若所述参考预测模式为所述第一预测模式,则获取预设代价;所述预设代价大于所述校准后的模式信息集中除所述第一预测模式以外的各候选预测模式的模式代价,且大于所述第一预测模式在所述模式信息集中的模式代价;
在所述模式信息集中,将所述参考预测模式的模式代价调整为所述预设代价。
8.如权利要求7所述的方法,其特征在于,所述根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式,包括:
从所述多种候选预测模式中,选取所述校准后的模式信息中模式代价最小的候选预测模式作为目标预测模式。
9.如权利要求6所述的方法,其特征在于,所述采用所述参考预测模式的代价调整策略对所述模式信息集中的所述参考预测模式的模式代价进行调整,还包括:
若所述参考预测模式为所述第一预测模式,则保持所述模式信息集中的所述第一预测模式的模式代价不变;
为所述第一预测模式添加禁用标识,所述禁用标识指示禁止使用所述第一预测模式对所述目标预测单元进行预测处理。
10.如权利要求9所述的方法,其特征在于,所述根据所述校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式,包括:
若所述校准后的模式信息集中模式代价最小的候选预测模式不为所述第一预测模式,或者所述模式代价最小的候选预测模式为第一预测模式且所述第一预测模式不具有所述禁用标识,则将所述模式代价最小的候选预测模式作为目标预测模式;
若所述模式代价最小的候选预测模式为第一预测模式,且所述第一预测模式具有所述禁用标识,则选取所述校准后的模式信息集中模式代价次小的候选预测模式作为目标预测模式。
11.如权利要求2-10任一项所述的方法,其特征在于,所述多种候选预测模式包括帧内预测模式和帧间预测模式;所述方法还包括:
对所述目标预测单元进行复杂度分析,得到所述目标预测单元的预测复杂度;
若根据所述预测复杂度确定所述目标预测单元满足预设条件,则采用所述帧内预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据;其中,所述预设条件包括:所述预测复杂度小于或等于所述复杂度阈值,且所述目标预测单元在所述帧间预测模式中的至少一种模式下存在异常失真点;
若根据所述预测复杂度确定所述目标预测单元不满足所述预设条件,则执行根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集的步骤。
12.一种视频播放方法,其特征在于,包括:
获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用如权利要求1-11任一项所述的视频编码方法编码得到;
对所述各帧图像的码流数据进行解码,得到所述各帧图像;
在播放界面中依次显示所述各帧图像。
13.一种视频编码装置,其特征在于,包括:
获取单元,用于获取目标图像块中的目标预测单元及所述目标预测单元的模式信息集,所述模式信息集包括多种候选预测模式及各种所述候选预测模式的模式代价;
编码单元,用于在所述模式信息集中的至少一种候选预测模式下对所述目标预测单元进行异常失真点检测,得到所述至少一种候选预测模式对应的检测结果;
所述编码单元,还用于根据所述至少一种候选预测模式对应的检测结果,对所述模式信息集中的所述至少一种候选预测模式的模式代价进行校准,得到校准后的模式信息集;
所述编码单元,还用于根据校准后的模式信息集中的各候选预测模式的模式代价,从所述多种候选预测模式中选取目标预测模式;
所述编码单元,还用于采用所述目标预测模式对所述目标预测单元进行预测处理,以得到所述目标图像块的编码数据。
14.一种视频播放装置,其特征在于,包括:
获取单元,用于获取目标视频对应的图像帧序列中的各帧图像的码流数据,每帧图像的码流数据中包括多个图像块的编码数据;所述图像帧序列中除首帧图像以外的其他帧图像中的各图像块的编码数据采用如权利要求1-11任一项所述的视频编码方法编码得到;
解码单元,用于对所述各帧图像的码流数据进行解码,得到所述各帧图像;
显示单元,用于在播放界面中依次显示所述各帧图像。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由处理器加载并执行如权利要求1-11任一项所述的视频编码方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由处理器加载并执行如权利要求12所述的视频播放方法。
CN202010452023.1A 2020-05-25 2020-05-25 视频编码方法、视频播放方法、相关设备及介质 Pending CN111629206A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010452023.1A CN111629206A (zh) 2020-05-25 2020-05-25 视频编码方法、视频播放方法、相关设备及介质
PCT/CN2021/089770 WO2021238546A1 (zh) 2020-05-25 2021-04-26 视频编码方法、视频播放方法、相关设备及介质
US17/719,691 US20220239904A1 (en) 2020-05-25 2022-04-13 Video Encoding Method, Video Playback Method, Related Device, and Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010452023.1A CN111629206A (zh) 2020-05-25 2020-05-25 视频编码方法、视频播放方法、相关设备及介质

Publications (1)

Publication Number Publication Date
CN111629206A true CN111629206A (zh) 2020-09-04

Family

ID=72259166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010452023.1A Pending CN111629206A (zh) 2020-05-25 2020-05-25 视频编码方法、视频播放方法、相关设备及介质

Country Status (3)

Country Link
US (1) US20220239904A1 (zh)
CN (1) CN111629206A (zh)
WO (1) WO2021238546A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238546A1 (zh) * 2020-05-25 2021-12-02 腾讯科技(深圳)有限公司 视频编码方法、视频播放方法、相关设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486259B (zh) * 2023-04-04 2024-06-04 自然资源部国土卫星遥感应用中心 遥感图像中的点目标的提取方法和装置
CN117440156B (zh) * 2023-09-22 2024-06-25 书行科技(北京)有限公司 视频编码方法、视频发布方法及相关产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591312B2 (en) * 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
US10085027B2 (en) * 2015-03-06 2018-09-25 Qualcomm Incorporated Adaptive mode checking order for video encoding
CN104902271B (zh) * 2015-05-15 2017-12-29 腾讯科技(北京)有限公司 预测模式选择方法及装置
CN105898297B (zh) * 2016-04-29 2019-03-15 上海高智科技发展有限公司 一种基于hevc的快速模式选择方法及系统
CN109547798B (zh) * 2018-12-17 2020-09-18 杭州当虹科技股份有限公司 一种快速的hevc帧间模式选择方法
CN111629206A (zh) * 2020-05-25 2020-09-04 腾讯科技(深圳)有限公司 视频编码方法、视频播放方法、相关设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238546A1 (zh) * 2020-05-25 2021-12-02 腾讯科技(深圳)有限公司 视频编码方法、视频播放方法、相关设备及介质

Also Published As

Publication number Publication date
WO2021238546A1 (zh) 2021-12-02
US20220239904A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
US9414086B2 (en) Partial frame utilization in video codecs
WO2021238546A1 (zh) 视频编码方法、视频播放方法、相关设备及介质
US8693547B2 (en) Apparatus and method for coding using motion vector segmentation
US20210235105A1 (en) Motion vector prediction method based on affine motion model and device
US9392280B1 (en) Apparatus and method for using an alternate reference frame to decode a video frame
US11736706B2 (en) Video decoding method and apparatus, and decoding device
US10003819B2 (en) Depth map encoding method and apparatus thereof, and depth map decoding method and apparatus thereof
CN109996080B (zh) 图像的预测方法、装置及编解码器
US11758130B2 (en) Video picture decoding and encoding method and apparatus
US20210321101A1 (en) Prediction mode determining method and apparatus, encoding device, and decoding device
CN110741641A (zh) 用于视频压缩的翘曲参考运动矢量
US20210306644A1 (en) Inter prediction method and apparatus
EP3840386A1 (en) Method and apparatus for acquiring reference frame applied to bidirectional inter-frame prediction
WO2019184556A1 (zh) 一种双向帧间预测方法及装置
KR102609215B1 (ko) 비디오 인코더, 비디오 디코더, 및 대응하는 방법
US20240146952A1 (en) Methods and apparatuses for decoder-side motion vector refinement in video coding
WO2019072210A1 (en) RESTRICTION ON SUB-BLOCK SIZE DEDUCTION FOR AFFINE INTERPREDITION
US11736730B2 (en) Systems, methods, and apparatuses for video processing
US12015780B2 (en) Inter prediction method and apparatus, video encoder, and video decoder
CN116527928A (zh) 图像编码方法及装置、电子设备、存储介质、程序产品
WO2022146215A1 (en) Temporal filter
WO2024078892A1 (en) Image and video compression using learned dictionary of implicit neural representations
JP2024510433A (ja) ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク
CN117319688A (zh) 视频数据的编码方法、计算机设备及存储介质
CN118158414A (zh) 视频编码方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028606

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination