CN111182300B - 编码参数的确定方法、装置、设备及存储介质 - Google Patents

编码参数的确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111182300B
CN111182300B CN201811332531.5A CN201811332531A CN111182300B CN 111182300 B CN111182300 B CN 111182300B CN 201811332531 A CN201811332531 A CN 201811332531A CN 111182300 B CN111182300 B CN 111182300B
Authority
CN
China
Prior art keywords
resolution
resolutions
code rate
jnd
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811332531.5A
Other languages
English (en)
Other versions
CN111182300A (zh
Inventor
鞠增伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811332531.5A priority Critical patent/CN111182300B/zh
Publication of CN111182300A publication Critical patent/CN111182300A/zh
Application granted granted Critical
Publication of CN111182300B publication Critical patent/CN111182300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供一种编码参数的确定方法、装置、设备及存储介质,该方法包括根据第一分辨率对应的多个QP,进行编码;根据多个编码后的视频片段得到多个分辨率下码率和失真参数与QP的对应关系,并结合多个编码后的视频片段的JND,得到多个分辨率下QP与JND的对应关系,并根据其确定目标JND对应的编码参数。本申请可提高编码效果。

Description

编码参数的确定方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频编码技术领域,尤其涉及一种编码参数的确定方法、装置、设备及存储介质。
背景技术
随着网络以及多媒体技术的发展,数字媒体内容的应用越来越多,其中,应用最多的便是视频。在所有的媒体内容中,视频对用户的感官影响最直接,所提供的体验也最丰富。
在最常用的网络视频服务中,视频画面质量、流畅度等,直接影桉树的响用户对视频业务的体验。为满足用户对网络视频业务高体验的需求,对于同一视频片段,根据预指定的多个分辨率及其对应码率进行编码,得到多个质量等级版本的视频片段,服务端会根据不同终端侧用户的网络条件提供合适质量等级的视频片段。
在上面的编码模式中,每个分辨率及其对应的码率都是固定的,采用上述方法,忽略了不同视频间的个体区别,易使得一种类型的视频片段在得到目标质量档次的主观观看体验时所采用的码率过高,造成码率浪费,使得要获取某档次质量级时分辨率和码率的搭配不合理造成码率浪费,使得另一种类型的视频片段所采用的码率过低,使得视频画面的观看体验较差。在网络视频服务中,高质量低码率,同时保障用户体验为终极目标。
发明内容
本申请实施例提供一种编码参数的确定方法、装置、设备及存储介质,以提高编码效果,整体上降低视频码率,保障用户体验。
第一方面,本申请实施例提供一种编码参数的确定方法,包括:
根据多个第一分辨率中每个第一分辨率对应的多个量化参数QP,对预设的视频片段进行编码,得到多个编码后的视频片段;
根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,该多个分辨率包括:该多个第一分辨率;
根据该多个编码后的视频片段的最小可视差JND、该多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率下QP与JND的对应关系;
根据该多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数。
该方法中,可通过多个分辨率下QP与JND的关系,确定目标JND所对应的编码参数,从而可使得编码后的视频片段的目标质量等级与最优的编码参数对应,可有效避免码率浪费,也可避免码率较低带来的观看体验较差,提高视频编码效果,从而提高用户体验。
在一种可实现方式中,该多个分辨率还包括:第二分辨率;如上所示的根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,包括:
根据该多个编码后的视频片段,确定该多个编码后的视频片段的码率和失真参数;
根据该多个QP、该多个编码后的视频片段的码率和失真参数,确定该每个第一分辨率下码率与QP的对应关系,和该每个第一分辨率下失真参数与QP的对应关系;
根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系;
根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系。
该方法可根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系,从而得到完整分辨率,即该多个分辨率下码率与QP的对应关系,还可根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系,从而得到完整分辨率,即该多个分辨率下失真参数与QP的对应关系,减少了预编码阶段所涉及的分辨率的个数,减少了预编码阶段的计算量。
在另一种可实现方式中,如上所示的根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系,包括:
根据第三分辨率下码率与QP的对应关系,以及第四分辨率下码率与QP的对应关系,采用内差值方式,确定该第二分辨率下码率与QP的对应关系;
其中,该第三分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率;
该第四分辨率为:该多个第一分辨率中,大于该第二分辨率的分辨率。
在又一种可实现方式中,如上所示的根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系,包括:
根据第五分辨率下码率与QP的对应关系,采用外差值方式,确定该第二分辨率下码率与QP的对应关系;
其中,该第五分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率。
在再一种可实现方式中,如上所示的根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系,包括:
根据第三分辨率下失真参数与QP的对应关系,以及第四分辨率下失真参数与QP的对应关系,采用内差值方式,确定该第二分辨率下失真参数与QP的对应关系;
其中,该第三分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率;
该第四分辨率为:所述多个第一分辨率中,大于该第二分辨率的分辨率。
在再一种可实现方式中,如上所示的根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系,包括:
根据第五分辨率下失真参数与QP的对应关系,采用外差值方式,确定该第二分辨率下失真参数与QP的对应关系;
其中,该第五分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率。
在再一种可实现方式中,如上所示的根据该多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数,包括:
根据该多个分辨率下QP与JND的对应关系,确定每个分辨率下,与该目标JND的差值最小的JND所对应的QP为候选QP;
根据该多个分辨率下的多个该候选QP、每个该候选QP对应的码率以及每个该候选QP对应的JND,确定码率最低的编码参数为该目标JND对应的编码参数。
该方法中,确定码率最低的编码参数,可使得目标JND对应的编码参数中,目标JND与分辨率的相适宜,目标JND与码率的相适宜,有效避免码率过高带来的资源浪费,还可避免码率较低带来的体验较差问题,从而有效提高视频编码效果。
在再一种可实现方式中,该目标JND越大,该目标JND对应的分辨率越小;和/或
该目标JND越小,该目标JND对应的码率越小。
在再一种可实现方式中,该目标JND对应的编码参数包括:该目标JND对应的QP和分辨率;或者,该目标JND对应的码率和分辨率。
在再一种可实现方式中,如上所示的根据该多个编码后的视频片段的JND、该多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率对应的QP与JND的对应关系之前,该方法还可包括:
接收输入的该多个编码后的视频片段的JND。
在再一种可实现方式中,如上所示的根据多个第一分辨率中每个第一分辨率对应的多个量化参数QP,对预设的视频片段进行编码,得到该每个第一分辨率对应的多个编码后的视频片段之前,该方法还可包括:
根据预设的编码参数,对第一预设时长内的多个视频片段进行编码,确定每个视频片段的码率及失真参数;
确定该第一预设时长内的多个视频片段中,确定码率最高的视频片段为该预设的视频片段。
通过自适应的方式进行视频片段的选取,可使得基于选择得到的视频片段所确定的目标JND的编码参数更准确,提高视频编码效果。
在再一种可实现方式中,该方法还可包括:
根据该预设的视频片段的编码方案,对该第一预设时长内的其他视频片段进行编码;该编码方案包括:该目标JND以及该目标JND对应的编码参数。
在该第一预设时长内,可基于选择的预设的视频片段确定该片段的编码方案,并对于该第一预设时长内的其它视频片段,可复用此编码方案,对该第一预设时长内的其他视频片段进行编码,而无需重新确定编码方案减少了计算量。
在再一种可实现方式中,该预设的视频片段为第二预设时长内的多个视频片段中的第一个视频片段。
在再一种可实现方式中,该方法还可包括:
根据该预设的视频片段的编码方案,对该第二预设时长内的其他视频片段进行编码;该编码方案包括:该目标JND以及该目标JND对应的编码参数。
在该第二预设时长内,可将该第一个视频片段确定为预设的视频片段,并基于该预设的视频片段确定其编码方案,并对于该第二预设时长内的其它视频片段,可复用此片段的编码方案,即根据此编码方案,对该第二预设时长内的其他视频片段进行编码,而无需重新确定编码方案,减少了计算量。
在再一种可实现方式中,该预设的视频片段为秒级视频片段。
采用秒级的该预设的视频片段,确定编码参数,可使得编码参数的选择更加准确,提高编码效果。
第二方面,本申请实施例还提供一种编码参数的确定装置,包括:
编码模块,用于根据多个第一分辨率中每个第一分辨率对应的多个量化参数QP,对预设的视频片段进行编码,得到多个编码后的视频片段;
确定模块,用于根据所述多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,该多个分辨率包括:该多个第一分辨率;根据该多个编码后的视频片段的最小可视差JND、该多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率下QP与JND的对应关系;根据该多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数。
基于同一发明构思,由于该编码参数的确定装置解决问题的原理与第一方面的方法设计中的方案对应,因此该编码参数的确定装置的实施可以参见方法的实施,重复之处不再赘述。
第三方面,本申请实施例还提供一种编码参数的确定设备,包括:存储器和处理器;所述存储器和所述处理器连接;
所述存储器,用于存储程序指令;
所述处理器,用于在程序指令被执行时,实现上述第一方面所述的编码参数的确定方法。
第四方面,本申请实施例还可提供一种计算机程序产品,该计算机程序产品包括用于执行上述本申请实施例的第一方面所提供的任一编码参数的确定方法对应的程序代码。
第五方面,本申请实施例还提供一种计算机可读存储介质,该存储介质用于存储计算机程序产品,该计算机程序产品包括:程序代码,该程序代码可以包括用于执行上述本申请实施例的第一方面所提供的任一编码参数的确定方法对应的程序代码;
当该计算机程序产品在计算机上运行时,可使得计算机执行上述本申请实施例的第一方面所提供的任一所示编码参数的确定方法。
本申请实施例提供的一种编码参数的确定方法、装置、设备及存储介质,可根据多个第一分辨率中每个第一分辨率对应的多个QP,对预设的视频片段进行编码,得到多个编码后的视频片段;根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,该多个分辨率包括:该多个第一分辨率,并根据该多个编码后的视频片段的JND、该多个分辨率下码率与QP的对应关系和该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率下QP与JND的对应关系,从而根据多个分辨率下QP与JND的对应关系确定目标JND点对应的编码参数。该方法中,可根据主观测试得到的预编码片段的JND,以及包括该多个第一分辨率的多个分辨率的曲线拟合结果得到多个分辨率对应的QP与JND的对应关系,确定目标JND所对应的编码参数,从而可使得编码后的视频片段的目标质量等级与编码参数对应,可有效避免码率浪费,也可避免码率较低带来的观看体验较差,提高视频编码效果,从而提高用户体验。
附图说明
图1为本申请实施例提供的一种编码参数的确定方法的流程图一;
图2为本申请实施例提供的一种编码参数的确定方法中采用SVR的RBF模型进行曲线估计的示意图;
图3为本申请实施例提供的一种编码参数的确定方法的流程图二;
图4为本申请实施例提供的一种编码参数的确定方法的流程图三;
图5为本申请实施例提供的一种编码参数的确定方法的流程图四;
图6为本申请实施例提供的一种编码参数的确定装置的结构示意图;
图7为本申请实施例提供的一种编码参数的确定设备的结构示意图。
具体实施方式
本申请实施例提供的编码参数的确定方法、装置、设备及存储介质,可适用于互联网视频(Over The Top)业务,如点播视频业务或直播视频业务等,还可适用于企业通讯的视频业务、监控视频业务等任意场景的视频业务。该编码参数的确定方法可由服务端设备通过软件和/或硬件的方式执行,该服务端设备可以为视频应用程序对应的服务器。对应的,还存在客户端设备,即安装视频应用程序的终端设备,例如台式电脑、笔记本、个人数字助理(Personal Digital Assistant,PDA)、智能手机、平板电脑等设备。
例如在点播视频业务的场景中,服务端设备存储有点播视频片源片段,并对该点播视频片源片段进行解码得到yuv格式的未压缩视频片段,将yuv格式的一个视频片段执行下述0编码参数的确定方法,以确定该片段的编码方案,并根据该编码方案,对该一个视频片段重新进行编码,得到各质量等级的视频编码片段。该服务端设备还可根据该片段的编码方案,对其他的视频片段进行编码,实现编码方案的复用。在接收到用户输入点播请求的情况下,客户端设备便可根据网络情况,从服务端设备请求不同质量等级的视频编码片段,提高用户体验。该yuv格式可以为色彩编码方法对应的视频格式,其中,Y表示明亮度(Luminance或Luma),也就是灰阶值,而U和V表示的则是色度(Chrominance或Chroma)。
又例如在直播视频业务的场景中,服务端设备对拍摄的直播视频片源片段进行转码,先解码为yuv格式,将此视频片段执行下述视频编码方案,以确定该片段的编码方案,并根据该编码方案,对该直播视频片段重新进行编码,得到各质量等级的视频编码片段,直播中在一段时间内,最优方式是第一个片段不进行此编码优化,只得到第一个片段的编码方案但不对此片段应用,让后续的片段复用该片段的编码方案。在接收到用户输入针对该直播视频片段的直播请求的情况下,客户端设备便可根据网络情况,从服务端设备请求不同质量等级的视频编码片段,提高用户体验。
如下结合多个示例对本申请实施例提供的各方案进行说明。
图1为本申请实施例提供的一种编码参数的确定方法的流程图一。该编码参数的确定方法可以称为感知视频编码(Perceptual Video Coding,简称PVC)方法。该图1所示的编码参数的确定方法可由视频应用程序对应的服务端设备,又称服务器执行。如图1所示,该编码参数的确定方法可包括:
S101、根据多个第一分辨率中每个第一分辨率对应的多个量化参数(Quantization Parameter,简称QP),对预设的视频片段进行编码,得到多个编码后的视频片段。
由于该多个QP为每个第一分辨率对应的QP,则得到的该多个编码后的视频片段即为该每个第一分辨率对应的多个编码后的视频片段。每个编码后的视频片段对应一个QP。
该多个第一分辨率可以为预先设定的多个分辨率中的部分分辨率。对于直播视频业务,为实现直播加速,该多个第一分辨率即预编码中的分辨率可以小于或等于预设分辨率。选择较低的分辨率进行预编码,可降低预编码的计算量。当然,该多个第一分辨率也可包括其它的分辨率,而不限于上述,如上仅为一种示例。
每个第一分辨率对应的多个QP可包括:预设个数的QP,优化了预编码所采用的QP,减少了预编码过程中对于每个分辨率的编码次数,减少了计算量。该预设个数的QP可以为三个。每个第一分辨率所对应的QP例如可在预设范围内,若为3个QP,其分别可以为15、30及45。
该每个第一分辨率对应的多个QP可以为该每个第一分辨率对应的多个预设的QP,其为该每个第一分辨率对应的固定QP。该方法中,可采用预设的编码器,根据该每个第一分辨率对应的多个QP对该预设的视频片段进行编码。该预设的编码器可以为预设的常规编码器。该多个编码后的视频片段可称为预编码得到的视频片段。
该预设的视频片段可以为预设时间段内的多个视频片段中的任一视频片段,也可以为根据预设的选择规则从该预设时间段内的多个视频片段所选择的视频片段。
可选的,该预设的视频片段可以为秒级视频片段,该秒级视频片段的时长可以为预设秒数,如2秒(s)、3s或者5s等。当然,该预设的视频片段还可以为其它时间级的视频片段,在此不再赘述。
采用秒级的该预设的视频片段,确定编码参数,可使得编码参数的选择更加准确,提高编码效果。
根据每个第一分辨率对应的一个QP,对该预设的视频片段进行编码,可得到该每个第一分辨率对应的一个编码后的视频片段,那么根据该每个第一分辨率对应的多个QP对该预设多的视频片段进行编码,便可得到该每个第一分辨率对应的多个编码后的视频片段版本。每个编码后的视频片段可以为根据一个QP进行编码所得到的视频片段。
根据该每个第一分辨率对应的多个QP,对该预设的视频片段进行编码,得到的该多个编码后的视频片段为实际得到的物理压缩视频。该方法中,采用多个分辨率中的部分分辨率进行视频片段的预编码,减少了预编码所采用的分辨率个数,减少了预编码的次数,缩短了预编码时间。
S102、根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,该多个分辨率包括:多个第一分辨率。
该方法中,可根据每个编码后的视频频段,得到每个第一分辨率下码率与QP的对应关系,和,该每个第一分辨率下失真参数与QP的对应关系。
该每个第一分辨率下码率与QP的对应关系可表示为每个第一分辨率下码率与QP的曲线,该每个第一分辨率下失真参数与QP的对应关系可表示为每个第一分辨率下失真参数与QP的曲线。
该多个分辨率除包括多个第一分辨率,还可包括第二分辨率,则该方法中,可根据该多个第一分辨率下码率与QP的对应关系,通过插值得到确定该第二分辨率下码率与QP的对应关系,根据该多个第一分辨率下失真参数与QP的对应关系,通过插值确定该第二分辨率下失真参数与QP的对应关系。
该第二分辨率可以为该多个分辨率中该多个第一分辨率之外的其它分辨率。该多个第一分辨率为预编码所采用的分辨率,即上述S101所采用的分辨率。
S103、根据该多个编码后的视频片段的最小可视差(Just Notice Difference,简称JND)、该多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率下QP与JND的对应关系。
在执行上述S101得到该每个第一分辨率对应的多个编码后的视频片段后,还对该多个编码后的视频片段进行主观测试,以得到该多个编码后的视频片段的JND。例如,可显示该多个编码后的视频片段,从而接收测试参与人给出的该每个编码后的视频片段的JND。其中,该每个编码后的视频片段的JND,可以为测试参与人在观看该每个编码后的视频片段后所给出的JND。该每个编码后的视频片段可以反应用户对编码视频片段的主观感知,可用于表征该每个编码后的视频片段的质量等级。
通过执行上述S102得到了该多个分辨率下码率与QP的对应关系,以及该多个分辨率下失真参数与QP的对应关系,从而可结合该多个编码后的视频片段的JND,得到多个分辨率下QP与JND的对应关系。
该多个分辨率下QP与JND的对应关系可表示为该多个分辨率下QP与JND的曲线。
该S103中可将主观测试的该每个第一分辨率预编码片段的JND,加上多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,作为输入,得到多个分辨率下QP与JND的对应关系。
该方法中,可根据进行主观测试得到的该每个第一分辨率编码片段的JND,以及通过曲线拟合得到的所有分辨率下码率与QP的关系,以及失真参数与QP的对应关系,进行模式训练,得到训练模型,如使用支持向量回归(Support Vector Regression,简称SVR)方法的径向基函数(Radial Basis Function,简称RBF)模式。
在使用SVR方法的RBF模式的基础上,可将码率和QP作为输入参数,输入该SVR的RBF模型,得到每个分辨率下QP和JND的关系,即QP-JND曲线。该输入参数还可包括:分辨率、失真参数如PSNR、SSIM或VMAF。其中,该码率和QP可以为公共输入参数。该分辨率和失真参数可作为选择性输入参数,即可选的输入参数。该选择性输入参数可为配置项,即可通过配置选择对应的选择性输入参数。
在具体实现过程中,可输入每个分辨率对应的QP和码率,便可输出每个分辨率的QP-JND曲线。当然,为保证输出结果,即该每个分辨率对应的JND的准确度,在输入该每个分辨率对应的QP和码率的情况下,还可输入分辨率、对应的失真参数等。
如下图2示出一种QP-JND曲线的估计示例。图2为本申请实施例提供的一种编码参数的确定方法中采用SVR方法的RBF模式进行曲线估计的示意图,输入360P,540P,720P,1080P的各种参数,即y=f(x)中的各参数值,得到JDN的预测,JND即图2中纵轴的感官质量(Perceptual Quality),此处横轴为码率,由于码率与QP间存在对应关系以与y=f(x)风格一致,横轴也可以为QP。若横轴为QP,纵轴为JND,则图2中的曲线可以为QP-JND曲线,若横轴为码率,纵轴为JND,则图2所示的曲线为码率-JND曲线。如图2所示,输入多个分辨率(360P,540P,720P,1080P,甚至更多)的参数(此处只列举了1080P的曲线),以及预编码第一分辨率的JDN值(未示出),得到输入的所有分辨率的QP-JND曲线。
该方法中,可根据该多个编码后的视频片段的JND、该多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,进行JND估计,得到该所有分辨率下QP与JND的对应关系,减少了预编码阶段所涉及的分辨率的个数,减少了计算量。
S104、根据多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数。
该方法中,可根据该多个分辨率下的QP与JND的对应关系以及需要的目标JND的数量,确定目标JND点,采用预设的规则,确定码率最低的编码参数为每个目标JND点对应的编码参数。
可选的,该目标JND对应的编码参数包括:该目标JND对应的QP和分辨率,或,该目标JND对应的码率和分辨率。
也就是说,该目标JND对应的编码参数可以两种形式的编码参数,在一种形式中,该目标JND对应的编码参数包括:该目标JND对应QP和分辨率,该一种形式可表示为:目标JND-(QP,分辨率)。在另一种形式中,该目标JND对应的编码参数可包括:该目标JND对应的码率和分辨率,该另一种形式可表示为:目标JND-(码率,分辨率)。
本申请实施例提供的编码参数的确定方法,可根据多个第一分辨率中每个第一分辨率对应的多个QP,对预设的视频片段进行编码,得到多个编码后的视频片段;根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,该多个分辨率包括:该多个第一分辨率,并根据该多个编码后的视频片段的JND采样点、该多个分辨率下码率与QP的对应关系和该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率下QP与JND的对应关系,从而可根据多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数。该方法中,可通过多个分辨率下QP与JND的关系,确定目标JND所对应的编码参数,从而可使得编码后的视频片段的目标质量等级与最优的编码参数对应,可有效避免码率浪费,也可避免码率较低带来的观看体验较差,提高视频编码效果,从而提高用户体验。并且,该方法中,采用部分分辨率即多个第一分辨率中每个第一分辨率对应的多个QP进行视频片段的预编码,进而根据编码片段的属性信息,得到参数间的拟合曲线,即得到第一分辨率的拟合曲线,并通插值方式,得到其它分辨率,如第二分辨率的拟合曲线。对第一分辨率通过主观测试得到的多个编码后的视频片段的JND,加上所有分辨率的拟合曲线的结果,得到所有分辨率的JND预测结果。由于只使用了第一分辨率进行的预编码,在曲线拟合过程中,第二分辨率的各种参数是通过第一分辨率的拟合曲线插值得到的,因此减少了预编码阶段所涉及的分辨率的个数,减少了预编码阶段的编码次数,减少了计算量,提高了预编码的处理速率,缩短了预编码时间。
在上述图1所示的编码参数的确定方法的基础上,本申请实施例还提供一种编码参数的确定方法。图3为本申请实施例提供的一种编码参数的确定方法的流程图二。如图3所示,该方法在上述基础上,上述S102中根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系可包括:
S301、根据该多个编码后的视频片段,确定该多个编码后的视频片段的码率(Rate,简称R)和失真参数(Distortion,简称D)。
该方法中,可对该每个编码后的视频片段进行计算,得到该每个编码后的视频片段的码率和失真参数,对于该多个编码后的视频片段,便可得到该多个编码后的视频片段的码率和失真参数。由于该每个编码后的视频片段对应一个QP,因此,在得到给每个编码后的视频片段的码率和失真参数的情况下,还得到了该每个编码后的视频片段的QP。该多个编码后的视频片段即为预编码操作得到的视频片段。
可选的,该失真参数可包括如下中的至少一种:峰值信噪比(Peak Signal toNoise Ratio,简称PSNR)、结构相似性(Structural SIMilarity,简称SSIM)、视频多方法评估混合(Video Multi-method Assessment Fusion,简称VMAF)参数等。
该失真参数可以为配置项,即可通过配置选择对应的失真参数。需说明的是,对于直播视频业务,为减小耗时,实现直播加速,其失真参数可不包括VMAF。
对于点播视频业务,该失真参数例如可包括PSNR、SSIM以及VAMF参数,以保证最终编码方案的准确性,提高视频编码效果,提高用户体验;还可在失真参数中去除高复杂度的VMAF。
该方法中,对于该每个编码后的视频片段,可采用跳帧方式得到失真参数,在一段时间的多帧图像中只选择其中一帧图像计算其失真参数,用该帧的结果代替多帧的结果。该跳帧方式对应的跳帧周期可以为配置项,即可通过配置选择对应的跳帧周期。
例如,该跳帧方式对应的跳帧周期可以为预设数秒如2s,即在计算该跳帧周期内的视频帧的失真参数的过程中,可将每2s内的第一帧图像确定为待计算的图像帧,继而将2s内的视频帧,以该待计算的图像帧为等价计算对象得到2s内所有帧的失真参数。该每个编码后的视频片段的失真值可以取该片段内所有跳帧周期的失真参数的平均值。
该方法中,对该每个编码后的视频片段采用跳帧方式,计算其失真参数,可有效地降低客观质量的计算量,同时仍可保证客观质量指标的准确性。
对于直播视频业务,采用跳帧方式,计算失真参数,可减少计算量,减少时延,实现直播加速。
S302、根据该多个QP及其所得到的编码片段的码率和失真参数,确定该每个第一分辨率下码率与QP的对应关系,和该每个第一分辨率下失真参数与QP的对应关系。
该多个QP即为预编码使用的QP,该多个编码后的视频片的码率和失真参数可以为该预编码使用的QP所得到的视频片段的码率和失真参数。
该方法中,对于多个分辨率,可将预编码片段的多个QP及其对应的码率作为QP与码率的数据采样点,并根据这些数据采样点,使用拟合函数得到该每个第一分辨率下码率与QP的对应关系;还将预编码片段的多个QP及其对应的失真参数作为QP与失真参数的数据采样点,并根据这些数据采样点,使用拟合函数得到该每个第一分辨率对应的失真参数与QP的对应关系。
拟合函数为y=f(x)。其中,x为QP,y为码率,或失真参数,如PSNR、SSIM或VMAF。该拟合公式例如可以为y=a×xb+c。其中,a、b和c可为预设常数。
S303、根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系。
第二分辨率即预编码阶段实际未使用的分辨率,可根据该多个第一分辨率下码率与QP的对应关系,通过插值方式,得到该第二分辨率下码率与QP的对应关系。该差值方式例如可以为内差值方式,也可以为外插值方式。
在一种实现方式中,S303中根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系可包括:
根据第三分辨率下码率与QP的对应关系,以及第四分辨率下码率与QP的对应关系,采用内差值方式,确定该第二分辨率下码率与QP的对应关系。
其中,该第三分辨率为内差值方式所采用的低分辨率,其可以为:该多个第一分辨率中,小于该第二分辨率的分辨率;
该第四分辨率为内差值方式所采用的高分辨率,其可以为:该多个第一分辨率中,大于该第二分辨率的分辨率。
在基于该内差值方式的实现过程中,可基于小于该每个第二分辨率的第三分辨率的参数,以及大于该每个第二分辨率的第四分辨率的参数,得到中间分辨率即该第二分辨率的参数。
在另一种实现方式中,S303中根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系可包括:
根据第五分辨率下码率与QP的对应关系,采用外差值方式,确定该第二分辨率下码率与QP的对应关系;
其中,该第五分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率。
在基于该外插值方式的实现过程中,可基于小于该第二分辨率的第五分辨率的参数,得到高分辨率即该第二分辨率的参数。
S304、根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系。
第二分辨率即预编码阶段实际未使用的分辨率,可根据该多个第一分辨率下失真参数与QP的对应关系,通过插值方式,得到该第二分辨率下失真参数与QP的对应关系。该差值方式例如可以为内差值方式,也可以为外插值方式。
在一种实现方式中,S304中根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系可包括:
根据第三分辨率下失真参数与QP的对应关系,以及第四分辨率下失真参数与QP的对应关系,采用内差值方式,确定该第二分辨率下失真参数与QP的对应关系。
其中,该第三分辨率为内差值方式所采用的低分辨率,其可以为:该多个第一分辨率中,小于该第二分辨率的分辨率;
该第四分辨率为内差值方式所采用的高分辨率,其可以为:该多个第一分辨率中,大于该第二分辨率的分辨率。
在基于该内差值方式的实现过程中,可基于小于该每个第二分辨率的第三分辨率的参数,以及大于该每个第二分辨率的第四分辨率的参数,得到中间分辨率即该第二分辨率的参数。
在另一种实现方式中,S304中根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系可包括:
根据第五分辨率下失真参数与QP的对应关系,采用外差值方式,确定该第二分辨率下失真参数与QP的对应关系;
其中,该第五分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率。
在基于该外插值方式的实现过程中,可基于小于该第二分辨率的第五分辨率的参数,得到高分辨率即该第二分辨率的参数。
需要指出的是,对于直播视频业务,其可采用外插方式,确定该第二分辨率下码率与QP的对应关系,以及该第二分辨率下失真参数与QP的对应关系,可有效减少时延,减少计算量,实现直播加速。当然,点播视频业务或者其它视频业务场景,也可采用,本申请不对此限制。
该方法中,可根据每个第一分辨率的编码后的视频片段,可得到该每个第一分辨率下的QP、码率、失真参数如PSNR、SSIM或VMAF,从而可得到该每个第一分辨率下,码率与QP的对应关系,以及失真参数与QP的对应关系。根据该多个第一分辨率下码率与QP的对应关系,通过插值方式得到第二分辨率下码率与QP的对应关系,根据该多个第一分辨率下失真参数与QP的对应关系,通过插值方式得到第二分辨率下失真参数与QP的对应关系。
对于该每个第一分辨率可得到其对应的QP、码率以及失真参数,对于该第二分辨率也可可得到其对应的QP、码率、失真参数。
在该实施例提供的编码参数的确定方法中,可根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系,从而得到完整分辨率,即该多个分辨率下码率与QP的对应关系,还可根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系,从而得到完整分辨率,即该多个分辨率下失真参数与QP的对应关系,减少了预编码阶段所涉及的分辨率的个数,减少了预编码阶段的计算量。
可选的,在上述图1或图3所示的编码参数的确定方法的基础上,本申请实施例还提供一种编码参数的确定方法。图4为本申请实施例提供的一种编码参数的确定方法的流程图三。如图4所示,该方法在上述S104中根据多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数可包括:
S401、根据该多个分辨率下QP与JND的对应关系,确定每个分辨率下,与该目标JND的差值最小的JND所对应的QP为候选QP。
对于每个分辨率,可根据该每个分辨率下QP与JND的对应关系,可确定该每个分辨率下,与该目标JND的差值最小的JND即最接近目标JND的JND,所对应的QP为候选QP。
S402、根据该多个分辨率下的多个该候选QP、每个候选QP对应的码率以及该每个候选QP对应的JND,确定码率最低的编码参数为该目标JND对应的编码参数。
对于每个分辨率,通过执行上述S401可得到每个分辨率下的候选QP,对于多个分辨率可得到该多个分辨率下的多个候选QP。
在确定候选QP的情况下,便可基于该每个分辨率下QP与JND的对应关系,预估得到该每个分辨率下,每个候选QP对应的JND,还可而结合该每个分辨率对应的QP与码率的对应关系,预估得到该每个分辨率下,每个候选QP对应的码率。
在确定多个分辨率下的多个候选QP、每个候选QP对应的码率以及每个候选QP对应的JND的情况下,便可进行码率与分辨率的参数组合,或者码率与QP的参数组合,并从中选择最低码率的参数组合,并将该最低码率的参数组合确定为该目标JND对应的编码参数。该最低码率的参数组合,其可包括:该最低码率与该最低码率对应的分辨率的参数组合,或者,该最低码率对应的QP与该最低码率对应的分辨率的参数组合。
也就是说,该目标JND对应的编码参数可包括:该目标JND对应的码率与分辨率的参数组合,或者,该目标JND对应的QP与分辨率的参数组合。
该方法中,可根据该多个分辨率下的多个该候选QP、每个候选QP对应的码率以及该每个候选QP对应的JND,采用预设的约束规则,选择该码率最低的编码参数。
该预设的约束的规则例如可包括:约束规则1,和/或约束规则2。
约束规则1例如可以为该目标JND越大,该目标JND对应的分辨率越小。对于该约束规则1,目标JND+1对应的分辨率,可小于或等于该目标JND对应的分辨率,即随着目标JND的增大,其对应的分辨率逐渐减少。
约束规则2例如可以为该目标JND越小,该目标JND对应的码率越小。对于该约束规则2,目标JND+1对应的码率,可小于或等于该目标JND对应的码率,即随着目标JND的增大,其对应的码率逐渐减少。
采用上述预设的约束规则,确定码率最低的编码参数,可使得目标JND对应的编码参数中,目标JND与分辨率的相适宜,目标JND与码率的相适宜,有效避免码率过高带来的资源浪费,还可避免码率较低带来的体验较差问题,从而有效提高视频编码效果。
可选的,在上述图1-图4中任一所述的编码参数的确定方法的基础上,在基于该预设的视频片段确定该目标JND对应的编码参数的情况下,对于预设时长内的其它视频片段,可复用该目标JND对应的编码参数。在实现过程中,可对于每个复用周期,便可进行编码方式的复用。也就是说,在一个预设时长内,可基于预设的视频片段确定该目标JND对应的编码参数,对于该一个预设时长内的其它视频片段可复用该目标JND对应的编码参数,即可采用该目标JND对应的编码方式对该其它视频片段进行编码。而在另一个预设时长内,需重新基于预设的视频片段确定该目标JND对应的编码参数,对于该另一个预设时长内的其它视频片段可复用该目标JND对应的编码参数。该预设时长可以为预设的复用时长,例如可以为30s,每个视频片段例如可以为5s,即在该30s内的6个视频片段采用同一个编码参数进行编码。
该方法中,可通过预设时长内的编码参数的复用,无需多次确定编码方式,减少了计算量。
然而,对于该预设的视频片段的选取,至少可采用下述方式进行。
在一种方式中,可进行自适应分片的选取,如下本申请实施例便可提供一种基于自适应分片选取的编码参数的确定方法。图5为本申请实施例提供的一种编码参数的确定方法的流程图四。如图4所示,在上述S101、根据多个第一分辨率中每个第一分辨率对应的多个QP,对预设的视频片段进行编码,得到该每个第一分辨率对应的多个编码后的视频片段之前,该方法还可包括:
S501、根据预设的编码参数,对第一预设时长内的多个视频片段进行编码,确定每个视频片段的码率及失真参数。
该第一预设时长可以为预设的复用时长。该第一预设时长内的多个视频片段可以为一组视频片段。
为减少计算量,该预设的编码参数可以为预设的最低分辨率对应的编码参数,其可包括:最低分辨率对应的QP。该最低的分辨率例如可以为360p。
该方法中,可根据预设的编码参数,对第一预设时长内的多个视频片段进行编码,得到编码后的该第一预设时长内的每个视频片段,并计算得到每个视频片段的码率及失真参数。
S502、确定至少一个编码后的视频片段中,码率最高的视频片段为该预设的视频片段。
该每个视频片段的码率与失真参数可包括:该每个视频片段内多个单点的码率以及失真参数。该方法中,可根据该多个单点的码率以及失真参数,得到该预设的编码参数对应的码率与失真参数的对应关系,并通过机器学习如SVR方法的RBF模式进行学习,得到该每个视频片段的总码率,其可包括:该预设的编码参数即最低分辨率,以及其它分辨率对应的该每个视频片段的总码率。
在得到多个视频片段的总码率的情况下,便可确定该第一预设时长内的多个视频片段中,确定码率最高的视频片段为该预设的视频片段。
通过自适应的方式进行视频片段的选取,可使得基于选择得到的视频片段所确定的目标JND的编码参数更准确,提高视频编码效果。
可选的,该方法还可包括:
S503、根据该预设的视频片段的编码方案,对该第一预设时长内的其他视频片段进行编码;该编码方案包括:该目标JND以及该目标JND对应的编码参数。
在该第一预设时长内,可基于选择的预设的视频片段确定该片段的编码方案,并对于该第一预设时长内的其它视频片段,可复用此编码方案,对该第一预设时长内的其他视频片段进行编码,而无需重新确定编码方案减少了计算量。
在另一种方式中,在每个复用时长又称复用周期内,可选择第一个视频片段为该预设的视频片段,即该预设的视频片段可以为第二预设时长内的多个视频片段中的第一个视频片段。
可选的,该方法还可包括:
根据该预设的视频片段的编码方案,对该第二预设时长内的其他视频片段进行编码。该编码方案包括:该目标JND以及该目标JND对应的编码参数。
在该第二预设时长内,可将该第一个视频片段确定为预设的视频片段,并基于该预设的视频片段确定其编码方案,并对于该第二预设时长内的其它视频片段,可复用此片段的编码方案,即根据此编码方案,对该第二预设时长内的其他视频片段进行编码,而无需重新确定编码方案,减少了计算量。
基于上述提供的各编码参数的确定方法,可选取预设视频集(VideoSet),分别在点播视频场景和直播视频场景中进行编码测试。针对点播视频场景,例如可选取包括220个5秒短序列的序列集,通过执行本申请实施例提供的编码参数的确定方法,可在主观质量不下降的情况下,使用完整版本算法使得码率降低超过40%,使用去除占计算量最大的VMAF的版本码率降低超过35%,实现码率的降低,避免码率过高带来的存储和带宽资源浪费。针对直播视频场景中,例如可选取10个5s的短序列和20个10s的长序列的序列集,使用方案复用通过执行本申请实施例提供的编码参数的确定方法可在主观质量不下降的情况下,码率降低超过30%。基于上述测试,可知本申请实施例提供的编码参数的确定方法,相对于已有的固定编码方法,可大幅度降低30%以上码率。
本申请实施例提供一种编码参数的确定装置。该编码参数的确定装置可执行上述图1-图5中任一所述的编码参数的确定方法。图6为本申请实施例提供的一种编码参数的确定装置的结构示意图。如图6所示,编码参数的确定装置600可以为服务器,其可包括:
编码模块601,用于根据多个第一分辨率中每个第一分辨率对应的多个QP,对预设的视频片段进行编码,得到多个编码后的视频片段。
确定模块602,用于根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,该多个分辨率包括:该多个第一分辨率;根据该多个编码后的视频片段的JND、该多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率下QP与JND的对应关系;根据该多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数。
在一种可能的实现方式中,该多个分辨率还包括:第二分辨率。
如上所述的确定模块602,具体用于根据该多个编码后的视频片段,确定该多个编码后的视频片段的码率和失真参数;根据该多个QP、该多个编码后的视频片段的码率和失真参数,确定该每个第一分辨率下码率与QP的对应关系,和该每个第一分辨率下失真参数与QP的对应关系;根据该多个第一分辨率下码率与QP的对应关系,确定该第二分辨率下码率与QP的对应关系;根据该多个第一分辨率下失真参数与QP的对应关系,确定该第二分辨率下失真参数与QP的对应关系。
在另一种可实现方式中,确定模块602,具体用于根据第三分辨率下码率与QP的对应关系,以及第四分辨率下码率与QP的对应关系,采用内差值方式,确定该第二分辨率下码率与QP的对应关系;其中,该第三分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率;该第四分辨率为:该多个第一分辨率中,大于该第二分辨率的分辨率。
在又一种可实现方式中,确定模块602,具体用于根据第五分辨率下码率与QP的对应关系,采用外差值方式,确定该第二分辨率下码率与QP的对应关系;其中,该第五分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率。
在再一种可实现方式中,确定模块602,具体用于根据第三分辨率下失真参数与QP的对应关系,以及第四分辨率下失真参数与QP的对应关系,采用内差值方式,确定该第二分辨率下失真参数与QP的对应关系;其中,该第三分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率;该第四分辨率为:该多个第一分辨率中,大于该第二分辨率的分辨率。
在再一种可实现方式中,确定模块602,具体用于根据第五分辨率下失真参数与QP的对应关系,采用外差值方式,确定该第二分辨率下失真参数与QP的对应关系;其中,该第五分辨率为:该多个第一分辨率中,小于该第二分辨率的分辨率。
在再一种可实现方式中,确定模块602,具体用于根据该多个分辨率下QP与JND的对应关系,确定每个分辨率下,与该目标JND的差值最小的JND所对应的QP为候选QP;根据该多个分辨率下的多个该候选QP、每个该候选QP对应的码率以及每个该候选QP对应的JND,确定码率最低的编码参数为该目标JND对应的编码参数。
在再一种可实现方式中,该目标JND对应的编码参数包括:该目标JND对应的QP和分辨率;或者,该目标JND对应的码率和分辨率。
在再一种可实现方式中,确定模块602,具体用于根据预设的编码参数,对第一预设时长内的多个视频片段进行编码,确定每个视频片段的码率及失真参数;确定该第一预设时长内的多个视频片段中,确定码率最高的视频片段为该预设的视频片段。
在再一种可实现方式中,该预设的视频片段为第二预设时长内的多个视频片段中的第一个视频片段。
本申请实施例提供的编码参数的确定装置可执行上述图1至图5任一所示的编码参数的确定方法,其具体实现及有益效果参见上述,在此不再赘述。
本申请实施例提供一种编码参数的确定设备。该编码参数的确定设备可执行上述图1-图5中任一所述的编码参数的确定方法,其可以为服务器。图7为本申请实施例提供的一种编码参数的确定设备的结构示意图。如图7所示,编码参数的确定设备700可包括:存储器701和处理器702。
存储器701,用于存储程序指令。
处理器702,用于在程序指令被执行时,实现图1-图5中任一所述的编码参数的确定方法。
可选的,本申请实施例还可提供一种计算机程序产品,该计算机程序产品包括执行上述图1至图5任一所示的编码参数的确定方法的程序代码。
当该计算机程序产品在计算机上运行时,可使得计算机执行上述图1至图5任一所示的编码参数的确定方法。
可选的,本申请实施例还可提供一种计算机可读存储介质,该存储介质用于存储计算机程序产品,该计算机程序产品包括:程序代码。该程序代码可以包括用于执行上述图1至图5任一所示的编码参数的确定方法的程序代码。
当该计算机程序产品在计算机上运行时,可使得计算机执行上述图1至图5任一所示的编码参数的确定方法。
该计算机可读存储介质可以为上述图7所示的编码参数的确定设备700中的内部存储器,也可以为与上述图7所示的编码参数的确定设备700连接的外部存储器。该计算机程序产品中的程序代码例如可由上述图7所示的编码参数的确定设备700中的处理器702执行。
本申请实施例提供的编码参数的确定设备、计算机程序产品及计算机可读存储介质可执行上述图1至图5任一所示的编码参数的确定方法,其具体的实现过程及有益效果参见上述,在此不再赘述。
在一种示例中,上述图6所示的装置600还可以为一种芯片,编码模块601和确定模块602具体为芯片的处理内核(或者处理器)。装置600作为芯片,其还可包括:芯片的输入端口(或者输入电路)、芯片的输出端口(或者输出电路)等。
在一种具体的实现方式中:
芯片的处理内核可用于:根据多个第一分辨率中每个第一分辨率对应的多个QP,对预设的视频片段进行编码,得到多个编码后的视频片段;根据该多个编码后的视频片段,得到多个分辨率下码率与QP的对应关系,和该多个分辨率下失真参数与QP的对应关系,该多个分辨率包括:该多个第一分辨率;根据该多个编码后的视频片段的JND、该多个分辨率下码率与QP的对应关系、以及该多个分辨率下失真参数与QP的对应关系,得到该多个分辨率下QP与JND的对应关系;根据该多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数。
可选的,芯片的处理内核还可用于执行相应于前文实施例中编码模块601和确定模块602的其它功能。
本申请实施例提供的该种芯片也可执行上述图1至图5任一所示的编码参数的确定方法,其具体的实现过程及有益效果参见上述,在此不再赘述。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应理解,在本申请实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可以用硬件实现,或固件实现,或它们的组合方式来实现。当使用软件实现时,可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如,如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的,那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本申请所使用的,盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟,其中盘通常磁性的复制数据,而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
以上所述,仅为本申请实施例的具体实现方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种编码参数的确定方法,其特征在于,包括:
根据多个第一分辨率中每个第一分辨率对应的多个量化参数QP,对预设的视频片段进行编码,得到多个编码后的视频片段;
根据所述多个编码后的视频片段,得到M个分辨率下码率与QP的对应关系,和所述M个分辨率下失真参数与QP的对应关系,所述M个分辨率包括所述多个第一分辨率;所述M为大于1的整数;
根据所述多个编码后的视频片段的最小可视差JND、所述M个分辨率下码率与QP的对应关系、以及所述M个分辨率下失真参数与QP的对应关系,得到所述M个分辨率下QP与JND的对应关系,包括:
根据所述第一分辨率编码片段的JND、N个分辨率下码率与QP的关系、以及所述N个分辨率下失真参数与QP的对应关系,进行模式训练,得到训练模型;所述N个分辨率下码率与QP的关系基于所述M个分辨率下码率与QP的对应关系得到,所述N个分辨率下失真参数与QP的对应关系基于所述M个分辨率下失真参数与QP的对应关系得到;所述N为大于M的整数;
将所述M个分辨率下的码率和QP输入所述训练模型,得到所述M个分辨率下QP与JND的对应关系;
根据所述M个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数,包括:
根据所述M个分辨率下QP与JND的对应关系,确定所述M个分辨率下的每个分辨率的候选QP;
根据所述M个分辨率下的每个分辨率的候选QP对应的码率以及JND,确定码率最低的编码参数为所述目标JND对应的编码参数。
2.根据权利要求1所述的方法,其特征在于,所述M个分辨率还包括第二分辨率;
所述根据所述多个编码后的视频片段,得到M个分辨率下码率与QP的对应关系,和所述M个分辨率下失真参数与QP的对应关系,包括:
根据所述多个编码后的视频片段,确定所述多个编码后的视频片段的码率和失真参数;
根据所述多个QP、所述多个编码后的视频片段的码率和失真参数,确定所述每个第一分辨率下码率与QP的对应关系,和所述每个第一分辨率下失真参数与QP的对应关系;
根据所述多个第一分辨率下码率与QP的对应关系,确定所述第二分辨率下码率与QP的对应关系;
根据所述多个第一分辨率下失真参数与QP的对应关系,确定所述第二分辨率下失真参数与QP的对应关系。
3.根据权利要求2所述的方法,其特征在于,所述根据所述多个第一分辨率下码率与QP的对应关系,确定所述第二分辨率下码率与QP的对应关系,包括:
根据第三分辨率下码率与QP的对应关系,以及第四分辨率下码率与QP的对应关系,采用内差值方式,确定所述第二分辨率下码率与QP的对应关系;其中,所述第三分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率;所述第四分辨率为:所述多个第一分辨率中,大于所述第二分辨率的分辨率;
或者,
根据第五分辨率下码率与QP的对应关系,采用外差值方式,确定所述第二分辨率下码率与QP的对应关系;其中,所述第五分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率。
4.根据权利要求2所述的方法,其特征在于,所述根据所述多个第一分辨率下失真参数与QP的对应关系,确定所述第二分辨率下失真参数与QP的对应关系,包括:
根据第三分辨率下失真参数与QP的对应关系,以及第四分辨率下失真参数与QP的对应关系,采用内差值方式,确定所述第二分辨率下失真参数与QP的对应关系;其中,所述第三分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率;所述第四分辨率为:所述多个第一分辨率中,大于所述第二分辨率的分辨率;
或者,
根据第五分辨率下失真参数与QP的对应关系,采用外差值方式,确定所述第二分辨率下失真参数与QP的对应关系;其中,所述第五分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率。
5.根据权利要求1-4中任一项所述的方法,其特征在于,根据所述M个分辨率下QP与JND的对应关系,确定所述M个分辨率下的每个分辨率的候选QP,包括:根据所述M个分辨率下QP与JND的对应关系,确定所述M个分辨率下的每个分辨率中,与所述目标JND的差值最小的JND所对应的QP为候选QP。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述目标JND对应的编码参数包括:所述目标JND对应的QP和分辨率;或者,所述目标JND对应的码率和分辨率。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述根据多个第一分辨率中每个第一分辨率对应的多个量化参数QP,对预设的视频片段进行编码,得到所述每个第一分辨率对应的多个编码后的视频片段之前,所述方法还包括:
根据预设的编码参数,对第一预设时长内的多个视频片段进行编码,确定每个视频片段的码率及失真参数;
确定所述第一预设时长内的多个视频片段中,确定码率最高的视频片段为所述预设的视频片段。
8.根据权利要求1-6中任一项所述的方法,其特征在于,所述预设的视频片段为第二预设时长内的多个视频片段中的第一个视频片段。
9.一种编码参数的确定装置,其特征在于,包括:
编码模块,用于根据多个第一分辨率中每个第一分辨率对应的多个量化参数QP,对预设的视频片段进行编码,得到多个编码后的视频片段;
确定模块,用于根据所述多个编码后的视频片段,得到M个分辨率下码率与QP的对应关系,和所述M个分辨率下失真参数与QP的对应关系,所述M个分辨率包括所述多个第一分辨率,所述M为大于1的整数;根据所述多个编码后的视频片段的最小可视差JND、所述M个分辨率下码率与QP的对应关系、以及所述M个分辨率下失真参数与QP的对应关系,得到所述M个分辨率下QP与JND的对应关系;根据所述多个分辨率下QP与JND的对应关系,确定目标JND对应的编码参数;
所述确定模块,具体用于所述第一分辨率编码片段的JND、N个分辨率下码率与QP的关系、以及所述N个分辨率下失真参数与QP的对应关系,进行模式训练,得到训练模型;所述N个分辨率下码率与QP的关系基于所述M个分辨率下码率与QP的对应关系得到,所述N个分辨率下失真参数与QP的对应关系基于所述M个分辨率下失真参数与QP的对应关系得到;所述N为大于M的整数;将所述M个分辨率下的码率和QP输入所述训练模型,得到所述M个分辨率下QP与JND的对应关系;
所述确定模块,具体用于根据所述M个分辨率下QP与JND的对应关系,确定所述M个分辨率下的每个分辨率的候选QP,根据所述M个分辨率下的每个分辨率的候选QP以及JND,确定码率最低的编码参数为所述目标JND对应的编码参数。
10.根据权利要求9所述的装置,其特征在于,所述多个分辨率还包括第二分辨率;
所述确定模块,具体用于根据所述多个编码后的视频片段,确定所述多个编码后的视频片段的码率和失真参数;根据所述多个QP、所述多个编码后的视频片段的码率和失真参数,确定所述每个第一分辨率下码率与QP的对应关系,和所述每个第一分辨率下失真参数与QP的对应关系;根据所述多个第一分辨率下码率与QP的对应关系,确定所述第二分辨率下码率与QP的对应关系;根据所述多个第一分辨率下失真参数与QP的对应关系,确定所述第二分辨率下失真参数与QP的对应关系。
11.根据权利要求10所述的装置,其特征在于,
所述确定模块,具体用于根据第三分辨率下码率与QP的对应关系,以及第四分辨率下码率与QP的对应关系,采用内差值方式,确定所述第二分辨率下码率与QP的对应关系;其中,所述第三分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率;所述第四分辨率为:所述多个第一分辨率中,大于所述第二分辨率的分辨率;
或者,
所述确定模块,具体用于根据第五分辨率下码率与QP的对应关系,采用外差值方式,确定所述第二分辨率下码率与QP的对应关系;其中,所述第五分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率。
12.根据权利要求10所述的装置,其特征在于,
所述确定模块,具体用于根据第三分辨率下失真参数与QP的对应关系,以及第四分辨率下失真参数与QP的对应关系,采用内差值方式,确定所述第二分辨率下失真参数与QP的对应关系;其中,所述第三分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率;所述第四分辨率为:所述多个第一分辨率中,大于所述第二分辨率的分辨率;
或者,
所述确定模块,具体用于根据第五分辨率下失真参数与QP的对应关系,采用外差值方式,确定所述第二分辨率下失真参数与QP的对应关系;其中,所述第五分辨率为:所述多个第一分辨率中,小于所述第二分辨率的分辨率。
13.根据权利要求9-12中任一项所述的装置,其特征在于,
所述确定模块,具体用于根据所述M个分辨率下QP与JND的对应关系,确定所述M个分辨率下的每个分辨率中,与所述目标JND的差值最小的JND所对应的QP为候选QP。
14.根据权利要求9-13中任一项所述的装置,其特征在于,所述目标JND对应的编码参数包括:所述目标JND对应的QP和分辨率;或者,所述目标JND对应的码率和分辨率。
15.根据权利要求9-14中任一项所述的装置,其特征在于,
所述确定模块,还用于根据预设的编码参数,对第一预设时长内的多个视频片段进行编码,确定每个视频片段的码率及失真参数;确定所述第一预设时长内的多个视频片段中,确定码率最高的视频片段为所述预设的视频片段。
16.根据权利要求9-14中任一项所述的装置,其特征在于,所述预设的视频片段为第二预设时长内的多个视频片段中的第一个视频片段。
17.一种编码参数的确定设备,其特征在于,包括:存储器和处理器;所述存储器和所述处理器连接;
所述存储器,用于存储程序指令;
所述处理器,用于在程序指令被执行时,实现权利要求1-8中任一项所述的编码参数的确定方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的编码参数的确定方法。
CN201811332531.5A 2018-11-09 2018-11-09 编码参数的确定方法、装置、设备及存储介质 Active CN111182300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811332531.5A CN111182300B (zh) 2018-11-09 2018-11-09 编码参数的确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811332531.5A CN111182300B (zh) 2018-11-09 2018-11-09 编码参数的确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111182300A CN111182300A (zh) 2020-05-19
CN111182300B true CN111182300B (zh) 2021-07-09

Family

ID=70655280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811332531.5A Active CN111182300B (zh) 2018-11-09 2018-11-09 编码参数的确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111182300B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188310B (zh) * 2020-09-28 2022-08-16 北京金山云网络技术有限公司 测试序列构建方法、装置、电子设备及存储介质
CN112153379B (zh) * 2020-09-28 2023-02-24 北京金山云网络技术有限公司 转码质量的评价方法、装置、电子设备及计算机存储介质
CN112601088B (zh) * 2020-11-30 2023-04-21 北京金山云网络技术有限公司 调节编码器参数的方法、装置、计算机设备和存储介质
CN112616051B (zh) * 2020-12-23 2023-05-05 北京金山云网络技术有限公司 视频质量的比较方法及装置、存储介质、电子设备
CN117750014A (zh) * 2022-11-24 2024-03-22 行吟信息科技(武汉)有限公司 视频编码方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325797B2 (en) * 2005-04-11 2012-12-04 Maxim Integrated Products, Inc. System and method of reduced-temporal-resolution update for video coding and quality control
CN103414889A (zh) * 2013-04-09 2013-11-27 宁波大学 一种基于双目恰可察觉失真的立体视频码率控制方法
CN104796705A (zh) * 2015-04-22 2015-07-22 福州大学 一种基于ssim的hevc视频编码率失真优化与码率控制算法
CN107071422A (zh) * 2017-04-17 2017-08-18 南京邮电大学 基于图像相关模型的低复杂度hevc码率适配转换编码方法
CN107371028A (zh) * 2017-08-22 2017-11-21 南京惟初信息科技有限公司 一种适应带宽的高质量视频编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325797B2 (en) * 2005-04-11 2012-12-04 Maxim Integrated Products, Inc. System and method of reduced-temporal-resolution update for video coding and quality control
CN103414889A (zh) * 2013-04-09 2013-11-27 宁波大学 一种基于双目恰可察觉失真的立体视频码率控制方法
CN104796705A (zh) * 2015-04-22 2015-07-22 福州大学 一种基于ssim的hevc视频编码率失真优化与码率控制算法
CN107071422A (zh) * 2017-04-17 2017-08-18 南京邮电大学 基于图像相关模型的低复杂度hevc码率适配转换编码方法
CN107371028A (zh) * 2017-08-22 2017-11-21 南京惟初信息科技有限公司 一种适应带宽的高质量视频编码方法

Also Published As

Publication number Publication date
CN111182300A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111182300B (zh) 编码参数的确定方法、装置、设备及存储介质
US20220030244A1 (en) Content adaptation for streaming
CN110418177B (zh) 视频编码方法、装置、设备和存储介质
CN106537923B (zh) 自适应视频流的技术
US8804815B2 (en) Support vector regression based video quality prediction
EP2297963B1 (en) Video compression under multiple distortion constraints
Lee et al. A subjective and objective study of space-time subsampled video quality
US20150156557A1 (en) Display apparatus, method of displaying image thereof, and computer-readable recording medium
CN111263243B (zh) 视频编码方法、装置、计算机可读介质及电子设备
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
Duanmu et al. Quality-of-experience of adaptive video streaming: Exploring the space of adaptations
CN101151903A (zh) 视频品质评估设备、方法和程序
Rao et al. Bitstream-based model standard for 4K/UHD: ITU-T P. 1204.3—Model details, evaluation, analysis and open source implementation
CN110708570B (zh) 视频的编码码率确定方法、装置、设备及存储介质
CN110740316A (zh) 数据编码方法及装置
Takeuchi et al. Perceptual quality driven adaptive video coding using JND estimation
Göring et al. Cencro-speedup of video quality calculation using center cropping
US20160182911A1 (en) De-juddering techniques for coded video
Saha et al. Perceptual video quality assessment: The journey continues!
CN110572677B (zh) 视频编解码方法和装置、存储介质及电子装置
CN112351278A (zh) 一种视频的编码方法和装置,视频的解码方法和装置
Xue et al. Towards viewing quality optimized video adaptation
KR20200077974A (ko) 비디오 스트리밍 방법 및 장치
Akramullah et al. Video quality metrics
CN110636295B (zh) 视频编解码方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220325

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right