CN110418134B - 基于视频质量的视频编码方法、装置及电子设备 - Google Patents

基于视频质量的视频编码方法、装置及电子设备 Download PDF

Info

Publication number
CN110418134B
CN110418134B CN201910709133.9A CN201910709133A CN110418134B CN 110418134 B CN110418134 B CN 110418134B CN 201910709133 A CN201910709133 A CN 201910709133A CN 110418134 B CN110418134 B CN 110418134B
Authority
CN
China
Prior art keywords
image
model
video
current frame
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910709133.9A
Other languages
English (en)
Other versions
CN110418134A (zh
Inventor
王诗淇
李洋
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Group HK Ltd
Original Assignee
ByteDance HK Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance HK Co Ltd filed Critical ByteDance HK Co Ltd
Priority to CN201910709133.9A priority Critical patent/CN110418134B/zh
Publication of CN110418134A publication Critical patent/CN110418134A/zh
Application granted granted Critical
Publication of CN110418134B publication Critical patent/CN110418134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种基于视频质量的视频编码方法、装置及电子设备,该方法包括:对于视频中待编码的当前帧图像,确定当前帧图像的第一图像统计数据;根据QP‑D模型,第一图像统计数据以及满足预设的图像质量约束的图像质量值,确定当前帧图像的QP,其中,QP‑D模型是基于已编码的视频帧图像的第二图像统计数据确定的、用于预测图像的QP的模型;根据当前帧图像的QP对当前帧图像进行编码。本公开的实施例中,用于对当前帧图像进行编码的量化参数,是基于当前帧图像的第一图像统计数据、图像质量约束及QP‑D模型确定出的,基于该量化参数编码得到的当前帧图像的图像质量值可符合图像质量约束。

Description

基于视频质量的视频编码方法、装置及电子设备
技术领域
本公开涉及数据处理技术领域,具体而言,本公开涉及一种基于视频质量的视频编码方法、装置及电子设备。
背景技术
现有技术中,视频编码通常采用码率控制方法,即针对给定的码率,确定出满足码率约束的合适的编码系数,比如,量化参数QP等,但是,随着通信带宽不断提高,码率在视频编码过程中,并不是影响视频质量的重要因素,因此,基于码率控制方法确定出的用于编码的量化参数,可能使得基于该量化参数编码视频后得到的视频质量不能满足实际需求。
发明内容
本公开的目的旨在至少能解决上述的技术缺陷之一,满足对于不同视频质量的视频编码需求。本公开采用的技术方案如下:
第一方面,本公开提供了一种基于视频质量的视频编码方法,该方法包括:
对于视频中待编码的当前帧图像,确定当前帧图像的第一图像统计数据;
根据量化参数QP-图像质量D模型、第一图像统计数据以及满足预设的图像质量约束的图像质量值,确定当前帧图像的QP;其中,QP-D模型是基于已编码的视频帧图像的第二图像统计数据确定的、用于预测图像的QP的模型;
根据当前帧图像的QP对当前帧图像进行编码。
本公开第一方面的实施例中,第二图像统计数据包括图像质量值、量化参数、编码残差系数和运动矢量参数,第一图像统计数据包括运动矢量参数和编码残差系数。
本公开第一方面的实施例中,QP-D模型是通过以下方式确定的:
确定初始的QP-D模型,初始模型表征了图像质量值、量化参数、编码残差系数和运动矢量参数之间的关系,其中,初始模型中包括待确定的关系调节系数;
获取第二图像统计数据;
基于第二图像统计数据,确定初始模型中的待确定的关系调节系数;
将确定完关系调节系数的参数值的初始模型作为QP-D模型。
本公开第一方面的实施例中,根据当前帧图像的QP对当前帧图像进行编码之后,该方法还包括:
根据编码后的当前帧图像的图像统计数据,更新QP-D模型。
本公开第一方面的实施例中,已编码的视频帧图像包括当前帧图像的上一帧图像。
本公开第一方面的实施例中,初始的QP-D模型为:
D=t(τ)f(Λ,QP)+β
其中:
Figure BDA0002153117790000021
t(τ)=δτ+ρ
其中,Λ为编码残差系数,QP为量化参数,Q为量化步长,γ为常数,D为图像质量值、f(Λ,QP)为图像的失真值,τ为运动矢量参数,β、t(τ)、δ和ρ为关系调节系数。
第二方面,本公开提供了一种基于视频质量的视频编码装置,该装置包括:
图像统计数据确定模块,用于对于视频中待编码的当前帧图像,确定当前帧图像的第一图像统计数据;
量化参数确定模块,用于根据量化参数QP-图像质量D模型、第一图像统计数据以及满足预设的图像质量约束的图像质量值,确定当前帧图像的QP,其中,QP-D模型是基于视频中已编码的视频帧图像的第二图像统计数据确定的、用于预测图像的QP的模型;
图像编码模块,用于根据当前帧图像的QP对当前帧图像进行编码。
本公开第二方面的实施例中,第二图像统计数据包括图像质量值、量化参数、编码残差系数和运动矢量参数,第一图像统计数据包括运动矢量参数和编码残差系数。
本公开第二方面的实施例中,QP-D模型是通过以下方式确定的:
确定初始的QP-D模型,初始模型表征了图像质量值、量化参数、编码残差系数和运动矢量参数之间的关系,其中,初始模型中包括待确定的关系调节系数;
获取第二图像统计数据;
基于第二图像统计数据,确定初始模型中的待确定的关系调节系数;
将确定完关系调节系数的参数值的初始模型作为QP-D模型。
本公开第二方面的实施例中,该装置还包括:
模型更新模块,用于在根据当前帧图像的QP对当前帧图像进行编码之后,根据编码后的当前帧图像的图像统计数据,更新QP-D模型。
本公开第二方面的实施例中,已编码的视频帧图像包括当前帧图像的上一帧图像。
本公开第二方面的实施例中,初始的QP-D模型为:
D=t(τ)f(Λ,QP)+β
其中:
Figure BDA0002153117790000031
t(τ)=δτ+ρ
其中,Λ为编码残差系数,QP为量化参数,Q为量化步长,γ为常数,D为图像质量值、f(Λ,QP)为图像的失真值,τ为运动矢量参数,β、t(τ)、δ和ρ为待确定的关系调节系数。
第三方面,本公开提供了一种电子设备,该电子设备包括:
处理器和存储器;
存储器,用于存储计算机操作指令;
处理器,用于通过调用计算机操作指令,执行如本公开的第一方面的任一实施例中所示的方法。
第四方面,本公开提供了一种计算机可读存储介质,该存储介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的第一方面的任一实施例中所示的方法。
本公开实施例提供的技术方案带来的有益效果是:
本公开实施例的基于视频质量的视频编码方法、装置及电子设备,可以对视频中待编码的当前帧图像,基于该当前帧图像的第一图像统计数据、满足预设的图像质量约束的图像质量值和QP-D模型,确定出当前帧图像的量化参数,由于该用于对当前帧图像进行编码的量化参数是基于预设的图像质量约束及QP-D模型确定出的,因此,通过本方案确定出的当前帧图像的量化参数,可以使得基于该量化参数编码得到的当前帧图像的图像质量值符合图像质量约束,从而更能满足实际需求。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对本公开实施例描述中所需要使用的附图作简单地介绍。
图1为本公开的实施例提供的一种基于视频质量的视频编码方法的流程示意图;
图2为本公开的实施例提供的一种基于视频质量的视频编码装置的结构示意图;
图3为本公开的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例,该实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开的技术方案,而不能解释为对本公开的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是,本公开的说明书中使用的措辞“包括”是指存在该特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
本公开的实施例提供的一种基于视频质量的视频编码方法,如图1所示,该方法可以包括:
步骤S110,对于视频中待编码的当前帧图像,确定当前帧图像的第一图像统计数据。
具体的,第一图像统计数据为影响图像质量值的参数,视频中每帧图像的第一图像统计数据可能不同,比如,每帧图像的帧内运动矢量参数可能不同,其中,运动矢量可以是对视频中的图像进行运动估计时得到的,具体过程可以为:在帧间预测编码中,将活动图像分成若干块或宏块,并设法搜索出每个块或宏块在邻近帧图像中的位置,两者之间的空间位置的相对偏移量即为运动矢量参数。
步骤S120,根据量化参数QP(Quantizer Parameter)-图像质量D模型,第一图像统计数据以及满足预设的图像质量约束的图像质量值,确定当前帧图像的QP,其中,QP-D模型是基于视频中已编码的视频帧图像的第二图像统计数据确定的、用于预测图像的QP的模型。
具体的,QP-D模型可以是预先训练好的模型,该模型可以是基于视频中已编码的视频帧图像的第二图像统计数据确定的,该模型的输入可以是第二图像统计数据,输出为该视频帧图像的量化参数QP,QP-D模型可以为函数关系,其中,该函数关系可以是线性关系或非线性关系,基于该函数关系,可以基于已知的量化参数QP得到对应的图像质量值D,或者,基于已知的图像质量值D得到对应的量化参数QP。其中,用于确定QP-D模型的已编码的视频帧图像所对应的视频可以与待编码的当前帧图像对应的视频为同一个视频。
其中,图像质量D可以由预先配置的计算公式表示,该公式是基于对图像质量有影响的参数(比如,第二图像统计数据)预先配置的,通过该公式,可以将第二图像统计数据中各参数的参数值进行特定的运算得到图像的图像质量值。
具体的,图像质量约束指的是通过当前帧图像的QP对当前帧图像进行编码后得到的图像质量值(第一图像质量值)要满足预设条件,预设条件可以基于实际需求配置,在第一图像质量值满足预设条件时,表示得到的QP为最优解,比如,预设条件为第一图像质量值不小于预设的图像质量值,则在第一图像质量值不小于预设的图像质量值时,表示得到的QP为最优解。
步骤S130,根据当前帧图像的QP对当前帧图像进行编码。
本公开的实施例中的方案,可以对视频中待编码的当前帧图像,基于该当前帧图像的第一图像统计数据、满足预设的图像质量约束的图像质量值和QP-D模型,确定出图像质量值与量化参数之间的关系,然后基于预设的图像质量约束和该关系,可以确定出当前帧图像的量化参数,由于该用于对当前帧图像进行编码的量化参数是基于预设的图像质量约束及QP-D模型确定出的,因此,通过本方案确定出的当前帧图像的量化参数,可以使得基于该量化参数编码得到的当前帧图像的图像质量值符合图像质量约束,从而更能满足实际需求。
需要说明的是,通过图像质量值可以反应出编码过程中所消耗的码率,图像质量值越好,消耗的码率越多,如果预设的图像质量值如果基于码率进行配置,则可以基于实际码率配置给定的图像质量值,比如实际码率值为A1,配置的图像质量值为B1,在基于当前帧图像对应的QP对当前帧图像进行编码后,得到的图像质量值为B2,对应消耗的码率为A2,如果B2恰好等于B1,则表示A2等于A1,如果B2大于B1,则表示A2大于A1。
本公开的实施例中,视频可以为UGC(User Generated Content,用户原创内容)视频。UGC视频可以是用户通过手机拍摄、压缩以后传到视频平台中的视频,对于UGC视频,可以通过本发明中的方案,基于不同的图像质量约束,得到不同图像质量约束对应的编码视频。
本公开的实施例中,第二图像统计数据包括图像质量值、量化参数、编码残差系数和运动矢量参数,第一图像统计数据包括运动矢量参数和编码残差系数。
具体的,图像质量值、量化参数、编码残差系数和运动矢量参数可以是在对图像进行编码过程中得到的参数,量化参数、编码残差系数和运动矢量参数是对图像质量值有影响的几个参数,各帧图像的运动矢量参数可能不同,各帧图像的编码残差系数也可能不同。
本公开的实施例中,QP-D模型是通过以下方式确定的:
确定初始的QP-D模型,初始模型表征了图像质量值、量化参数、编码残差系数和运动矢量参数之间的关系,其中,初始模型中包括待确定的关系调节系数;
获取第二图像统计数据;
基于第二图像统计数据,确定初始模型中的待确定的关系调节系数;
将确定完关系调节系数的参数值的初始模型作为QP-D模型。
具体的,可以将初始的QP-D模型理解为一个函数关系,该函数关系中包括了第二图像统计数据中的各参数(图像质量值、量化参数、编码残差系数和运动矢量参数)和待确定的关系调节系数,对于已编码的图像,已编码的图像的第二图像统计数据中的各个参数均为已知的,则可基于已编码图像的第二图像统计数据确定初始模型中未知的关系调节系数,从而确定出QP与D的关系。其中,已编码的图像可以是当前帧图像之前的多帧图像。
本公开的实施例中,初始的QP-D模型为:
D=t(τ)f(Λ,QP)+β
其中:
Figure BDA0002153117790000081
t(τ)=δτ+ρ
其中,Λ为编码残差系数,QP为量化参数,Q为量化步长,γ为常数,D为图像质量值、f(Λ,QP)为图像的失真值,τ为运动矢量参数,β、δ、t(τ)和ρ为待确定的关系调节系数。
具体的,第二图像统计数据中的图像质量值与量化参数、编码残差系数和运动矢量参数等参数的关系可以通过以下几个公式表示,其中,公式(1)为:
Figure BDA0002153117790000082
其中,Λ为编码残差系数,QP为量化参数,Q为量化步长Qstep,γ为常数,本公开中,γ取值为1/6,量化参数QP是量化步长Qstep的序号,不同的量化参数对应不同的量化步长,QP和Qstep具有线性相关性,Qstep随着QP的增加而增加,QP取最小值时,表示量化最精细;相反,QP取最大值时,表示量化是最粗糙的。
公式(2)为:
D=t(τ)f(Λ,QP)+β (2)
其中,D为图像质量值、f(Λ,QP)表示图像的失真值,通常为空域失真,τ为运动矢量参数,表示帧内平均运动矢量,β和t(τ)为待确定的关系调节系数,t(τ)是一个变量,受运动矢量参数τ影响,可以反应图像的运动剧烈程度。
公式(3):
t(τ)=δτ+ρ (3)
其中,δ、ρ也为待确定的关系调节系数。
在本方案中,通过图像的失真程度来衡量图像的图像质量值,即若编码后图像的失真值越大,可能该图像的图像质量值越差,相反,若编码后图像的失真值越小,可能该图像的图像质量值越好。
上述三个公式中包含了第二图像统计数据中图像质量值、量化参数、编码残差系数和运动矢量参数之间的关系,则基于上述三个公式和已知的第二图像统计数据,确定上述三个公式中未知的关系调节系数,具体可以为:
1、基于多帧图像(比如,可以为三帧)的图像统计数据中的量化参数QP、编码残差系数Λ以及公式1,可以确定出中的多帧图像中各帧图像的失真值f(Λ,QP);
2、基于多帧图像的第二图像统计数据中的图像质量值D、失真值f(Λ,QP)以及公式2,可以确定出中的关系调节系数t(τ)和β;
3、基于关系调节系数t(τ)、多帧图像的图像统计数据中的运动矢量参数τ以及公式3,确定关系调节系数δ和ρ。
通过上述几个步骤,可求解出初始模型中未知的关系调节系数,进而可以得到的图像质量值D和量化参数QP的关系,即QP-D模型。
在上述求解关系调节系数的过程中,可以基于多帧图像的第二图像统计数据求解出关系调节系数,若可以求解出关系调节系数中各个关系调节系数的多个不同的值,则可以对同一个关系调节系数对应的多个不同的值进行拟合处理,比如,求平均值,或者,可以按照各个关系调节系数对应的权重对求解出的关系调节系数进行调节,使得最终得到的关系调节系数更加准确,进而可使得确定得到的图像质量值D和量化参数QP的关系更加准确。
作为一个示例,当前帧图像为图像A,图像质量约束为图像A的图像质量值不小于预设的图像质量值,预设的图像质量值为D1,首先,基于图像A,确定图像A的运动矢量参数为τ1,将τ1带入公式3:t(τ)=δτ+ρ中,可以得到关系调节系数t(τ1),然后基于预设的图像质量值D1,以及公式2:D=t(τ)f(ΛQP)+β,可以得到图像A对应的失真值f(Λ,QP),最后,基于图像A对应的失真值f(Λ,QP),以及公式1:
Figure BDA0002153117790000091
和编码残差系数Λ可以得到图像A对应的量化参数QP,基于该量化参数QP对图像A进行编码后得到的图像A的图像质量值D2如果不小于图像质量值D1,则表示得到的量化参数QP是最优解,基于该量化参数对当前帧图像进行编码可以得到符合质量要求(图像质量约束)的编码图像,否则,如果图像质量值D2小于图像质量值D1,则表示基于该量化参数对当前帧图像进行编码得到的编码图像不符合质量要求。
本方案中,可以基于给定的图像质量值,确定不同质量水平的视频的量化参数,进而基于得到的量化参数可以编码得到不同质量的编码视频。
本公开的实施例中,根据当前帧图像的QP对当前帧图像进行编码之后,该方法还可以包括:
根据编码后的当前帧图像对应的图像统计数据,更新QP-D模型。
具体的,在编码当前帧图像之后,可以得到当前帧图像对应的图像统计数据,该图像统计数据中包括当前帧图像的图像质量值、量化参数、编码残差系数和运动矢量参数,进而可以基于编码后的当前帧图像的图像统计数据,通过前文所描述的求解关系调节系数的方式,对QP-D模型进行更新,即更新QP-D模型中的关系调节系数,以使得更新后的QP-D模型更能准确的预测图像对应的QP。其中,当前帧图像可以与确定模型时对应的已编码的视频帧图像来自同一个视频,则可以通过同一个视频中的当前帧图像之前的已编码图像,预测当前帧图像的量化参数。
作为一个示例,比如,已确定完关系调节系数的QP-D模型是基于视频A的前n帧图像的图像统计数据确定的,n为大于1的正整数,则可以基于该QP-D模型预测该视频A中第n+1帧图像的量化参数,然后基于第n+1帧图像的量化参数对该第n+1帧图像进行编码,得到该第n+1帧图像的图像统计数据,基于该第n+1帧图像的图像统计数据和前n帧图像的图像统计数据更新QP-D模型中的关系调节系数,得到更新后的QP-D模型,然后可以基于更新后的QP-D模型预测第n+2帧图像对应的QP。
基于与图1中所示方法相同的原理,本公开的实施例中还提供了一种基于视频质量的视频编码装置20,如图2所示,该基于视频质量的视频编码装置20可以包括:图像统计数据确定模块210,量化参数确定模块220以及图像编码模块230,其中:
第一图像统计数据确定模块210,用于对于视频中待编码的当前帧图像,确定当前帧图像的第一图像统计数据;
量化参数确定模块220,用于根据量化参数QP-图像质量D模型,第一图像统计数据以及满足预设的图像质量约束的图像质量值,确定当前帧图像的QP,其中,QP-D模型是基于视频中已编码的视频帧图像的第二图像统计数据确定的、用于预测图像的QP的模型;
图像编码模块230,用于根据当前帧图像的QP对当前帧图像进行编码。
本公开的实施例中的方案,可以对视频中待编码的当前帧图像,基于该当前帧图像的第一图像统计数据、满足预设的图像质量约束的图像质量值和QP-D模型,确定出图像质量值与量化参数之间的关系,然后基于预设的图像质量约束和该关系,可以确定出当前帧图像的量化参数,由于该用于对当前帧图像进行编码的量化参数是基于预设的图像质量约束及QP-D模型确定出的,因此,通过本方案确定出的当前帧图像的量化参数,可以使得基于该量化参数编码得到的当前帧图像的图像质量值符合图像质量约束,从而更能满足实际需求。
本公开的实施例中,第二图像统计数据包括图像质量值、量化参数、编码残差系数和运动矢量参数,第一图像统计数据包括运动矢量参数和编码残差系数。
本公开的实施例中,QP-D模型是通过以下方式确定的:
确定初始的QP-D模型,初始模型表征了图像质量值、量化参数、编码残差系数和运动矢量参数之间的关系,其中,初始模型中包括待确定的关系调节系数;
获取第二图像统计数据;
基于第二图像统计数据,确定初始模型中的待确定的关系调节系数;
将确定完关系调节系数的参数值的初始模型作为QP-D模型。
本公开的实施例中,该装置还包括:
模型更新模块,用于在根据当前帧图像的QP对当前帧图像进行编码之后,根据编码后的当前帧图像的图像统计数据,更新QP-D模型。
本公开第二方面的实施例中,已编码的视频帧图像包括当前帧图像的上一帧图像。
本公开的实施例中,已编码的视频帧图像包括当前帧图像的上一帧图像。
本公开的实施例中,初始的QP-D模型为:
D=t(τ]f(Λ,QP)+β
其中:
Figure BDA0002153117790000121
t(τ)=δτ+ρ
其中,Λ为编码残差系数,QP为量化参数,Q为量化步长,γ为常数,D为图像质量值、f(Λ,QP)为图像的失真值,τ为运动矢量参数,β、t(τ)、δ和ρ为待确定的关系调节系数。
本公开实施例的基于视频质量的视频编码装置可执行图1所示的一种基于视频质量的视频编码方法,其实现原理相类似,本公开各实施例中的基于视频质量的视频编码装置中的各模块所执行的动作是与本公开各实施例中的基于视频质量的视频编码方法中的步骤相对应的,对于基于视频质量的视频编码装置的各模块的详细功能描述具体可以参见前文中所示的对应的基于视频质量的视频编码方法中的描述,此处不再赘述。
基于与本公开的实施例中的基于视频质量的视频编码方法相同的原理,本公开提供了一种电子设备,该电子设备包括处理器和存储器;存储器,用于存储操作指令;处理器,用于通过调用操作指令,执行如本公开的基于视频质量的视频编码方法中的任一实施例中所示的方法。
基于与本公开的实施例中的基于视频质量的视频编码方法相同的原理,本公开提供了一种计算机可读存储介质,该存储介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的数据处理方法中的任一实施例中所示的方法。
本公开的实施例中,如图3所示,其示出了适于用来实现本公开实施例的电子设备50(例如实现图1中所示的方法的终端设备或服务器)的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备50可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备30操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备50与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备50,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述方法实施例所示的方法;或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述方法实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种基于视频质量的视频编码方法,其特征在于,包括:
对于视频中待编码的当前帧图像,确定所述当前帧图像的第一图像统计数据;
根据量化参数QP-图像质量D模型、所述第一图像统计数据以及满足预设的图像质量约束的图像质量值,确定所述当前帧图像的QP;其中,所述QP-D模型是基于已编码的视频帧图像的第二图像统计数据确定的、用于预测图像的QP的模型;
根据所述当前帧图像的QP对所述当前帧图像进行编码;
其中,所述第二图像统计数据包括图像质量值、量化参数、编码残差系数和运动矢量参数,所述第一图像统计数据包括所述运动矢量参数和所述编码残差系数。
2.根据权利要求1所述的方法,其特征在于,所述QP-D模型是通过以下方式确定的:
确定初始的QP-D模型,所述初始模型表征了图像质量值、量化参数、编码残差系数和运动矢量参数之间的关系,其中,初始模型中包括待确定的关系调节系数;
获取所述第二图像统计数据;
基于所述第二图像统计数据,确定所述初始模型中的所述待确定的关系调节系数;
将确定完所述关系调节系数的参数值的所述初始模型作为所述QP-D模型。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述当前帧图像的QP对所述当前帧图像进行编码之后,所述方法还包括:
根据编码后的所述当前帧图像的图像统计数据,更新所述QP-D模型。
4.根据权利要求1或2所述的方法,其特征在于,所述已编码的视频帧图像包括所述当前帧图像的上一帧图像。
5.根据权利要求4所述的方法,其特征在于,所述初始的QP-D模型为:
D=t(τ)f(Λ,QP)+β
其中:
Figure FDA0003254689840000021
t(τ)=δτ|ρ
其中,Λ为所述编码残差系数,QP为所述量化参数,Q为量化步长,γ为常数,D为所述图像质量值、f(Λ,QP)为图像的失真值,τ为所述运动矢量参数,β、t(τ)、δ和ρ为所述待确定的关系调节系数。
6.一种基于视频质量的视频编码装置,其特征在于,包括:
图像统计数据确定模块,用于对于视频中待编码的当前帧图像,确定所述当前帧图像的第一图像统计数据;
量化参数确定模块,用于根据量化参数QP-图像质量D模型、所述第一图像统计数据以及满足预设的图像质量约束的图像质量值,确定所述当前帧图像的QP,其中,所述QP-D模型是基于所述视频中已编码的视频帧图像的第二图像统计数据确定的、用于预测图像的QP的模型;
图像编码模块,用于根据所述当前帧图像的QP对所述当前帧图像进行编码;
其中,所述第二图像统计数据包括图像质量值、量化参数、编码残差系数和运动矢量参数,所述第一图像统计数据包括所述运动矢量参数和所述编码残差系数。
7.一种电子设备,其特征在于,包括:
处理器和存储器;
所述存储器,用于存储计算机操作指令;
所述处理器,用于通过调用所述计算机操作指令,执行权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1至5中任一项所述的方法。
CN201910709133.9A 2019-08-01 2019-08-01 基于视频质量的视频编码方法、装置及电子设备 Active CN110418134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910709133.9A CN110418134B (zh) 2019-08-01 2019-08-01 基于视频质量的视频编码方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910709133.9A CN110418134B (zh) 2019-08-01 2019-08-01 基于视频质量的视频编码方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110418134A CN110418134A (zh) 2019-11-05
CN110418134B true CN110418134B (zh) 2021-10-26

Family

ID=68365242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910709133.9A Active CN110418134B (zh) 2019-08-01 2019-08-01 基于视频质量的视频编码方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110418134B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438468B (zh) * 2020-03-23 2023-02-28 浙江宇视科技有限公司 视频质量的动态控制方法、装置、存储介质及电子设备
CN115396672B (zh) * 2022-08-25 2024-04-26 广东中星电子有限公司 比特流存储方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100481942C (zh) * 2005-07-06 2009-04-22 联发科技股份有限公司 于视频编码器进行操作帧层级位率控制的方法与装置
CN102868884A (zh) * 2011-07-07 2013-01-09 弗兰霍菲尔运输应用研究公司 针对码率-量化或者失真-量化模型函数的模型参数估计
CN102932641A (zh) * 2012-11-13 2013-02-13 北京大学 一种恒定质量码率控制方法
CN106331711A (zh) * 2016-08-26 2017-01-11 北京工业大学 一种基于网络特征与视频特征的动态码率控制方法
CN107071422A (zh) * 2017-04-17 2017-08-18 南京邮电大学 基于图像相关模型的低复杂度hevc码率适配转换编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201519637A (zh) * 2013-11-12 2015-05-16 Univ Nat Taiwan 位元率-誤差最佳化量化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100481942C (zh) * 2005-07-06 2009-04-22 联发科技股份有限公司 于视频编码器进行操作帧层级位率控制的方法与装置
CN102868884A (zh) * 2011-07-07 2013-01-09 弗兰霍菲尔运输应用研究公司 针对码率-量化或者失真-量化模型函数的模型参数估计
CN102932641A (zh) * 2012-11-13 2013-02-13 北京大学 一种恒定质量码率控制方法
CN106331711A (zh) * 2016-08-26 2017-01-11 北京工业大学 一种基于网络特征与视频特征的动态码率控制方法
CN107071422A (zh) * 2017-04-17 2017-08-18 南京邮电大学 基于图像相关模型的低复杂度hevc码率适配转换编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rate control based on unified RQ model for HEVC;Hyomin Choi等;《Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: San José, CA, USA, 1–10 February, 2012》;20120204;1-13 *
SSIM-inspired Two-Pass Rate Control for High Efficiency Video Coding;Shiqi Wang等;《2015 IEEE 17th International Workshop on Multimedia Signal Processing(MMSP)》;20151021;1-5 *

Also Published As

Publication number Publication date
CN110418134A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN111918066B (zh) 视频编码方法、装置、设备及存储介质
CN106961603B (zh) 帧内编码帧码率分配方法和装置
WO2018058526A1 (zh) 视频编码方法、解码方法及终端
WO2020248889A1 (zh) 一种视频质量预测方法、装置和电子设备
CN112954354B (zh) 视频的转码方法、装置、设备和介质
CN110418134B (zh) 基于视频质量的视频编码方法、装置及电子设备
US20160212427A1 (en) Video encoding apparatus and video encoding method
US20220188633A1 (en) Low displacement rank based deep neural network compression
WO2019114294A1 (zh) 图像编解码方法、装置、系统及存储介质
CN112203085B (zh) 图像处理方法、装置、终端和存储介质
CN113330747A (zh) 利用适应于加权预测的双向光流进行视频编码和解码的方法和装置
CN111385576B (zh) 视频编码方法、装置、移动终端及存储介质
JP5093349B2 (ja) 画像圧縮装置及び画像復元装置
CN112203086B (zh) 图像处理方法、装置、终端和存储介质
WO2019091302A1 (en) Image prediction method and apparatus
WO2012160626A1 (ja) 画像圧縮装置、画像復元装置、及びプログラム
US20230325644A1 (en) Implementation Aspects Of Predictive Residual Encoding In Neural Networks Compression
CN116886918A (zh) 一种视频编码方法、装置、设备和存储介质
CN111478916A (zh) 基于视频流的数据传输方法、设备和存储介质
CN110996164A (zh) 视频发布方法、装置、电子设备及计算机可读介质
CN110290381B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
CN102948147A (zh) 基于变换系数直方图的视频速率控制
CN115396672B (zh) 比特流存储方法、装置、电子设备和计算机可读介质
WO2024077916A1 (zh) 获取视频截图的方法和装置
CN113038277B (zh) 一种视频处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 1401, 14th floor, Donghui Commercial Building, 109-111 Gloucester Avenue, Wanchai, Hong Kong, China

Patentee after: Tiktok Group (Hong Kong) Co.,Ltd.

Address before: Room 1401, 14th floor, Donghui Commercial Building, 109-111 Gloucester Avenue, Wanchai, Hong Kong, China

Patentee before: Byte Jump (Hong Kong) Ltd.

CP01 Change in the name or title of a patent holder