CN110365981A - 一种视频编码方法、装置、电子设备及存储介质 - Google Patents
一种视频编码方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110365981A CN110365981A CN201910619894.5A CN201910619894A CN110365981A CN 110365981 A CN110365981 A CN 110365981A CN 201910619894 A CN201910619894 A CN 201910619894A CN 110365981 A CN110365981 A CN 110365981A
- Authority
- CN
- China
- Prior art keywords
- present frame
- parameter
- coding unit
- frame
- code rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
Abstract
本发明实施例涉及视频处理领域,公开了一种视频编码方法、装置、电子设备及存储介质。本申请的部分实施例中,视频编码方法包括:获取候选编码参数;针对每组候选编码参数,分别进行以下操作:根据当前帧的每个编码单元的显著特征值,确定当前帧的每个编码单元的码率和失真的权重因子的第一调节因子;根据当前帧的每个编码单元的第一调节因子,确定率失真代价函数;根据率失真代价函数,计算候选编码参数对应的率失真代价;根据率失真代价最小的候选编码参数,对当前帧进行编码。该部分实施例中,使得可以在保证观看质量的情况下,从人眼感知的角度出发,尽可能的降低码率。
Description
技术领域
本发明实施例涉及视频处理领域,特别涉及一种视频编码方法、装置、电子设备及存储介质。
背景技术
在视频编码领域中,编码器衡量方法直接影响了其最终的编码性能。视频编码主流采用了有损编码方法,因此,编码过程中,在考虑其输出的码率的同时,还需要考虑其质量损失。理想情况下,我们希望视频编码输出可在相同的码率下得到最佳的观看质量,或者,在相同的观看质量下需要更少的比特数。
然而,发明人发现现有技术中至少存在如下问题:失真和码率之间是存在矛盾的,视频编码需要综合考虑其失真和码率。然而,当前没有一种编码方法可以在保证观看质量的情况下,降低码率。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施方式的目的在于提供一种视频编码方法、装置、电子设备及存储介质,从率失真的角度优化编码过程,使得可以在保证观看质量的情况下,从人眼感知的角度出发,尽可能的降低码率。
为解决上述技术问题,本发明的实施方式提供了一种视频编码方法,包括以下步骤:获取候选编码参数;针对每组候选编码参数,分别进行以下操作:根据当前帧的每个编码单元的显著特征值,确定当前帧的每个编码单元的码率和失真的权重因子的第一调节因子;根据当前帧的每个编码单元的第一调节因子,确定率失真代价函数;根据率失真代价函数,计算候选编码参数对应的率失真代价;根据率失真代价最小的候选编码参数,对当前帧进行编码。
本发明的实施方式还提供了一种视频编码装置,包括:获取模块、计算模块和确定模块;获取模块用于获取候选编码参数;计算模块用于针对每组候选编码参数,分别进行以下操作:根据当前帧的每个编码单元的显著特征值,以及基于候选编码参数编码时,当前帧的每个编码单元的码率,确定当前帧的每个编码单元的码率和失真的权重因子的第一调节因子;根据当前帧的每个编码单元的第一调节因子,确定率失真代价函数;根据率失真代价函数,计算候选编码参数对应的率失真代价;确定模块用于根据率失真代价最小的候选编码参数,对当前帧进行编码。
本发明的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施方式提及的视频编码方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述实施方式提及的视频编码方法。
本发明实施方式相对于现有技术而言,由于编码单元的显著特征值体现了人们观看该视频时注意到该编码单元的概率,在计算率失真代价时,基于每个编码单元的显著特征值,调整率失真代价函数中的码率和失真的权重因子,使得不同的显著特征值对应的编码单元的码率和失真的权重因子不同,进而使得计算得到的率失真代价更符合人们的主观感受。基于考虑人眼感知,从率失真优化的角度出发,选择率失真代价最小的候选编码参数进行编码,使得可以在保证观看质量的情况下,从人眼感知的角度出发,尽可能的降低码率。
另外,根据当前帧的每个编码单元的显著特征值,确定当前帧的每个编码单元的第一调节因子,具体包括:针对每个当前帧的编码单元,分别进行以下操作:根据当前帧的编码单元的显著特征值,以及当前帧的显著特征值和参考码率的第一映射关系,确定当前帧的编码单元的参考码率;根据基于候选编码参数编码时当前帧的编码单元的码率,以及当前帧的编码单元的参考码率的数值关系,选择第一约束关系或第二约束关系;其中,第一约束关系和第二约束关系为当前帧的显著特征值和第一调节因子的约束关系;根据当前帧的编码单元的显著特征值,以及选择的约束关系,计算当前帧的编码单元的第一调节因子。该实现中,使得确定的调节因子更符合人眼视觉特征。
另外,根据基于候选编码参数编码时当前帧的编码单元的码率,以及当前帧的编码单元的参考码率的数值关系,选择第一约束关系或第二约束关系,具体包括:根据当前帧的编码单元的码率,确定当前帧的编码单元的修正码率;判断当前帧的编码单元的参考码率是否小于当前帧的编码单元的修正码率;若判断结果为是,选择第一约束关系;若判断结果为不是,选择第二约束关系;其中,第一约束关系为:公式A:第二约束关系为:公式B:公式A和公式B中,λ(i)表示当前帧的索引为i的编辑单元的第一调节因子,a1表示第一参数,b1表示第二参数,c表示预设的第二调节因子,s1(i)表示当前帧的索引为i的编辑单元的显著特征值,其中,第一参数根据第三参数确定,第二参数根据第四参数确定,第三参数和第四参数根据预编码帧的显著特征值和参考码率的第二映射关系。
另外,在根据当前帧的编码单元的显著特征值,以及当前帧的显著特征值和参考码率的第一映射关系,确定当前帧的编码单元的参考码率之前,视频编码方法还包括:获取当前帧对应的预编码帧的显著特征值和参考码率的第二映射关系,第二映射关系为:公式C:其中,r1(i)表示预编码帧的索引为i的编辑单元的参考码率,a1表示第三参数,b1表示第四参数,s1(i)表示预编码帧中索引为i的编辑单元的显著特征值;根据第二映射关系,确定第一映射关系,第一映射关系为:公式D: 其中,r2(i)表示当前帧的索引为i的编辑单元的参考码率,a2表示第一参数,b2表示第二参数,s2(i)表示当前帧中索引为i的编辑单元的显著特征值;第一参数根据第三参数确定,第二参数根据第四参数确定。该实现中,基于预编码帧的编码结果来确定第二映射关系,使得第二映射关系更加准确。
另外,根据第四参数确定第二参数,具体包括:将第四参数作为第二参数的初始值;根据初始值,确定当前帧的显著特征值和当前帧的参考码率的初始映射关系;根据初始映射关系,以及当前帧的每个编码单元的显著特征值,计算当前帧的每个编码单元的参考码率;根据当前帧的每个编码单元的参考码率,以及当前帧的每个编码单元的修正码率,确定阈值分布参数,阈值分布参数指示当前帧中参考码率小于修正码率的编辑单元在所有编辑单元中的占比,或者,当前帧中参考码率不小于修正码率的编辑单元在所有编辑单元中的占比;判断阈值分布参数是否满足预设要求;若判断结果为是,将初始值作为第二参数;若判断结果为不是,根据阈值分布参数,调整初始值;基于调整后的初始值,重新执行根据初始值,确定当前帧的显著特征值和当前帧的参考码率的初始映射关系的步骤,直至阈值分布参数符合预设要求,或者,初始值的调整次数达到预设值。该实现中,更新第二参数,减少了该编码方法对传统编码指标的影响。
另外,第二映射关系的确定过程为:对预编码帧进行预编码;获取预编码帧的每个编码单元的实际码率;根据预编码帧的每个编码单元的实际码率,确定预编码帧的每个编码单元的参考码率;根据预编码帧的显著特征灰度图,确定预编码帧的显著特征值;通过最小二乘法,拟合得到第二映射关系。
另外,预编码帧为关键帧;在根据当前帧的每个编码单元的显著特征值,确定当前帧的每个编码单元对应的第一调节因子之前,视频编码方法还包括:将当前帧对应的预编码帧的索引为i的编辑单元的显著特征值,作为当前帧的索引为i的编辑单元的显著特征值。该实现中,减少了计算量,提高了编码速度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明的第一实施方式的视频编码方法的流程图;
图2是本发明的第二实施方式的视频编码方法的流程图;
图3是本发明的第二实施方式的视频编码方法的流程示意图;
图4是本发明的第三实施方式的视频编码装置的结构示意图;
图5是本发明的第四实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种视频编码方法,应用于电子设备,例如,终端,或者,服务器,或者,编码器。如图1所示,视频编码方法包括以下步骤:
步骤101:获取候选编码参数。
具体地说,编码器中存在多组用于编码的编码参数。电子设备将编码器的多组用于编码的编码参数,作为候选编码参数。
步骤102:针对每组候选编码参数,分别进行以下操作:根据当前帧的每个编码单元的显著特征值,确定当前帧的每个编码单元的码率和失真的权重因子的第一调节因子;根据当前帧的每个编码单元的第一调节因子,确定率失真代价函数;根据率失真代价函数,计算候选编码参数对应的率失真代价。
具体地说,电子设备将计算的当前帧的每个编码单元的第一调节因子,代入预设的第一调节因子未知的率失真代价函数中,得到第一调节因子已知的率失真代价函数。
在一个例子中,当前帧的每个编码单元的显著特征值可以是当前帧的每个编码单元的实际显著特征值,也可以将当前帧对应的预编码帧的索引为i的编辑单元的显著特征值,作为当前帧的索引为i的编辑单元的显著特征值。
需要说明的是,本领域技术人员可以理解,可以采用LC算法、HC算法等算法计算视频帧的实际显著特征值,本实施方式不限制显著特征值的计算方法。
值得一提的是,本实施方式的视频编码方法对显著特征计算方法的依赖性较弱,可以通过第二参数的更新,使得第二参数向更合理的数值接近,因此,可以更有效地利用其他的关于人类视觉系统的相关研究成果。
在一个例子中,在编码过程中,先提取定义的预编码帧的显著特征值。其中,预编码帧可以是关键帧(I帧)。由于当前的关键帧至下一关键帧之间的视频帧与当前的关键帧的显著特征值差距不大,因此,可以将当前帧对应的预编码帧的索引为i的编辑单元的显著特征值,作为当前帧的索引为i的编辑单元的显著特征值。
在一个例子中,当前帧对应的预编码帧是位于当前帧前的、距离当前帧最近的预编码帧。
值得一提的是,根据预编码帧的显著特征值确定当前帧的显著特征值,可以减少视频编码过程中的计算量,提高视频编码的速度。
在一个例子中,率失真函数如公式E所示。
公式E:J(i)=D(i)+λ(i)wR2(i);
公式E中,J(i)表示当前帧的索引为i的编辑单元的率失真代价,D(i)表示基于当前的候选编码参数的当前帧的索引为i的编辑单元的失真值,λ(i)表示当前帧的索引为i的编辑单元的第一调节因子,w表示编码器中原始的码率和失真的权重因子,R2(i)表示基于当前的候选编码参数的当前帧的索引为i的编辑单元的码率。
值得一提的是,由于本实施方式从率失真优化的角度来优化编码器的编码过程,极大地减少了编码器对视频编码标准的依赖性。
步骤103:根据率失真代价最小的候选编码参数,对当前帧进行编码。
具体地说,率失真代价越小,说明基于当前的候选编码参数编码后的视频的观看效果越好。因此,选择按照率失真代价最小的候选编码参数,对当前帧进行编码。
需要说明的是,以上仅为举例说明,并不对本发明的技术方案构成限定。
与现有技术相比,本实施方式中提供的视频编码方法,由于编码单元的显著特征值体现了人们观看该视频时注意到该编码单元的概率,在计算率失真代价时,基于每个编码单元的显著特征值,调整率失真代价函数中的码率和失真的权重因子,使得不同的显著特征值对应的编码单元的码率和失真的权重因子不同,进而使得计算得到的率失真代价更符合人们的主观感受。基于考虑人眼感知,从率失真优化的角度出发,选择率失真代价最小的候选编码参数进行编码,使得可以在保证观看质量的情况下,从人眼感知的角度出发,尽可能的降低码率。
本发明的第二实施方式涉及一种视频编码方法。第二实施方式举例说明了第一实施方式的步骤102中的确定第一调节因子的一种实现方式。具体地说,如图2所示,在本实施方式中,确定第一调节因子的方法包括如下子步骤:
步骤201:根据当前帧的每个编码单元的显著特征值,以及当前帧的显著特征值和参考码率的第一映射关系,确定当前帧的每个编码单元的参考码率。
具体地说,第一映射关系可以由用户预先设置,也可以由电子设备根据预定义的方式计算。
在一个例子中,由于实际编码结构中,不同类型的视频帧具有不同特性和作用。例如,H.264中的关键帧(Key帧)和H.265中的关键帧(I帧),关键帧不再参考往前的编码帧,因此在时域上具有很强的独立性。基于关键帧的特点,发明人发现,可以利用关键帧的帧数据来计算显著特征值和参考码率的对应关系。具体地说,电子设备将关键帧定义为预编码帧,获取当前帧对应的预编码帧的显著特征值和参考码率的第二映射关系,根据第二映射关系,确定第一映射关系。第二映射关系为:
公式C:
其中,r1(i)表示预编码帧的索引为i的编辑单元的参考码率,a1表示第三参数,b1表示第四参数,s1(i)表示预编码帧中索引为i的编辑单元的显著特征值。
第一映射关系为:
公式D:
其中,r2(i)表示当前帧的索引为i的编辑单元的参考码率,a2表示第一参数,b2表示第二参数,s2(i)表示当前帧中索引为i的编辑单元的显著特征值;第一参数根据第三参数确定,第二参数根据第四参数确定。
需要说明的是,本领域技术人员可以理解,实际应用中,也可以按照其他函数形式拟合第一映射关系或第二映射关系,本实施方式不限制第一映射关系和第二映射关系的函数形式。
需要说明的是,本领域技术人员可以理解,实际应用中,也可以将非关键帧作为预编码帧,本实施方式不限制预编码帧的类型。
以下对电子设备获取第二映射关系的过程进行举例说明。
电子设备对预编码帧进行预编码。在预编码的过程中,求取预编码帧的每个编码单元的实际显著特征值,得到显著特征灰度图S(x,y),并根据编码结果,确定预编码帧的每个编码单元的实际码率。电子设备获取预编码帧的每个编码单元的实际码率;根据预编码帧的每个编码单元的实际码率,确定预编码帧的每个编码单元的参考码率;根据预编码帧的显著特征灰度图,确定预编码帧的显著特征值;通过最小二乘法,拟合得到第二映射关系。
在一个例子中,电子设备根据预编码帧的显著特征灰度图,确定预编码帧的显著特征值的过程为:
第一步:对显著特征灰度图按照编码单元的尺寸进行划分,不足一个编码单元尺寸的单元补全到编码单元尺寸,补充的像素值设置为0。
第二步:以编码单元为单位,将显著特征灰度图S(x,y)归一化为s(i)。具体地说,电子设备按照公式F,计算每个编码单元的显著特征值。
公式F:
公式F中,s(i)表示预编码帧的索引为i的编码单元的显著特征值,lCU表示预编码帧的索引为i的编码单元的宽度,Smax表示预编码帧的索引为i的编码单元内的最大显著特征值,(m,n)表示预编码帧的索引为i的编码单元的起始坐标。
在一个例子中,电子设备按照公式G,计算预编码帧的每个编码单元的参考码率。
公式G:
公式G中,r1(i)表示预编码帧的索引为i的编辑单元的参考码率,R1(i)表示预编码帧的索引为i的编辑单元的实际码率,R1max表示预编码帧中最大的实际码率,R1min表示预编码帧中最小的实际码率。
以下对电子设备根据第二映射关系,确定第一映射关系的过程进行举例说明。
在一个例子中,电子设备将第三参数作为第一参数,将第四参数作为第二参数的初始值,根据当前帧的显著特征值等参数,对第二参数的初始值进行更新。具体地说,第二参数的初始值的更新过程如下:根据初始值,确定当前帧的显著特征值和当前帧的参考码率的初始映射关系;根据初始映射关系,以及当前帧的每个编码单元的显著特征值,计算当前帧的每个编码单元的参考码率;根据当前帧的每个编码单元的参考码率,以及当前帧的每个编码单元的修正码率,确定阈值分布参数,阈值分布参数指示当前帧中参考码率小于修正码率的编辑单元在所有编辑单元中的占比,或者,当前帧中参考码率不小于修正码率的编辑单元在所有编辑单元中的占比;判断阈值分布参数是否满足预设要求;若判断结果为是,将初始值作为第二参数;若判断结果为不是,根据阈值分布参数,调整初始值;基于调整后的初始值,重新执行根据初始值,确定当前帧的显著特征值和当前帧的参考码率的初始映射关系的步骤,直至阈值分布参数符合预设要求,或者,初始值的调整次数达到预设值。
在一个例子中,预设值为区间(10,20)中的任意数值。
需要说明的是,本领域技术人员可以理解,实际应用中,预设值可以根据本领域技术人员的经验设置,本实施方式不限制预设值的具体数值。
值得一提的是,在调整次数达到预设值停止更新过程,可以避免更新过程中出现震荡不收敛的情况。
在一个例子中,阈值分布参数指示当前帧中参考码率小于修正码率的编辑单元在所有编辑单元中的占比。电子设备按照公式H,计算阈值分布参数。
公式H:
公式H中,ε表示阈值分布参数,表示当前帧中参考码率小于修正码率的编辑单元的个数,NCU表示当前帧中的编辑单元的总数。
在一个例子中,电子设备根据阈值分布参数,调整初始值的过程如下:
第一步:根据ε的大小,确定修正值。其中,修正值的大小可以由本领域技术人员根据经验设置,例如,也可以将修正值设置为0.01,电子设备按照公式I,确定初始值的修正值。
公式I:
公式I中,sp表示修正值,ε表示阈值分布参数。
第二步:按照公式J,更新初始值。
公式J:b2=b3+sp;
公式J中,b2表示调整后的初始值,b3表示调整前的初始值,sp表示修正值。
在一个例子中,预设要求为阈值分布参数与第五参数的差的绝对值小于修正值的绝对值。其中,第五参数可以由本领域技术人员根据经验设置,例如,将第五参数设置为区间(0,1)的任意正数,第二预设值设置为区间(0,1)的任意正数。
在一个例子中,第五参数为0.5,当修正值的绝对值为0.01时,我们可以用公式K表示预设要求。
公式K:|ε-0.5|<0.01;其中,ε表示阈值分布参数。
需要说明的是,本领域技术人员可以理解,实际应用中,也可以将第三参数作为第一参数的初始值,第四参数作为第二参数的初始值,参考上述更新方式,对第一参数的初始值和第二参数的初始值进行更新,本实施方式不限制基于第二映射关系确定第一映射关系的具体过程。
值得一提的是,通过更新第二参数的初始值,减少当前帧的编码单元的参考码率和基于当前的候选编码参数确定的当前帧的编码单元的码率的差值,使得编码器在编码过程中对编码资源的分配更符合人员的视觉注意特征。
值得一提的是,由于阈值分布函数小于预设的数值,使得最终得到的r2(i)值,满足R2(i)均匀分布在r2(i)两侧的要求,进而使得参考码率和码率的差值正负可以尽量抵消,进而使得最终的编码结果不会对绝对误差和(SAD)、误差平方和(Sum of Squared Error,SSE)和峰值信噪比(Peak signal-to-noise ratio,PSNR)等传统的编码指标产生太大影响,可以更好地兼容传统编码器和相关算法。
步骤202:根据基于候选编码参数编码时,当前帧的每个编码单元的码率,以及当前帧的编码单元的参考码率的数值关系,选择第一约束关系或第二约束关系。
具体地说,第一约束关系和第二约束关系为当前帧的显著特征值和第一调节因子的约束关系。
以下对电子设备选择约束关系的过程进行举例说明。
在一个例子中,电子设备根据当前帧的编码单元的码率,确定当前帧的编码单元的修正码率;判断当前帧的编码单元的参考码率是否小于当前帧的编码单元的修正码率;若判断结果为是,选择第一约束关系;若判断结果为不是,选择第二约束关系。
在一个例子中,电子设备按照公式D,计算当前帧的参考码率,按照公式L,计算当前帧的编码单元的修正码率。
公式L:
公式L中,r3(i)表示当前帧的索引为i的编码单元的修正码率,R2(i)表示当前帧的索引为i的编码单元的码率,R2max表示当前帧中最大的码率,R2min表示当前帧中最小的码率。
在一个例子中,第一约束关系为:
公式A:
第二约束关系为:
公式B:
公式A和公式B中,λ(i)表示当前帧的索引为i的编辑单元的第一调节因子,a1表示第一参数,b1表示第二参数,c表示预设的第二调节因子,s1(i)表示当前帧的索引为i的编辑单元的显著特征值,其中,第一参数根据第三参数确定,第二参数根据第四参数确定,第三参数和第四参数根据预编码帧的显著特征值和参考码率的第二映射关系。
在一个例子中,c=1。
需要说明的是,本领域技术人员可以理解,实际应用中,可以根据经验设置第二调节因子的具体数值,本实施方式不限制第二调节因子的具体数值。
值得一提的是,发明人发现,在根据率失真代价函数确定最优的候选编码参数失败,希望通过调整当前帧的显著特征值和第一调节因子的约束关系,来查找最优的候选编码参数时,调节a1前面的比例因子能够达到更好的调节效果。因此,发明人在公式B的第二调节因子所在位置引入调节因子,使得电子设备更容易找到最后的候选编码参数。
步骤203:根据当前帧的编码单元的显著特征值,以及选择的约束关系,计算当前帧的编码单元的第一调节因子。
具体地说,将当前帧的编码单元的显著特征值,带入选择的约束关系中,计算得到当前帧的编码单元的第一调节因子。
在一个例子中,视频编码方法的示意图如图3所示。
步骤301:输入编码帧。其中,编码帧是指待编码的视频帧。
步骤302:判断编码帧是否是预编码帧。若确定是,执行步骤303,若确定不是,执行步骤307。
步骤303:提取编码帧的显著特征值。具体地说,电子设备可以利用LC算法或HC算法提取编码帧的实际显著特征值,并根据公式F,计算编码帧的每个编码单元的显著特征值。
步骤304:对编码帧进行预编码,得到编码帧的实际码率。
步骤305:根据编码帧的显著特征值和实际码率,更新第二映射关系。
步骤306:将该编码帧作为非预编码帧,将第二映射关系作为第一映射关系。之后执行步骤308。
需要说明的是,本领域技术人员可以理解,实际应用中,可以有选择的增加步骤306,在不增加步骤306时,在执行完步骤305后,执行步骤311。
步骤307:确定编码帧的显著特征值,并根据第二映射关系,得到第一映射关系。
具体地说,若编码帧是非预编码帧,则可以将在编码帧之前的、与编码帧距离最近的预编码帧的显著特征值,作为编码帧的显著特征值。基于第二映射关系,确定第一映射关系的方法与第二实施方式中提及的相关内容大致相同,此处不再赘述。
步骤308:根据第一映射关系,确定编码帧的参考码率。
步骤309:根据编码帧的参考码率、编码帧的显著特征值、基于各个候选编码参数的编码帧的码率,计算第一调节因子,得到率失真函数,确定最优的编码参数。具体地说,得到最优的编码参数(即率失真代价最小的编码参数)的具体过程与第一实施方式中得到率失真代价最小的编码参数的过程大致相同,此处不再赘述。
步骤310:根据最优的编码参数,对编码帧进行编码。
步骤311:输出编码后的编码帧。
需要说明的是,以上仅为举例说明,并不对本发明的技术方案构成限定。
与现有技术相比,本实施方式中提供的视频编码方法,由于编码单元的显著特征值体现了人们观看该视频时注意到该编码单元的概率,在计算率失真代价时,基于每个编码单元的显著特征值,调整率失真代价函数中的码率和失真的权重因子,使得不同的显著特征值对应的编码单元的码率和失真的权重因子不同,进而使得计算得到的率失真代价更符合人们的主观感受。基于考虑人眼感知,从率失真优化的角度出发,选择率失真代价最小的候选编码参数进行编码,使得可以在保证观看质量的情况下,从人眼感知的角度出发,尽可能的降低码率。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种视频编码装置,如图4所示,包括:获取模块401、计算模块402和确定模块403。获取模块401用于获取候选编码参数。计算模块402用于针对每组候选编码参数,分别进行以下操作:根据当前帧的每个编码单元的显著特征值,以及基于候选编码参数编码时,当前帧的每个编码单元的码率,确定当前帧的每个编码单元的码率和失真的权重因子的第一调节因子;根据当前帧的每个编码单元的第一调节因子,确定率失真代价函数;根据率失真代价函数,计算候选编码参数对应的率失真代价。确定模块403用于根据率失真代价最小的候选编码参数,对当前帧进行编码。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明的第四实施方式涉及一种电子设备,如图5所示,包括:至少一个处理器501;以及,与至少一个处理器501通信连接的存储器502;其中,存储器502存储有可被至少一个处理器501执行的指令,指令被至少一个处理器501执行,以使至少一个处理器501能够执行上述实施方式提及的视频编码方法。
该电子设备包括:一个或多个处理器501以及存储器502,图5中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接,图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述视频编码方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器502中,当被一个或者多个处理器501执行时,执行上述任意方法实施方式中的视频编码方法。
上述产品可执行本申请实施方式所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施方式中详尽描述的技术细节,可参见本申请实施方式所提供的方法。
本发明的第五实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (10)
1.一种视频编码方法,其特征在于,包括:
获取候选编码参数;
针对每组候选编码参数,分别进行以下操作:根据当前帧的每个编码单元的显著特征值,确定所述当前帧的每个编码单元的码率和失真的权重因子的第一调节因子;根据所述当前帧的每个编码单元的第一调节因子,确定率失真代价函数;根据所述率失真代价函数,计算所述候选编码参数对应的率失真代价;
根据率失真代价最小的候选编码参数,对所述当前帧进行编码。
2.根据权利要求1所述的视频编码方法,其特征在于,所述根据当前帧的每个编码单元的显著特征值,确定所述当前帧的每个编码单元的第一调节因子,具体包括:
针对每个所述当前帧的编码单元,分别进行以下操作:
根据所述当前帧的编码单元的显著特征值,以及所述当前帧的显著特征值和参考码率的第一映射关系,确定所述当前帧的编码单元的参考码率;
根据基于所述候选编码参数编码时所述当前帧的编码单元的码率,以及所述当前帧的编码单元的参考码率的数值关系,选择第一约束关系或第二约束关系;其中,所述第一约束关系和所述第二约束关系为所述当前帧的显著特征值和所述第一调节因子的约束关系;
根据所述当前帧的编码单元的显著特征值,以及选择的约束关系,计算所述当前帧的编码单元的第一调节因子。
3.根据权利要求2所述的视频编码方法,其特征在于,所述根据基于所述候选编码参数编码时所述当前帧的编码单元的码率,以及所述当前帧的编码单元的参考码率的数值关系,选择第一约束关系或第二约束关系,具体包括:
根据所述当前帧的编码单元的码率,确定所述当前帧的编码单元的修正码率;
判断所述当前帧的编码单元的参考码率是否小于所述当前帧的编码单元的修正码率;
若判断结果为是,选择所述第一约束关系;
若判断结果为不是,选择所述第二约束关系;
其中,所述第一约束关系为:
公式A:
所述第二约束关系为:
公式B:
公式A和公式B中,λ(i)表示所述当前帧的索引为i的编辑单元的第一调节因子,a1表示第一参数,b1表示第二参数,c表示预设的第二调节因子,s1(i)表示所述当前帧的索引为i的编辑单元的显著特征值,其中,所述第一参数根据第三参数确定,所述第二参数根据第四参数确定,所述第三参数和所述第四参数根据预编码帧的显著特征值和参考码率的第二映射关系。
4.根据权利要求2所述的视频编码方法,其特征在于,在所述根据所述当前帧的编码单元的显著特征值,以及所述当前帧的显著特征值和参考码率的第一映射关系,确定所述当前帧的编码单元的参考码率之前,所述视频编码方法还包括:
获取所述当前帧对应的预编码帧的显著特征值和参考码率的第二映射关系,所述第二映射关系为:
公式C:
其中,r1(i)表示所述预编码帧的索引为i的编辑单元的参考码率,a1表示第三参数,b1表示第四参数,s1(i)表示所述预编码帧中索引为i的编辑单元的显著特征值;
根据所述第二映射关系,确定所述第一映射关系,所述第一映射关系为:
公式D:
其中,r2(i)表示所述当前帧的索引为i的编辑单元的参考码率,a2表示第一参数,b2表示第二参数,s2(i)表示所述当前帧中索引为i的编辑单元的显著特征值;所述第一参数根据所述第三参数确定,所述第二参数根据所述第四参数确定。
5.根据权利要求3或4所述的视频编码方法,其特征在于,根据所述第四参数确定所述第二参数,具体包括:
将所述第四参数作为所述第二参数的初始值;
根据所述初始值,确定所述当前帧的显著特征值和所述当前帧的参考码率的初始映射关系;
根据所述初始映射关系,以及所述当前帧的每个编码单元的显著特征值,计算所述当前帧的每个编码单元的参考码率;
根据所述当前帧的每个编码单元的参考码率,以及所述当前帧的每个编码单元的修正码率,确定阈值分布参数,所述阈值分布参数指示所述当前帧中参考码率小于修正码率的编辑单元在所有编辑单元中的占比,或者,所述当前帧中参考码率不小于修正码率的编辑单元在所有编辑单元中的占比;
判断所述阈值分布参数是否满足预设要求;
若判断结果为是,将所述初始值作为所述第二参数;
若判断结果为不是,根据所述阈值分布参数,调整所述初始值;基于调整后的初始值,重新执行根据所述初始值,确定所述当前帧的显著特征值和所述当前帧的参考码率的初始映射关系的步骤,直至所述阈值分布参数符合所述预设要求,或者,所述初始值的调整次数达到预设值。
6.根据权利要求3或4所述的视频编码方法,其特征在于,所述第二映射关系的确定过程为:
对所述预编码帧进行预编码;
获取所述预编码帧的每个编码单元的实际码率;
根据所述预编码帧的每个编码单元的实际码率,确定所述预编码帧的每个编码单元的参考码率;
根据所述预编码帧的显著特征灰度图,确定所述预编码帧的显著特征值;
通过最小二乘法,拟合得到所述第二映射关系。
7.根据权利要求6所述的视频编码方法,其特征在于,所述预编码帧为关键帧;在所述根据当前帧的每个编码单元的显著特征值,确定所述当前帧的每个编码单元对应的第一调节因子之前,所述视频编码方法还包括:
将所述当前帧对应的预编码帧的索引为i的编辑单元的显著特征值,作为所述当前帧的索引为i的编辑单元的显著特征值。
8.一种视频编码装置,其特征在于,包括:获取模块、计算模块和确定模块;
所述获取模块用于获取候选编码参数;
所述计算模块用于针对每组候选编码参数,分别进行以下操作:根据当前帧的每个编码单元的显著特征值,以及基于所述候选编码参数编码时,所述当前帧的每个编码单元的码率,确定所述当前帧的每个编码单元的码率和失真的权重因子的第一调节因子;根据所述当前帧的每个编码单元的第一调节因子,确定率失真代价函数;根据所述率失真代价函数,计算所述候选编码参数对应的率失真代价;
所述确定模块用于根据率失真代价最小的候选编码参数,对所述当前帧进行编码。
9.一种电子设备,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的视频编码方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的视频编码方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910619894.5A CN110365981B (zh) | 2019-07-10 | 2019-07-10 | 一种视频编码方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910619894.5A CN110365981B (zh) | 2019-07-10 | 2019-07-10 | 一种视频编码方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110365981A true CN110365981A (zh) | 2019-10-22 |
CN110365981B CN110365981B (zh) | 2021-12-24 |
Family
ID=68218652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910619894.5A Active CN110365981B (zh) | 2019-07-10 | 2019-07-10 | 一种视频编码方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110365981B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111726656A (zh) * | 2020-07-20 | 2020-09-29 | 有半岛(北京)信息科技有限公司 | 一种直播视频的转码方法、装置、服务器和存储介质 |
CN112584147A (zh) * | 2020-11-30 | 2021-03-30 | 北京金山云网络技术有限公司 | 调节编码器参数的方法、装置、计算机设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120183051A1 (en) * | 2011-01-19 | 2012-07-19 | Samsung Electronics Co., Ltd. | Method for video encoding mode selection and video encoding apparatus performing the same |
CN103079063A (zh) * | 2012-12-19 | 2013-05-01 | 华南理工大学 | 一种低码率下视觉关注区域的视频编码方法 |
CN104093022A (zh) * | 2014-06-25 | 2014-10-08 | 华为技术有限公司 | 一种率失真优化方法及装置 |
US20150063443A1 (en) * | 2013-08-30 | 2015-03-05 | Fujitsu Limited | Quantization method, coding apparatus, and computer-readable recording medium storing quantization program |
TW201519637A (zh) * | 2013-11-12 | 2015-05-16 | Univ Nat Taiwan | 位元率-誤差最佳化量化方法 |
CN106358040A (zh) * | 2016-08-30 | 2017-01-25 | 上海交通大学 | 一种基于显著性的码率控制比特分配方法 |
CN109309834A (zh) * | 2018-11-21 | 2019-02-05 | 北京航空航天大学 | 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法 |
CN109743572A (zh) * | 2019-01-08 | 2019-05-10 | 深圳市优微视觉科技有限公司 | 一种码率模型更新方法及装置 |
CN110198444A (zh) * | 2019-04-16 | 2019-09-03 | 浙江大华技术股份有限公司 | 视频帧编码方法、视频帧编码设备及具有存储功能的装置 |
-
2019
- 2019-07-10 CN CN201910619894.5A patent/CN110365981B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120183051A1 (en) * | 2011-01-19 | 2012-07-19 | Samsung Electronics Co., Ltd. | Method for video encoding mode selection and video encoding apparatus performing the same |
CN103079063A (zh) * | 2012-12-19 | 2013-05-01 | 华南理工大学 | 一种低码率下视觉关注区域的视频编码方法 |
US20150063443A1 (en) * | 2013-08-30 | 2015-03-05 | Fujitsu Limited | Quantization method, coding apparatus, and computer-readable recording medium storing quantization program |
TW201519637A (zh) * | 2013-11-12 | 2015-05-16 | Univ Nat Taiwan | 位元率-誤差最佳化量化方法 |
CN104093022A (zh) * | 2014-06-25 | 2014-10-08 | 华为技术有限公司 | 一种率失真优化方法及装置 |
CN106358040A (zh) * | 2016-08-30 | 2017-01-25 | 上海交通大学 | 一种基于显著性的码率控制比特分配方法 |
CN109309834A (zh) * | 2018-11-21 | 2019-02-05 | 北京航空航天大学 | 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法 |
CN109743572A (zh) * | 2019-01-08 | 2019-05-10 | 深圳市优微视觉科技有限公司 | 一种码率模型更新方法及装置 |
CN110198444A (zh) * | 2019-04-16 | 2019-09-03 | 浙江大华技术股份有限公司 | 视频帧编码方法、视频帧编码设备及具有存储功能的装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111726656A (zh) * | 2020-07-20 | 2020-09-29 | 有半岛(北京)信息科技有限公司 | 一种直播视频的转码方法、装置、服务器和存储介质 |
CN111726656B (zh) * | 2020-07-20 | 2022-07-26 | 有半岛(北京)信息科技有限公司 | 一种直播视频的转码方法、装置、服务器和存储介质 |
CN112584147A (zh) * | 2020-11-30 | 2021-03-30 | 北京金山云网络技术有限公司 | 调节编码器参数的方法、装置、计算机设备和存储介质 |
CN112584147B (zh) * | 2020-11-30 | 2023-05-05 | 北京金山云网络技术有限公司 | 调节编码器参数的方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110365981B (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104683804B (zh) | 基于视频内容特征的参数自适应多维码率控制方法 | |
Qi et al. | Reduced reference stereoscopic image quality assessment based on binocular perceptual information | |
CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN108615252A (zh) | 基于参考图像的线稿上色模型的训练方法以及装置 | |
CN109120937A (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
CN109120936A (zh) | 一种视频图像的解码方法和装置 | |
CN110728633A (zh) | 多曝光度高动态范围反色调映射模型构建方法及装置 | |
CN102137258B (zh) | 一种立体视频码率控制方法 | |
CN109151475A (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
CN110365981A (zh) | 一种视频编码方法、装置、电子设备及存储介质 | |
CN104010193B (zh) | 基于宏块划分方式扰动的视频隐写方法 | |
CN110225350B (zh) | 基于生成式对抗网络的自然图像压缩方法 | |
CN106097241A (zh) | 基于八邻域像素的可逆信息隐藏方法 | |
CN110225343A (zh) | 一种视频编码的码率控制方法及装置 | |
CN112633234A (zh) | 人脸去眼镜模型训练、应用方法及其装置、设备和介质 | |
CN113360514A (zh) | 联合更新模型的方法、装置及系统 | |
CN117097906B (zh) | 一种区域医疗资源高效利用的方法及系统 | |
CN112399177B (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
CN109636741A (zh) | 一种图像去噪处理方法 | |
CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
CN113822954B (zh) | 一种面向资源约束下人机协同场景的深度学习图像编码方法 | |
CN116137043A (zh) | 一种基于卷积和Transformer的红外图像彩色化方法 | |
CN106888374A (zh) | 一种三维视频编码方法、装置及视频处理设备 | |
CN116416216A (zh) | 基于自监督特征提取的质量评价方法、存储介质及终端 | |
CN116309213A (zh) | 一种基于生成对抗网络的高实时多源图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |