CN109660796A - 一种对视频帧进行编码的方法 - Google Patents

一种对视频帧进行编码的方法 Download PDF

Info

Publication number
CN109660796A
CN109660796A CN201811329698.6A CN201811329698A CN109660796A CN 109660796 A CN109660796 A CN 109660796A CN 201811329698 A CN201811329698 A CN 201811329698A CN 109660796 A CN109660796 A CN 109660796A
Authority
CN
China
Prior art keywords
video frame
frame
input video
ratio
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811329698.6A
Other languages
English (en)
Inventor
林路路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianhu Yunfei Data Technology Co Ltd
Original Assignee
Jianhu Yunfei Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianhu Yunfei Data Technology Co Ltd filed Critical Jianhu Yunfei Data Technology Co Ltd
Priority to CN201811329698.6A priority Critical patent/CN109660796A/zh
Publication of CN109660796A publication Critical patent/CN109660796A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种对视频帧进行编码的方法,采用本发明,通过获取输入视频帧,获取输入视频帧对应的处理参数,根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,该处理参数在解码过程中重现,候选处理方式包括全分辨率处理方式和下采样处理方式,最后根据目标处理模式对输入视频帧进行编码得到输入视频帧对应的编码数据。能够灵活选择视频帧的处理方式,对输入视频帧进行处理,使得解码过程能够重现编码过程的处理参数,提高在带宽有限下的视频编码质量。

Description

一种对视频帧进行编码的方法
技术领域
本申请涉及图像处理技术领域,尤其涉及一种对视频帧进行编码的方法。
背景技术
视频编码,是指通过特定的压缩技术,将某个视频格式的文件转换成另一种视频格式文件的方式。视频信号数字化后数据带宽很高,通常在20MB/秒以上,因此计算机很难对之进行保存和处理。采用压缩技术通常数据带宽降到1-10MB/ 秒,这样就可以将视频信号保存在计算机中并作相应的处理。随着数字媒体技术和计算机技术的发展,视频应用于各个领域,如移动通信、网络监控、网络电视等。随着硬件性能和屏幕分辨率的提高,用户对高清视频的需求日益强烈。在带宽有限的条件下,传统的编码器对视频帧无区分地进行编码,可能出现某些场景视频质量差的问题,对于所有视频帧不加区分地进行编码时,存在部分视频帧质量差的问题。
发明内容
本发明实施例提供了一种对视频帧进行编码的方法,所述方法包括如下步骤:
获取输入视频帧;
获取所述输入视频帧对应的帧类型以及对应的码率信息,获取所述输入视频帧对应的全分辨率信息和第一阈值;
根据所述帧类型以及所述输入视频帧对应的全分辨率信息和第一阈值获取所述输入视频帧对应的处理参数,根据所述码率信息和所述全分辨率信息计算得到对应的比例结果,根据所述比例结果和所述第一阈值确定所述输入视频帧对应的目标处理模式:
计算目标预测类型编码块在所述输入视频帧对应的前向编码视频帧中的比例,根据所述比例确定所述输入视频帧对应的目标处理模式;
和/或,计算前向编码视频帧中帧内编码块在所述前向编码视频帧中的比例,当所述比例大于第二阈值时,确定所述目标处理模式为下采样处理方式;
和/或,获取所述输入视频帧对应的当前量化参数,获取所述输入视频帧对应的量化参数阈值,根据所述当前量化参数与所述量化参数阈值的大小关系确定所述输入视频帧对应的目标处理模式;
根据所述目标处理模式对所述输入视频帧进行处理,得到待编码帧;
在所述待编码帧的分辨率下,对所述待编码帧进行编码得到所述输入视频帧对应的编码数据。
本发明提供的对视频帧进行编码的方法,通过获取输入视频帧,获取输入视频帧对应的处理参数,根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,该处理参数在解码过程中重现,候选处理方式包括全分辨率处理方式和下采样处理方式,最后根据目标处理模式对输入视频帧进行编码得到输入视频帧对应的编码数据。能够灵活选择视频帧的处理方式,对输入视频帧进行处理,使得解码过程能够重现编码过程的处理参数,提高在带宽有限下的视频编码质量,从而能够得到准确的编码数据。
具体实施方式
本实施例提供的该视频编码方法具体包括如下步骤:获取输入视频帧。其中,视频帧是构成视频的单位,一个视频序列可以包括多个输入视频帧。输入视频帧可以是实时采集的视频帧,例如可以是通过终端的摄像头实时获取的视频帧,也可以是预先存储的视频序列对应的视频帧。输入视频帧可以根据编码算法确定对应的编码帧预测类型,编码帧预测类型包括可以是I帧、P帧或者B帧,其中I帧为帧内预测帧,P帧为前向预测帧,B帧为双向预测帧,P帧与B帧的各个编码块可以采用帧内预测方式也可以采用帧间预测方式进行编码。
其次获取输入视频帧对应的处理参数,根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,处理参数在解码过程中重现,候选处理方式包括全分辨率处理方式和下采样处理方式,其中,处理参数是用来确定处理方式的参数,处理参数在解码过程中能够重现是指在解码的过程中能够得到或者产生该处理参数,从而不需要将处理方式对应的信息携带在编码数据中,解码端在获取到与编码端一致的处理参数后,能确定与编码端一致的处理方式。具体采用的处理参数可以根据需要进行设置,只需要在保证在解码过程中能够重现,例如处理参数可以包括历史编码信息以及重建帧对应的图像特征的至少一种。
其中,处理方式是从候选的处理方式中选取的,候选的处理方式包括全分辨率处理方式和下采样处理方式。其中全分辨率处理方式是指对输入视频帧进行全分辨率处理,得到待编码帧。而下采样处理方式是指对输入视频帧进行下采样处理,得到待编码帧。例如,当输入视频帧的分辨率为800*800像素,处理方式为水平以及垂直方向均进行1/2下采样时,下采样待编码帧的分辨率为400*400 像素。
当输入视频帧对应的目标处理模式包括下采样处理方式时,还可以获取下采样比例以及下采样方法。其中,采样比例为采样后的分辨率除以采样前的分辨率得到的比值。下采样方法可以可采用直接平均、滤波器、bicubic interpolation 双三次插值或者bilinear Interpolation双线性插值等。下采样比例可以是预先设置的也可以灵活地调整下采样比例。例如,可以设置下采样的比例均为1/2。可以是输入视频序列的第一个输入视频帧的下采样比例为1/2,第二个输入视频帧的下采样比例为1/4。可以根据输入视频帧在视频组的编码位置得到下采样比例,其中编码位置越后,则下采样比例越小。下采样方向可以是垂直下采样、水平下采样以及垂直和水平下采样结合中的一种。例如若采样前的视频帧分辨率为 800*800像素,当下采样比例为1/2且为进行水平下采样,则采样后视频帧的分辨率为400*800像素。当下采样比例为1/2且为进行垂直下采样,采样后视频帧的分辨率为800*400像素。
下采样的比例可以根据执行视频编码方法的设备如终端或者服务器的处理器能力得到。处理器处理能力强的设备对应的下采样比例大,处理器处理能力弱的设备对应的下采样比例小。可以设置处理器处理能力与下采样比例的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样比例。例如,可以设置16位处理器对应的下采样比例为1/8,32位处理器对应的下采样比例为1/4。
下采样的比例可以根据输入视频帧作为参考帧的频率或者次数得到,可以设置下采样比例与输入视频帧作为参考帧的频率或者次数的对应关系。其中,输入视频帧作为参考帧的频率高或者次数多,则下采样比例大。输入视频帧作为参考帧的频率低或者次数少,则下采样比例小。例如,对于I帧,作为参考帧的频率高,则对应的下采样比例大,可以为1/2。对于P帧,作为参考帧的频率低,则对应的下采样比例小,例如可以为1/4。通过根据输入视频帧作为参考帧的频率或者次数得到下采样比例,当输入视频帧作为参考帧的频率高或者次数多时,图像质量较好,因此能够提高进行预测的准确度,减小预测残差,提高编码图像的质量。
下采样的方法可以根据执行视频编码方法的设备如终端或者服务器的处理器能力得到。对于处理器处理能力强的设备对应的下采样方法复杂度高,处理器处理能力弱的设备对应的下采样方法复杂度低。可以设置处理器处理能力与下采样方法的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样方法。
在对输入视频帧采用下采样处理方式处理时,还可按照不同的下采样方法或下采样比例进行下采样,对输入视频帧进行处理的方式更为灵活。
可以根据输入视频帧对应的当前编码信息以及图像特征信息中的至少一种得到输入视频帧对应的目标处理模式。当前编码信息是指视频在编码时得到的视频压缩参数信息,如帧预测类型、运动向量、量化参数、视频来源、码率、帧率以及分辨率的一种或多种。图像特征信息是指与图像内容相关的信息,包括图像运动信息以及图像纹理信息的一种或多种,如边缘等。当前编码信息以及图像特征信息反映了视频帧对应的场景、细节复杂度或者运动剧烈程度等,如通过运动向量、量化参数或者码率中的一个或多个等可判断运动场景,量化参数大则一般运动剧烈,运动向量大则代表图像场景是大运动场景。还可根据已编码I帧与 P帧或已编码I帧与B帧的码率比值判断,如果比值超过第一预设阈值,则判断为静止图像,如果比值小于第二预设阈值,则可判断为运动剧烈图像。或直接根据图像内容跟踪目标对象,根据目标对象的运动速度确定是否为大运动场景。码率一定时能表达的信息量一定,对于运动剧烈的场景,时间域信息量大,相应的可用于表达空间域信息的码率就少,因此采用低分辨率能达到较好的图像质量效果,更倾向于选择下采样模式进行编码。通过帧预测类型可确定画面切换场景,也可根据帧预测类型对其它帧的影响确定倾向于的处理方式。如I帧一般为首帧或存在画面切换,I帧的质量影响了后续P帧或B帧的质量,所以帧内预测帧相比于帧间预测帧更倾向于选择全分辨率处理方式,以保证图像质量。因为P帧可作为B帧的参考帧,P帧图像质量影响了后续B帧的图像质量,所以如果采用P帧编码则相比于采用B帧编码更倾向于选择全分辨率处理方式。通过图像特征信息,如图像纹理信息确定待编码视频帧的纹理复杂度,如果纹理复杂,包含的细节多,则图像空域信息多,如果进行下采样,可能由于下采样损失较多细节信息,影响视频质量,所以纹理复杂的待编码视频帧相比于纹理简单的待编码视频帧更倾向于选择全分辨率处理。
可以根据输入视频帧对应的当前量化参数以及量化参数阈值的大小关系得到输入视频帧对应的处理方式。如果当前量化参数大于量化参数阈值,则确定目标处理模式为下采样处理方式,否则确定目标处理模式为全分辨率处理方式。量化参数阈值可以根据在输入视频帧之前,已编码的前向编码视频帧的帧内编码块的比例得到,可以预先设置帧内预测块比例与量化参数阈值的对应关系,从而在确定了当前帧的帧内预测块比例后,可以根据对应关系确定与当前帧的帧内预测块比例对应的量化参数阈值。对于固定量化参数编码,当前量化参数可以是对应的固定量化参数值。对于固定码率编码,则可以根据码率控制模型计算得到输入视频帧对应的当前量化参数。或者,可以将参考帧对应的量化参数作为输入视频帧对应的当前量化参数。本发明实施例中,当前量化参数越大一般运动越剧烈,对于运动剧烈的场景更倾向于选择下采样处理方式。
帧内预测块比例与量化参数阈值的关系为正相关关系。比如,可以根据经验,预先确定帧内预测块比例Intra0与量化参数阈值的对应关系为:
之后根据目标处理模式对输入视频帧进行编码得到输入视频帧对应的编码数据。其中,对输入视频帧进行编码是根据目标处理模式进行编码得到输入视频帧对应的编码数据的。在获取到目标处理模式后,根据目标处理模式对输入视频帧进行处理,得到待编码帧,在待编码帧的分辨率下,对待编码帧进行编码得到输入视频帧对应的编码数据。具体地,待编码帧是根据目标处理模式对输入视频帧进行处理之后得到的。当目标处理模式为全分辨率处理方式时,则可以将输入视频帧作为待编码帧。当目标处理模式为下采样处理方式时,则可以对输入视频帧进行下采样处理,得到待编码帧。当例如,当输入视频帧的分辨率为800*800 像素,目标处理模式为水平以及垂直方向均进行1/2下采样时,下采样待编码帧的分辨率为400*400像素。
编码可以包括预测、变换、量化以及熵编码中的至少一个。
例如可以获取待编码帧对应的参考帧,根据当前参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码等得到输入视频帧对应的编码数据。例如,在计算预测残差时,可以根据待编码帧的分辨率信息对当前参考帧进行处理,得到与待编码帧的分辨率一致的目标参考帧,再从目标参考帧中获取待编码帧中各个编码块对应的参考块,根据参考块进行预测,得到编码块对应的预测值,再根据编码块的实际值与预测值的差值得到预测残差,在计算运动矢量值时,如果参考帧的分辨率不同,则可以根据参考帧与待编码帧的分辨率对编码块的位置信息或者解码块的位置信息进行变换。再根据变换后的位置信息得到运动矢量值。例如,假设待编码帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待编码帧的分辨率对当前参考帧进行处理,得到对应的目标参考帧,再根据目标参考帧进行视频编码。例如,对当前参考帧的宽与高进行1/2下采样,得到目标参考帧的分辨率为400*800像素。
本发明通过获取输入视频帧,获取输入视频帧对应的处理参数,根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,该处理参数在解码过程中重现,候选处理方式包括全分辨率处理方式和下采样处理方式,最后根据目标处理模式对输入视频帧进行编码得到输入视频帧对应的编码数据。能够灵活选择视频帧的处理方式,对输入视频帧进行处理,使得解码过程能够重现编码过程的处理参数,从而提高在带宽有限下的视频编码质量,且能够得到准确的编码数据。
获取输入视频帧对应的处理参数,包括:获取输入视频帧对应的帧类型,根据帧类型获取输入视频帧对应的处理参数。
帧类型是指视频帧的预测类型,帧预测类型可以是I帧、P帧或者B帧,其中I帧为帧内预测帧,P帧为前向预测帧,B帧为双向预测帧,P帧与B帧的各个编码块可以采用帧内预测方式也可以采用帧间预测方式进行编码。可以设置帧的预测类型与处理参数的对应关系,当获取到输入视频帧对应的帧类型,根据帧的预测类型与处理参数的对应关系得到输入视频帧对应的处理参数。不同的帧类型对应的处理参数的参数类型以及参数数值中的至少一个是不同的。
在一个实施例中,可以根据输入视频帧作为参考帧的频率或者次数设置对应的处理参数的具体数值。输入视频帧作为参考帧的频率高或者次数多,则根据对应的处理参数得到的目标处理模式为全分辨率处理方式的可能性越大。例如,对于I帧,作为参考帧的频率高。则在当处理参数包括当前量化参数以及量化参数阈值,确定处理方式的规则为:当前量化参数大于量化参数阈值,则确定处理方式为下采样方式,否则确定处理方式为全分辨率处理方式时,I帧对应的量化参数阈值比P帧以及B帧对应的量化参数阈值小,以使得I帧对应的目标处理模式为全分辨率处理方式的可能性比P帧以及B帧大。
对于P帧与B帧,可以根据其前向编码视频帧中的帧内编码块的比例得到对应的处理方式,而对于I帧,由于I帧是帧内编码预测类型,因此其前向编码视频帧中的帧内编码块的比例对确定处理方式的参考意义不大,因为即使其前向编码视频帧中帧内编码块的比例大,但在帧内的编码块的相关性大的情况下, I帧对应的编码数据也较小,因此对I帧进行下采样处理后再编码的效果与在全分辨率下直接进行编码的效果相比,并不会有大幅度的提升。故对于I帧,可以根据I帧的图像特征信息确定对应的处理方式。例如,如果根据I帧的图像内容,如果确定I帧对应运动剧烈的场景,则I帧对应的时间域信息量大,相应的可用于表达空间域信息的码率就少,因此采用低分辨率能达到较好的图像质量效果,更倾向于选择下采样处理方式作为I帧对应的处理方式。
根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式。
不同的帧类型对应的确定处理方式的方法可以不同也可以相同,例如,如果不同帧类型对应的处理参数的参数类型相同,处理参数的具体数值不同,则可以采用相同的处理方式确定方法确定对应的目标处理模式。如果不同帧类型对应的处理参数的参数类型不同,则可以采用不同的处理方式确定方法。得到处理参数后,根据处理参数从候选处理方式中确定处理方式,根据处理参数确定目标处理模式可以参照上述实施例中确定处理方式的方法,本发明实施例在此不在赘述。
通过设置帧类型与处理参数的对应关系,可以灵活地根据输入视频帧的预测类型确定目标处理模式,提高编码质量。
获取输入视频帧对应的处理参数,根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,包括:获取输入视频帧对应的码率信息,获取输入视频帧对应的全分辨率信息和第一阈值;根据码率信息和全分辨率信息计算得到对应的比例结果;根据比例结果和第一阈值确定输入视频帧对应的目标处理模式。
码率信息是与码率相关的信息,码率信息是决定视频画面质量的重要因素,其中,码率信息包括但不限于目标码率等等。全分辨率信息是与原始图像对应的分辨率相关的信息,例如可以是原始分辨率的宽和高计算得到信息等等。具体地,获取输入视频帧对应的码率信息,再根据输入视频帧获取对应的全分辨率信息,和预先设置的第一阈值,其中第一阈值是用来与所述全分辨率信息进行比较从而得到输入视频帧对应的目标方式的,第一阈值可根据实际需要进行设置。
在获取到输入视频帧对应的码率信息,以及对应的全分辨率信息和第一阈值后,根据码率信息和全分辨率信息计算得到对应的比例结果,具体计算可以是但不限于将码率信息和全分辨率信息的比值作为对应的比例结果。例如,获取到的输入视频帧对应的码率信息为目标码率,全分辨率信息为原始分辨率的宽和高的乘积,那么根据码率信息和全分辨率信息计算得到对应的比例结果k为:目标码率/原始分辨率的宽*高。
处理方式是从候选的处理方式中选取的,候选的处理方式包括全分辨率处理方式和下采样处理方式。具体地,在根据码率信息和全分辨率信息计算得到对应的比例结果后,根据比例结果和获取到的第一阈值确定输入视频帧对应的目标处理模式。当输入视频帧对应的的目标码率小于预设阈值时,分配给输入视频帧的比特数少,如果按原分辨率编码会导致解码图像质量偏低,但是如果采用下采样分辨率编码,则可以得到一个高质量的下采样分辨率编码图像,所以在这种较低码率的时候,选择去编码一个较高质量的下采样分辨率帧。因此当比例结果小于获取到的第一阈值时,将输入视频帧对应的目标处理模式确定为下采样处理方式,否则将输入视频帧对应的目标处理模式确定为全分辨率处理方式。
获取输入视频帧对应的处理参数,根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,包括:计算目标预测类型编码块在输入视频帧对应的前向编码视频帧中的比例;根据比例确定输入视频帧对应的目标处理模式。
预测类型编码块是帧预测类型对应的编码块。目标预测类型的比例可以是帧内编码块对应的比例以及帧间编码块对应的比例中的一种或两种。目标预测类型编码块在输入视频帧对应的前向编码视频帧中的比例可以是该目标预测类型编码块与其他预测类型编码块的比例,也可以是该类型编码块与总编码块数量的比例。具体可以根据需要进行设置。例如可以获取前向编码视频帧中帧内编码块的第一数量,前向编码视频帧中帧间编码块的第二数量。根据第一数量和第二数量计算得到帧内编码块与帧间编码块的比例,或者统计前向编码视频帧的全部编码块的第三数量,根据第一数量和第三数量计算得到帧内编码块与第三数据量的比例。还可根据第二数量和第三数量计算得到帧间编码块与第三数据量的比例。
前向编码视频帧是指对输入视频帧进行编码之前已经编码的视频帧,获取的前向编码视频帧的具体数量可自定义,例如,前向编码视频帧可以是输入视频帧的前一个已编码的编码视频帧,前向编码视频帧也可以是输入视频帧的前3个已编码的编码视频帧。在计算得到目标预测类型编码块对应的在前向编码视频帧中的比例后,根据计算得到的比例确定输入视频帧对应的目标处理模式。若获取到的前向编码视频帧的数量为多个时,可以计算得到不同类型编码块对应的在每一个前向编码视频帧中的比例,根据各个比例进行加权计算得到总比例,再根据总比例和预设阈值确定输入视频帧对应的目标处理模式。其中,前向视频帧对应的权重可以与前向编码视频帧与输入视频帧的编码距离成负相关关系。
根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,包括:计算前向编码视频帧中帧内编码块在前向编码视频帧中的比例;当比例大于第二阈值时,确定目标处理模式为下采样处理方式。
获取输入视频帧对应的前向编码视频帧后,根据前向编码视频帧对应的编码数据,计算帧内编码块在前向编码视频帧的比例。帧内编码块在前向编码视频帧的比例可以通过前向编码视频帧中帧内编码块与前向编码视频帧编码块总数量来反映,或通过前向编码视频帧中帧内编码块与帧间编码块的比例来反映。
可以先获取前向编码视频帧中帧内编码块的数量,再统计前向编码视频块的总数量,根据帧内编码块的数量和前向编码视频块的总数量计算得到帧内编码块在前向编码视频帧中的比例,如将帧内编码块的数量和前向编码视频块的总数量的比值作为该比例。或者,先获取前向编码视频帧中帧内编码块的第一数量,和获取前向编码视频帧中帧间编码块的第二数量,根据帧内编码块的第一数量和帧间编码块的第二数量计算得到帧内编码块在前向编码视频帧的比例,如将帧内编码块的第一数量和帧间编码块的第二数量的比值作为该比例。
对于帧内编码块对应的比例,可以是当该比例大于第二阈值时,确定输入视频帧对应的目标处理模式为下采样处理方式,否则确定视频帧对应的目标处理模式为全分辨率处理方式。如,当比例大于第二阈值时,确定输入视频帧对应的处理方式为下采样处理方式,否则确定视频帧对应的目标处理模式为全分辨率处理方式。
如果帧内编码块的比例大,则说明视频会相对比较复杂或者视频帧之间的相关度比较低,因此得到的预测残差比较大,因此更倾向于采用下采样处理方式进行编码,减少编码数据量。
其中,第二阈值可根据输入视频帧对应的参考帧的处理方式进行确定。当输入视频帧对应的参考帧的处理方式为下采样处理方式时,获取第一预设阈值T1,将第一预设阈值T1作为第二阈值。同样地,当输入视频帧对应的参考帧的处理方式为全分辨率处理方式时,获取第二预设阈值T2,将第二预设阈值T2作为第二阈值。进一步地,在根据输入视频帧对应的参考帧的分辨率信息获取到第二阈值后,根据第二阈值和前向编码视频帧中帧内编码块在前向编码视频帧中的比例确定输入视频帧的处理方式。其中,当前向编码视频帧中帧内编码块在前向编码视频帧中的比例大于第二阈值时,确定输入视频帧对应的处理方式为下采样处理方式。
当输入视频帧对应的参考帧的处理方式为下采样处理方式时,获取第一预设阈值T1,将第一预设阈值T1作为第二阈值,计算前向编码视频帧中帧内编码块在前向编码视频帧中的比例为S,则当S大于T1时,则确定输入视频帧对应的目标处理模式为下采样处理方式,否则确定输入视频帧对应的目标处理模式为全分辨率处理方式。
当输入视频帧对应的参考帧的处理方式为全分辨率处理方式时,获取第二预设阈值T2,将第二预设阈值T2作为第二阈值,计算前向编码视频帧中帧内编码块在前向编码视频帧中的比例为S,则当S大于T2时,则确定输入视频帧对应的目标处理模式为下采样处理方式,否则确定输入视频帧对应的目标处理模式为全分辨率处理方式。
当输入视频帧为一个GOP中的第二帧时,那么输入视频帧对应的前向编码视频帧为第一帧,第一帧通常为帧内预测帧I帧,由于预测帧内帧I帧内只有帧内编码块,则前向编码视频帧中帧内编码块在前向编码视频帧中的比例为100%。
获取输入视频帧对应的参考帧对应的处理方式,根据处理方式确定第二阈值。其中第二阈值可根据输入视频帧对应的参考帧的处理方式进行确定。当输入视频帧对应的参考帧的处理方式为下采样方式时,获取第一预设阈值T1,将第一预设阈值T1作为第二阈值。同样地,当输入视频帧对应的参考帧的处理方式为全分辨率处理方式时,获取第二预设阈值T2,将第二预设阈值T2作为第二阈值。进一步地,在根据输入视频帧对应的参考帧的分辨率信息获取到第二阈值后,根据第二阈值和前向编码视频帧中帧内编码块在前向编码视频帧中的比例确定输入视频帧的处理方式。其中,当前向编码视频帧中帧内编码块在前向编码视频帧中的比例大于第二阈值时,确定输入视频帧对应的处理方式为下采样处理方式。第二预设阈值大于第一预设阈值,这样,当当前参考帧对应的处理方式全分辨率处理方式时,输入视频帧更倾向于采用全分辨率处理方式,当当前参考帧为下采样处理方式时,输入视频帧更倾向于采用下采样处理方式。
获取输入视频帧对应的处理参数,根据处理参数从候选处理方式中确定输入视频帧对应的目标处理模式,包括:获取输入视频帧对应的当前量化参数,获取输入视频帧对应的量化参数阈值,根据当前量化参数与量化参数阈值的大小关系确定输入视频帧对应的处理方式。
可以根据输入视频帧对应的当前量化参数以及量化参数阈值的大小关系得到输入视频帧对应的处理方式。如果当前量化参数大于量化参数阈值,则确定处理方式为下采样方式,否则确定处理方式为全分辨率处理方式。量化参数阈值可以根据在输入视频帧之前,已编码的前向编码视频帧的帧内编码块的比例得到,可以预先设置帧内预测块比例与量化参数阈值的对应关系,从而在确定了当前帧的帧内预测块比例后,可以根据对应关系确定与当前帧的帧内预测块比例对应的量化参数阈值。对于固定量化参数编码,当前量化参数可以是对应的固定量化参数值。对于固定码率编码,则可以根据码率控制模型计算得到输入视频帧对应的当前量化参数。或者,可以将参考帧对应的量化参数作为输入视频帧对应的当前量化参数。本发明实施例中,当前量化参数越大一般运动越剧烈,对于运动剧烈的场景更倾向于选择下采样处理方式。
帧内预测块比例与量化参数阈值的关系为正相关关系,比如,可以根据经验,预先确定当前帧的帧内预测块比例Intra0与量化参数阈值QPTH的对应关系为:
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种对视频帧进行编码的方法,其特征在于,所述方法包括:
获取输入视频帧;
获取所述输入视频帧对应的帧类型以及对应的码率信息,获取所述输入视频帧对应的全分辨率信息和第一阈值;
根据所述帧类型以及所述输入视频帧对应的全分辨率信息和第一阈值获取所述输入视频帧对应的处理参数,根据所述码率信息和所述全分辨率信息计算得到对应的比例结果,根据所述比例结果和所述第一阈值确定所述输入视频帧对应的目标处理模式:
计算目标预测类型编码块在所述输入视频帧对应的前向编码视频帧中的比例,根据所述比例确定所述输入视频帧对应的目标处理模式;
和/或,计算前向编码视频帧中帧内编码块在所述前向编码视频帧中的比例,当所述比例大于第二阈值时,确定所述目标处理模式为下采样处理方式;
和/或,获取所述输入视频帧对应的当前量化参数,获取所述输入视频帧对应的量化参数阈值,根据所述当前量化参数与所述量化参数阈值的大小关系确定所述输入视频帧对应的目标处理模式;
根据所述目标处理模式对所述输入视频帧进行处理,得到待编码帧;
在所述待编码帧的分辨率下,对所述待编码帧进行编码得到所述输入视频帧对应的编码数据。
CN201811329698.6A 2018-11-09 2018-11-09 一种对视频帧进行编码的方法 Pending CN109660796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811329698.6A CN109660796A (zh) 2018-11-09 2018-11-09 一种对视频帧进行编码的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811329698.6A CN109660796A (zh) 2018-11-09 2018-11-09 一种对视频帧进行编码的方法

Publications (1)

Publication Number Publication Date
CN109660796A true CN109660796A (zh) 2019-04-19

Family

ID=66110758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811329698.6A Pending CN109660796A (zh) 2018-11-09 2018-11-09 一种对视频帧进行编码的方法

Country Status (1)

Country Link
CN (1) CN109660796A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636312A (zh) * 2019-09-27 2019-12-31 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
CN110677721A (zh) * 2019-09-27 2020-01-10 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
CN113115067A (zh) * 2021-04-19 2021-07-13 脸萌有限公司 直播系统、视频处理方法及相关装置
US20220060691A1 (en) * 2019-09-27 2022-02-24 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, and related apparatuses
CN114363649A (zh) * 2021-12-31 2022-04-15 北京字节跳动网络技术有限公司 视频处理方法、装置、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636312A (zh) * 2019-09-27 2019-12-31 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
CN110677721A (zh) * 2019-09-27 2020-01-10 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
WO2021057481A1 (zh) * 2019-09-27 2021-04-01 腾讯科技(深圳)有限公司 视频编解码方法和相关装置
WO2021057478A1 (zh) * 2019-09-27 2021-04-01 腾讯科技(深圳)有限公司 视频编解码方法和相关装置
US20210409685A1 (en) * 2019-09-27 2021-12-30 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, and related apparatuses
US20220060691A1 (en) * 2019-09-27 2022-02-24 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, and related apparatuses
CN110636312B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
US12015763B2 (en) * 2019-09-27 2024-06-18 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, and related apparatuses
CN113115067A (zh) * 2021-04-19 2021-07-13 脸萌有限公司 直播系统、视频处理方法及相关装置
CN114363649A (zh) * 2021-12-31 2022-04-15 北京字节跳动网络技术有限公司 视频处理方法、装置、设备及存储介质
CN114363649B (zh) * 2021-12-31 2024-02-09 北京字节跳动网络技术有限公司 视频处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109660796A (zh) 一种对视频帧进行编码的方法
CN104301724B (zh) 视频处理方法、编码设备和解码设备
JP5400876B2 (ja) ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
CN101534436B (zh) 一种视频图像宏块级自适应码率分配方法
US9071841B2 (en) Video transcoding with dynamically modifiable spatial resolution
CN108833916A (zh) 视频编码、解码方法、装置、存储介质和计算机设备
CN103650504B (zh) 基于图像捕获参数对视频编码的控制
CN101529912B (zh) 用于在多通路编码器中高效地进行第一通路编码的方法和设备
CN108769682A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108989802B (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN108848376A (zh) 视频编码、解码方法、装置和计算机设备
CN108769681A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108924553A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN111464815B (zh) 一种基于神经网络的视频编码方法及系统
EP1797722A1 (en) Adaptive overlapped block matching for accurate motion compensation
CN103609115A (zh) 具有基于知觉的帧内切换的模式决策
CN109819263A (zh) 视频编码方法、装置、计算机设备及存储介质
CN109286812B (zh) 一种hevc视频质量估计方法
CN108012163A (zh) 视频编码的码率控制方法及装置
CN107087200A (zh) 针对高效率视频编码标准的跳过编码模式提前判决方法
CN109618159A (zh) 一种基于分辨率对应关系的自适应编码方法
WO2019104611A1 (en) System and method for controlling video coding within image frame
CN108259898A (zh) 基于质量可伸缩视频编码qshvc的帧内快速编码方法
CN109495746A (zh) 一种基于运动矢量调整的视频编码方法
CN109729352A (zh) 确定仿射编码块的运动矢量的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190419