CN113852816A - 视频帧处理方法、装置、计算机设备和可读存储介质 - Google Patents

视频帧处理方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN113852816A
CN113852816A CN202111145211.0A CN202111145211A CN113852816A CN 113852816 A CN113852816 A CN 113852816A CN 202111145211 A CN202111145211 A CN 202111145211A CN 113852816 A CN113852816 A CN 113852816A
Authority
CN
China
Prior art keywords
video frame
coding block
current coding
block
original video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111145211.0A
Other languages
English (en)
Inventor
刘宇
孙汝峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111145211.0A priority Critical patent/CN113852816A/zh
Publication of CN113852816A publication Critical patent/CN113852816A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种视频帧处理方法、装置、计算机设备以及计算机可读存储介质，通过在预处理阶段，针对不同的待处理的原始视频帧，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；根据复杂度，选择预设的采样倍率对待处理的原始视频帧进行自适应下采样，得到初始视频帧。本申请在预处理阶段，针对不同的视频帧，根据其复杂度，选择不同的倍率进行下采样，对于复杂度越高的视频帧，采样倍率越高，在降低了视频的码流大小的同时，保证视频的质量。

Description

视频帧处理方法、装置、计算机设备和可读存储介质
技术领域
本申请涉及视频编解码技术领域，特别是涉及一种视频帧处理方法、装置、计算机设备和计算机可读存储介质。
背景技术
随着数字媒体技术和计算机技术的发展，视频应用于各个领域，如移动通信、网络监控、网络电视等。随着硬件性能和屏幕分辨率的提高，用户对高清视频的需求日益强烈。越高清的视频，其码率越大，对于网络的要求也就越高。在低码率通道下，存在高清视频传输困难的问题。
现有的技术一般使用静态的视频预处理决策，即在编码之前对视频帧进行统一采样预处理，以在低码率下保证视频质量。对所有视频帧进行统一的预处理，会给部分视频带来不必要的质量损失，导致视频质量低的问题。
针对相关技术中，存在的在低码率通道传输的视频质量低的问题，目前尚未提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种视频帧处理方法、装置、计算机设备和计算机可读存储介质，以解决相关技术中存在的在低码率通道传输的视频质量低的问题。
第一个方面，本申请实施例了一种视频帧处理方法，包括以下步骤：
针对待处理的原始视频帧，计算所述原始视频帧的图像二维熵；
根据所述原始视频帧的宽度和高度、QP值及所述图像二维熵信息，计算各个所述待处理的原始视频帧的复杂度；
根据所述复杂度，选择对应的预设下采样倍率对所述待处理的原始视频帧进行下采样，得到初始视频帧。
在其中一些实施例中，还包括以下步骤：
针对下采样得到的所述初始视频帧，在进行编码块划分时，若当前所述编码块的划分标志为NoSplit，则根据当前所述编码块的宽度和高度以及当前所述编码块的图像一维熵信息，确定是否对当前所述编码块继续划分；
根据划分结果，对所有所述编码块进行编码处理，得到所述初始视频帧的编码数据。
在其中一些实施例中，还包括以下步骤：
将解码后的视频帧划分成多个块单元，根据所述块单元的图像一维熵信息，确定对所述块单元是否继续划分；
若终止划分，则使用最邻近插值法对所述块单元进行上采样。
在其中一些实施例中，若确定对所述块单元继续划分，则将所述块单元划分成多个子块；
根据所述子块的图像一维熵信息，选择预设的插值模式对所述子块进行上采样。
在其中一些实施例中，所述块单元的大小为128×128，若确定对所述块单元继续划分，则将所述块单元划分成4个64x64的所述子块。
在其中一些实施例中，所述将解码后的视频帧划分成多个块单元，包括以下步骤：
若所述解码后的视频帧的宽和高不同时为块单元大小的倍数，则将所述解码后的视频帧划分成多个所述块单元，将剩余的部分进行边缘拟合处理，得到多个边缘块，并对所述边缘块使用最邻近插值法进行上采样。
在其中一些实施例中，所述根据所述复杂度，选择对应的预设下采样倍率对所述待处理的原始视频帧进行下采样，得到初始视频帧，其中预设下采样倍率的选择包括：
若当前所述原始视频帧的所述复杂度超过第一阈值且小于第二阈值，则选择所述原始视频帧的所述下采样倍率为2；
若当前所述原始视频帧的所述复杂度超过第二阈值且当前所述原始视频帧的宽和高的大小都为3的倍数，则选择所述原始视频帧的所述下采样倍率为3；
若当前所述原始视频帧的所述复杂度超过第二阈值且当前所述原始视频帧的宽和高的大小不同时为3的倍数，则选择所述原始视频帧的所述下采样倍率为2；其中，所述第一阈值小于所述第二阈值。
在其中一些实施例中，所述针对下采样得到的所述初始视频帧，在进行编码块划分时，若当前所述编码块的划分标志为NoSplit，则根据当前所述编码块的宽度和高度以及当前所述编码块的图像一维熵信息，确定是否对当前所述编码块继续划分，包括以下步骤：
若当前所述编码块的划分标志为NoSplit，计算当前所述编码块的图像一维熵信息；
若当前所述编码块的图像一维熵信息大于预设的第三阈值、当前所述编码块的宽和高相等、并且前所述编码块的宽和高都超过32，则修改当前所述编码块的划分标志为QTSplit，对当前所述编码块进行四叉树划分；
若当前所述编码块的图像一维熵信息大于所述第三阈值、当前所述编码块的宽和高都小于32、并且当前所述编码块的父块的划分方式为非水平方向划分，则在满足VVC可划分的条件下，修改当前所述编码块的划分标志为BvSplit，对当前所述编码块进行二叉垂直划分；
若当前所述编码块的图像一维熵信息大于所述第三阈值、当前所述编码块的宽和高都小于32、并且当前所述编码块的父块的划分方式为水平方向划分，则在满足VVC可划分的条件下，修改当前所述编码块的划分标志为BhSplit，对当前所述编码块进行二叉水平划分。
在其中一些实施例中，所述QP值在预先获取的配置文件中设置，所述QP值取值为22、27、32或37。
第二个方面，在本实施例中提供了一种视频帧处理装置，所述装置包括：二维熵计算模块、复杂度计算模块和下采样模块：
所述二维熵计算模块，用于针对待处理的原始视频帧，计算所述原始视频帧的图像二维熵；
所述复杂度计算模块，根据所述原始视频帧的宽度和高度、QP值及所述图像二维熵信息，计算各个所述待处理的原始视频帧的复杂度；
所述下采样模块，用于根据所述复杂度，选择对应的预设下采样倍率对所述待处理的原始视频帧进行下采样，得到初始视频帧。
第三个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述方法的步骤。
第四个方面，在本实施例中提供了计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一个方面所述的方法的步骤。
上述视频帧处理方法、装置、计算机设备和计算机可读存储介质，通过在预处理阶段，针对不同的待处理的原始视频帧，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；根据复杂度，选择预设的采样倍率对待处理的原始视频帧进行自适应下采样，得到初始视频帧。本申请在预处理阶段，针对不同的视频帧，根据其复杂度，选择不同的倍率进行下采样，在降低了视频的码流大小的同时，保证视频的质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的视频帧处理方法的应用场景图；
图2是根据本申请实施例提供的视频帧处理方法的流程图一；
图3是根据本申请实施例提供的视频帧处理方法的流程图二；
图4是根据本申请实施例提供的视频帧处理方法的流程图三；
图5是根据本申请实施例提供的视频帧处理装置的结构示意图；
图6是根据本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
图1为本申请一个实施例提供的视频帧处理方法的应用场景图。如图1所示，服务器101与移动终端102之间均可以通过网络进行数据传输。其中，移动终端102用于采集原始视频，并将原始视频传输至服务器101中。在服务器101接收到该原始后，提取待处理的原始视频帧，在预处理阶段，针对不同的待处理的原始视频帧，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；根据复杂度，选择预设的采样倍率对待处理的原始视频帧进行自适应下采样，得到初始视频帧。其中，服务器101可以由独立的服务器或者是多个服务器组成的服务器集群来实现，移动终端102可以为摄像机、手机等视频采集设备。
本申请实施例提供了一种视频帧处理方法，可用于视频编解码技术领域中的视频帧处理，如图2所示，该方法包括如下步骤：
步骤S210，针对待处理的原始视频帧，计算原始视频帧的图像二维熵。
步骤S220，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度。
具体地，上述原始视频帧可以是摄像机或者照相机直接拍摄到的原始视频帧，也可以是从不同的视频网站上获取到的原始视频帧。原始视频帧的QP(QuantizerParameter，量化参数)值反映了视频帧空间细节压缩情况。QP值可以通过配置文件进行设置。图像二维熵在反映图像所包含的信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。待处理的原始视频帧的复杂度是综合原始视频帧的宽度和高度、QP值及图像二维熵信息三方面的考量，相互关系可以由以下公式表达：
curcpx＝α·(H×W)+β·QPvalue+γ·H2；
其中，curcpx代表复杂度，H代表待处理的原始视频帧的高，W代表待处理的原始视频帧的宽，QPvalue代表待处理的原始视频帧的QP值，H2代表视频帧的图像二维熵，α为高和宽与复杂度之间的相关因子、β为QP值与复杂度之间的相关因子、γ为图像二维熵与复杂度之间的相关因子，可以通过概率模型(如正态分布)、神经网络的训练、传统的迭代尝试等方式获得这些相关因子，相关因子的值越大说明与这个因素越相关。
步骤S230，根据复杂度，选择对应的预设下采样倍率对待处理的原始视频帧进行下采样，得到初始视频帧。
具体地，通过上述步骤S220，不同的待处理的原始视频帧可以得到相应的复杂度，预先可以根据复杂度的范围设置不同的下采样倍率，对于复杂度越高的视频帧，设置的采样倍率越高，不同的待处理的原始视频帧根据自身的复杂度所处的范围选择下采样倍率，根据此下采样倍率对原始视频帧进行下采样，得到初始视频帧。
相关技术中，一般使用静态的视频预处理决策，即在编码之前对视频帧进行统一采样预处理，以在低码率下保证视频质量。对所有视频帧进行统一的预处理，会给部分视频带来不必要的质量损失，导致视频质量低的问题。本申请通过上述步骤S210至S230，通过在预处理阶段，针对不同的待处理的原始视频帧，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；根据复杂度，选择预设的采样倍率对待处理的原始视频帧进行自适应下采样，得到初始视频帧。本实施例在预处理阶段，针对不同的视频帧，根据其复杂度，选择不同的倍率进行下采样，对于复杂度越高的视频帧，采样倍率越高，在降低了视频的码流大小的同时，保证视频的质量。
如图3所示，在其中一个实施例中，本申请提供的视频帧处理方法还包括以下步骤：
步骤S240，针对下采样得到的初始视频帧，在进行编码块划分时，若当前编码块的划分标志为NoSplit，则根据当前编码块的宽度和高度以及当前编码块的图像一维熵信息，确定是否对当前编码块继续划分。
具体地，在视频传输过程中，对视频要进行编码处理，而视频编码过程中，需要对视频帧进行编码块的划分。现有技术中，根据VVC(Versatile Video Coding，通用编码标准)的编码标准对初始视频帧进行编码块划分，若当前编码块的划分标志为NoSplit时，代表继续划分不值得，所以会停止划分。本实施例在当前编码块的划分标志为NoSplit时，根据当前编码块的宽度和高度以及当前编码块的图像一维熵信息，确定是否对当前编码块继续划分。通过在当前编码块的宽度和高度以及当前编码块的图像一维熵信息满足可划分条件时，对当前编码块继续划分，从而保证解码后的视频帧质量进一步提高。
步骤S250，根据划分结果，对所有编码块进行编码处理，得到初始视频帧的编码数据。
具体地，在对初始视频帧进行编码块划分后，需要对划分后的编码块进行帧内预测、帧间预测、变换、量化、熵编码等过程，得到初始视频帧的编码数据。
上述步骤S240至S250，对于采样后的视频帧，在进行编码块划分时，在当前编码块的划分标志为NoSplit时，根据当前编码块的宽度和高度以及其当前编码块的图像一维熵信息确定是否对当前编码块继续划分，使编码块的划分更加精细，以更好地对下采样之后的视频质量进行弥补。
在其中一个实施例中，本申请提供的视频帧处理方法还包括以下步骤：
步骤S260，将解码后的视频帧划分成多个块单元，根据块单元的图像一维熵信息，确定对块单元是否继续划分；
步骤S270，若终止划分，则使用最邻近插值法对块单元进行上采样。
为了对解码后的视频帧需要进行重建，在此实施例中对解码后的视频帧进行上采样以完成重建。具体地，首先，将解码后的视频整划分成多个块单元，块单元的大小可以预先设置，块单元的大小可以是128×128或者64x64等。在块单元的图像一维熵信息未超过预设的划分阈值的情况下，停止对当前块单元继续划分，并使用最邻近插值法对当前块单元进行上采样。至于上采样的倍率可以根据需求制定，为了使插值后的视频帧的宽高和下采样之前的视频帧的宽高保持一致，可以使当前视频帧的上采样的倍率等于下采样倍率。
本实施例通过对解码后的视频帧进行上采样，可以实现对视频帧的重建，在不损失视频帧的质量的同时放大解码后的视频帧,从而使解码后的视频适应更高分辨率的显示设备。
进一步地，在其中一个实施例中，若确定对块单元继续划分，则将块单元划分成多个子块；
根据子块的图像一维熵信息，选择预设的插值模式对子块进行上采样。
具体地，在块单元的图像一维熵信息超过预设的划分阈值的情况下，对当前块单元继续划分成多个子块，子块的大小根据块单元的大小来确定。一般是将块单元平均分成4个同样大小的子块。根据子块的图像一维熵信息是否超过预设的划分阈值，选择预设的插值模式对子块进行上采样。比如在当前子块的图像一维熵信息超过预设的划分阈值的情况下，使用双线性插值法对当前子块进行上采样，在当前子块的图像一维熵信息未超过预设的划分阈值的情况下，使用最邻近插值法对当子块进行上采样。为了使上采样的视频帧显示正常，子块的上采样倍率需和块单元的上采样倍率保持一致。
双线性插值法相对于用最邻近插值法，计算量更大，但视频的重建质量更好。本实施例根据子块的图像一维熵信息执行不同的插值决策，在减少计算量的同时，可以进一步提升视频重建质量。
在其中一个实施例中，块单元的大小为128×128，若确定对块单元继续划分，则将块单元划分成4个64x64的子块。
本实施例将块单元的大小设置成128×128，和VVC的编码块大小相对应，可以最大程度上减少VVC编码对于边缘处理带来的影响，进一步提高视频的重建质量。
在其中一个实施例中，将解码后的视频帧划分成多个块单元，包括以下步骤：
若解码后的视频帧的宽和高不同时为块单元大小的倍数，则将解码后的视频帧划分成多个块单元，将剩余的部分进行边缘拟合处理，得到多个边缘块，并对边缘块使用最邻近插值法进行上采样。
具体地，可能会出现视频帧的长宽不同时为预设的块单元大小的倍数，在将解码后的视频帧进行视频重建时，将足够的块单元划分出来之后，当前视频帧剩余的部分进行边缘拟合处理。比如将剩余的部分划分成128x64、128x32、32x32等等边缘块，确保最终将剩余的部分划分完成，且边缘块全部采用最邻近插值法进行上采样。
本实施例明确了解码后的视频帧的宽和高不同时为预设的块单元大小的倍数的情况下，对解码后的视频帧剩余的部分的处理方式，有效实现时频重建。
在其中一个实施例中，上述步骤S230根据复杂度，选择对应的预设下采样倍率对待处理的原始视频帧进行自适应下采样，得到初始视频帧，其中预设下采样倍率的选择包括以下步骤：
步骤S231，若当前原始视频帧的复杂度超过第一阈值且小于第二阈值，则选择原始视频帧的下采样倍率为2。
步骤S232，若当前原始视频帧的复杂度超过第二阈值且当前原始视频帧的宽和高的大小都为3的倍数，则选择原始视频帧的下采样倍率为3。
步骤S233，若当前原始视频帧的复杂度超过第二阈值且当前原始视频帧的宽和高的大小不同时为3的倍数，则选择原始视频帧的下采样倍率为2；其中，第一阈值小于第二阈值。
具体地，第一阈值和第二阈值可以根据实际需求进行设置，通过上述步骤S231至S233，针对不同的视频帧，根据其复杂度结合宽度和高度，选择不同的倍率进行下采样，在降低了视频的码流大小的同时，保证视频的质量。
在其中一个实施例中，上述步骤S240针对下采样得到的初始视频帧，在进行编码块划分时，若当前编码块的划分标志为NoSplit，则根据当前编码块的宽度和高度以及当前编码块的图像一维熵信息，确定是否对当前编码块继续划分，包括以下步骤：
S241，若当前编码块的划分标志为NoSplit，计算当前编码块的图像一维熵信息；
S242，若当前编码块的图像一维熵信息大于预设的第三阈值、当前编码块的宽和高相等、并且前编码块的宽和高都超过32，则修改当前编码块的划分标志为QTSplit，对当前编码块进行四叉树划分；
S243，若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为非水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BvSplit，对当前编码块进行二叉垂直划分；
S244，若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BhSplit，对当前编码块进行二叉水平划分。
具体地，第三阈值可以根据实际需求进行设置。VVC可划分条件是VVC编码自带的判断方式，比如当前编码块的大小已经达到VCC编码设定的最小块的大小，则无法继续编码块的划分。或者已经进行混合树划分的编码块，不能再进行四叉树划分等。
通过上述步骤S241至S244，明确了在当前编码块的划分标志为NoSplit，根据当前编码块的宽度和高度以及当前编码块的图像一维熵信息，对当前编码块继续划分的方式，使编码块的划分更加精细，有效弥补下采样之后的视频质量。
在其中一个实施例中，QP值在预先获取的配置文件中设置，QP值取值为22、27、32或37。
本实施例明确了QP值的获取方式及明确了QT值的大小，为获取原始视频帧的下采样倍率奠定基础。
在本实施例中还提供了一种视频帧处理方法，如图4所示，该流程包括如下步骤：
步骤S310，根据当前原始视频帧的宽度和高度、QP值及图像二维熵信息，计算当前原始视频帧的复杂度。
步骤S311，若当前原始视频帧的复杂度是否超过第二阈值且当前原始视频帧的宽和高的大小都为3的倍数，则选择下采样倍率为3对原始视频帧进行下采样。
步骤S312，若当前原始视频帧的复杂度超过第二阈值当前原始视频帧的宽和高的大小不同时为3的倍数，则选择下采样倍率为2对原始视频帧进行下采样。
步骤S313，若当前原始视频帧的复杂度超过第一阈值且未超过第二阈值则选择下采样倍率为2对原始视频帧进行下采样。
步骤S314，针对下采样得到的初始视频帧，在进行编码块划分时，若当前编码块的划分标志为NoSplit，计算当前编码块的图像一维熵信息。
步骤S315，若当前编码块的图像一维熵信息大于预设的第三阈值、当前编码块的宽和高相等、并且前编码块的宽和高都超过32，则修改当前编码块的划分标志为QTSplit，对当前编码块进行四叉树划分。
步骤S316，若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为非水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BvSplit，对当前编码块进行二叉垂直划分。
步骤S317，若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BhSplit，对当前编码块进行二叉水平划分。
步骤S318，对于解码后的视频帧，将其划分成128x128大小的块单元，并计算块单元的图像一维熵信息。
步骤S319，判断当前块单元的图像一维熵信息是否超过第四阈值，若是，则执行步骤S320，若否，则执行步骤S321。
步骤S320，对当前块单元继续划分，将当前块单元划分成4个64x64大小的子块。
步骤S321，对当前块单元使用最邻近插值法进行上采样，上采样倍率等于当前视频帧的下采样倍率。
步骤S322，判断当前子块的图像一维熵信息是否超过第四阈值，若是，则执行步骤S323，若否，则执行步骤S324。
步骤S323，对当前子块使用双线性插值法进行上采样，上采样倍率等于当前视频帧的下采样倍率。
步骤S324，对当前子块使用最邻近插值法进行上采样，上采样倍率等于当前视频帧的下采样倍率。
图5是根据本发明实施例中视频帧处理装置的示意图，如图5所示，提供了一种视频帧处理装置40，该装置包括二维熵计算模块41、复杂度计算模块42和下采样模块43，其中：
二维熵计算模块41，用于针对待处理的原始视频帧，计算原始视频帧的图像二维熵；
复杂度计算模块42，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；
下采样模块43，用于根据复杂度，选择对应的预设下采样倍率对待处理的原始视频帧进行下采样，得到初始视频帧。
上述视频帧处理装40，通过在预处理阶段，针对不同的待处理的原始视频帧，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；根据复杂度，选择预设的采样倍率对待处理的原始视频帧进行自适应下采样，得到初始视频帧。在预处理阶段，针对不同的视频帧，根据其复杂度，选择不同的倍率进行下采样，对于复杂度越高的视频帧，采样倍率越高，在降低了视频的码流大小的同时，保证视频的质量。
在其中一个实施例中，视频帧处理装40还包括深度补偿模块，用于针对下采样得到的初始视频帧，在进行编码块划分时，若当前编码块的划分标志为NoSplit，则根据当前编码块的宽度和高度以及当前编码块的图像一维熵信息，确定是否对当前编码块继续划分；
根据划分结果，对所有编码块进行编码处理，得到初始视频帧的编码数据。
在其中一个实施例中，视频帧处理装置40还包括上采样模块，用于将解码后的视频帧划分成多个块单元，根据块单元的图像一维熵信息，确定对块单元是否继续划分；
若终止划分，则使用最邻近插值法对块单元进行上采样。
在其中一个实施例中，上采样模块还用于若确定对块单元继续划分，则将块单元划分成多个子块；
根据子块的图像一维熵信息，选择预设的插值模式对子块进行上采样。
在其中一个实施例中，块单元的大小为128×128，若确定对块单元继续划分，则将块单元划分成4个64x64的子块。
在其中一个实施例中，上采样模块还用于若解码后的视频帧的宽和高不同时为块单元大小的倍数，则将解码后的视频帧划分成多个块单元，将剩余的部分进行边缘拟合处理，得到多个边缘块，并对边缘块使用最邻近插值法进行上采样。
在其中一个实施例中，下采样模块43还用于预设下采样倍率的选择，包括若当前原始视频帧的复杂度超过第一阈值且小于第二阈值，则选择原始视频帧的下采样倍率为2；
若当前原始视频帧的复杂度超过第二阈值且当前原始视频帧的宽和高的大小都为3的倍数，则选择原始视频帧的下采样倍率为3；
若当前原始视频帧的复杂度超过第二阈值且当前原始视频帧的宽和高的大小不同时为3的倍数，则选择原始视频帧的下采样倍率为2；其中，第一阈值小于第二阈值。
在其中一个实施例中，深度补偿模块还用于若当前编码块的划分标志为NoSplit，计算当前编码块的图像一维熵信息；
若当前编码块的图像一维熵信息大于预设的第三阈值、当前编码块的宽和高相等、并且前编码块的宽和高都超过32，则修改当前编码块的划分标志为QTSplit，对当前编码块进行四叉树划分；
若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为非水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BvSplit，对当前编码块进行二叉垂直划分；
若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BhSplit，对当前编码块进行二叉水平划分。
在其中一个实施例中，QP值在预先获取的配置文件中设置，QP值取值为22、27、32或37。
需要说明地是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件实现，也可以通过硬件来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设配置信息集合。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述视频帧处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频帧处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
在预处理阶段，针对待处理的原始视频帧，计算原始视频帧的图像二维熵；
根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；
根据复杂度，选择对应的预设下采样倍率对待处理的原始视频帧进行下采样，得到初始视频帧。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对下采样得到的初始视频帧，在进行编码块划分时，若当前编码块的划分标志为NoSplit，则根据当前编码块的宽度和高度以及当前编码块的图像一维熵信息，确定是否对当前编码块继续划分；
根据划分结果，对所有编码块进行编码处理，得到初始视频帧的编码数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将解码后的视频帧划分成多个块单元，根据块单元的图像一维熵信息，确定对块单元是否继续划分；
若终止划分，则使用最邻近插值法对块单元进行上采样。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若确定对块单元继续划分，则将块单元划分成多个子块；
根据子块的图像一维熵信息，选择预设的插值模式对子块进行上采样。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
块单元的大小为128×128，若确定对块单元继续划分，则将块单元划分成4个64x64的子块。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若解码后的视频帧的宽和高不同时为块单元大小的倍数，则将解码后的视频帧划分成多个块单元，将剩余的部分进行边缘拟合处理，得到多个边缘块，并对边缘块使用最邻近插值法进行上采样。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若当前原始视频帧的复杂度超过第一阈值且小于第二阈值，则选择原始视频帧的下采样倍率为2；
若当前原始视频帧的复杂度超过第二阈值且当前原始视频帧的宽和高的大小都为3的倍数，则选择原始视频帧的下采样倍率为3；
若当前原始视频帧的复杂度超过第二阈值且当前原始视频帧的宽和高的大小不同时为3的倍数，则选择原始视频帧的下采样倍率为2；其中，第一阈值小于第二阈值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若当前编码块的划分标志为NoSplit，计算当前编码块的图像一维熵信息；
若当前编码块的图像一维熵信息大于预设的第三阈值、当前编码块的宽和高相等、并且前编码块的宽和高都超过32，则修改当前编码块的划分标志为QTSplit，对当前编码块进行四叉树划分；
若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为非水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BvSplit，对当前编码块进行二叉垂直划分；
若当前编码块的图像一维熵信息大于第三阈值、当前编码块的宽和高都小于32、并且当前编码块的父块的划分方式为水平方向划分，则在满足VVC可划分的条件下，修改当前编码块的划分标志为BhSplit，对当前编码块进行二叉水平划分。
在一个实施例中，QP值在预先获取的配置文件中设置，QP值取值为22、27、32或37。
上述存储介质，通过在预处理阶段，针对不同的待处理的原始视频帧，根据原始视频帧的宽度和高度、QP值及图像二维熵信息，计算各个待处理的原始视频帧的复杂度；根据复杂度，选择预设的采样倍率对待处理的原始视频帧进行自适应下采样，得到初始视频帧。在预处理阶段，针对不同的视频帧，根据其复杂度，选择不同的倍率进行下采样，对于复杂度越高的视频帧，采样倍率越高，在降低了视频的码流大小的同时，保证视频的质量。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种视频帧处理方法，其特征在于，包括以下步骤：
针对待处理的原始视频帧，计算所述原始视频帧的图像二维熵；
根据所述原始视频帧的宽度和高度、QP值及所述图像二维熵信息，计算各个所述待处理的原始视频帧的复杂度；
根据所述复杂度，选择对应的预设下采样倍率对所述待处理的原始视频帧进行下采样，得到初始视频帧。
2.根据权利要求1所述的视频帧处理方法，其特征在于，还包括以下步骤：
针对下采样得到的所述初始视频帧，在进行编码块划分时，若当前所述编码块的划分标志为NoSplit，则根据当前所述编码块的宽度和高度以及当前所述编码块的图像一维熵信息，确定是否对当前所述编码块继续划分；
根据划分结果，对所有所述编码块进行编码处理，得到所述初始视频帧的编码数据。
3.根据权利要求1或2所述的视频帧处理方法，其特征在于，还包括以下步骤：
将解码后的视频帧划分成多个块单元，根据所述块单元的图像一维熵信息，确定对所述块单元是否继续划分；
若终止划分，则使用最邻近插值法对所述块单元进行上采样。
4.根据权利要求3所述的视频帧处理方法，其特征在于，若确定对所述块单元继续划分，则将所述块单元划分成多个子块；
根据所述子块的图像一维熵信息，选择预设的插值模式对所述子块进行上采样。
5.根据权利要求4所述的视频帧处理方法，其特征在于，所述块单元的大小为128×128，若确定对所述块单元继续划分，则将所述块单元划分成4个64x64的所述子块。
6.根据权利要求3所述的视频帧处理方法，其特征在于，所述将解码后的视频帧划分成多个块单元，包括以下步骤：
若所述解码后的视频帧的宽和高不同时为块单元大小的倍数，则将所述解码后的视频帧划分成多个所述块单元，将剩余的部分进行边缘拟合处理，得到多个边缘块，并对所述边缘块使用最邻近插值法进行上采样。
7.根据权利要求1或2所述的视频帧处理方法，其特征在于，所述根据所述复杂度，选择对应的预设下采样倍率对所述待处理的原始视频帧进行下采样，得到初始视频帧，其中预设下采样倍率的选择包括：
若当前所述原始视频帧的所述复杂度超过第一阈值且小于第二阈值，则选择所述原始视频帧的所述下采样倍率为2；
若当前所述原始视频帧的所述复杂度超过第二阈值且当前所述原始视频帧的宽和高的大小都为3的倍数，则选择所述原始视频帧的所述下采样倍率为3；
若当前所述原始视频帧的所述复杂度超过第二阈值且当前所述原始视频帧的宽和高的大小不同时为3的倍数，则选择所述原始视频帧的所述下采样倍率为2；其中，所述第一阈值小于所述第二阈值。
8.根据权利要求2所述的视频帧处理方法，其特征在于，所述针对下采样得到的所述初始视频帧，在进行编码块划分时，若当前所述编码块的划分标志为NoSplit，则根据当前所述编码块的宽度和高度以及当前所述编码块的图像一维熵信息，确定是否对当前所述编码块继续划分，包括以下步骤：
若当前所述编码块的划分标志为NoSplit，计算当前所述编码块的图像一维熵信息；
若当前所述编码块的图像一维熵信息大于预设的第三阈值、当前所述编码块的宽和高相等、并且前所述编码块的宽和高都超过32，则修改当前所述编码块的划分标志为QTSplit，对当前所述编码块进行四叉树划分；
若当前所述编码块的图像一维熵信息大于所述第三阈值、当前所述编码块的宽和高都小于32、并且当前所述编码块的父块的划分方式为非水平方向划分，则在满足VVC可划分的条件下，修改当前所述编码块的划分标志为BvSplit，对当前所述编码块进行二叉垂直划分；
若当前所述编码块的图像一维熵信息大于所述第三阈值、当前所述编码块的宽和高都小于32、并且当前所述编码块的父块的划分方式为水平方向划分，则在满足VVC可划分的条件下，修改当前所述编码块的划分标志为BhSplit，对当前所述编码块进行二叉水平划分。
9.根据权利要求1或2所述的视频帧处理方法，其特征在于，所述QP值在预先获取的配置文件中设置，所述QP值取值为22、27、32或37。
10.一种视频帧处理装置，其特征在于，所述装置包括：二维熵计算模块、复杂度计算模块和下采样模块：
所述二维熵计算模块，用于针对待处理的原始视频帧，计算所述原始视频帧的图像二维熵；
所述复杂度计算模块，根据所述原始视频帧的宽度和高度、QP值及所述图像二维熵信息，计算各个所述待处理的原始视频帧的复杂度；
所述下采样模块，用于根据所述复杂度，选择对应的预设下采样倍率对所述待处理的原始视频帧进行下采样，得到初始视频帧。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法的步骤。
CN202111145211.0A 2021-09-28 2021-09-28 视频帧处理方法、装置、计算机设备和可读存储介质 Pending CN113852816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111145211.0A CN113852816A (zh) 2021-09-28 2021-09-28 视频帧处理方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111145211.0A CN113852816A (zh) 2021-09-28 2021-09-28 视频帧处理方法、装置、计算机设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN113852816A true CN113852816A (zh) 2021-12-28

Family

ID=78980429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111145211.0A Pending CN113852816A (zh) 2021-09-28 2021-09-28 视频帧处理方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113852816A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115119016A (zh) * 2022-06-29 2022-09-27 王雨佳 一种信息数据加密算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115119016A (zh) * 2022-06-29 2022-09-27 王雨佳 一种信息数据加密算法

Similar Documents

Publication Publication Date Title
CN108495130B (zh) 视频编码、解码方法和装置、终端、服务器和存储介质
CN105959700B (zh) 视频图像编码的方法、装置、存储介质和终端设备
CN110798690B (zh) 视频解码方法、环路滤波模型的训练方法、装置和设备
CN110166771B (zh) 视频编码方法、装置、计算机设备和存储介质
Zhang et al. Video compression artifact reduction via spatio-temporal multi-hypothesis prediction
US11399178B2 (en) Method and device for transmitting block division information in image codec for security camera
US10812832B2 (en) Efficient still image coding with video compression techniques
KR20200050284A (ko) 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법
CN111669595A (zh) 一种屏幕内容编码方法、装置、设备和介质
KR20150047379A (ko) 비디오 인코딩 장치 그리고 이의 구동 방법
CN113852816A (zh) 视频帧处理方法、装置、计算机设备和可读存储介质
CN110740316A (zh) 数据编码方法及装置
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
GB2519289A (en) Method and apparatus for displacement vector component transformation in video coding and decoding
CN116848843A (zh) 可切换的密集运动向量场插值
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
CN112218087B (zh) 图像编码和解码方法、编码和解码装置、编码器及解码器
CN113658073A (zh) 图像去噪处理方法、装置、存储介质与电子设备
CN100525373C (zh) 图像处理设备、显示设备、图像处理方法以及图像处理程序
CN116982262A (zh) 视频编码中依赖性量化的状态转换
CN113347425A (zh) 信息处理方法及装置、设备、存储介质
CN116708793B (zh) 视频的传输方法、装置、设备及存储介质
US11711540B2 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
CN116760983B (zh) 用于视频编码的环路滤波方法及装置
WO2023133888A1 (zh) 图像处理方法、装置、遥控设备、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination