CN112738509B - 视频编码方法、视频解码方法、存储介质以及电子设备 - Google Patents

视频编码方法、视频解码方法、存储介质以及电子设备 Download PDF

Info

Publication number
CN112738509B
CN112738509B CN202110336819.5A CN202110336819A CN112738509B CN 112738509 B CN112738509 B CN 112738509B CN 202110336819 A CN202110336819 A CN 202110336819A CN 112738509 B CN112738509 B CN 112738509B
Authority
CN
China
Prior art keywords
video frame
video
frame
decoded
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110336819.5A
Other languages
English (en)
Other versions
CN112738509A (zh
Inventor
罗开清
俞鸣园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huachuang Video Signal Technology Co Ltd
Original Assignee
Zhejiang Huachuang Video Signal Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huachuang Video Signal Technology Co Ltd filed Critical Zhejiang Huachuang Video Signal Technology Co Ltd
Priority to CN202110336819.5A priority Critical patent/CN112738509B/zh
Publication of CN112738509A publication Critical patent/CN112738509A/zh
Application granted granted Critical
Publication of CN112738509B publication Critical patent/CN112738509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Abstract

本公开涉及一种视频编码方法、视频解码方法、存储介质以及电子设备，涉及视频技术领域，该视频编码方法通过根据编码器GOP大小对每一个GOP中的视频帧进行滤波处理，以去除视频帧中的高频分量，得到滤波后的视频帧，进而对该滤波后的视频帧进行编码，得到编码视频。该视频编码方法通过对解码器解码后的解码视频帧进行锐化，以恢复解码视频帧的高频分量，使得锐化后的图像能够与源视频数据相同。本公开通过在编码前去除视频帧中的高频分量，并在解码阶段恢复视频帧的高频分量，能够有效降低分配给I帧的比特数量，从而提高分配至P帧的比特数量，能够减少Skip块的个数，并有效降低视频编码过程中出现的呼吸效应。

Description

视频编码方法、视频解码方法、存储介质以及电子设备
技术领域
本公开涉及视频技术领域，具体地，涉及一种视频编码方法、视频解码方法、存储介质以及电子设备。
背景技术
视频编码是一种利用视频时域与空域的冗余信息进行视频压缩的技术，现在普遍使用的是一种时空域预测的混合编码方案，该混合编码方法在编码过程得到编码码流，在解码过程则根据编码码流恢复原始的视频。由于编码过程是一种有损的压缩方式，对于简单的前向参考帧结构，被参考帧可以分为两类：I帧和P帧，对于I帧的预测过程可以使用帧内预测，不能参考其他帧，P帧可以参考已经编码的P帧和I帧。由于在编码过程中，I帧会被分配较多的比特，且在编码过程中需要间隔一定周期（GOP周期）设置当前编码帧为I帧才能减少预测过程中误差的累计与传递，P帧分配的比特相对较少，为了达到整体低码率的压缩目标，P帧会产生大量的Skip块（在帧间预测过程中，使用Skip技术进行编码的块）用于节省码率，故解码出来的视频中多数的P帧质量会较差，而每到间隔一个GOP大小的I帧的质量则会突然变好，这一现象称为“呼吸效应”。
尤其是在视频会议的场景下，为了节省带宽，一般会将非关键帧的编码质量进行适当的降低，导致解码后的视频极易出现“呼吸效应”。
发明内容
为解决上述技术问题，本公开实施例提供了一种视频编码方法、视频解码方法、存储介质以及电子设备。
根据本公开实施例的第一方面，提供了一种视频编码方法，包括：
获取源视频数据；
确定用于对所述源视频数据进行编码的编码器的GOP大小；
根据所述GOP大小，确定所述源视频数据中的各个视频帧的滤波强度变化率；
针对所述源视频数据中的每个视频帧，基于所述视频帧对应的滤波强度变化率，确定用于对所述视频帧进行滤波以去除所述视频帧中的高频分量的滤波器的滤波系数；
针对所述源视频数据中的每个视频帧，基于与所述视频帧对应的滤波器对所述视频帧进行滤波处理，得到滤波后的视频帧；
根据所述编码器对所述滤波后的视频帧进行编码，得到编码视频。
在一些实施例中，所述根据所述GOP大小，确定所述源视频数据中的各个视频帧的滤波强度变化率，包括：
针对所述源视频数据中的每个视频帧，根据所述GOP大小，确定所述视频帧与在所述视频帧之前的第一个I帧之间的距离；
根据所述距离，结合第一预设计算式，得到所述视频帧的滤波强度变化率，其中，所述第一预设计算式为：
Figure 680854DEST_PATH_IMAGE001
其中，α为所述滤波强度变化率，idx为所述视频帧与在所述视频帧之前的第一个I帧之间的距离，D为所述GOP大小。
在一些实施例中，所述基于所述视频帧对应的滤波强度变化率，确定用于对所述视频帧进行滤波以去除所述视频帧中的高频分量的滤波器的滤波系数，包括：
基于所述视频帧对应的滤波强度变化率，结合第二预设计算式，确定所述滤波器的滤波系数，其中，所述第二预设计算式为：
Figure 428230DEST_PATH_IMAGE002
Figure 356740DEST_PATH_IMAGE003
其中，
Figure 240383DEST_PATH_IMAGE004
为所述滤波系数，
Figure 979669DEST_PATH_IMAGE005
为对
Figure 699494DEST_PATH_IMAGE006
的离散化采 样，α为所述滤波强度变化率。
在一些实施例中，所述基于与所述视频帧对应的滤波器对所述视频帧进行滤波处理，得到滤波后的视频帧，包括：
将所述视频帧作为对应的滤波器的输入，得到所述滤波后的视频帧；其中，所述滤波器为：
Figure 916849DEST_PATH_IMAGE007
其中，
Figure 186156DEST_PATH_IMAGE008
为所述滤波后的视频帧，
Figure 348541DEST_PATH_IMAGE004
为所述滤波系数。
根据本公开实施例的第二方面，提供了一种视频解码方法，包括：
获取编码视频，其中，所述编码视频是根据如第一方面所述的视频编码方法得到的；
通过解码器对所述编码视频进行解码，得到解码视频帧；
对所述解码视频帧进行锐化处理，以增加所述解码视频帧中的高频分量，得到锐化后的视频帧。
在一些实施例中，所述对所述解码视频帧进行锐化处理，以增加所述解码视频帧中的高频分量，得到锐化后的视频帧，包括：
确定所述解码视频帧的类型；
根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧。
在一些实施例中，所述根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧，包括：
当所述解码视频帧的类型为I帧时，基于第三预设计算式，得到所述锐化后的视频帧；其中，所述第三预设计算式为：
Figure 70509DEST_PATH_IMAGE009
其中，
Figure 842287DEST_PATH_IMAGE010
为所述锐化后的视频帧，
Figure 434942DEST_PATH_IMAGE011
为所述解码视频帧，
Figure 516031DEST_PATH_IMAGE012
为所述解码视频帧的高频分量，
Figure 974563DEST_PATH_IMAGE013
为所述解码视频帧的 上一帧视频帧的高频分量，
Figure 799299DEST_PATH_IMAGE014
为所述解码视频帧的下一帧视频帧的高频分 量。
在一些实施例中，所述根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧，包括：
当所述解码视频帧的类型为P帧时，根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，确定所述解码视频帧的锐化强度；
根据所述解码视频帧的锐化强度，结合第四预设计算式，得到所述锐化后的视频帧；其中，所述第四预设计算式为：
Figure 777620DEST_PATH_IMAGE015
其中，
Figure 514763DEST_PATH_IMAGE010
为所述锐化后的视频帧，
Figure 476903DEST_PATH_IMAGE016
为所述解码视频帧的锐化强度，
Figure 351668DEST_PATH_IMAGE011
为 所述解码视频帧，
Figure 715653DEST_PATH_IMAGE012
为所述解码视频帧的高频分量。
在一些实施例中，所述根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，确定所述解码视频帧的锐化强度，包括：
根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，结合第五预设计算式，确定所述解码视频帧的锐化强度，其中，所述第五预设计算式为：
Figure 889277DEST_PATH_IMAGE017
其中，β为所述解码视频帧的锐化强度，idx为所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，D为所述解码器的GOP的大小。
根据本公开实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例第一方面所述的视频编码方法的步骤。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例第二方面所述的视频解码方法的步骤。
根据本公开实施例的第五方面，提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现如本公开实施例第一方面所述的视频编码方法的步骤。
根据本公开实施例的第六方面，提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现如本公开实施例第二方面所述的视频解码方法的步骤。
通过上述技术方案，在编码阶段对源视频数据中的视频帧进行滤波处理，以去除视频帧中的高频分量，并在解码阶段增加对编码视频进行解码得到的解码视频帧进行锐化处理，以增加解码视频帧中的高频分量，使得解码后的视频与源视频数据更加接近，提升了视频的质量。在编码之前对源视频数据中的视频帧进行滤波处理，去除视频帧中的边缘、纹理等高频分量。可以在编码过程中，有效降低分配给I帧的比特数量，从而提高分配至P帧的比特数量，能够减少Skip块的个数，并有效降低视频编码过程中出现的呼吸效应。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的通信系统的框图；
图2是根据一示例性实施例示出的一种视频编码方法的流程图；
图3是根据一示例性实施例示出的一种GOP的结构示意图；
图4是根据一示例性实施例示出的滤波强度变化率的变化示意图；
图5是根据一示例性实施例示出的一种视频解码方法的流程图；
图6是根据一示例性实施例示出的锐化强度的示意图；
图7是根据一示例性实施例示出的一种电子设备700的框图；
图8是根据一示例性实施例示出的一种电子设备1900的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
根据本公开实施例的一个方面，提供了一种视频编码方法以及一种视频解码方法。可选地，作为一种可选的实施方式，上述视频编码方法、视频解码方法可以但不限于应用于如图1所示的环境中。
图1是根据一示例性实施例示出的通信系统的框图。如图1所示，该通信系统200包括多个在终端装置，终端装置可以通过例如网络彼此通信。在图1的实施例中，第一终端装置210和第二终端装置220执行单向数据传输。举例来说，第一终端装置210可对视频数据，例如由终端装置210采集的视频图片流进行编码以通过网络250传输到第二终端装置220。已编码的视频数据以一个或多个已编码视频码流形式传输。第二终端装置220可从网络250接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。
在另一实施例中，通信系统200包括执行已编码视频数据的双向传输的第三终端装置230和第四终端装置240，双向传输可例如在视频会议期间发生。对于双向数据传输，第三终端装置230和第四终端装置240中的每个终端装置可对视频数据例如由终端装置采集的视频图片流进行编码，以通过网络250传输到第三终端装置230和第四终端装置240中的另一终端装置。第三终端装置230和第四终端装置240中的每个终端装置还可接收由第三终端装置230和第四终端装置240中的另一终端装置传输的已编码视频数据，且可对已编码视频数据进行解码以恢复视频数据，且可根据恢复的视频数据在可访问的显示装置上显示视频图片。
应当理解的是，本公开所公开的主题可以同等地适用于其他支持视频的应用，包括例如视频会议、数字TV、以及包括CD、VCD、DVD、存储棒等的数字介质上存储压缩视频等等。
图2是根据一示例性实施例示出的一种视频编码方法的流程图。该视频编码方法可以应用于电子设备，该电子设备可以是如平板电脑、移动终端、PC、便携式计算机等终端装置。如图2所示，该视频编码方法包括以下步骤：
在步骤110中，获取源视频数据。
这里，源视频数据是指通过摄像头拍摄到的视频数据，该源视频数据是未经过编码器编码的原始视频数据。应当理解的是，源视频数据可以是实时拍摄到的视频数据流，如在在线会议过程中通过摄像头拍摄到的实时视频数据，也可以是通过摄像头拍摄到的一段历史视频数据。
在步骤120中，确定用于对所述源视频数据进行编码的编码器的GOP大小。
这里，GOP（Group Of Picture，画面组），是指在前向预测参考帧结构中，两个I帧之间的距离。该GOP大小是可以根据实际情况设置的，即在编码前设置编码器的GOP大小。
图3是根据一示例性实施例示出的一种GOP的结构示意图。如图3所示，在一个GOP中，其第一帧以及最后一帧为I帧，其第一帧与最后一帧之间的视频帧为P帧。其中，I帧表示关键帧，可以理解为这一帧画面的完整保留；在解码时只需要I帧的本帧数据就可以完成。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，在解码时需要利用之前缓存的画面叠加上P帧本帧定义的差别，生成最终画面。
在步骤130中，根据所述GOP大小，确定所述源视频数据中的各个视频帧的滤波强度变化率。
这里，由于GOP大小是指两个I帧之间的距离，因此，可以根据GOP大小确定源视频数据中的每一帧视频帧的滤波强度变化率。例如，对于I帧与P帧的滤波强度变化率不同，不同位置的P帧与P帧的滤波强度变化率也可以不同。
在步骤140中，针对所述源视频数据中的每个视频帧，基于所述视频帧对应的滤波强度变化率，确定用于对所述视频帧进行滤波以去除所述视频帧中的高频分量的滤波器的滤波系数。
这里，针对每一个视频帧，其对应的滤波器的滤波系数不同，该滤波系数与该视频帧的滤波强度变化率相关。例如，I帧与P帧的滤波系数可以不同，不同的P帧与P帧的滤波系数可以不同。
在步骤150中，针对所述源视频数据中的每个视频帧，基于与所述视频帧对应的滤波器对所述视频帧进行滤波处理，得到滤波后的视频帧；
这里，滤波器可以设置为一个滤波强度可变滤波器，即在对一个视频帧进行滤波之前，先根据该视频帧的滤波强度变化率确定滤波器的滤波系数，利用该滤波系数确定滤波器的滤波强度，然后利用该滤波强度的滤波器对该视频帧进行滤波处理，以在不同程度上去除每一个GOP中的I帧与P帧中的高频分量。其中，高频分量包括图像纹理信息、图像边缘信息。
应当理解的是，在实际应用过程中，也可以通过设置多个滤波系数不同的滤波器，在对视频帧进行滤波之前，计算该视频帧的滤波系数，从而匹配与该滤波系数相对应的滤波器对该视频帧进行滤波处理。
在步骤160中，根据所述编码器对所述滤波后的视频帧进行编码，得到编码视频。
这里，在对视频帧进行滤波之后，利用编码器对滤波后的视频帧进行编码，得到源视频数据对应的编码视频，该编码视频是一种编码序列。
值得说明的是，利用编码器对视频帧进行编码是常规技术手段，如利用帧间预测的编码器对视频帧进行编码，因此，在本公开中不对编码器的具体工作原理进行赘述。
其中，应当理解的是，在编码过程中，可以是滤波器对一帧视频帧进行滤波得到滤波后的视频帧后，利用编码器对该滤波后的视频帧进行编码。也可以是在对一个GOP大小的视频帧进行滤波之后，再利用该编码器对一个GOP大小的视频帧进行编码。其可以根据实际应用场景进行设置。
由此，本公开提供的视频编码方法，在编码之前对源视频数据中的视频帧进行滤波处理，去除视频帧中的边缘、纹理等高频分量。可以在编码过程中，有效降低分配给I帧的比特数量，从而提高分配至P帧的比特数量，能够减少Skip块的个数，并有效降低视频编码过程中出现的呼吸效应。
在一些可实现的实施方式中，步骤130中，根据所述GOP大小，确定所述源视频数据中的各个视频帧的滤波强度变化率，包括：
针对所述源视频数据中的每个视频帧，根据所述GOP大小，确定所述视频帧与在所述视频帧之前的第一个I帧之间的距离；
根据所述距离，结合第一预设计算式，得到所述视频帧的滤波强度变化率，其中，所述第一预设计算式为：
Figure 650297DEST_PATH_IMAGE001
其中，α为所述滤波强度变化率，idx为所述视频帧与在所述视频帧之前的第一个I帧之间的距离，D为所述GOP大小。
这里，在编码过程中，源视频数据被分割为多个GOP，针对每一个GOP中的每一个视频帧，均可以利用第一预设计算式计算得到滤波器当前需要进行滤波的视频帧的滤波强度变化率。例如，GOP大小为9，当前视频帧为5，则第1帧视频帧以及第9帧视频帧为I帧，当前视频帧的idx为4，该当前视频帧的滤波强度变化率为0.02*4/9。
图4是根据一示例性实施例示出的滤波强度变化率的变化示意图。如图4所示，通过第一预设计算式可以看到，在每一个GOP中，该GOP中I帧滤波强度变化率为0，对于位于GOP/2位置的P帧，其滤波强度变化率最大，且从第一帧I帧至GOP/2位置，滤波强度变化率逐步增大，而从GOP/2位置至第二帧I帧，滤波强度变化率逐步减小，在第二帧I帧处的滤波强度变化率为0。
应当理解的是，在上述实施方式中虽然限定了滤波强度变化率可以通过第一预设计算式计算得到，但在实际应用过程中，可以设定每一个GOP中的I帧的滤波变化率为0，位于GOP/2位置处的P帧的滤波强度变化率为0.01，且从第一帧I帧至GOP/2位置，滤波强度变化率逐步增大，以及从GOP/2位置至第二帧I帧，滤波强度变化率逐步减小。
由此，在编码过程中，对于I帧和P帧可以分配不同数量的比特，能够相对降低I帧的比特数量，还能有效降低P帧的Skip块的数量，提升P帧的质量，降低I帧P帧之间的质量差异，改善呼吸效应。而且，对于P帧，采用不同的滤波强度变化率进行滤波，从而让P帧不至于与I帧的高频分量相差较大，既降低了码率，又保证了编码视频在时序上高频分量的流畅性。
在一些可实现的实施方式中，步骤140中，基于所述视频帧对应的滤波强度变化率，确定用于对所述视频帧进行滤波以去除所述视频帧中的高频分量的滤波器的滤波系数，包括：
基于所述视频帧对应的滤波强度变化率，结合第二预设计算式，确定所述滤波器的滤波系数，其中，所述第二预设计算式为：
Figure 551257DEST_PATH_IMAGE002
Figure 238590DEST_PATH_IMAGE003
其中，
Figure 583115DEST_PATH_IMAGE004
为所述滤波系数，
Figure 988689DEST_PATH_IMAGE005
为对
Figure 693339DEST_PATH_IMAGE006
的离散化采 样，α为所述滤波强度变化率。
这里，滤波强度与滤波器经傅里叶变换之后在频域的关系如下所示：
Figure 752956DEST_PATH_IMAGE018
其中，Gam(x)为Gamma函数，其可以表达为：
Figure 517649DEST_PATH_IMAGE019
对于每一个GOP，I帧的滤波强度变化率为0，滤波器的滤波强度最大，则I帧去除的高频分量最多。
在一些可实现的实施方式中，步骤150中，基于所述视频帧对应的滤波强度变化率，确定用于对所述视频帧进行滤波以去除所述视频帧中的高频分量的滤波器的滤波系数，包括：
基于所述视频帧对应的滤波强度变化率，结合第二预设计算式，确定所述滤波器的滤波系数，其中，所述第二预设计算式为：
Figure 410519DEST_PATH_IMAGE002
Figure 404014DEST_PATH_IMAGE003
其中，
Figure 65939DEST_PATH_IMAGE004
为所述滤波系数，
Figure 1534DEST_PATH_IMAGE005
为对
Figure 630968DEST_PATH_IMAGE006
的离散化采 样，α为所述滤波强度变化率。
这里，在设计滤波器时，由于图像坐标是离散的二维变量，因此，可以使用离散采 样的方式对
Figure 411842DEST_PATH_IMAGE006
进行采样得到滤波器。
在一个可实现的实施方式中，步骤150中，基于与所述视频帧对应的滤波器对所述视频帧进行滤波处理，得到滤波后的视频帧，包括：
将所述视频帧作为对应的滤波器的输入，得到所述滤波后的视频帧；其中，所述滤波器为：
Figure 193853DEST_PATH_IMAGE020
其中，
Figure 51082DEST_PATH_IMAGE008
为所述滤波后的视频帧，
Figure 918544DEST_PATH_IMAGE004
为所述滤波系数。
这里，对于P帧和I帧采用上述滤波器进行滤波，由于I帧的滤波强度变化率为0，Student’s-t分布近似为标准高斯分布，故此时的滤波器近似为高斯滤波，对I帧的滤波效果最强。
图5是根据一示例性实施例示出的一种视频解码方法的流程图。如图5所示，该视频编码方法包括以下步骤：
在步骤210中，获取编码视频，其中，所述编码视频是根据如上述实施例中任一项所述的视频编码方法得到的。
这里，编码视频是通过上述实施例中任一项所述的视频编码方法得到的，在此不再对编码视频的编码过程进行说明。
在步骤220中，通过解码器对所述编码视频进行解码，得到解码视频帧。
这里，解码器在对编码视频进行解码时，可以根据编码器对源视频数据进行编码时的GOP大小来确定解码器解码时的GOP大小，即可以将解码器的GOP大小设置为编码器的GOP大小。应当理解的是，解码器对编码视频进行解码的过程为现有技术，在此不再赘述。
在步骤230中，对所述解码视频帧进行锐化处理，以增加所述解码视频帧中的高频分量，得到锐化后的视频帧。
这里，解码器在对编码视频进行解码得到解码视频帧之后，对该解码视频帧进行锐化处理。其中，锐化处理是增加解码视频帧中的高频分量，如增加解码视频帧中的纹理信息、边缘信息，以对在编码阶段损失的高频分量进行补偿，从而使得解码视频帧能够更加贴合源视频数据的质量。
应当理解的是，锐化处理可以是解码器解码得到一帧解码视频之后，就对该解码视频帧进行锐化处理，也可以是对一个GOP的视频数据进行解码后，对该GOP中的解码视频帧依次进行锐化处理。
由此，通过在编码阶段去除视频帧的高频分量，并在解码阶段恢复该视频帧的高频分量，能够在保持码率不变甚至节省一定码率的情况下，对视频帧的质量进行改善。
在一些可实现的实施方式中，步骤230中，对所述解码视频帧进行锐化处理，以增加所述解码视频帧中的高频分量，得到锐化后的视频帧，可以包括以下步骤：
在步骤231中，确定所述解码视频帧的类型。
这里，解码视频帧的类型包括I帧和P帧，关于I帧以及P帧已经在上述实施例中进行了详细说明，在此不再赘述。
其中，在一些实施例中，可以通过解码器的GOP确定解码视频帧的类型。例如，根据GOP大小，确定解码器正在解码的当前解码视频帧的类型时I帧还是P帧。当该当前解码视频帧与在所述当前解码视频帧之前的第一个I帧之间的距离为0或GOP大小时，说明该当前解码视频帧为I帧，否则为P帧。
在步骤232中，根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧。
这里，对于不同的解码视频帧的类型，可以采用不同锐化强度进行锐化处理。例如，在编码阶段I帧的高频分量去除得最多，则在解码阶段，对I帧进行锐化的锐化强度应当最大，以补偿高频分量损失。而针对P帧，由于不同的P帧滤波强度不同，因此，不同的P帧锐化强度也可以不同。
由此，对I帧和P帧进行不同强度的锐化，可以在准确恢复出在编码阶段被模糊掉的纹理、边缘等高频分量，可以使解码后的解码视频帧能够贴合源视频数据的质量。
在一些可实现的实施方式中，步骤232中，根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧，包括：
当所述解码视频帧的类型为I帧时，基于第三预设计算式，得到所述锐化后的视频帧；其中，所述第三预设计算式为：
Figure 15026DEST_PATH_IMAGE021
其中，
Figure 385964DEST_PATH_IMAGE010
为所述锐化后的视频帧，
Figure 928941DEST_PATH_IMAGE011
为所述解码视频帧，
Figure 503273DEST_PATH_IMAGE012
为所述解码视频帧的高频分量，
Figure 157108DEST_PATH_IMAGE013
为所述解码视频帧的 上一帧视频帧的高频分量，
Figure 382553DEST_PATH_IMAGE014
为所述解码视频帧的下一帧视频帧的高频分 量。
这里，当解码器当前解码的解码视频帧为I帧时，则通过第三预设计算式对该I帧进行锐化。其中，对I帧进行锐化，是以该I帧的前一帧P帧以及后一帧P帧的高频分量作为参考的。在确定该P帧的锐化强度之后，则通过第四预设计算式对该P帧进行锐化，得到锐化后的视频帧。
在一些可实现的实施方式中，步骤232中，根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧，包括：
当所述解码视频帧的类型为P帧时，根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，确定所述解码视频帧的锐化强度；
根据所述解码视频帧的锐化强度，结合第四预设计算式，得到所述锐化后的视频帧；其中，所述第四预设计算式为：
Figure 80120DEST_PATH_IMAGE015
其中，
Figure 922174DEST_PATH_IMAGE010
为所述锐化后的视频帧，
Figure 114121DEST_PATH_IMAGE016
为所述解码视频帧的锐化强度，
Figure 210384DEST_PATH_IMAGE011
为 所述解码视频帧，
Figure 829584DEST_PATH_IMAGE012
为所述解码视频帧的高频分量。
这里，当解码器当前解码的解码视频帧为P帧时，需要根据该P帧与在该P帧之前的第一个I帧之间的距离，进而根据该距离确定该P帧的锐化强度。即对于一个GOP中的P帧，分布在不同位置上的P帧需要根据该距离来计算。
其中，在一个实施例中，可以根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，结合第五预设计算式，确定所述解码视频帧的锐化强度，其中，所述第五预设计算式为：
Figure 893355DEST_PATH_IMAGE022
其中，β为所述解码视频帧的锐化强度，idx为所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，D为所述解码器的GOP的大小。
图6是根据一示例性实施例示出的锐化强度的示意图。如图6所示，通过第五预设计算式可以看到，在每一个GOP中，该GOP中I帧的锐化强度最大，对于位于GOP/2位置的P帧，其锐化强度最小，且从第一帧I帧至GOP/2位置，锐化强度逐步减小，而从GOP/2位置至第二帧I帧，锐化强度逐步增大。
由此，在解码过程中，可以根据编码过程中每一个GOP中的I帧、P帧去除的高频分量的程度进行相应锐化强度的锐化，使得锐化后的视频帧能够恢复在编码阶段中被去除的高频分量，使得锐化后的视频帧能与源视频数据更加贴切。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出（I/O）接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的视频编码方法或视频解码方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（Static Random Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信（Near FieldCommunication，简称NFC），2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路（Application Specific Integrated Circuit，简称ASIC）、数字信号处理器（DigitalSignal Processor，简称DSP）、数字信号处理设备（Digital Signal Processing Device，简称DSPD）、可编程逻辑器件（Programmable Logic Device，简称PLD）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的视频编码方法或视频解码方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的视频编码方法或视频解码方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的视频编码方法或视频解码方法。
图8是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图8，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可以被配置为执行该计算机程序，以执行上述的视频编码方法或视频解码方法。
另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出（I/O）接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的视频编码方法或视频解码方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的视频编码方法或视频解码方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的视频编码方法或视频解码方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (13)

1.一种视频编码方法，其特征在于，包括：
获取源视频数据；
确定用于对所述源视频数据进行编码的编码器的GOP大小；
根据所述GOP大小，确定所述源视频数据中的各个视频帧的滤波强度变化率；
针对所述源视频数据中的每个视频帧，基于所述视频帧对应的滤波强度变化率，确定用于对所述视频帧进行滤波以去除所述视频帧中的高频分量的滤波器的滤波系数；
针对所述源视频数据中的每个视频帧，基于与所述视频帧对应的滤波器对所述视频帧进行滤波处理，得到滤波后的视频帧；
根据所述编码器对所述滤波后的视频帧进行编码，得到编码视频；
其中，所述根据所述GOP大小，确定所述源视频数据中的各个视频帧的滤波强度变化率，包括：
针对所述源视频数据中的每个视频帧，根据所述GOP大小，确定所述视频帧与在所述视频帧之前的第一个I帧之间的距离；根据所述距离，结合第一预设计算式，得到所述视频帧的滤波强度变化率。
2.根据权利要求1所述的视频编码方法，其特征在于，所述第一预设计算式为：
Figure DEST_PATH_IMAGE002
其中，α为所述滤波强度变化率，idx为所述视频帧与在所述视频帧之前的第一个I帧之间的距离，D为所述GOP大小。
3.根据权利要求1所述的视频编码方法，其特征在于，所述基于所述视频帧对应的滤波强度变化率，确定用于对所述视频帧进行滤波以去除所述视频帧中的高频分量的滤波器的滤波系数，包括：
基于所述视频帧对应的滤波强度变化率，结合第二预设计算式，确定所述滤波器的滤波系数，其中，所述第二预设计算式为：
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE008
为所述滤波系数，
Figure DEST_PATH_IMAGE010
为对
Figure DEST_PATH_IMAGE012
的离散化采样，α为所述滤波强度变化率，Gam（）为广义相加模型函数，x和y为积分的系数。
4.根据权利要求1所述的视频编码方法，其特征在于，所述基于与所述视频帧对应的滤波器对所述视频帧进行滤波处理，得到滤波后的视频帧，包括：
将所述视频帧作为对应的滤波器的输入，得到所述滤波后的视频帧；其中，所述滤波器为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
为所述滤波后的视频帧，
Figure 674644DEST_PATH_IMAGE008
为所述滤波系数，x和y为所述视频帧中像素点的坐标。
5.一种视频解码方法，其特征在于，包括：
获取编码视频，其中，所述编码视频是根据如权利要求1-4中任一项所述的视频编码方法得到的；
通过解码器对所述编码视频进行解码，得到解码视频帧；
对所述解码视频帧进行锐化处理，以增加所述解码视频帧中的高频分量，得到锐化后的视频帧。
6.根据权利要求5所述的视频解码方法，其特征在于，所述对所述解码视频帧进行锐化处理，以增加所述解码视频帧中的高频分量，得到锐化后的视频帧，包括：
确定所述解码视频帧的类型；
根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧。
7.根据权利要求6所述的视频解码方法，其特征在于，所述根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧，包括：
当所述解码视频帧的类型为I帧时，基于第三预设计算式，得到所述锐化后的视频帧；其中，所述第三预设计算式为：
Figure DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE020
为所述锐化后的视频帧，
Figure DEST_PATH_IMAGE022
为所述解码视频帧，
Figure DEST_PATH_IMAGE024
为所述解码视频帧的高频分量，
Figure DEST_PATH_IMAGE026
为所述解码视频帧的上一帧视频帧的高频分量，
Figure DEST_PATH_IMAGE028
为所述解码视频帧的下一帧视频帧的高频分量，x和y为所述解码视频帧中像素点的坐标。
8.根据权利要求6所述的视频解码方法，其特征在于，所述根据所述解码视频帧的类型，对所述解码视频帧进行锐化处理，得到所述锐化后的视频帧，包括：
当所述解码视频帧的类型为P帧时，根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，确定所述解码视频帧的锐化强度；
根据所述解码视频帧的锐化强度，结合第四预设计算式，得到所述锐化后的视频帧；其中，所述第四预设计算式为：
Figure DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE032
为所述锐化后的视频帧，
Figure DEST_PATH_IMAGE034
为所述解码视频帧的锐化强度，
Figure 1501DEST_PATH_IMAGE022
为所述解码视频帧，
Figure DEST_PATH_IMAGE036
为所述解码视频帧的高频分量，x和y为所述解码视频帧中像素点的坐标。
9.根据权利要求8所述的视频解码方法，其特征在于，所述根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，确定所述解码视频帧的锐化强度，包括：
根据所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，结合第五预设计算式，确定所述解码视频帧的锐化强度，其中，所述第五预设计算式为：
Figure DEST_PATH_IMAGE038
其中，β为所述解码视频帧的锐化强度，idx为所述解码视频帧与在所述解码视频帧之前的第一个I帧之间的距离，D为所述解码器的GOP的大小。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的视频编码方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求5-9中任一项所述的视频解码方法的步骤。
12.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现如权利要求1-4中任一项所述的视频编码方法的步骤。
13.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现如权利要求5-9中任一项所述的视频解码方法的步骤。
CN202110336819.5A 2021-03-30 2021-03-30 视频编码方法、视频解码方法、存储介质以及电子设备 Active CN112738509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110336819.5A CN112738509B (zh) 2021-03-30 2021-03-30 视频编码方法、视频解码方法、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110336819.5A CN112738509B (zh) 2021-03-30 2021-03-30 视频编码方法、视频解码方法、存储介质以及电子设备

Publications (2)

Publication Number Publication Date
CN112738509A CN112738509A (zh) 2021-04-30
CN112738509B true CN112738509B (zh) 2021-07-09

Family

ID=75596001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110336819.5A Active CN112738509B (zh) 2021-03-30 2021-03-30 视频编码方法、视频解码方法、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN112738509B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146227A (zh) * 2007-09-10 2008-03-19 中国科学院研究生院 嵌套式渐进可伸缩性三维小波视频编码算法
JP5705833B2 (ja) * 2010-04-13 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像復号化方法
RU2530313C2 (ru) * 2010-05-07 2014-10-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ управления кодированием видео, устройство кодирования видео и программа кодирования видео
US20200213589A1 (en) * 2019-01-02 2020-07-02 Qualcomm Incorporated Buffer update of stored adaptive loop filter (alf) coefficients for random access coding in video coding
CN112399176B (zh) * 2020-11-17 2022-09-16 深圳市创智升科技有限公司 一种视频编码方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112738509A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US20230254515A1 (en) Filtering video data using a plurality of filters
US9414086B2 (en) Partial frame utilization in video codecs
US9635374B2 (en) Systems and methods for coding video data using switchable encoders and decoders
US20130051467A1 (en) Hybrid inter/intra prediction in video coding systems
US11006149B2 (en) Non-transform coding
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
KR20140110008A (ko) 객체 검출 정보에 따른 인코딩
WO2012122798A1 (zh) 编码方法以及装置、解码方法以及装置
Abou-Elailah et al. Fusion of global and local motion estimation for distributed video coding
CN114501010A (zh) 图像编码方法、图像解码方法及相关装置
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
US20060133490A1 (en) Apparatus and method of encoding moving picture
US20130243102A1 (en) Method and apparatus for arithmetic coding and termination
CN114257818A (zh) 视频的编、解码方法、装置、设备和存储介质
CN112702602A (zh) 一种视频编解码的方法及存储介质
CN112738509B (zh) 视频编码方法、视频解码方法、存储介质以及电子设备
US10992946B2 (en) Coding of video and audio with initialization fragments
US20140044167A1 (en) Video encoding apparatus and method using rate distortion optimization
JP2009111625A (ja) 映像符号化装置及び映像符号化方法
WO2021057676A1 (zh) 视频编解码方法、装置、电子设备及可读存储介质
US20200382806A1 (en) Efficient coding of source video sequences partitioned into tiles
CN117136540A (zh) 残差编码方法及设备、视频编码方法及设备、存储介质
CN111988621A (zh) 视频处理器训练方法、装置、视频处理装置及视频处理方法
CN110636332A (zh) 一种视频处理方法、装置及计算机可读存储介质
US20240144439A1 (en) Filtering method and apparatus, computer-readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant