CN114422782A - 视频编码方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开提供了一种视频编码方法、装置、存储介质以及电子设备。该方法包括：对视频帧的图像块进行主变换编码以获得第一编码块，并计算第一编码块的率失真代价；确定第一编码块是否为复杂纹理块；在确定第一编码块是复杂纹理块的情况下，输出第一编码块作为最终编码块；在确定第一编码块不是复杂纹理块的情况下，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块，并将第一编码块和所述至少一个LFNST编码块中具有最小率失真代价的编码块输出为最终编码块。根据本公开的视频编码方法能够在保证编码质量的情况下加快编码速度。

Description

视频编码方法、装置、存储介质及电子设备

技术领域

本公开涉及视频编解码领域，尤其涉及一种视频编码方法、视频编码装置、电子设备及计算机可读存储介质。

背景技术

视频的图像数据由视频编码器基于特定数据压缩标准(例如，运动图像专家组(Moving Picture Expert Group,MPEG)标准)被编码，然后被存储在记录介质中或者以比特流的形式通过通信信道被发送。

根据能够再现和存储高分辨率或高质量图像内容的硬件的开发和发布，对用于有效地对高分辨率或高质量图像内容进行编码或解码的编解码器的需求日益增加。近来，已经实现了用于有效地压缩高分辨率或高质量图像内容的方法。在视频编码的应用中，同等视频质量下的编码压缩率是衡量编码效率的重要方式，低频不可分离变换(LFNST)为VVC标准中采纳的一种新的编码工具，通过利用帧内预测的角度模式变换后的系数进行低频分量的二次变换，以提高视频编码的效率。

然而，LFNST工具在不同视频序列中的增益表现具有较大差异，在测试序列上的平均编码时间上有9％的增加，但编码的最差性能为损失0.267％，编码性能的最高增益为2.440％。因此，需要一种加速LFNST编码工具的方法。

发明内容

本公开提供一种视频编码方法、视频编码装置和计算机可读存储介质，以至少解决相关技术中的问题，也可不解决任何上述问题。

根据本公开的实施例的第一方面，提供了一种视频编码方法，包括：对视频帧的图像块进行主变换编码以获得第一编码块，并计算第一编码块的率失真代价；确定第一编码块是否为复杂纹理块；在确定第一编码块是复杂纹理块的情况下，输出第一编码块作为最终编码块；在确定第一编码块不是复杂纹理块的情况下，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块，并将第一编码块和所述至少一个LFNST编码块中具有最小率失真代价的编码块输出为最终编码块。

根据本公开的实施例的第一方面，对视频帧的图像块进行主变换编码包括：对图像块执行离散傅里叶变换DCT；对变换的图像块执行量化和率失真优化RDO以获得第一编码块。

根据本公开的实施例的第一方面，确定第一编码块是否为复杂纹理块包括：确定第一编码块与所述图像块之间的失真度；响应于确定所述失真度大于或等于阈值，确定第一编码块为复杂纹理块；响应于确定所述失真度小于阈值，确定第一编码块不是复杂纹理块。

根据本公开的实施例的第一方面，所述阈值根据以下中的一个被确定：预先设置的阈值；或者所述图像块的大小、量化参数和调整系数的乘积。

根据本公开的实施例的第一方面，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块包括：对第一编码块的部分样点的值执行第一LFNST变换；对执行第一LFNST变换后的第一编码块执行量化和率失真优化RDO以获得第一LFNST编码块；对第一编码块的部分样点的值执行第二LFNST变换；对执行第二LFNST变换后的第一编码块执行量化和RDO以获得第二LFNST编码块。

根据本公开的实施例的第一方面，所述部分样点为编码块的左上角的4×4或8×8的样点。

根据本公开的实施例的第二方面，提供了一种视频编码装置，包括：第一编码单元，被配置为对视频帧的图像块进行主变换编码以获得第一编码块，并计算第一编码块的率失真代价；纹理判断单元，被配置为确定第一编码块是否为复杂纹理块；第二编码单元，被配置为在确定第一编码块不是复杂纹理块的情况下，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块；输出单元，被配置为在确定第一编码块是复杂纹理块的情况下输出第一编码块作为最终编码块，或者，在确定第一编码块不是复杂纹理块的情况下将第一编码块和所述至少一个LFNST编码块中具有最小率失真代价的编码块输出为最终编码块。

根据本公开的实施例的第二方面，第一编码单元被配置为：对图像块执行离散傅里叶变换DCT；对变换的图像块执行量化和率失真优化RDO以获得第一编码块。

根据本公开的实施例的第二方面，纹理判断单元被配置为：确定第一编码块与所述图像块之间的失真度；响应于确定所述失真度大于或等于阈值，确定第一编码块为复杂纹理块；响应于确定所述失真度小于阈值，确定第一编码块不是复杂纹理块。

根据本公开的实施例的第二方面，所述阈值根据以下中的一个被确定：预先设置的阈值；或者图像块的大小、量化参数和调整系数的乘积。

根据本公开的实施例的第二方面，第二编码单元被配置为：对第一编码块的部分样点的值执行第一LFNST变换；对执行第一LFNST变换后的第一编码块执行量化和率失真优化RDO以获得第一LFNST编码块；对第一编码块的部分样点的值执行第二LFNST变换；对执行第二LFNST变换后的第一编码块执行量化和RDO以获得第二LFNST编码块。

根据本公开的实施例的第二方面，所述部分样点为编码块的左上角的4×4或8×8的样点。

根据本公开的实施例的第三方面，提供了一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频编码方法。

根据本公开的实施例的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由视频编码装置/电子设备/服务器的处理器执行时，使得视频编码装置/电子设备/服务器能够执行如上所述的视频编码方法。

根据本公开的实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品中的指令被电子设备中的至少一个处理器运行以执行如上所述的视频编码方法。

本公开的实施例提供的技术方案至少带来以下有益效果：根据图像的纹理复杂程度来跳过LFNST过程，能够在保证编码质量的前提下提高编码速度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是示出根据本公开的示例性实施例的视频编码框架的示意图。

图2是示出根据本公开的示例性实施例的视频编码方法的流程图。

图3是示出根据本公开的示例性实施例的视频编码装置框图。

图4是示出根据本公开的示例性实施例的用于视频编码的电子设备的示意图。

图5是示出根据另一示例性实施例示出的用于视频编码的电子设备的示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

在对本公开的实施例进行详细说明以前，先对本公开的实施例可能涉及到的一些术语或缩略语进行说明。

图1是根据本公开的示例性实施例视频编码框架的示意图。

首先，对于一个图像帧，将该图像帧分割为至少一个编码单元。

然后，将该图像帧输入到编码器中进行编码预测，该过程主要利用视频数据的空间相关性和时间相关性，采用帧内预测或帧间预测去除每个编码单元中将被编码的块的时空域冗余信息，得到每个块在参考帧中的匹配块。

接下来，将匹配块和相应的编码块相减，得到残差块，并对残差块分别进行变换和量化处理，得到量化后的变换系数。这里，变换可包括离散余弦变换(DCT)、快速傅里叶变换(FFT)等。量化处理主要应用于从连续信号到数字信号的转换中，连续信号经过采样成为离散信号，离散信号经过量化即成为数字信号。

然后，将量化后的变换系数进行熵编码。

接下来，将量化后的变换系数进行反量化处理和反变换，得到重构残差块，进而将重构残差块与预测块相加，得到重建图像。

然后，将重建图像经过DB(Deblocking Filter，去块滤波)和SAO(SampleAdaptive Offset，自适应像素补偿)处理后，加入到参考帧队列中，并作为下一帧图像的参考帧。通过循环执行上述的操作使得视频图像能够逐帧地编码。

根据本公开的示例性实施例的视频编码方法在主变换(DCT)之后对频域信号进行二次变换，将信号从一个变换域转换至另外一个变换域，然后再进行量化、熵编码等操作，其目的是进一步去除统计冗余。也就是说，在编码端，在变换和量化之间实现低频不可分离变换LFNST，而在解码端，在反量化和反变换之间实现LFNST。而根据测试可以发现，LFNST工具表现性能较好的图像帧序列为画面较为平整、纹理复杂度较低的图像序列，而表现性能较差的图像帧序列为纹理较为复杂的序列。因此，根据本公开的示例性实施例的视频编码方法在进行LFNST之前，对编码块的图像纹理进行判断，并根据纹理复杂程度来确定是否需要进行LFNST。下面将参照图2对根据本公开的示例性实施例的视频编码方法进行说明。

图2是根据本公开示例性实施例示出的确定编码路径的方法的流程图。

首先，在步骤S210，对视频帧的图像块进行主变换编码以获得第一编码块，并计算第一编码块的率失真代价(RDcost)。这里，可以通过对图像块执行DCT、量化和率失真优化来实现主变换编码。应理解，以上的DCT、量化和率失真优化过程只是主变换编码的一种示例实现方式，本领域的技术人员可根据需要增加其他编码过程。

接下来，在步骤S220，确定第一编码块是否为复杂纹理块。根据本公开的示例性实施例，图像块的纹理越复杂，编码造成的损失越大，图像块的纹理越简单，编码造成的损失越小，编码损失可根据图像块在编码前后的失真度来确定。根据本公开的示例性实施例，可根据第一编码块与原始图像块之间的失真度来确定第一编码块是否为复杂纹理块，并且响应于确定所述失真度大于或等于阈值，确定第一编码块为复杂纹理块，响应于确定所述失真度小于阈值，确定第一编码块不是复杂纹理块。根据编码块与原始图像块之间的失真度来判断编码块是否为纹理块，可以以较小的代价对编码块的纹理复杂程度进行判断，从而可以加快后续的编码速度。

然后，响应于在S220确定第一编码块不是复杂纹理块，在步骤S230，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块，并将第一编码块和所述至少一个LFNST编码块中具有较小率失真代价的编码块输出为最终编码块。

另外，在步骤S240，响应于在S220确定第一编码块是复杂纹理块，输出第一编码块作为最终编码块，而不执行LFNST编码过程。

根据本公开的示例性实施例，可根据以下方式来确定失真度是否超过阈值。

根据本公开的示例性实施例，可根据第一编码块的值与所述图像块的值之间的差的绝对值来确定失真度是否超过阈值。这里，图像块的值可以指的是图像块的每个像素的像素值，第一编码块的值是指图像块在编码后的每个像素的系数值。例如，对于一个8*8的图像块，可将通过DCT变换、量化和RDO操作之后得到的第一编码块的64个样点值与图像块的64个原始样点值之间的差的绝对值之和与预定的经验阈值进行对比来确定第一编码块是否为复杂纹理块。如果差的绝对值之和大于所述预定的阈值，则确定第一编码块为复杂纹理块，否则确定第一编码块为简单纹理块。

根据本公开的示例性实施例，可根据第一编码块的大小与量化参数和调整系数的乘积来确定失真是否超过阈值。也就是说，使用width*height*qp*K来作为阈值，其中，width为图像块的宽度，height为图像块的高度，qp为块量化参数，K为调整乘积系数。当第一编码块与原始图像块之间的差的绝对值之和超过width*height*qp*K时，确定第一编码块为复杂纹理块，否则确定第一编码块为简单纹理块。

应理解，以上的确定阈值的方式仅是示例，本领域的技术人员可使用诸如块大小、量化参数、量化步长等参数及其组合来确定阈值，并根据阈值来确定编码块是否为复杂纹理块。例如，可将图像块的块大小、量化参数和量化步长的乘积作为阈值，并且当编码块与原始图像块之间的差的绝对值超过该阈值时，确定编码块为复杂纹理块。

应理解，以上判断复杂纹理块的方式仅是示例，本领域的技术人员可使用其他参数和方式来确定编码块是否为复杂纹理块。例如，可使用变换后的非0系数的个数、量化后非0系数的个数、编码的码率等来确定编码块是否为复杂纹理块。例如，当编码块的变换后的非0系数的个数或者量化后的非0系数的个数大于特定个数阈值时，可确定编码块为复杂纹理块。或者，当编码块的码率大于特定码率阈值时，可确定编码块为复杂纹理块。

根据本公开的示例性实施例，可对第一编码块执行两次LFNST循环。每一次LFNST循环可包括变换、量化和RDO的流程。与主变换编码过程不同，在LFNST循环中，仅对图像块的部分样点的值执行变换。例如，在VVC标准中，仅对图像块的左上角的4×4或8×8的样点的值执行变换。

例如，对第一编码块执行至少一次LFNST编码以获得至少一个LFNST编码块可通过以下过程来获得两个LFNST编码块。

具体的，对第一编码块的部分样点的值执行第一LFNST变换。然后，对执行变换后的第一编码块执行量化和率失真优化RDO以获得第一LFNST编码块。可以对第一编码块的部分样点的值执行第二LFNST变换，对执行第二LFNST变换后的第一编码块执行量化和RDO以获得第二LFNST编码块。这样，可以在步骤S230计算出第一LFNST编码块和第二LFNST编码块的率失真代价，进而可以将第一编码块、第一LFNST编码块和第二LFNST编码块中具有较小率失真代价的编码块确定为最终要输出的编码块。这里，第一LFNST变换和第二LFNST变换使用不同的变换矩阵来得到不同的变换结果。变换矩阵可由帧内预测模式确定。应理解，上述的LFNST编码的循环过程可以顺序地执行也可以同时平行地执行。

应理解，以上执行LFNST编码的循环过程的次数仅是示例，可以执行更多或更少次数的LFNST编码的循环过程。

根据本公开的示例性实施例的视频编码方法通过对于纹理复杂块的判定来跳过LFNST效果不好的图像块，从而可以提高编码速度并且编码质量损失很小，具有很高的性价比。

图3是示出根据本公开的示例性实施例的视频编码装置的框图。

如图3所示，视频编码装置300可包括：第一编码单元310、纹理判断单元320、第二编码单元330和输出单元340。

第一编码单元310被配置为对视频帧的图像块进行主变换编码以获得第一编码块，并计算第一编码块的率失真代价。

纹理判断单元320被配置为确定第一编码块是否为复杂纹理块。

第二编码单元330被配置为响应于确定第一编码块不是复杂纹理块，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块。

输出单元340被配置为在第一编码块是复杂纹理块时输出第一编码块作为最终编码块，或者在第一编码块不是复杂纹理块时将第一编码块和所述至少一个LFNST编码块中具有最小率失真代价的编码块输出为最终编码块。

根据本公开的示例性实施例，第一编码单元310被配置为：对图像块执行离散傅里叶变换DCT；对变换的图像块执行量化和率失真优化RDO以获得第一编码块。

根据本公开的示例性实施例，纹理判断单元320被配置为：确定第一编码块与所述图像块之间的失真度；响应于确定所述失真度大于或等于阈值，确定第一编码块为复杂纹理块；响应于确定所述失真度小于阈值，确定第一编码块不是复杂纹理块。

根据本公开的示例性实施例，所述阈值根据以下中的一个被确定：预先设置的阈值、或者量化参数和调整系数的乘积。

根据本公开的示例性实施例，第二编码单元330被配置为：对第一编码块的部分样点的值执行第一LFNST变换；对执行第一LFNST变换后的第一编码块执行量化和率失真优化RDO以获得第一LFNST编码块；对第一编码块的部分样点的值执行第二LFNST变换；对执行第二LFNST变换后的第一编码块执行量化和RDO以获得第二LFNST编码块。

根据本公开的示例性实施例，所述部分样点为编码块的左上角的4×4或8×8的样点。

图4是示出根据本公开的示例性实施例的一种用于视频编码的电子设备的结构框图。该电子设备400例如可以是：智能手机、平板电脑、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，电子设备400包括有：处理器401和存储器402。

处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本公开的如图2所示的方法实施例提供的视频编码方法。

在一些实施例中，电子设备400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备包括：射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。

外围设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置在电子设备400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在终端400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在终端400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。

定位组件408用于定位电子设备400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源409用于为电子设备400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。

加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器412可以检测终端400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时，可以检测用户对终端400的握持信号，由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对UI上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置电子设备400的正面、背面或侧面。当电子设备400上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商Logo集成在一起。

光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。

接近传感器416也称距离传感器，通常设置在电子设备400的前面板。接近传感器416用于采集用户与电子设备400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与电子设备400的正面之间的距离逐渐变大时，由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图4中示出的结构并不构成对电子设备400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图5所示为另一种电子设备500的结构框图。例如，电子设备500可以被提供为一服务器。参照图5，电子设备500包括一个或多个处理处理器510以及存储器520。存储器520可以包括用于执行以上的编码方法的一个或一个以上的程序。电子设备500还可以包括一个电源组件530被配置为执行电子设备500的电源管理，一个有线或无线网络接口540被配置为将电子设备500连接到网络，和一个输入输出(I/O)接口550。电子设备500可以操作基于存储在存储器520的操作系统，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM或类似。

根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的视频编码方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成上述视频编码方法。

根据本公开的视频编码方法、装置以及电子设备、计算机可读存储介质可以根据图像的纹理复杂程度来跳过LFNST过程，能够在保证编码质量的前提下提高编码速度。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频编码方法，其特征在于，包括：

对视频帧的图像块进行主变换编码以获得第一编码块，并计算第一编码块的率失真代价；

确定第一编码块是否为复杂纹理块；

在确定第一编码块是复杂纹理块的情况下，输出第一编码块作为最终编码块；

在确定第一编码块不是复杂纹理块的情况下，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块，并将第一编码块和所述至少一个LFNST编码块中具有最小率失真代价的编码块输出为最终编码块。

2.如权利要求1所述的方法，其特征在于，确定第一编码块是否为复杂纹理块包括：

确定第一编码块与所述图像块之间的失真度；

响应于确定所述失真度大于或等于阈值，确定第一编码块为复杂纹理块；

响应于确定所述失真度小于阈值，确定第一编码块不是复杂纹理块。

3.如权利要求2所述的方法，其特征在于，所述阈值根据以下中的一个被确定：

预先设置的阈值；或者

所述图像块的大小、量化参数和调整系数的乘积。

4.如权利要求1所述的方法，其特征在于，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块包括：

对第一编码块的部分样点的值执行第一LFNST变换；

对执行第一LFNST变换后的第一编码块执行量化和率失真优化RDO以获得第一LFNST编码块；

对第一编码块的部分样点的值执行第二LFNST变换；

对执行第二LFNST变换后的第一编码块执行量化和RDO以获得第二LFNST编码块。

5.如权利要求4所述的方法，其特征在于，所述部分样点为编码块的左上角的4×4或8×8的样点。

6.一种视频编码装置，其特征在于，包括：

第一编码单元，被配置为对视频帧的图像块进行主变换编码以获得第一编码块，并计算第一编码块的率失真代价；

纹理判断单元，被配置为确定第一编码块是否为复杂纹理块；

第二编码单元，被配置为在确定第一编码块不是复杂纹理块的情况下，对第一编码块执行至少一次低频不可分离变换LFNST编码以获得至少一个LFNST编码块；

输出单元，被配置为在确定第一编码块是复杂纹理块的情况下输出第一编码块作为最终编码块，或者，在确定第一编码块不是复杂纹理块的情况下将第一编码块和所述至少一个LFNST编码块中具有最小率失真代价的编码块输出为最终编码块。

7.如权利要求6所述的装置，其特征在于，纹理判断单元被配置为：

确定第一编码块与所述图像块之间的失真度；

响应于确定所述失真度大于或等于阈值，确定第一编码块为复杂纹理块；

响应于确定所述失真度小于阈值，确定第一编码块不是复杂纹理块。

8.如权利要求6所述的装置，其特征在于，第二编码单元被配置为：

对第一编码块的部分样点的值执行第一LFNST变换；

对执行第一LFNST变换后的第一编码块执行量化和率失真优化RDO以获得第一LFNST编码块；

对第一编码块的部分样点的值执行第二LFNST变换；

对执行第二LFNST变换后的第一编码块执行量化和RDO以获得第二LFNST编码块。

9.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到5中的任一权利要求所述的视频编码方法。

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由视频编码装置/电子设备/服务器的处理器执行时，使得视频编码装置/电子设备/服务器能够执行如权利要求1至5中任一项所述的视频编码方法。

Images