CN109803144B

CN109803144B - 视频编解码方法、装置、系统及电子设备

Info

Publication number: CN109803144B
Application number: CN201811594900.8A
Authority: CN
Inventors: 孙冰晶; 肖戈
Original assignee: Beijing Kaishida Technology Co ltd
Current assignee: Beijing Kaishida Technology Co ltd
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2021-05-18
Anticipated expiration: 2038-12-25
Also published as: CN109803144A

Abstract

本公开涉及一种视频编解码方法、装置、系统及电子设备，用以解决利用现有技术对高分辨率视频数据进行解码效率不高的技术问题。该方法包括：获取原始图像数据的特征信息；若原始图像数据的特征信息大于预设特征阈值，控制图形处理器GPU对原始图像数据执行第一压缩操作，以得到中间压缩数据，其中，图形处理器GPU支持识别并加载该中间压缩数据；对中间压缩数据执行第二压缩操作，得到目标视频编码数据。

Description

视频编解码方法、装置、系统及电子设备

技术领域

本公开涉及视频技术领域，具体地，涉及一种视频编解码方法、装置、系统及电子设备。

背景技术

随着视频技术趋向高分辨率、高帧率方向发展，图片以及视频数据的分辨率越来越高，相应地，对系统硬件配置的要求也越来越高。在现有技术中，国际视频编解码标准H.265能够实现高效编码，可以同时支持4K(4096×2160)和8K(8192×4320)超高清视频，在有限带宽下可以传输更高质量的网络视频，智能手机、平板机等移动设备通过解码即可直接在线播放高分率视频。然而，在编解码能力一定的图形处理器GPU对高分辨率的视频数据进行解码时，若视频数据的分辨率高于图形处理器GPU的硬解能力上限值，则无法通过GPU对视频数据进行解码，导致视频解码效率不高。

发明内容

本公开的目的是提供一种视频编解码方法、装置、系统及电子设备，用以解决利用现有技术对高分辨率视频数据进行解码效率不高的技术问题。

为了实现上述目的，本公开第一方面提供一种视频编码方法，所述方法包括：

获取原始图像数据的特征信息；

若所述原始图像数据的特征信息大于预设特征阈值，控制图形处理器GPU对所述原始图像数据执行第一压缩操作，以得到中间压缩数据，其中，所述图形处理器GPU支持识别并加载所述中间压缩数据；

对所述中间压缩数据执行第二压缩操作，得到目标视频编码数据。

可选地，所述对所述中间压缩数据执行第二压缩操作，得到目标视频编码数据，包括：

确定所述第二压缩操作的压缩标准；

按照所述压缩标准对所述中间压缩数据进行编码，得到目标视频编码数据，其中，不同的压缩标准对应生成的目标视频编码数据的格式不同。

本公开第二方面提供一种视频解码方法，所述方法包括：

获取如本公开第一方面所述的目标视频编码数据；

对所述目标视频编码数据执行第一解压操作，得到中间压缩数据，其中，图形处理器GPU支持识别并加载所述中间压缩数据；

控制所述图形处理器GPU对所述中间压缩数据执行第二解压操作，以得到原始图像数据。

可选地，所述对所述目标视频编码数据执行第一解压操作，得到中间压缩数据，包括：

根据所述目标视频编码数据的格式确定压缩标准，其中，不同的压缩标准对应生成的目标视频编码数据的格式不同；

按照所述压缩标准对所述目标视频编码数据进行解码，得到中间压缩数据。

本公开第三方面提供一种视频编码装置，所述装置包括：

获取模块，用于获取原始图像数据的特征信息；

第一压缩模块，用于在所述原始图像数据的特征信息大于预设特征阈值时，控制图形处理器GPU对所述原始图像数据执行第一压缩操作，以得到中间压缩数据，其中，所述图形处理器GPU支持识别并加载所述中间压缩数据；

第二压缩模块，用于对所述中间压缩数据执行第二压缩操作，得到目标视频编码数据。

可选地，所述第二压缩模块包括：

确定子模块，用于确定所述第二压缩操作的压缩标准；

编码子模块，用于按照所述压缩标准对所述中间压缩数据进行编码，得到目标视频编码数据，其中，不同的压缩标准对应生成的目标视频编码数据的格式不同。

本公开第四方面提供一种视频解码装置，所述装置包括：

获取模块，用于获取如本公开第三方面所述的目标视频编码数据；

第一解压模块，用于对所述目标视频编码数据执行第一解压操作，得到中间压缩数据，其中，图形处理器GPU支持识别并加载所述中间压缩数据；

第二解压模块，用于控制所述图形处理器GPU对所述中间压缩数据执行第二解压操作，以得到原始图像数据。

可选地，所述第一解压模块包括：

确定子模块，用于根据所述目标视频编码数据的格式确定压缩标准，其中，不同的压缩标准对应生成的目标视频编码数据的格式不同；

解码子模块，用于按照所述压缩标准对所述目标视频编码数据进行解码，得到中间压缩数据。

本公开第五方面提供一种视频编解码系统，所述系统包括本公开第三方面提供的视频编码装置，以及本公开第四方面提供的视频解码装置。

本公开第六方面提供一种电子设备，包括本公开第五方面提供的视频编解码系统。

根据上述技术方案可知，在检测到原始图像数据的特征信息大于预设特征阈值时，如分辨率大于预设分辨率阈值，则控制图形处理器GPU对所述原始图像数据执行一次压缩操作，并得到可由图形处理器GPU直接识别并加载的中间压缩数据，然后对该中间压缩数据执行二次压缩，得到编码完成的目标视频编码数据。由于视频解码为视频编码的逆过程，这样，即使原始图像数据的分辨率高于图形处理器GPU的硬解能力上限值，采用上述编码方法得到的目标视频编码数据，经过一次解压操作得到的中间压缩数据也可通过图形处理器GPU进行二次解码操作，在扩展GPU解码视频的分辨率限制范围的同时，提高了高分辨率视频数据的解码效率，使得高分辨率视频播放更加顺畅。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是本公开实施例提供的一种视频编码方法的流程图；

图2是本公开实施例提供的一种视频解码方法的流程图；

图3是本公开实施例提供的一种视频编码装置的框图；

图4是本公开实施例提供的一种视频解码装置的框图；

图5是本公开实施例提供的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

为了解决利用现有技术对高分辨率视频数据进行解码效率不高的技术问题，本公开实施例提供一种视频编解码方法、装置、系统及电子设备，下面结合具体实施例对本公开提供的技术方案进行详细说明。

图1是本公开实施例提供的一种视频编码方法的流程图，如图1所示，该方法包括以下步骤：

S11、获取原始图像数据的特征信息。

例如，原始图像数据可以为RGB图像序列或者YUV图像序列。原始图像数据的特征信息包括分辨率、帧率、位深等属性信息。

S12、若原始图像数据的特征信息大于预设特征阈值，控制图形处理器GPU对原始图像数据执行第一压缩操作，以得到中间压缩数据。

由于图形处理器GPU不支持对超出硬解码条件上限的视频数据进行硬解码，在确定原始图像数据的编码方式前，先判断原始图像数据的特征信息是否大于预设特征信息，其中，预设特征信息可以设置为小于或者等于GPU的硬解码条件指标的上限值。例如，预设特征阈值是GPU的硬解码的分辨率上限值8K，也就是说GPU可以支持对4K(4096×2160)和8K(8192×4320)超高清视频进行硬解码，但不支持对分辨率大于8K的视频数据进行硬解码。

在一种可能的实施方式中，若通过步骤S11获取得到的原始图像数据的分辨率为16K，大于GPU硬解码的分辨率上限值8K，则可以控制图形处理器GPU对原始图像数据执行第一压缩操作，得到中间压缩数据。值得说明的是，通过执行第一压缩操作所得到的中间压缩数据可由图形处理器GPU直接识别并加载，例如，第一压缩操作可以是对原始图像数据进行纹理压缩，根据GPU支持的纹理压缩标准得到的中间压缩数据可以为dds内存数据，该dds内存数据包括a4r4g4b4、a8r8g8b8、dxt1等多种纹理格式中的至少一种。这样，在视频解码过程中，可以通过GPU对中间压缩数据进行解码，以提高视频数据的解码效率，使得视频播放更加顺畅，功耗更小。

可选地，若原始图像数据的特征信息小于或者等于预设特征阈值也可以使用本公开提供的视频编码方法进行编码。

S13、对中间压缩数据执行第二压缩操作，得到目标视频编码数据。

具体地，首先确定第二压缩操作的压缩标准，然后按照该压缩标准对中间压缩数据进行编码，得到目标视频编码数据，该目标视频编码数据可以放入常见的文件格式容器中。其中，不同的压缩标准对应生成的目标视频编码数据的格式不同，示例地，可以通过中央处理器CPU对中间压缩数据执行无损压缩操作(如ZIP压缩标准或其他常用的无损压缩算法)，得到自定义格式的H.XXX视频编码数据，该视频编码数据可以放入avi、mp4、mkv等格式的容器中。

综上步骤，一种示例性视频数据编码过程如下：对于一张大小为10M的RGB视频帧图片，首先使用GPU纹理压缩标准将该视频帧压缩为5M的中间压缩数据，然后使用CPU对5M的中间压缩数据执行无损压缩，进一步得到大小为2M的目标视频编码帧图片。

由于视频解码为视频编码的逆过程，即使原始图像数据的分辨率高于图形处理器GPU的硬解能力上限值，采用上述编码方法得到的目标视频编码数据，经过一次解压操作得到的中间压缩数据也可通过图形处理器GPU进行二次解码操作。这样，在视频解码过程中，不但扩展了GPU解码视频的分辨率限制范围，提高了高分辨率视频数据的解码效率，使得高分辨率视频播放更加顺畅，还结合利用CPU与GPU，克服了由于显存带宽受限，通过CPU软解码高分辨率视频无法保证高分辨率视频帧速率的技术问题。

图2是本公开实施例提供的一种视频解码方法的流程图，如图2所示，该方法包括以下步骤：

S21、获取目标视频编码数据。

该目标视频编码数据为上述实施例中编码得到的目标视频编码数据。

S22、对目标视频编码数据执行第一解压操作，得到中间压缩数据。

由于视频解码为视频编码的逆过程，不同的压缩标准对应生成的目标视频编码数据的格式不同，因此，在对目标视频编码数据进行解码时，具体操作为：根据目标视频编码数据的格式确定压缩标准，该压缩标准即为视频编码过程中对中间压缩数据执行第二压缩操作的压缩标准，然后按照压缩标准对目标视频编码数据进行解码，得到中间压缩数据。同样地，与编码过程对应，一次解码得到的中间压缩数据可由图形处理器GPU直接识别并加载。

示例地，中央处理器CPU按照二次压缩时使用的ZIP压缩标准或其他常用的无损压缩算法对H.XXX格式的目标视频编码数据执行第一解压操作，得到中间压缩数据，例如，该中间压缩数据为dds内存数据。

S23、控制图形处理器GPU对中间压缩数据执行第二解压操作，以得到原始图像数据。

示例地，dds内存数据包括a4r4g4b4、a8r8g8b8、dxt1等多种纹理格式中的一种或多种，将中间压缩数据传输到GPU，并通过通用的纹理解压方案进行二次解压，输出得到原始图像数据，该原始图像数据直接存放在显存中，可以实现图像数据的加速显示。

综上步骤，一种示例性视频数据解码过程如下：对于大小为2M的目标视频编码帧图片，首先使用CPU执行无损压缩算法将目标视频编码帧图片解压为5M的中间压缩数据，然后使用GPU通用的纹理解压方案将5M的中间压缩数据进一步解压为大小为10M的RGB视频帧图片。

采用上述方法，目标视频编码数据经过一次解压操作得到中间压缩数据，该中间压缩数据可由图形处理器GPU直接识别并加载，因而可通过图形处理器GPU对中间压缩数据进行二次解码操作得到原始图像数据。这样，对于超出GPU硬解能力上限值的高分辨率视频数据，也可通过GPU视频加速解码功能，提高了目标视频编码数据的解码效率，使得高分辨率视频播放更加顺畅。另外，本方案还结合利用CPU与GPU提升解码性能，克服了由于显存带宽受限，通过CPU软解码高分辨率视频无法保证高分辨率视频帧速率的技术问题，

图3是根据一示例性实施例示出的一种视频编码装置的框图，该装置300可以通过软件、硬件或者两者结合实现成为电子设备的部分或者全部。参照图3，该装置300包括：

获取模块31，用于获取原始图像数据的特征信息；

第一压缩模块32，用于在原始图像数据的特征信息大于预设特征阈值时，控制图形处理器GPU对原始图像数据执行第一压缩操作，以得到中间压缩数据，其中，图形处理器GPU支持识别并加载该中间压缩数据；

第二压缩模块33，用于对中间压缩数据执行第二压缩操作，得到目标视频编码数据。

可选地，第二压缩模块33包括确定子模块，用于确定第二压缩操作的压缩标准；编码子模块，用于按照压缩标准对中间压缩数据进行编码，得到目标视频编码数据，其中，不同的压缩标准对应生成的目标视频编码数据的格式不同。

采用上述视频编码装置得到的目标视频编码数据，在解码过程中，经过一次解压操作得到的中间压缩数据可通过图形处理器GPU进行二次解码操作。这样，不但扩展了GPU解码视频的分辨率限制范围，提高了高分辨率视频数据的解码效率，使得高分辨率视频播放更加顺畅，还克服了由于显存带宽受限，通过CPU软解码高分辨率视频无法保证高分辨率视频帧速率的技术问题。

图4是根据一示例性实施例示出的一种视频解码装置的框图，该装置400可以通过软件、硬件或者两者结合实现成为电子设备的部分或者全部。参照图4，该装置400包括：

获取模块41，用于获取通过装置300编码得到的目标视频编码数据；

第一解压模块42，用于对目标视频编码数据执行第一解压操作，得到中间压缩数据，其中，图形处理器GPU支持识别并加载该中间压缩数据；

第二解压模块43，用于控制图形处理器GPU对中间压缩数据执行第二解压操作，以得到原始图像数据。

可选地，第一解压模块42包括确定子模块，用于根据目标视频编码数据的格式确定压缩标准，其中，不同的压缩标准对应生成的目标视频编码数据的格式不同；解码子模块，用于按照压缩标准对目标视频编码数据进行解码，得到中间压缩数据。

采用上述视频解码装置，目标视频编码数据经过一次解压操作得到中间压缩数据，该中间压缩数据可由图形处理器GPU直接识别并加载，因而可通过图形处理器GPU对中间压缩数据进行二次解码操作得到原始图像数据。这样，对于超出GPU硬解能力上限值的高分辨率视频数据，也可以通过GPU视频加速解码功能，提高了视频数据的解码效率，使得高分辨率视频播放更加顺畅。另外，采用本装置还克服了由于显存带宽受限，通过CPU软解码高分辨率视频无法保证高分辨率视频帧速率的技术问题。

本公开实施例还提供一种视频编解码系统，该系统包括：如图3所示的视频编码装置以及如图4所示视频解码装置。

本公开实施例还提供一种电子设备，该电子设备包括上述视频编解码系统。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种电子设备500的框图。如图5所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。

其中，处理器501用于控制该电子设备500的整体操作，以完成上述的视频编码/解码方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的视频编码/解码方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的视频编码/解码方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的视频编码/解码方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims

1.一种视频编码方法，其特征在于，所述方法包括：

获取原始图像数据的特征信息，其中，所述特征信息包括分辨率和位深；

对所述中间压缩数据执行第二压缩操作，得到目标视频编码数据，其中，所述预设特征阈值是GPU的硬解码条件指标的上限值，所述第一压缩操为纹理压缩，所述第二压缩操为无损压缩。

2.根据权利要求1所述的方法，其特征在于，所述对所述中间压缩数据执行第二压缩操作，得到目标视频编码数据，包括：

确定所述第二压缩操作的压缩标准；

3.一种视频解码方法，其特征在于，所述方法包括：

获取如权利要求1所述的目标视频编码数据；

对所述目标视频编码数据执行与所述第一压缩操作对应的第一解压操作，得到中间压缩数据，其中，图形处理器GPU支持识别并加载所述中间压缩数据；

控制所述图形处理器GPU对所述中间压缩数据执行与所述第二压缩操作对应的第二解压操作，以得到原始图像数据。

4.根据权利要求3所述的方法，其特征在于，所述对所述目标视频编码数据执行第一解压操作，得到中间压缩数据，包括：

5.一种视频编码装置，其特征在于，所述装置包括：

获取模块，用于获取原始图像数据的特征信息，其中，所述特征信息包括分辨率和位深；

第二压缩模块，用于对所述中间压缩数据执行第二压缩操作，得到目标视频编码数据，其中，所述预设特征阈值是GPU的硬解码条件指标的上限值，所述第一压缩操为纹理压缩，所述第二压缩操为无损压缩。

6.根据权利要求5所述的装置，其特征在于，所述第二压缩模块包括：

确定子模块，用于确定所述第二压缩操作的压缩标准；

7.一种视频解码装置，其特征在于，所述装置包括：

获取模块，用于获取如权利要求5所述的目标视频编码数据；

第一解压模块，用于对所述目标视频编码数据执行与所述第一压缩操作对应的第一解压操作，得到中间压缩数据，其中，图形处理器GPU支持识别并加载所述中间压缩数据；

第二解压模块，用于控制所述图形处理器GPU对所述中间压缩数据执行与所述第二压缩操作对应的第二解压操作，以得到原始图像数据。

8.根据权利要求7所述的装置，其特征在于，所述第一解压模块包括：

9.一种视频编解码系统，其特征在于，所述系统包括如权利要求5所述的视频编码装置，以及如权利要求7所述的视频解码装置。

10.一种电子设备，其特征在于，包括如权利要求9所述的视频编解码系统。