CN112422978A - 一种智能转码方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种智能转码方法、装置、电子设备和存储介质，其中方法具体包括：接收服务器发送的待转码的视频码流，并对所述视频码流进行软件解码，得到解码后的图像数据；其中，所述待转码的视频码流是指无法通过所述终端进行硬件解码的码流；对所述图像数据进行硬件编码，得到目标视频码流，并将所述目标视频码流回传到所述服务器进行保存。本申请实施例中，针对不能硬件解码的视频码流，利用软件解码的兼容性优势，先对视频码流进行软件解码，再对解码得到的图像数据进行硬件编码得到目标码流，进而基于终端能够硬对自身编码的码流进行硬件解码的特性，保证转码后的目标码流能够被终端硬件解码，解决了终端硬件解码兼容性差的问题。

Description

一种智能转码方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种智能转码方法、装置、电子设备和存储介质。

背景技术

智慧社区门禁应用主要是由管理服务器(简称服务器)以及室外机终端(后简称终端)组成，其中，终端主要完成图像采集、编码、人脸检测、人脸识别与比对、门禁控制等功能，同时因终端上设置有显示屏，服务器可向终端等发送广告等宣传内容，以此作为其增色功能，此时便需要终端同时拥有解码能力以及不错的解码兼容性。

目前终端通常使用专门为该领域开发的ASIC(Application SpecificIntegrated Circuit，专用集成电路)芯片，例如Hisilicon HI3516D芯片。虽然这种设计整体效果较优，但是ASIC芯片内置的处理器性能又无法保证高分辨率码流的流畅软解，使得前述的广告等内容无法完美呈现，而硬件解码虽然能解决软解码流时存在的问题，但是在硬件解码方面，因进一步的成本考虑而未在芯片中设置独立的硬件解码器，而是选择了复用编码器的部分剩余处理能力，致使硬件解码兼容性存在一些问题，部分码流无法实现硬解。

发明内容

本申请实施例提供一种智能转码方法、装置、电子设备和存储介质，以解决现有技术中ASIC芯片硬件解码适应性差问题。

第一方面，本申请实施例提供了一种智能转码方法，应用于终端，方法包括：

接收服务器发送的待转码的视频码流，并对视频码流进行软件解码，得到解码后的图像数据；其中，待转码的视频码流是指无法通过终端进行硬件解码的码流；

对图像数据进行硬件编码，得到目标视频码流，并将目标视频码流回传到服务器进行保存。

第二方面，本申请实施例提供了一种智能转码装置，配置于终端，装置包括：

第一软件解码模块，接收服务器发送的待转码的视频码流，并对视频码流进行软件解码，得到解码后的图像数据；其中，待转码的视频码流是指无法通过终端进行硬件解码的码流；

编码与回传模块，用于对图像数据进行硬件编码，得到目标视频码流，并将目标视频码流回传到服务器进行保存。

第三方面，本申请实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本申请任一实施例的智能转码方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请任一实施例的智能转码方法。

本申请实施例中，针对不能硬件解码的视频码流，利用软件解码的兼容性优势，先对视频码流进行软件解码，再对解码得到的图像数据进行硬件编码得到目标码流，进而基于终端能够硬对自身编码的码流进行硬件解码的特性，保证转码后的目标视频码流能够被终端硬件解码，解决了终端硬件解码兼容性差的问题，而且保证了后续终端在视频播放时的显示效果。

附图说明

图1是根据本申请第一实施例中的智能转码方法的流程示意图；

图2是根据本申请第二实施例中的智能转码方法的流程示意图；

图3是根据本申请第三实施例中的智能转码方法的逻辑流程图；

图4是根据本申请第四实施例中的智能转码装置的结构示意图；

图5是根据本申请第五实施例中的实现智能转码方法的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非所有结构。

图1是根据本申请第一实施例的智能转码方法的流程图，本实施例可适用于通过终端将任一视频文件转码成该终端能够正常硬解码的视频文件的情况，该方法可以由智能转码装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备中，例如集成在智慧社区门禁应用中的室外机终端。

本申请实施例中，终端使用ASIC芯片，实现对服务器发送的视频进行解码，但是这种设计有一定的不足：在硬件解码方面，因进一步的成本考虑而未在芯片中设置独立的硬件解码器，而是选择了复用编码器的部分剩余处理能力，致使硬件解码兼容性存在一些问题，部分码流无法实现硬解。基于此，发明人创造性的提出一种智能转码的方法，主要是基于终端的ASIC芯片能够正常硬解其自身编码的码流的特性，对终端无法实现硬件解码的视频码流进行转码，以实现终端能够对转码后的码流进行硬件解码。

如图1所示，智能转码方法具体包括如下流程：

S101、接收服务器发送的待转码的视频码流，并对视频码流进行软件解码，得到解码后的图像数据，其中，待转码的视频码流是指无法通过终端进行硬件解码的码流。

其中，服务器示例性的为智慧社区门禁应用中的由管理服务器，也可以是其他服务器，在此不做具体限定。服务器可以向终端发送视频文件，以便终端对视频文件进行解码并播放。若服务器确定终端无法对某一视频文件进行硬件解码，则将该视频文件中的每一帧视频数据作为待转码的视频码流，依次发送给终端，由终端对接收到的视频码流进行软件解码，可选的，由终端ASIC芯片内置的处理器经过H.264软解码后得到YUV格式的图像数据。

本申请实施例中，由于ASIC芯片内置的处理器性能不够强大，无法保证高分辨率码流的流畅软解，以使得视频内容无法完美呈现，因此对视频码流软件解码后不直接播放，而是通过S102进行硬件编码。

S102、对图像数据进行硬件编码，得到目标视频码流，并将目标视频码流回传到服务器进行保存。

本申请实施例中，ASIC芯片内置硬件编码器，可利用该硬件编码器对YUV格式的图像数据进行硬件编码，得到H.264格式的目标视频码流。进而将目标视频码流回传到服务器进行保存。需要说明的是，在所有的待转码的视频码流经过软件解码、硬件编码后，服务器将得到的目标视频码流文件标记为硬件匹配文件，也即标记为终端可以硬件解码的文件。进一步的，若服务器向终端发送目标视频码流，终端接收服务器发送的目标视频码流后，对目标视频码流直接进行硬件解码并播放，由此避免对目标视频码流进行软件解码，保证了解码的流畅性，进而保证视频内容的展示效果。

本申请实施例中，针对不能硬件解码的视频码流，利用软件解码的兼容性优势，先对视频码流进行软件解码，再对解码得到的图像数据进行硬件编码得到目标码流，进而基于终端能够对自身编码的码流进行硬件解码的特性，保证转码后的目标码流能够被终端硬件解码，解决了终端硬件解码兼容性差的问题，而且保证了后续终端在视频播放时的显示效果。

图2是根据本申请第二实施例的智能转码方法的流程图，本实施例是在上述实施例的基础上进行优化，参见图2，该方法包括：

S201、响应于服务器发送的终端解码能力查询指令，将终端具备的解码能力反馈给服务器，以使得服务器在确定终端支持硬件解码，且服务器本地没有与终端硬件解码类型匹配的视频文件时，执行发送测试码流的操作。

本申请实施例中，服务器在向终端发送播放请求之前，先向终端发送终端解码能力查询指令，终端在接收到解码能力查询指令后，将终端具备的解码能力反馈给服务器，其中，解码能力包括软件解码、硬件解码和终端支持的硬件解码类型。若服务器在确定终端支持硬件解码时，而且服务器本地没有与终端硬件解码类型匹配的视频文件，则执行发送测试码流的操作，也即执行S202。

在此需要说明的是，若终端只具备软件解码能力，而不具备硬件解码能力，则服务器发送视频文件后，终端接收服务器发送的待解码视频文件，并对待解码视频文件进行软件解码。

S202、接收服务器发送的测试码流，并判断是否支持对测试码流进行硬件解码。

其中，待解码视频文件是指未被标记的视频文件，也即是未确定终端能否对该待解码视频文件进行硬件解码的文件，因此服务器将待解码视频文件里的以I帧为起始的连续序列作为测试码流发送到终端，并指示终端进行硬件解码，其中，连续序列可选的包括预设数量的视频帧数据，例如测试码流是由以I帧为起始的5帧视频数据组成。进而终端接收到测试码流后，判断自身是否支持对测试码流进行硬件解码。若否，则执行S203，若是，则执行S206。

S203、将终端不支持对测试码流进行硬件解码的消息反馈给服务器，以使得服务器将待解码视频文件中视频数据作为待转码的视频码流，并执行发送待转码的视频码流的操作。

服务器在接收到终端不支持对测试码流进行硬件解码的消息后，服务器将待解码视频文件中视频数据作为待转码的视频码流，并按照S204-S205的操作执行转码的流程。

S204、接收服务器发送的待转码的视频码流，并对视频码流进行软件解码，得到解码后的图像数据，其中，待转码的视频码流是指无法通过终端进行硬件解码的码流。

S205、对图像数据进行硬件编码，得到目标视频码流，并将目标视频码流回传到服务器进行保存。

其中，S204-S205的过程可参见上述实施例，在此不再赘述。

S206、将终端支持对测试码流进行硬件解码的消息反馈给服务器。

需要说明的是，在服务器接收到终端支持对测试码流进行硬件解码的消息后，服务器可将待解码视频文件标记为硬件匹配文件。

S207、接收服务器发送的待解码视频文件，并对待解码视频文件进行硬件解码。

终端接收到待解码视频文件后，通过复用编码器的部分剩余处理能力对待解码视频文件进行硬件解码。

本申请实施例中，服务器发送播放请求前，通过指令查询终端的解码能力，只有终端具备硬解能力时，才请求终端硬解视频文件；而且针对未标记的待解码视频文件，通过发送测试码流给终端硬解，根据结果确定是否执行转码流程。

图3是根据本申请第三实施例的智能转码方法的逻辑流程图，本实施例是在上述实施例的基础上进行优化，参见图3，该方法逻辑包括：

本申请实施例中，由服务器和终端配合以实现执行转码的方法。具体的，首先，在服务器准备向终端发送播放请求前，服务器协商获取终端的解码能力，例如向终端发送解码能力查询指令，根据终端的反馈确定终端的解码能力，其中解码能力包括软件解码、硬件解码以及硬件解码类型。

进一步的，若确定终端不支持硬件解码，则直接将视频文件发送给终端进行软件解码，此时视频的分辨率、帧率等存在限制；如终端支持硬件解码，则进一步确认本地服务器是否已有与终端硬解能力或类型相匹配的视频码流文件，也即是确定服务器本地是否存在终端可以硬解的码流文件。若存在，则直接发送至终端进行硬件解码即可；若不存在，则从待发送文件(即待解码文件)中读取以I帧为起始的连续序列作为测试码流发送到终端，以便测试终端是否可正常硬解该测试码流。

若终端可正常硬解该测试码流，则表明终端可以硬解待解码文件，此时服务器可将待解码文件标记为硬件匹配文件，而后发送终端进行硬件解码即可；如无法正常硬解该测试码流，则表明终端不支持硬解待解码文件，此时需要进入转码流程。

转码流程具体包括：服务器向终端发送待转码的视频码流，利用软件解码的兼容性优势，终端可对视频码流进行软件解码，例如由终端ASIC芯片内置的处理器经过H.264软解码后得到YUV格式的图像数据。进而，终端对软解后的YUV图像数据调用硬件编码模块进行编码，并将编码的码流回传给服务器；服务器接收到编码码流后将其保存，而后上述转码的过程，直至待解码文件处理完毕。需要说明的是，基于终端的ASIC芯片可硬解自身编码码流的特性，服务器可将保留下来的文件标记为硬件匹配文件，而后直接发送进行硬件解码即可。

本申请实施例中，通过转码流程，将终端无法硬解的视频文件转换成终端可以硬解的视频文件，由此解决了终端硬件解码兼容性差的问题。

图4是根据本申请第四实施例的智能转码装置的结构示意图，本实施例可适用于通过终端将任一视频文件转码成该终端能够正常硬解码的视频文件的情况，参见图4，该装置包括：

第一软件解码模块401，接收服务器发送的待转码的视频码流，并对视频码流进行软件解码，得到解码后的图像数据；其中，待转码的视频码流是指无法通过终端进行硬件解码的码流；

编码与回传模块402，用于对图像数据进行硬件编码，得到目标视频码流，并将目标视频码流回传到服务器进行保存。

在上述实施例的基础上，可选的，装置还包括：

第一硬解码模块，用于接收服务器发送的所述目标视频码流，对码流进行硬件解码。

在上述实施例的基础上，可选的，装置还包括：

判断模块，用于接收服务器发送的测试码流，并判断是否支持对测试码流进行硬件解码；其中，测试码流为服务器中待解码视频文件里的以I帧起始的连续序列；

第一通知模块，用于在判断结果为否时，将终端不支持对测试码流进行硬件解码的消息反馈给服务器，以使得服务器将待解码视频文件中视频数据作为待转码的视频码流，并执行发送待转码的视频码流的操作。

在上述实施例的基础上，可选的，装置还包括：

第二通知模块，用于若终端支持对测试码流进行硬件解码，则将终端支持对测试码流进行硬件解码的消息反馈给服务器；

第二硬解码模块，用于接收服务器发送的待解码视频文件，并对待解码视频文件进行硬件解码。

在上述实施例的基础上，可选的，装置还包括：

解码能力反馈模块，用于响应于服务器发送的终端解码能力查询指令，将终端具备的解码能力反馈给服务器，以使得服务器在确定终端支持硬件解码，且服务器本地没有与终端硬件解码类型匹配的视频文件时，执行发送测试码流的操作；

其中，解码能力包括软件解码、硬件解码和硬件解码类型。

在上述实施例的基础上，可选的，装置还包括：

第二软件解码模块，用于在终端只具备软件解码能力时，接收服务器发送的待解码视频文件，并对待解码视频文件进行软件解码。

本申请实施例所提供的智能转码装置可执行本申请任意实施例所提供的智能转码方法，具备执行方法相应的功能模块和有益效果。

图5是本申请第六实施例中提供的一种电子设备的结构示意图，。如图5所示结构，本申请实施例中提供的电子设备包括：一个或多个处理器502和存储器501；该电子设备中的处理器502可以是一个或多个，图5中以一个处理器502为例；存储器501用于存储一个或多个程序；一个或多个程序被一个或多个处理器502执行，使得一个或多个处理器502实现如本申请实施例中任一项的智能转码方法。

该电子设备还可以包括：输入装置503和输出装置504。

该电子设备中的处理器502、存储器501、输入装置503和输出装置504可以通过总线或其他方式连接，图5中以通过总线连接为例。

该电子设备中的存储装置501作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本申请实施例中所提供的应用控制方法对应的程序指令/模块。处理器502通过运行存储在存储装置501中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中智能转码方法。

存储装置501可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器501可进一步包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置503可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置504可包括显示屏等显示设备。

并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器502执行时，程序进行如下操作：

接收服务器发送的待转码的视频码流，并对所述视频码流进行软件解码，得到解码后的图像数据；其中，所述待转码的视频码流是指无法通过所述终端进行硬件解码的码流；

对所述图像数据进行硬件编码，得到目标视频码流，并将所述目标视频码流回传到所述服务器进行保存。

当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被一个或者多个处理器502执行时，程序还可以进行本申请任意实施例中所提供的应用控制方法中的相关操作。

本申请的一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行智能转码方法，该方法包括：

接收服务器发送的待转码的视频码流，并对所述视频码流进行软件解码，得到解码后的图像数据；其中，所述待转码的视频码流是指无法通过所述终端进行硬件解码的码流；

对所述图像数据进行硬件编码，得到目标视频码流，并将所述目标视频码流回传到所述服务器进行保存。

可选的，该程序被处理器执行时还可以用于执行本申请任意实施例中所提供的方法。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言(诸如“C”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(例如包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种智能转码方法，其特征在于，应用于终端，所述方法包括：

接收服务器发送的待转码的视频码流，并对所述视频码流进行软件解码，得到解码后的图像数据；其中，所述待转码的视频码流是指无法通过所述终端进行硬件解码的码流；

对所述图像数据进行硬件编码，得到目标视频码流，并将所述目标视频码流回传到所述服务器进行保存。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述服务器发送的所述目标视频码流，对所述码流进行硬件解码。

3.根据权利要求1所述的方法，其特征在于，在接收服务器发送的待转码的视频码流之前，所述方法还包括：

接收服务器发送的测试码流，并判断是否支持对所述测试码流进行硬件解码；其中，所述测试码流为所述服务器中待解码视频文件里的以I帧为起始的连续序列；

若否，则将所述终端不支持对所述测试码流进行硬件解码的消息反馈给所述服务器，以使得所述服务器将所述待解码视频文件中视频数据作为所述待转码的视频码流，并执行发送所述待转码的视频码流的操作。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述终端支持对所述测试码流进行硬件解码，则将所述终端支持对所述测试码流进行硬件解码的消息反馈给所述服务器；

接收所述服务器发送的待解码视频文件，并对所述待解码视频文件进行硬件解码。

5.根据权利要求3所述的方法，其特征在于，在接收服务器发送的测试码流之前，所述方法还包括：

响应于服务器发送的终端解码能力查询指令，将所述终端具备的解码能力反馈给所述服务器，以使得所述服务器在确定所述终端支持硬件解码，且所述服务器本地没有与终端硬件解码类型匹配的视频文件时，执行发送所述测试码流的操作；

其中，解码能力包括软件解码、硬件解码和硬件解码类型。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述终端只具备软件解码能力时，接收所述服务器发送的待解码视频文件，并对所述待解码视频文件进行软件解码。

7.一种智能转码装置，其特征在于，配置于终端，包括：

第一软件解码模块，接收服务器发送的待转码的视频码流，并对所述视频码流进行软件解码，得到解码后的图像数据；其中，所述待转码的视频码流是指无法通过所述终端进行硬件解码的码流；

编码与回传模块，用于对所述图像数据进行硬件编码，得到目标视频码流，并将所述目标视频码流回传到所述服务器进行保存。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

判断模块，用于接收服务器发送的测试码流，并判断是否支持对所述测试码流进行硬件解码；其中，所述测试码流为所述服务器中待解码视频文件里的以I帧为起始的连续序列；

第一通知模块，用于在判断结果为否时，将所述终端不支持对所述测试码流进行硬件解码的消息反馈给所述服务器，以使得所述服务器将所述待解码视频文件中视频数据作为所述待转码的视频码流，并执行发送所述待转码的视频码流的操作。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的智能转码方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的智能转码方法。

Images