CN111601107A - 编码方法、解码方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种编码方法、解码方法、装置、电子设备及存储介质。本发明一种编码方法，包括：接收解码端的解码能力参数，根据解码能力参数对流媒体数据进行编码，并将编码后的流媒体数据发送给解码端，使得解码端接收到的流媒体数据正是按照解码端解码能力编码后的数据，可以被解码端识别并解码。

Description

编码方法、解码方法、装置、电子设备及存储介质

技术领域

本发明涉及通信领域，尤其是涉及一种编码方法、解码方法、装置、电子设备及存储介质。

背景技术

随着实时流媒体技术的发展，视频直播对带宽和网络质量要求在快速增长。运营商网络带宽和网络质量各不相同，因此如何能提供一个比较好的视频质量成为一个重要的指标。

目前，实时流媒体技术中编码端通常采用固定的编码格式，例如：H264或者是H265，忽略了解码端的解码能力，会导致编码端发送的流媒体格式无法被解码端解码的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出编码方法、解码方法、装置、电子设备及存储介质，能够针对不同解码端的解码能力参数提供对应编码格式的流媒体数据并发送给解码端，使得解码端可以识别编码端发送的流媒体格式。

根据本发明的第一方面实施例的编码方法，包括：接收解码端的解码能力参数；根据解码能力参数对流媒体数据进行编码；将编码后的流媒体数据发送给解码端。

根据本发明实施例的一种编码方法，至少具有如下有益效果：根据接收到的解码端的解码能力参数，对流媒体数据进行编码，并将编码后的流媒体数据发送给解码端，使得解码端接收到的流媒体数据正是按照解码端解码能力编码后的数据，可以被解码端识别并解码。

根据本发明的一些实施例，解码端的解码能力参数为解码端的硬件解码器支持的流媒体编码格式。

根据本发明的一些实施例，还包括：获取解码端的当前的网络质量；根据解码端的当前的网络质量动态调整网络传输的冗余度。

根据本发明的一些实施例，根据解码端的当前的网络质量动态调整网络传输的冗余度，包括：

若网络质量高，减少冗余度进行传输；

若网络质量低，提高冗余度进行传输。

根据本发明的第二方面实施例的一种解码方法，包括：发送解码能力参数到编码端；接收编码端发送的流媒体数据；对流媒体数据进行解码。

根据本发明实施例的一种解码方法，至少具有如下有益效果：通过发送解码能力参数到编码端，接收按照发送的解码能力参数进行编码后的流媒体数据并进行解码，解决了解码端解码失败的问题。

根据本发明的一些实施例，发送解码能力参数到编码端，包括：通过解码端的配置文件获取解码端的解码能力参数；将解码端的解码能力参数发送到编码端。

根据本发明的第三方面实施例的一种装置，包括：编码装置，用于接收解码端的解码能力参数并根据接收到的解码能力参数对流媒体数据进行编码；将编码后的流媒体数据发送给解码端。

根据本发明的第四方面实施例的一种装置，包括：解码装置，用于发送解码能力参数到编码端并接收编码端发送的流媒体数据，对流媒体数据进行解码。

根据本发明的第五方面实施例的一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如第一方面所述的编码方法；或者，如第二方面所述的解码方法。

根据本发明的第六方面实施例的一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行第一方面所述的编码方法；或者，执行第二方面所述的解码方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例一种编码方法的流程示意图；

图2为本发明另一实施例一种编码方法的流程示意图；

图3为本发明实施例中网络质量和冗余度关系测试示意图；

图4为本发明实施例一种解码方法的流程示意图；

图5为本发明实施例一种编解码方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

第一方面，本发明实施例提供一种编码方法。

如图1所示，根据本发明实施例的一种编码方法，包括：

S101，接收解码端的解码能力参数；

S102，根据解码能力参数对流媒体数据进行编码；

S103，将编码后的流媒体数据发送给解码端。

在流媒体技术中，由于采集的原始音视频信号包含大量的冗余信息，使得音视频数据体积都非常大，为了减小体积便于存储、传输等，需要对无用信息和冗余信息进行编码压缩处理。主流的流媒体编码标准有：MPEG-2、MPEG-4Simple Profile、H.264/AVC、H.265/HEVC、AVS、VC-1。其中S101中接收到的解码端的解码能力参数就对应主流的视频编码标准中的一种。S102根据解码端能识别的编码格式对流媒体数据进行编码。S103，通过传输系统将编码后的码流从编码端传输到解码端。一般的传输系统包括：互联网、地面无线广播、卫星等。

例如：某一解码端只能对H.264/AVC一种格式的码流进行解码，根据本发明实施例的编码方法，首先发送解码端的解码能力参数：H.264/AVC到编码端，编码端根据解码端能支持的格式对流媒体数据进行编码，并将编码后的流媒体数据通过传输系统传输给解码端进行解码。根据接收到的解码端的解码能力参数，对流媒体数据进行编码，并将编码后的流媒体数据发送给解码端，使得解码端接收到的流媒体数据正是按照解码端解码能力编码后的数据，可以被解码端识别并解码。

在一些实施例中，一种编码方法，包括：接收解码端的解码能力参数，而解码端的解码能力参数为解码端的硬件解码器支持的流媒体编码格式；根据解码能力参数对流媒体数据进行编码；将编码后的流媒体数据发送给解码端。在一些具体实施例中，当解码端为移动终端比如安卓手机时，解码能力可以通过安卓系统的接口读取到，接口为：getMediaCodecList，具体为通过匹配该接口返回的数据来确认该安卓手机的解码能力。

第二方面，本发明实施例提供一种解码方法。

如图2所示，根据本发明实施例的一种解码方法，还包括：

S201，获取解码端的当前的网络质量；

S202，根据解码端的当前的网络质量动态调整网络传输的冗余度。

解码端的当前的网络质量是通过单位时间内网络数据传输丢包率来衡量，也就是单位时间内网络传输丢失的包总数除于总的接收包数量。然后根据解码端的当前的解码端的当前的网络质量动态调整网络传输的冗余度，以此在网络质量不高的情况下，通过调整冗余度，在接收端对数据进行差错检测，如发现差错，由接收方进行纠正，这样在网络质量不高的情况下也可以提高流媒体质量。

在一些实施例中，通过传输系统进行流媒体实时互动采用的传输层方案有TCP(如：RTMP)和UDP(如：RTP)两种。例如，在采用的流媒体传输协议为UDP(一般上层应用层协议为RTP，以提供序号和音视频同步的服务)时，UDP性能的提高是以不能保障数据完整性为代价的，它不能对所传数据提供担保，常见的问题有包乱序、包丢失、包重复。其中包丢失的原因有如下及方面：

①当路由器和网关发生拥塞时，某些包可能被丢弃，发生这种情况一般是由于网络中传输的数据包大于网络信道的承载能力。

②分组数据在传送时有生存时间限制以避免路由中死循环的出现，网络状况恶劣时，分组可能超时丢失。

③接收端工作超载运行时可能因调度困难而不能及时处理网口数据。

流媒体码流的少量丢失都会导致解码后的视频出现花屏的现象。例如：H.264、H.265/HEVC这样的高压缩率视频压缩标准使得压缩的冗余度非常低，码流的丢失除了影响本帧的解码外，还将影响以此为参考的视频帧解码，导致花屏的累积扩散，直至下一个关键帧的到来视频画面方能恢复。在一些实施例中，对于流媒体传输过程中的丢包问题，采用前向纠错FEC的数据纠错模型来进行丢包恢复，由发送方进行FEC编码引入冗余包，接收方进行FEC解码并恢复丢失的数据包。

下面以20％冗余度为例进行测试说明：

当使用10个媒体包外加冗余度(数量由选择的冗余度决定)作为一个GROUP，当选择冗余度20％时，一个GROUP由10个媒体包附加2个冗余包组成。当选择每10个包丢1个包时(丢包率10％)，一个GROUP中最多只会丢弃1个包，20％的冗余度足够抵抗这一丢包率，相关测试结果也验证了这一结论，接收到的所有媒体包序号均保持连续，丢包率从10％降为0％。

参照图3，当设置每5个包丢弃1个包时(丢包率20％)，FEC冗余包301包含四个包。对于第一个GROUP，一共丢弃了三个包，包括0号媒体包、5号媒体包、0号冗余包。因为接收的媒体包数为8个加接收的冗余包数1个，总数小于总媒体包数(10个)，因此接收端FEC无法恢复。对于第二个GROUP，只丢失了两个媒体包，可以正常恢复。实验结果如图3所示，说明了推断的正确性，0号媒体包、5号媒体包丢失，13号、18号媒体包被成功恢复，系统丢包率从20％降低到10％左右。例如：当丢包率超过10％，则提高冗余度10％，如果丢包率降到10％以内，则降低冗余度为5％。在本发明中，通过从解码端获取当前的网络质量即丢包率，实时调整编码端传输的流媒体数据的冗余度，从而降低带宽，提高流媒体质量。

在一些实施例中，根据解码端的当前的网络质量动态调整网络传输的冗余度，包括：若网络质量高，减少冗余度进行传输；若网络质量低，提高冗余度进行传输。当网络质量高的时候，也就是丢包率比较低，此时减少编码端的冗余度并不会降低流媒体质量，但是通过减少冗余度可以降低流媒体码流大小，节省带宽；当网络质量低的时候，也就是丢包率比较高，此时通过提高编码端传输的流媒体的冗余度，可以提高网络传输的纠错率，从而提高流媒体传输的质量，比如在进行视频传输时，在网络质量低的情况下通过提高冗余度进行传输，可以提高流媒体数据的纠错能力，提高视频的画面质量，带来更好的视觉体验。

如图4所示，根据本发明实施例的一种编码方法，包括：

S401，发送解码能力参数到编码端；

S402，接收编码端发送的流媒体数据；

S403，对流媒体数据进行解码。

在一些实施例中，S401中的解码能力参数也就是解码端可支持的解码格式，也就是由编码端的编码标准决定，主流的流媒体编码标准有：MPEG-2、MPEG-4Simple Profile、H.264/AVC、H.265/HEVC、AVS、VC-1。S402中接收编码端发送的流媒体数据也就是编码端根据接收到的解码端的解码能力对流媒体数据进行对应格式的编码，并在S403中解码端对可以支持的流媒体格式的数据进行解码。

例如：某一解码端只能对H.265/HEVC一种格式的码流进行解码，根据本发明实施例的解码方法，首先发送解码能力参数H.265/HEVC到编码端，编码端对流媒体数据进行H.265/HEVC格式的编码，并将编码后的流媒体数据通过传输系统传输给解码端进行解码。通过发送解码端的解码能力给编码端，使得解码端接收到的流媒体数据正是按照解码端解码能力编码后的数据，避免了解码端接收到无法支持的编码格式的流媒体数据导致解码失败的问题。

在一些实施例中，发送解码能力参数到编码端，包括：通过解码端的配置文件获取解码端的解码能力参数；将解码端的解码能力参数发送到编码端。在一些具体实施例中，当解码端为移动终端比如安卓手机时，解码能力可以通过安卓系统的接口读取到，接口为：getMediaCodecList，具体为通过匹配该接口返回的数据来确认该安卓手机的解码能力。

第三方面，本发明实施例提供了一种编解码方法。

如图5所示，根据本发明实施例的一种编解码方法，包括：

S501，解码端发送解码能力参数到编码端；

S502，编码端接收解码端的解码能力参数；

S503，编码端根据从解码端接收到的解码能力参数对流媒体数据进行编码；

S504，编码端将编码后的流媒体数据发送给解码端；

S505，解码端接收编码端发送的流媒体数据；

S506，解码端对流媒体数据进行解码。

在一些具体实施例中，例如：解码端为手机终端，编码端为音视频服务器，手机终端只能对H.265/AEVC一种格式的码流进行解码。当用户在解码端需要播放服务器端的音视频时，编码端和解码端通过互联网通信，根据通信协议，例如RTMP流媒体传输协议，手机端和服务器端通信连接后，根据本发明实施例的编解码方法，首先，解码端发送解码能力参数H.265/AEVC到编码端；编码端接收解码端的解码能力参数；然后，编码端根据接收到的格式，也就是H.265/AEVC对流媒体数据进行编码，并将编码后的流媒体数据通过传输系统传输给解码端进行解码。最后，解码端接收编码端发送的流媒体数据，对流媒体数据进行解码。

第四方面,本发明的一个实施例提供了一种装置，包括：编码装置，用于接收解码端的解码能力参数并根据接收到的解码能力参数对流媒体数据进行编码；将编码后的流媒体数据发送给解码端。

在一些实施例中，编码装置为编码器。一般情况下，不同厂家生产的编码器压缩的码流都能够被不同厂家的解码器解码，常见的编码器产品有：机顶盒、数字电视、摄像机、监控器。但是有些终端产品只能识别特定编码格式的流媒体数据，例如某型号的手机支持H.265格式的流媒体编码数据。

第五方面，本发明的一个实施例提供了一种装置，包括：解码装置，用于发送解码能力参数到编码端并接收编码端发送的流媒体数据，对流媒体数据进行解码。

在一些实施例中，解码装置为安卓手机时，解码能力可以通过安卓系统的接口读取到，接口为：getMediaCodecList，具体为通过匹配该接口返回的数据来确认该安卓手机的解码能力。

第六方面，本发明的一个实施例提供了一种编解码系统,在一些具体实施例中，编解码系统包括第四方面所述的编码装置和第五方面所述的解码装置，可支持编码端和解码端对流媒体数据进行编解码。

第七方面，本发明的一个实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如第一方面所述的编码方法；或者，如第二方面所述的解码方法。

第八方面，本发明的一个实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行第一方面所述的编码方法；或者，执行第二方面所述的解码方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种编码方法，其特征在于，包括：

接收解码端的解码能力参数；

根据所述解码能力参数对流媒体数据进行编码；

将编码后的流媒体数据发送给解码端。

2.根据权利要求1所述的编码方法，其特征在于，所述解码能力参数为所述解码端的硬件解码器支持的流媒体编码格式。

3.根据权利要求1所述的编码方法，其特征在于，还包括：

获取所述解码端的当前的网络质量；

根据所述解码端的当前的网络质量动态调整网络传输的冗余度。

4.根据权利要求3所述的编码方法，其特征在于，根据所述解码端的当前的网络质量动态调整网络传输的冗余度，包括：

若网络质量高，减少冗余度进行传输；

若网络质量低，提高冗余度进行传输。

5.一种解码方法，其特征在于，包括：

发送解码能力参数到编码端；

接收编码端发送的流媒体数据；

对所述流媒体数据进行解码。

6.根据权利要求5所述的解码方法，其特征在于，所述发送解码能力参数到编码端，包括：

通过解码端的配置文件获取所述解码端的解码能力参数；

将所述解码端的解码能力参数发送到编码端。

7.一种装置，其特征在于，包括：

编码装置，用于接收解码端的解码能力参数并根据接收到的所述解码能力参数对流媒体数据进行编码；将编码后的流媒体数据发送给解码端。

8.一种装置，其特征在于，包括：

解码装置，用于发送解码能力参数到编码端并接收编码端发送的流媒体数据，对所述流媒体数据进行解码。

9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：

如权利要求1至4中任一项所述的编码方法；

或者，

如权利要求5至6中任一项所述的解码方法。

10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：

执行权利要求1至4中任一项所述的编码方法；

或者，

执行权利要求5至6任一项所述的解码方法。

Images