CN112312221B - 一种音视频播放方法、存储介质及装置 - Google Patents

Abstract

本发明公开一种音视频播放方法，包括以下步骤：S1、检测用户输入的音视频指令；S2、终端流媒体服务器从始端流媒体服务器中获取相应的音视频流；S3、终端流媒体服务器识别音视频流的编码并转码；S4、终端流媒体服务器将已转换的音视频流传输至网页浏览器，网页浏览器获取其识别的音视频流编码，并进行解码操作；S5、利用网页播放器进行音视频播放展示。本发明还提供了一种存储介质和音视频播放装置，本发明提出的方法将网络取流和解码转换进程独立出来，为浏览器或客户端播放器提供服务，同时使用浏览器的展示播放功能进行播放，既能解决终端安装部署问题，又能支持播放特定格式的音视频流，满足定制功能要求。

Description

一种音视频播放方法、存储介质及装置

技术领域

本发明涉及音视频处理技术领域，更具体地，涉及一种音视频播放方法、存储介质及装置。

背景技术

音视频播放是指在个人电脑、手机、平板等具有多媒体功能的终端机上，通过网络连接到服务端，将服务器端的音视频流在终端机上进行播放，主要操作步骤有：网络取流，即通过网络从服务端获取音视频流；解码，即将获取到的音视频流进行组包，解压缩得到数字图像或音频；展示，即展示或播放解码后的每一张图像或音频。

目前采用的技术主要有两大类，一类是通过专用的网络播放器进行播放，播放器本身具备网络取流、解码、播放的功能，因此可以通过网络播放器播放服务器端的音视频流；另一类是通过网页浏览器实现播放功能，浏览器具备网络取流、解码、播放的所有功能，但这种技术只能播放国际标准的音视频流，而无法播放特殊格式的音视频流，为播放特殊格式的音视频流，现有技术有：在浏览器播放技术的基础上，通过开发专用的浏览器插件，将处理特殊格式的功能放在单独的插件中实现播放特殊格式的音视频流的目的，如微软的IE浏览器技术activex，火狐的npapi等。

以上方式存在以下问题：采用专用网络播放器的技术方案，需要在每个终端上都要进行安装部署，而每个终端环境不相同，安装部署出现问题时，很难定位解决，增加企业运营维护成本；通过网页浏览器进行播放，则无法支持特定格式的音视频流，无法定制，不能满足功能要求，而由于网络安全问题，通过网络浏览器插件的方式，网页浏览器已经不再支持传统的插件，也无法定制播放。

因此，一种新的音视频播放方法亟待研究。

发明内容

本发明为克服现有问题如：专用播放器终端部署问题、浏览器无法支持插件安装等问题造成的音视频无法播放及企业运营维护成本增高的弊端，提供一种音视频播放方法；为实现上述方法，本发明还提供一种音视频播放存储介质及装置，既能解决终端安装部署问题，又能支持播放常规浏览器无法识别的非标准格式的音视频流，满足定制功能解码的要求。

本发明旨在至少在一定程度上解决上述技术问题。

为了达到上述技术效果，本发明的技术方案如下：

本发明首先提出一种音视频播放方法，所述方法包括以下步骤：

S1、检测用户输入的音视频指令；所述的检测由检测模块完成。

S2、根据音视频指令，终端流媒体服务器从始端流媒体服务器中获取相应的音视频流；

S3、通过终端流媒体服务器识别音视频流的编码，并将非标准的编码格式转换为网页浏览器能识别的标准编码格式；

S4、终端流媒体服务器将已转换的音视频流传输至网页浏览器，网页浏览器获取其识别的音视频流编码，并进行解码操作；

S5、利用网页浏览器的网页播放器对已解码的音视频流进行播放展示。

优选地，步骤S2所述的音视频流的获取基于标准tcp/udp网络传输协议制订的非标准编码格式或标准码格式的网络取流协议实现，步骤S3所述的非标准的编码格式转换为网页浏览器能识别的标准编码格式是解码模块将已经获取的非标准编码格式或标准码格式(如h264)的音视频流中提取一帧图像，然后根据需要对图像进行裁减，最后再采用非标准编码格式或标准码格式的图像技术，将裁剪后的图像根据标准协议重新编码生成音视频流。

优选地，步骤S4所述的终端流媒体服务器与网页浏览器之间通过websocket协议建立数据传输关系。websocket是一种在单个TCP连接上进行全双工通信的协议,于2011年被IETF定为标准RFC6455，并由RFC7936补充规范，也被W3C定为标准，在websocket API中，所述播放地址和流媒体服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。

优选地，终端流媒体服务器的非标准编码格式的音视频取流及解码功能通过计算机操作系统的进程技术封装。计算机进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动，是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元，进程是一个实体，每一个进程都有它自己的地址空间，任何进程都可以同其他进程一起并发执行。因此，我们将非标准编码格式的音视频取流及解码功能封装在一个或多个独立进程中运行，即通过进程的独立性、并发行性将终端流媒体服务器封装为一个完整独立的装置。

网页浏览器仅保存标准码流的取流、解码功能，将网络取流和解码转换进程独立出来，为网页浏览器提供服务，同时使用浏览器的展示播放功能进行播放，既能解决终端安装部署问题，又能支持播放特定格式的音视频流，满足定制功能解码的要求。

其次，本发明还采用一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述音视频的播放方法步骤。

最后，本发明还提出一种音视频播放装置，包括：检测模块，用于检测用户输入的音视频指令；

始端流媒体服务器，用于提供用户音视频指令对应的音视频流；

终端流媒体服务器，包括网络取流模块和解码模块，对音视频流进行获取和解码操作；所述音视频流的获取基于标准tcp/udp网络传输协议制订的非标准编码格式或标准码格式的网络取流协议实现，所述解码操作转换是解码模块将已经获取的非标准编码格式或标准码格式(如h264)的音视频流中提取一帧图像，然后根据需要对图像进行裁减，最后再采用非标准编码格式或标准码格式的图像技术，将裁剪后的图像根据标准协议重新编码生成音视频流。

网页浏览器，用于对解码转换后的音视频进行播放展示。

所述检测模块与始端流媒体服务器的一端通信连接，始端流媒体服务器的另一端通信连接终端流媒体服务器，终端流媒体服务器与网页浏览器双向通信连接。

优选地，网页浏览器上设有网页播放器，所述网页浏览器与所述终端流媒体服务器通信连接，所述音视频的播放展示通过网页播放器实现。

与现有技术相比，本发明技术方案的有益效果是：

1)本发明提出的音视频播放方法，可采用网页浏览器技术播放，不需要开发专用网络播放器，能够有效的降低企业运营和维护成本。

2)本发明提出的音视频播放方法，终端流媒体服务器与网页浏览器之间通过websocket协议建立数据传输关系，终端流媒体服务器与网页浏览器只需要一次握手，即可实现双向数据传输，建立持久性的连接。

3)本发明提出的音视频播放装置的终端流媒体服务器，通过计算机操作系统的进程技术将非标准编码格式的音视频取流及解码功能封装独立，负责网络取流和解码转换，为网页浏览器提供服务，同时使用浏览器的展示播放功能进行播放，既能解决终端安装部署问题，又能支持播放特定格式的音视频流，满足定制功能解码的要求。

附图说明

图1为本发明提出的音视频播放方法的流程图。

图2为本发明提出的音视频播放装置示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示的音视频播放方法的流程图，所述的播放方法包括以下步骤：

S1、检测用户输入的音视频指令；检测音视频指令的功能由检测模块实现；在本实施例中，用户输入的指令为视频指令。

S2、根据音视频指令，检测模块检测到指令之后，上传至始端流媒体服务器，用户通过终端流媒体服务器从始端流媒体服务器中获取相应的音视频流；

S3、终端流媒体服务器识别音视频流的编码，并将非标准的编码格式转换为网页浏览器能识别的标准编码格式；

终端流媒体服务器的非标准编码格式的音视频取流及解码功能通过计算机操作系统的进程技术封装，网页浏览器仅保存标准码流的取流、解码功能，将网络取流和解码转换进程独立出来，为网页浏览器提供服务，同时使用浏览器的展示播放功能进行播放，既能解决终端安装部署问题，又能支持播放特定格式的音视频流，满足定制功能解码的要求。终端流媒体服务器的非标准编码格式的音视频取流及解码功能通过计算机操作系统的进程技术封装。计算机进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动，是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元，进程是一个实体，每一个进程都有它自己的地址空间，任何进程都可以同其他进程一起并发执行。因此，我们将非标准编码格式的音视频取流及解码功能封装在一个或多个独立进程中运行，即通过进程的独立性、并发行性将终端流媒体服务器封装为一个完整独立的装置。

本实施例中，用户输入的视频指令是从始端流媒体服务器获得的h265编码格式的视频流，而本实施例中的网页浏览器是基于h264的编码格式，网页浏览器无法识别h265编码格式的视频流，此时网页浏览器若直接从始端流媒体服务器中取流，网页播放器播放视频是失败的，通过终端流媒体服务器，将原h265编码格式的视频流解码转换为h264，fmp4格式的视频流编码，继续执行以下步骤：

S4、终端流媒体服务器将已转换的音视频流传输至网页浏览器，网页浏览器获取其可识别的音视频流编码，并进行解码操作，终端流媒体服务器的网络取流模块基于标准tcp/udp网络传输协议制订的非标准编码格式或标准码格式的网络取流协议获取h265编码格式的视频流，终端流媒体服务器的解码模块将已经获取的非标准编码格式音视频流h265中提取一帧图像，然后根据需要对图像进行裁减，最后再采用非标准编码格式的图像技术，将已经裁剪的图像根据标准协议重新编码生成数据流h264，fmp4格式的视频流编码，网页浏览器可识别h264，fmp4格式的视频流编码。

其中，终端流媒体服务器与网页浏览器之间通过websocket协议建立数据传输关系。websocket是一种在单个TCP连接上进行全双工通信的协议,于2011年被IETF定为标准RFC6455，并由RFC7936补充规范，也被W3C定为标准，在websocket API中，所述播放地址和流媒体服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。

S5、利用网页浏览器的网页播放器对已解码的音视频流进行播放展示。

以上步骤的实现采用一种计算机可读存储介质，本实施例中，采用磁芯存储器，磁芯存储器存储有计算机程序，所述计算机程序被处理器执行时实现上述音视频的播放方法步骤。

实施例2

如图2所示的音视频播放装置，参见图2，所装置包括：

检测模块，用于检测用户输入的音视频指令；

始端流媒体服务器，用于提供用户音视频指令对应的引视频流；

终端流媒体服务器，包括网络取流模块和解码模块，对音视频流进行获取和解码操作；用户输入的视频指令从流媒体服务器获得的h265编码格式的视频流，而本实施例中的网页浏览器基于h264的编码格式，网页浏览器无法识别h265编码格式的视频流，此时网页浏览器若直接从流媒体服务器中取流，网页播放器播放视频是失败的，终端流媒体服务器的网络取流模块基于标准tcp/udp网络传输协议制订的非标准编码格式或标准码格式的网络取流协议获取h265编码格式的视频流，终端流媒体服务器的解码模块将已经获取的非标准编码格式音视频流h265中提取一帧图像，然后根据需要对图像进行裁减，最后再采用非标准编码格式的图像技术，将已经裁剪的图像根据标准协议重新编码生成数据流h264，fmp4格式的视频流编码。

网页浏览器，用于对解码转换后的音视频进行播放展示。检测模块与始端流媒体服务器的一端通信连接，始端流媒体服务器的另一端通信连接终端流媒体服务器，终端流媒体服务器与网页浏览器通信连接。检测模块将检测到的用户输入的音频或者视频指令传输至始端流媒体服务器，用户可从始端流媒体服务器获取相应的音视频流，始端流媒体服务器将音视频流传输至终端流媒体服务器解码，终端流媒体服务器将网页浏览器不可识别解码的非标准音视频流转换为网页浏览器可识别的标准音视频流，然后通过网页播放器播放用户想要的音视频。

网页浏览器上设有网页播放器，网页浏览器与终端流媒体服务器双向通信连接，音视频的播放展示通过网页播放器实现。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，提及的“前、后、左、右”等词语仅为了清楚地说明本发明，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种音视频播放方法，其特征在于，所述方法包括以下步骤：

S1、检测用户输入的音视频指令，所述检测由检测模块完成；

S2、根据音视频指令，终端流媒体服务器从始端流媒体服务器中获取相应的音视频流；始端流媒体服务器用于提供用户音视频指令对应的音视频流；

S3、通过终端流媒体服务器识别音视频流的编码，并将非标准的编码格式转换为网页浏览器能识别的标准编码格式，具体包括：从已经获取的非标准编码格式或标准码格式的音视频流中提取一帧图像，然后根据需要对图像进行裁减，最后再采用非标准编码格式或标准码格式的图像技术，将裁剪后的图像根据标准协议重新编码生成音视频流；其中终端流媒体服务器的非标准编码格式的音视频取流及解码功能通过计算机操作系统的进程技术封装于一个或多个独立进程中运行；终端流媒体服务器是基于标准 tcp/udp 网络传输协议制订的非标准编码格式或标准码格式的网络取流协议获取视频流；

S4、终端流媒体服务器将已转换的音视频流传输至网页浏览器，网页浏览器获取其识别的音视频流编码，并进行解码操作；

S5、利用网页浏览器的网页播放器对已解码的音视频流进行播放展示。

2.根据权利要求1所述的音视频播放方法，其特征在于，步骤S4所述的终端流媒体服务器与网页浏览器之间通过websocket协议建立数据传输关系。

3.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1和2其中一项所述音视频播放方法的步骤。

4.一种音视频播放装置，所述装置基于权利要求1所述的方法，其特征在于，包括：

检测模块，用于检测用户输入的音视频指令；

始端流媒体服务器，用于提供用户音视频指令对应的音视频流；

终端流媒体服务器，包括网络取流模块和解码模块，对音视频流进行获取和解码操作；

网页浏览器，用于对解码转换后的音视频进行播放展示；

所述检测模块与始端流媒体服务器的一端通信连接，始端流媒体服务器的另一端通信连接终端流媒体服务器，终端流媒体服务器与网页浏览器通信连接。

5.根据权利要求4所述的音视频播放装置，其特征在于，所述网页浏览器上设有网页播放器，所述网页浏览器与所述终端流媒体服务器双向通信连接，所述音视频的播放展示通过网页播放器实现。