CN101448152A - 多路视频处理方法及系统、终端和媒体服务器 - Google Patents

Abstract

本发明实施例涉及一种多路视频处理方法及系统、终端和媒体服务器。该方法通过对发送的视音频信息的过滤处理，实现多路视频传输；通过单解码器多路复用实现视频多路解码，节省了网络带宽资源，降低了成本，提高视频传输效率。

Description

多路视频处理方法及系统、终端和媒体服务器

技术领域

本发明属于通信领域，尤其涉及一种多路视频处理方法及系统、终端和媒体服务器。

背景技术

现有的节目浏览解决方案是媒体服务器下发关于节目的文字或图片信息到终端上，终端向用户展现接收到的节目菜单页面中的文字或图片信息。由于文字和图片所提供信息具有局限性，而且直播频道节目中的内容是实时变化的，普通的文字或图片浏览无法直观反映直播频道节目内容。

现有技术一中利用视频浏览代替文字或图片浏览。媒体服务器下发有关节目的视频信息，用户通过浏览带有丰富内容的视频信息，可以较直观，且实时地了解节目内容。但由于网络带宽和终端芯片处理能力的限制，目前终端设备一般仅支持一路视频播放，无法实现多路视频浏览的功能。若通过提高网络带宽和终端芯片处理能力来实现多路视频浏览，成本较高，一般不予采用。

现有技术二中，媒体服务器编码器将多个节目的视频信息压缩到一个视频中，终端再通过播放经过压缩的视频来实现“多个”节目浏览。该视频多路浏览的方法存在以下缺陷：编码器需要有压缩多路视频到一路视频的功能，成本较高；由于依赖编码器和媒体服务器，使得视频信息控制和浏览操作不灵活，实现难度大。

发明内容

本发明实施例提供一种多路视频处理方法及系统、终端和媒体服务器，用以解决现有技术中进行多路视频浏览成本高、实现难度大等缺陷，实现视频信息的多路传输浏览。

一种多路视频处理方法，包括：

建立多个通信连接通路，根据设置的视音频过滤信息对视音频信息进行处理；

基于建立的多个通信连接通路，接收经过过滤处理的视音频信息；

对接收到的所述视音频信息进行解码。

一种多路视频处理系统，其特征在于，包括：终端和媒体服务器，

所述终端用于设置视音频过滤信息，基于与所述媒体服务器建立的通信连接通路，接收所述媒体服务器根据所述视音频过滤信息对视音频信息进行处理后的视音频信息，并对接收的所述视音频信息进行解码；

所述服务器用于根据所述终端设置的视音频过滤信息对视音频信息进行过滤处理，并通过对应的通信连接通路发送经过过滤处理的所述视音频信息。

一种终端，包括：

设置模块，用于设置视音频过滤信息；

接收模块，用于基于与媒体服务器建立的通信连接通路，接收媒体服务器根据所述视音频过滤信息对视音频信息进行处理后的视音频信息；

解码模块，用于对所述接收模块接收的所述视音频信息进行解码。

一种媒体服务器，包括：

过滤模块，用于根据终端设置的视音频过滤信息对视音频信息进行过滤处理；

发送模块，用于通过对应的通信连接通路发送经过所述过滤模块过滤处理的所述视音频信息。

本发明实施例提供的视频传输方法、视频解码方法、多路视频处理方法以及终端、媒体服务器、多路视频处理系统，通过对发送的视音频信息的过滤处理，实现多路视频传输；通过单解码器多路复用实现视频多路解码，节省了网络带宽资源，降低了成本，提高视频传输效率。

附图说明

图1为本发明的实施例多路视频处理方法中视频传输方法流程图；

图2为本发明的实施例多路视频处理方法中另一视频传输方法流程图；

图3为本发明的实施例多路视频处理方法中视频解码方法流程图；

图4为本发明多路视频处理方法实施例一流程图；

图5为本发明多路视频处理方法实施例二流程图；

图6为本发明多路视频处理方法实施例二中多视频浏览示意图；

图7为本发明多路视频处理方法实施例三流程图；

图8为本发明多路频道冲浪的输出方式实施例一示意图；

图9为本发明多路频道冲浪的输出方式实施例二示意图；

图10为本发明多路频道冲浪的输出方式实施例三示意图；

图11为本发明多路视频处理方法实施例四流程图；

图12为本发明多路视频处理方法实施例五流程图；

图13为本发明多路视频处理方法实施例六流程图；

图14为本发明终端实施例一结构示意图；

图15为本发明终端实施例二结构示意图；

图16为本发明媒体服务器实施例结构示意图；

图17为本发明多路视频处理系统实施例结构示意图。

具体实施方式

下面结合附图和具体实施例进一步说明本发明的技术方案。

视频传输方法实施例

图1为本发明多路视频处理方法实施例中视频传输方法流程图，如图1所示，包括如下步骤：

步骤100、与终端建立多个通信连接通路；

媒体服务器下发多路视音频信息，每一路视音频信息应通过一路对应的通信连接通路进行传输。根据所要传输的视音频信息的路数，媒体服务器与终端之间建立与其路数相同的通信连接通路，完成视音频信息的多路传输。

步骤101、根据接收到的视音频过滤信息对要发送的视音频信息进行处理；

为实现在低带宽传输的前提下，进行多路的视音频信息传输，应对所传输的各路上的视音频信息进行适当的处理。媒体服务器下发视频信息前，将向终端查询视音频信息处理的过滤策略，根据接收到的视音频过滤信息对所要进行传输的各路视音频信息首先进行过滤处理，降低各路视音频信息占用的带宽资源，实现多路视音频信息同时下发。

步骤102、通过对应的所述通信连接通路发送经过处理的视音频信息。

媒体服务器将经过过滤处理的各路上的视音频信息，通过为其建立的对应的通信连接通路下发给终端。下发时为多路视音频信息通过各自对应的通信连接通路发送给终端。在低带宽的前提下，实现多路视音频信息同时传输。

进一步地，步骤101中根据接收到的视音频过滤信息对要发送的视音频信息进行处理，具体可以为根据过滤部分或全部音频帧的所述视音频过滤信息，对所述视音频信息中的音频帧进行过滤处理。即媒体服务器对视音频信息进行过滤处理的过滤策略为过滤掉所有的音频帧。由于视频浏览时一般主要关注节目中的图像信息，而不需要声音，所以可以丢弃部分或所有的音频帧，保留视频帧，这样对视频浏览没有影响。通过过滤掉音频信息，减少占用的带宽资源，可有效地实现多路视音频信息的同时传输。

步骤101中根据接收到的视音频过滤信息对要发送的视音频信息进行处理，具体还可以为根据过滤部分或全部非视频关键帧的所述视音频过滤信息，对所述视音频信息中的非视频关键帧进行过滤处理。即媒体服务器对视音频信息进行过滤处理的过滤策略为过滤掉部分或全部非视频关键帧。视音频信息包括视频关键帧和非视频关键帧，由于视频关键帧是可以独立解码的帧，所以丢弃非关键帧不会影响视频关键帧的解码。在不影响视频解码的前提下，丢弃部分或全部的非视频关键帧，同样可降低占用的带宽资源，实现视音频信息多路传输。

为了再进一步地减少各路视音频信息占用的带宽资源，还可以在丢弃部分或全部的非视频关键帧的基础上，丢弃部分的视频关键帧，发送部分视频关键帧，从而进一步降低传输带宽。媒体服务器还可以根据过滤策略中视频关键帧丢弃的比例信息对视音频信息进行过滤处理。

步骤101中根据接收到的视音频过滤信息对要发送的视音频信息进行处理，具体再可以为根据发送和丢弃视音频信息持续时间的所述视音频过滤信息，对发送和丢弃所述视音频信息进行控制，即媒体服务器对视音频信息进行过滤处理的过滤策略为控制每一路上的视音频信息的发送和丢弃时间，将一路视音频信息发送持续到设定的发送时间后，停止发送，接着将下一路上的视音频信息按照发送时间进行发送。各路轮换发送。传输过程中仅有一路视音频信息进行发送，其他各路上的视音频信息均处于丢弃状态。通过各路的轮换发送实现在一段时间内发送多路的视音频信息的目的。媒体服务器可按照设定的发送和丢弃时间进行传输处理，也可根据发送和丢弃的时间比例进行传输处理。

以上所述的各种过滤策略可单独或组合使用，也可结合现有其它的降低带宽的控制方法联合使用。本实施例中，媒体服务器在向终端设备发送媒体数据时会根据过滤策略对视音频帧进行过滤处理，丢弃掉部分视音频帧，减少视频传输带宽，从而实现低带宽下传输多路视频流的目的。

另一视频传输方法实施例

图2为本发明多路视频处理方法实施例中另一视频传输方法流程图，如图2所示，包括如下步骤：

步骤200、与媒体服务器建立多个通信连接通路；

终端接收多路视音频信息，每一路视音频信息应通过一路对应的通信连接通路进行接收，根据所要接收的视音频信息的路数，终端与媒体服务器之间建立与其数量相同的通信连接通路，完成多路视音频信息的接收。

步骤201、设置视音频过滤信息；

为实现在低带宽传输的前提下，同时接收多路的视音频信息，应对所传输的各路上的视音频信息进行适当的处理。终端根据视频浏览的数量，设置视音频信息的过滤策略调整各路的传输带宽，从而实现在有限的带宽下实现多路视频流的同时传输。

步骤202、接收所述媒体服务器通过所述通信连接通路发送的经过过滤处理的视音频信息。

终端通过为每一路的视频流建立的对应的通信连接通路，接收经过媒体服务器过滤处理的视音频信息。

进一步地，步骤201中设置视音频过滤信息可以为将所述视音频过滤信息设置为过滤部分或全部音频帧的过滤信息；通过丢弃部分或全部的音频帧，减小各路占用的带宽资源；终端还可将视音频过滤信息设置为过滤部分或全部非视频关键帧的过滤信息，要求媒体服务器过滤掉不影响视频解码的非关键视频帧，达到减低占用带宽的目的；在过滤部分或全部非关键视频帧的基础上，还可以丢弃部分视频关键帧，来进一步减小占用的带宽资源；终端还可在视音频过滤信息中设置所述视音频过滤信息中发送和丢弃所述视音频信息的持续时间，对各路中发送和丢弃视音频信息的持续时间进行控制。也可以设置发送和丢弃视音频信息的持续时间比例。

以上所述的各种过滤策略可单独或组合设置，也可结合现有其它的降低带宽的控制方法联合设置。

在以上所述的各视频传输方法中，终端设备与媒体服务器之间的控制协议和数据传输协议既可以采用标准的流媒体协议，如RTSP、RTP、TS等，也可在标准的流媒体传输协议上进行扩展，也可以采用私有的协议。

视频解码方法实施例

图3为本发明多路视频处理方法实施例中视频解码方法流程图，如图3所示，包括如下步骤：

步骤301、为与媒体服务器建立的多个通信连接通路分配对应的内存缓冲区；

在终端与媒体服务器根据视频浏览数量建立相同数量的通信连接通路后，接收多路视频流之前，首先在内存中为每个通信连接通路分配对应的内存缓冲区，等待缓冲接收多路视频流信息。每创建立一路视频浏览连接时，播放程序会给该路视频浏览分配一块内存缓冲区用来缓存该路连接的视频帧。

步骤302、将接收到的所述媒体服务器通过所述通信连接通路发送的视音频信息存储到对应的所述内存缓冲区中；

媒体服务器将各路视频流信息，通过对应的通信连接通路下发给终端，终端接收到各路视频流后，将其存储在预先分配好的对应的内存缓冲区中。缓存任务将接收到的视频帧保存到每路视频浏览连接的内存缓冲区中，如果缓冲区已满，则覆盖掉最先存储的视频帧。

步骤302、对存储在所述内存缓冲区中的所述视音频信息进行解码。

为了实现解码器的多路复用，播放程序的解码任务会按照复用策略检查每路的视频浏览节目对应的内存缓冲区，若发现某个视频浏览节目的内存缓冲区中有新接收的视频帧，则调用解码器的接口对该缓冲区的视频帧进行解码。

解码复用策略可以为轮询策略，即依序检查所述内存缓冲区，对存储在所述内存缓冲区中的所述视音频信息进行解码；解码任务按照顺序依次检查每个视频浏览连接的内存缓冲区，若发现缓冲区有视频帧就进行解码。

解码复用策略还可以为通知策略，即根据接收到的解码请求信息，对存储在所述内存缓冲区中的所述视音频信息进行解码；当某个内存缓冲区中有可以解码的视频帧时，播放程序发送解码请求信息，主动通知解码任务进行解码。

以上解码复用策略可单独或组合使用，也可结合现有其它的单解码器多路复用的解码方法联合使用。本实施例提供的视频解码方法中，播放程序为每路视频浏览的节目分配一块内存缓冲区，播放程序将接收到每路视频流的媒体数据保存到各自的内存缓冲区中，同时播放程序按照复用策略检查每路节目的内存缓冲区，若发现缓冲区中有数据则取出来进行解码。通过解码复用，只需要一路媒体解码器便可以完成多路节目同时解码的功能。

多路视频处理方法实施例一

图4为本发明多路视频处理方法实施例一流程图，基于前述的视频传输方法和视频解码方法实施例，如图4所示，包括如下步骤：

步骤400、建立多个通信连接通路，根据设置的视音频过滤信息对视音频信息进行处理；

步骤401、基于建立的多个通信连接通路，接收经过过滤处理的视音频信息；

步骤402、对接收到的所述视音频信息进行解码。

终端接收多路视音频信息，每一路视音频信息应通过一路对应的通信连接通路进行接收，根据所要接收的视音频信息的路数，终端与媒体服务器之间建立与其数量相同的通信连接通路，完成多路视音频信息的接收。为实现在低带宽传输的前提下，同时接收多路的视音频信息，应对所传输的各路上的视音频信息进行适当的处理。终端根据视频浏览的数量，设置视音频信息的过滤策略调整各路的传输带宽，从而实现在有限的带宽下实现多路视频流的同时传输。媒体服务器根据终端设置的视音频过滤信息对所要发送的视音频信息进行过滤处理后，发送给终端，终端再通过建立的通信连接通路接收每路经过过滤处理的视音频信息。

终端设置的视音频过滤信息可以为将所述视音频过滤信息设置为过滤部分或全部音频帧的过滤信息；通过丢弃部分或全部的音频帧，减小各路占用的带宽资源；终端还可将视音频过滤信息设置为过滤部分或全部非视频关键帧的过滤信息，要求媒体服务器过滤掉不影响视频解码的非关键视频帧，达到减低占用带宽的目的；在过滤部分或全部非关键视频帧的基础上，还可以丢弃部分视频关键帧，来进一步减小占用的带宽资源；终端还可在视音频过滤信息中设置所述视音频过滤信息中发送和丢弃所述视音频信息的持续时间，对各路中发送和丢弃视音频信息的持续时间进行控制。也可以设置发送和丢弃视音频信息的持续时间比例。以上所述的各种过滤策略可单独或组合设置，也可结合现有其它的降低带宽的控制方法联合设置。

在终端与媒体服务器根据视频浏览数量建立相同数量的通信连接通路后，接收多路视频流之前，终端首先在内存中为每个通信连接通路分配对应的内存缓冲区，等待缓冲接收多路视频流信息。媒体服务器将各路视频流信息，通过对应的通信连接通路下发给终端，终端接收到各路视频流后，将其存储在预先分配好的对应的内存缓冲区中。播放程序的解码任务会按照复用策略检查每路的视频浏览节目对应的内存缓冲区，若发现某个视频浏览节目的内存缓冲区中有新接收的视频帧，则调用解码器的接口对该缓冲区的视频帧进行解码。

解码复用策略可以为轮询策略，即依序检查所述内存缓冲区，对存储在所述内存缓冲区中的所述视音频信息进行解码；解码任务按照顺序依次检查每个视频浏览连接的内存缓冲区，若发现缓冲区有视频帧就进行解码。解码复用策略还可以为通知策略，即根据接收到的解码请求信息，对存储在所述内存缓冲区中的所述视音频信息进行解码；当某个内存缓冲区中有可以解码的视频帧时，播放程序发送解码请求信息，主动通知解码任务进行解码。通过解码复用，只需要一路媒体解码器便可以完成多路节目同时解码并浏览的功能。以上解码复用策略可单独或组合使用，也可结合现有其它的单解码器多路复用的解码方法联合使用。

终端设备与媒体服务器之间的控制协议和数据传输协议既可以采用标准的流媒体协议，如RTSP、RTP、TS等，也可在标准的流媒体传输协议上进行扩展，也可以采用私有的协议。

多路视频流信息经过解码处理后，还包括输出经过解码的所述视音频信息。视音频信息要通过显示终端输出，但由于终端一般只提供一路视频输出，为了实现多路视频图像在不同的位置，按照不同的大小输出，播放程序先将解码后的视频图像转码成可以直接通过图形接口进行输出的图形格式，再根据所述视频信息的输出控制信息，按照所述图形输出格式进行输出。具体为根据图形大小输出控制信息，对视频信息进行处理；根据图形位置输出控制信息，将视频信息按照所述图形输出格式输出，即将视频图像按照输出的大小和位置进行拉伸处理，然后调用终端的图形输出接口将处理后的视频图像输出到相应的位置。

本实施例提供的多路视频处理方法，不但实现在不增加传输带宽的前提下，完成多路视频流的同时传输，节省了网络资源；还通过解码复用，通过一路媒体解码器完成多路节目同时解码并浏览的功能。

多路视频处理方法实施例二

基于多路视频处理方法实施例一，图5为本发明多路视频处理方法实施例二流程图，如图5所示，包括如下步骤：

步骤500、接收节目页面信息；

终端向节目管理服务器发送下载节目页面请求信息，节目管理服务器根据请求发送所需节目页面信息给终端，终端接收该节目页面信息。

步骤501、根据所述节目页面信息中各视音频信息的地址信息，为所述视音频信息与服务器建立对应的多个通信连接通路；

终端接收到节目页面信息后，浏览程序显示接收到的节目页面信息，并将该节目页面中所有的视音频信息的地址信息通知给播放程序；播放程序根据视音频信息的地址信息，与媒体服务器建立该节目页面所有视音频信息的视频浏览通信连接通路；终端设置过滤策略，媒体服务器根据终端设置的视音频过滤信息对视音频信息进行过滤处理。

步骤502、接收经过过滤处理的视音频信息；

媒体服务器根据视音频过滤信息通过对应的通信连接通路向终端发送视频帧，终端接收经过过滤处理的视音频信息。

步骤503、对接收到的视音频信息进行解码，并输出。

播放程序通过单路解码器多路复用技术对存储的视音频信息进行解码，并输出所有视频浏览节目的视频画面。

图6为本发明多路视频处理方法实施例二中多视频浏览示意图，如图6所示，在一个节目菜单页面上通过视频浏览的方式同时浏览多个点播/直播节目，用户可以很直观、实时地浏览该页面的每个节目播放的内容，用户可以快捷地找到所需节目进行观看；图中每个节目的视频浏览窗口都在用该频道当前正在播放的节目的最新视频画面进行刷新，而且不同的过滤策略有不同的刷新效果。

本实施例提供的多路点播/直播节目的视频处理方法的实施例中，有关终端设置视音频过滤信息，服务器根据终端设置的视音频过滤信息对视音频信息进行过滤处理，以及终端接收到服务器下发的经过过滤处理的视音频信息后，通过解码复用利用一路解码器完成多路视音频同时解码的实现方法，还有多窗口浏览输出的方法，均可分别应用前述的视频传输方法实施例、视频解码方法实施例以及多路视频处理方法实施例一中所述的实现方法，本实施例中不再赘述。

多路视频处理方法实施例三

基于多路视频处理方法实施例一，图7为本发明多路视频处理方法实施例三流程图，如图7所示，包括如下步骤：

步骤600、接收频道列表；

终端向节目管理服务器发送下载频道列表请求信息，节目管理服务器根据请求发送所需频道列表给终端，终端接收该频道列表。

步骤601、为所述频道列表中各频道的视音频信息与媒体服务器建立对应的多个通信连接通路；

终端接收到频道列表后，在进行频道切换时，播放程序将选择一组频道节目，然后在切换频道时，播放程序选择一组频道节目，然后与媒体服务器建立该组全部节目的视频浏览通信连接通路；终端设置视音频过滤信息，媒体服务器根据终端设置的视音频过滤信息对发送的视音频信息进行过滤处理。

步骤602、接收经过过滤处理的视音频信息；

媒体服务器根据视音频过滤信息通过对应的通信连接通路向终端发送视频帧，终端接收经过过滤处理的视音频信息。

步骤603、对接收到的视音频信息进行解码，并输出。

播放程序通过单路解码器多路复用技术对存储的视音频信息进行解码，并显示视频浏览节目的视频画面。

通过多路视频处理方法可以实现多画面频道切换的功能，即用户每次操作一次频道切换时，可以同时显示多个频道的浏览窗口，每个频道浏览窗都在用该频道当前正在播放的节目的最新视频画面进行刷新；同时用户还可以通过操作方向键选择所需节目进行收看，通过该功能用户只需要执行一次频道切换就同时可以浏览多个频道节目的内容，可以让用户很直观、方便地找到所需频道节目，减少了用户搜索频道节目的时。例如终端支持100个频道节目，普通的频道切换方式，需要执行100次频道切换才能将所有频道节目浏览一遍；而采用本实施例提供的多画面频道切换功能，若终端支持9个视频浏览窗口，那么用户只需要进行12次频道切换就能将所有频道节目浏览一遍。同时用户还可以将同一类的节目(例如CCTV1～CCTV12)设置到一个频道组中进行浏览。

应用本实施例中提供的方法还可以实现多路频道冲浪，与上述方法不同之处在于输出方式的不同。频道冲浪是指用户在使用各种主业务(点播、直播、网页浏览、视频通话、游戏等)功能时，随时都可以通过操作“频道冲浪”快捷键启动直播频道冲浪功能；启动频道冲浪后，用户可以操作频道切换键进行冲浪频道的切换，实现在使用主业务的同时可以实时浏览各个直播频道的当前播放的节目内容。图8为本发明多路频道冲浪的输出方式实施例一示意图；图9为本发明多路频道冲浪的输出方式实施例二示意图；图10为本发明多路频道冲浪的输出方式实施例三示意图。

本实施例提供的多面面频道切换视频处理方法的实施例中，有关终端设置视音频过滤信息，服务器根据终端设置的视音频过滤信息对视音频信息进行过滤处理，以及终端接收到服务器下发的经过过滤处理的视音频信息后，通过解码复用利用一路解码器完成多路视音频同时解码的实现方法，还有多窗口浏览输出的方法，均可分别应用前述的视频传输方法实施例、视频解码方法实施例以及多路视频处理方法实施例一中所述的实现方法，本实施例中不再赘述。

多路视频处理方法实施例四

基于多路视频处理方法实施例一，图11为本发明多路视频处理方法实施例四流程图，如图11所示，包括如下步骤：

步骤701、播放当前频道节目的同时，与媒体服务器建立所述当前频道的相邻频道和/或历史频道的通信连接通路；

终端正常播放当前频道中的节目信息时，终端要与媒体服务器建立当前频道相邻频道和/或历史频道的通信连接通路。所述当前频道的相邻频道包括当前频道的上一个和下一个频道等，所述历史频道为终端上一次进行节目播放的频道。

步骤702、接收经过过滤处理的视音频信息；

媒体服务器根据视音频过滤信息对所要发送的视音频信息进行过过滤处理，并通过对应的通信连接通路向终端发送视频帧，终端接收经过过滤处理的视音频信息。

步骤703、对接收到的视音频信息进行解码，并输出。

在用户进行频道切换时，播放程序通过单路解码器多路复用技术对存储的所要播放的频道上的视音频信息进行解码，并输出视频浏览节目的视频画面。

播放程序在正常播放一个频道节目的同时，分别与媒体服务器建立上个频道、下个频道和/或历史频道的视频浏览通信连接通路，并设置视音频过滤信息，媒体服务器根据视音频过滤信息向终端发送视频帧；播放程序给每路视频浏览连接分配一块内存缓冲区用来缓存该路连接的视频帧；缓存任务会将接收到的视频帧保存到每路视频浏览的内存缓冲区中，如果缓冲区已满，则覆盖掉最先存储的视频帧；当用户通过进行频道切换时，播放程序首先从新频道对应的内存中取出视频帧进行解码，然后输出解码后的视频图像画面，即输出过渡画面。在输出视频过渡画面的同时，播放程序也在缓冲新频道的数据，等待缓冲完成后，就关闭过渡画面并开始正常播放该频道节目；如果在缓冲结束前，用户又进行了频道切换操作，则停止当前频道的缓冲，并开始输出新频道的过渡画面；每次进行频道切换时，播放程序都要重新与新频道的下个频道，上个频道，历史频道建立视频浏览连接，媒体服务器根据视音频过滤信息发送视频帧，为下次频道切换做好准备。

本实施例提供的频道快速切换方法，可减小进行频道切换时的等待时间，使用户快速了解新频道的节目内容信息。通常情况下，用户在切换频道时，必须等待新频道的视频画面播放出来后才能了解该频道正在播放的节目内容，这样在频道切换时用户必须等待2～3秒的时间才能了解该频道正在播放的节目内容，然后判定是停下来收看该节目，还是继续切换频道。而本方法可以在用户按下频道切换键时快速地了解新频道正在播放的节目的视频画面，无需等待较长时间。还可以通过显示特效例如渐变效果等，显示过度画面。

本实施例提供的频道快速切换方法的实施例中，有关终端设置视音频过滤信息，服务器根据终端设置的视音频过滤信息对视音频信息进行过滤处理，以及终端接收到服务器下发的经过过滤处理的视音频信息后，通过解码复用利用一路解码器完成多路视音频同时解码的实现方法，还有多窗口浏览输出的方法，均可分别应用前述的视频传输方法实施例、视频解码方法实施例以及多路视频处理方法实施例一中所述的实现方法，本实施例中不再赘述。

多路视频处理方法实施例五

基于多路视频处理方法实施例一，图12为本发明多路视频处理方法实施例五流程图，如图12所示，包括如下步骤：

步骤800、播放当前频道节目的同时，与媒体服务器建立所有频道的通信连接通路；

终端正常播放当前频道中的节目信息时，终端要与媒体服务器建立所有频道的通信连接通路，为进行任一个频道切换做准备。

步骤801、所述媒体服务器为所述通信连接通路分配对应的内存缓冲区；

媒体服务器中为建立的各通信连接通路分配一块对应的内存缓冲区，媒体服务器为每一路视频浏览提供缓冲区。

步骤802、所述媒体服务器将经过过滤处理的视音频信息存储到对应的所述内存缓冲区中；

媒体服务器根据终端设置的视音频过滤信息对所要发送的视音频信息进行过滤处理，并将经过过滤处理的视音频信息存储在媒体服务器本身为个路视频浏览分配的内存缓冲区中，按照需求等待发送给终端。

步骤803、终端接收所述内存缓冲区中存储的所述视音频信息；

终端接收到频道切换请求后，向媒体服务器请求所要切换频道的视音频信息，媒体服务器将存储在内存缓冲区中的对应的视音频信息发送给终端。

步骤804、对接收到的视音频信息进行解码，并输出。

播放程序通过单路解码器多路复用技术对接收到的视音频信息进行解码，并输出视频浏览节目的视频画面。

媒体服务器按照过滤策略将每个频道的视频帧保存到相应的缓冲区中，如果缓冲区满，则覆盖最先的视频帧；终端在切换频道时，终端先向服务器请求新频道的视频帧，然后将收到的帧进行解码和输出，在输出过渡画面的同时终端也在正常缓冲该频道节目的数据，如果缓冲结束就关闭过渡画面输出，并开始正常频道节目播放。

本实施例提供的方法中，也可以在终端上为每一路视频浏览分配对应的缓冲区，并将每一路的视频帧存储在对应的缓冲区中，但此实现方法会增加终端负荷；上述提供的在服务器侧为每一路视频浏览提供缓冲区的方法，既减小了终端的负荷，又实现了快速切换频道的目的。

本实施例提供的频道快速切换方法的实施例中，有关终端设置视音频过滤信息，服务器根据终端设置的视音频过滤信息对视音频信息进行过滤处理，以及终端接收到服务器下发的经过过滤处理的视音频信息后，通过解码复用利用一路解码器完成多路视音频同时解码的实现方法，还有多窗口浏览输出的方法，均可分别应用前述的视频传输方法实施例、视频解码方法实施例以及多路视频处理方法实施例一中所述的实现方法，本实施例中不再赘述。

多路视频处理方法实施例六

基于多路视频处理方法实施例一，图13为本发明多路视频处理方法实施例六流程图，如图13所示，包括如下步骤：

步骤900、与本地存储介质建立多个通信连接通路；

终端在本地存储介质中打开一个文件夹后，播放程序打开该文件夹所有的媒体文件，并根据媒体文件的数量建立相同数目的通信连接通路；并同时设置视音频过滤信息。

步骤901、接收经过过滤处理的视音频信息；

终端播放程序根据设置的视音频过滤信息对媒体文件中的视频帧进行过滤处理。

步骤902、对接收到的视音频信息进行解码，并输出。

播放程序通过单路解码器多路复用技术对经过过滤处理的视音频信息进行解码，并输出视频浏览节目的视频画面。

本实施例提供的多路本地媒体文件视频处理方法，实现在一个界面上同时浏览多个本地媒体文件的视频内容。与多路点播/直播的视频浏览的区别是，本地媒体文件浏览的视频帧是播放程序直接从本地存储介质上读取，而不是通过网络从服务器获取。且本方法中有关终端设置视音频过滤信息，根据视音频过滤信息对视音频信息进行过滤处理，以及终端通过解码复用利用一路解码器完成多路视音频同时解码的实现方法，还有多窗口浏览输出的方法，均可分别应用前述的视频传输方法实施例、视频解码方法实施例以及多路视频处理方法实施例一中所述的实现方法，本实施例中不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

终端实施例

图14为本发明终端实施例一结构示意图，如图14所示，终端包括设置模块11用于设置视音频过滤信息；接收模块12用于基于与媒体服务器建立的通信连接通路，接收媒体服务器根据所述视音频过滤信息对要发送的视音频信息进行处理后的视音频信息；解码模块13用于对信息接收模块接收的所述视音频信息进行解码。

具体地，设置模块11根据所要视频浏览的数量设置视音频过滤信息，接收模块12首先为多路视频浏览与媒体服务器建立与视频浏览数量相同的通信连接通路，并通过建立的通信连接通路接收每一路的视频帧信息；终端接收到的视频帧信息为经过媒体服务器过滤处理的视音频信息；终端接收到所需的视频帧信息后，由解码模块13对接收到的信息进行解码处理，处理过程可应用前述的视频解码方法实施例中提供的单解码器解码复用方法。

图15为本发明终端实施例二结构示意图，如图15所示，基于上述终端实施例一，进一步地，解码模块13包括缓存处理子模块131用于将接收模块12接收到的所述视音频信息存储在与所述通信连接通路对应的内存缓冲区中；解码子模块132用于对所述内存缓冲区中存储的所述视音频信息进行解码；终端还包括显示模块14用于输出经过解码的所述视音频信息。

缓存处理子模块131首先根据建立好的通信连接通路在终端内存中为各路视频浏览分配对应的内存缓冲区，当接收模块12接收到服务器下发的视频帧时，将每一路上的视频帧存储到对应的内存缓冲区中；解码子模块132对每一个内存缓冲区中的视频帧进行解码处理；解码完成后，通过括显示模块14输出经过解码的图像信息。

以上实施例提供的终端，通过设置视音频过滤信息，并利用单解码器多路复用方法对媒体服务器发送的视音频信息进行解码处理，实现了多路视频浏览。

媒体服务器实施例

图16为本发明媒体服务器实施例结构示意图，如图16所示，媒体服务器包括过滤模块21用于根据终端设置的视音频过滤信息对视音频信息进行过滤处理；发送模块22用于通过对应的建立通信连接通路发送经过过滤模块21过滤处理的所述视音频信息。

具体地，媒体服务器与终端在传输视频帧信息前，将根据视频浏览数量建立数目相同的通信连接通路；过滤模块21获取到视音频过滤信息后，根据该过滤信息对所要发送的视音频信息进行过滤处理，降低每一路视频帧占用的带宽，然后发送模块22将每一路视频帧通过对应的通信连接通路发送给终端，实现视音频信息的多路传输。

为完成任一频道的快速切换，媒体服务器还可包括缓存处理模块23用于缓存经过过滤模块21过滤处理的所述视音频信息。缓存处理模块23根据建立的通信连接通路在媒体服务器内存中为每一路分配对应的缓冲区，并将经过过滤处理的视音频信息存储在对应的内存缓冲区中；当终端请求某一频道中的视音频信息时，发送模块22将媒体服务器内存缓冲区中的对应频道的视频帧发送给终端，实现频道的快速切换。

多路视频处理系统

图17为本发明多路视频处理系统实施例结构示意图，如图17所示，该系统包括终端1和媒体服务器2。

其中，终端1包括设置模块11用于设置视音频过滤信息；接收模块12用于基于与媒体服务器建立的通信连接通路，接收媒体服务器根据所述视音频过滤信息对要发送的视音频信息进行处理后的视音频信息；解码模块13用于对信息接收模块接收的所述视音频信息进行解码。具体地，设置模块11根据所要视频浏览的数量设置视音频过滤信息，接收模块12首先为多路视频浏览与媒体服务器建立与视频浏览数量相同的通信连接通路，并通过建立的通信连接通路接收每一路的视频帧信息；终端接收到的视频帧信息为经过媒体服务器过滤处理的视音频信息；终端接收到所需的视频帧信息后，由解码模块13对接收到的信息进行解码处理，处理过程可应用前述的视频解码方法实施例中提供的单解码器解码复用方法。

进一步地，解码模块13包括缓存处理子模块131用于将接收模块12接收到的所述视音频信息存储在与所述通信连接通路对应的内存缓冲区中；解码子模块132用于对所述内存缓冲区中存储的所述视音频信息进行解码；终端还包括显示模块14用于输出经过解码的所述视音频信息。

缓存处理子模块131首先根据建立好的通信连接通路在终端内存中为各路视频浏览分配对应的内存缓冲区，当接收模块12接收到服务器下发的视频帧时，将每一路上的视频帧存储到对应的内存缓冲区中；解码子模块132对每一个内存缓冲区中的视频帧进行解码处理；解码完成后，通过显示模块14输出经过解码的图像信息。

媒体服务器2包括过滤模块21用于根据终端设置的视音频过滤信息对视音频信息进行过滤处理；发送模块22用于通过对应的建立通信连接通路发送经过过滤模块21过滤处理的所述视音频信息。

具体地，媒体服务器与终端在传输视频帧信息前，将根据视频浏览数量建立数目相同的通信连接通路；过滤模块21获取到视音频过滤信息后，根据该过滤信息对所要发送的视音频信息进行过滤处理，降低每一路视频帧占用的带宽，然后发送模块22将每一路视频帧通过对应的通信连接通路发送给终端，实现视音频信息的多路传输。为完成任一频道的快速切换，媒体服务器还应包括缓存处理模块23用于缓存经过过滤模块21过滤处理的所述视音频信息。缓存处理模块23根据建立的通信连接通路在媒体服务器内存中为每一路分配对应的缓冲区，并将经过过滤处理的视音频信息存储在对应的内存缓冲区中；当终端请求某一频道中的视音频信息时，发送模块22将媒体服务器内存缓冲区中的对应频道的视频帧发送给终端，实现频道的快速切换。

本实施例提供的多路视频处理系统，在不提高网络带宽的前提下，实现了视音频信息的多路传输，在仅具有一路解码能力的终端上实现多路复用解码并浏览；节省了网络带宽资源，降低了成本，提高视频传输效率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (24)

1、一种多路视频处理方法，其特征在于包括：

建立多个通信连接通路，根据设置的视音频过滤信息对视音频信息进行处理；

基于建立的多个通信连接通路，接收经过过滤处理的视音频信息；

对接收到的所述视音频信息进行解码。

2、根据权利要求1所述的多路视频处理方法，其特征在于，所述根据设置的视音频过滤信息对视音频信息进行处理包括：

根据所述视音频过滤信息，对所述视音频信息中的全部或部分音频帧进行过滤处理；

和/或根据所述视音频过滤信息，对所述视音频信息中的全部或部分非视频关键帧进行过滤处理；

和/或根据所述视音频过滤信息中的发送和丢弃所述视音频信息的持续时间，对发送和丢弃所述视音频信息进行控制。

3、根据权利要求2所述的多路视频处理方法，其特征在于，所述根据设置的视音频过滤信息对视音频信息进行处理还包括：根据所述视音频过滤信息，对所述视音频信息中的全部或部分非视频关键帧和部分视频关键帧进行过滤处理。

4、根据权利要求1所述的多路视频处理方法，其特征在于，所述根据设置的视音频过滤信息对视音频信息进行处理之前，还包括设置视音频过滤信息。

5、根据权利要求4所述的多路视频处理方法，其特征在于，所述设置视音频过滤信息包括：

将所述视音频过滤信息设置为过滤所述视音频信息中的全部或部分音频帧的过滤信息；

和/或将所述视音频过滤信息设置为过滤所述视音频信息中的全部或部分非视频关键帧的过滤信息；

和/或设置所述视音频过滤信息中发送和丢弃所述视音频信息的持续时间。

6、根据权利要求5所述的多路视频处理方法，其特征在于，所述设置视音频过滤信息还包括：将所述视音频过滤信息设置为，过滤部分或全部非视频关键帧和过滤部分视频关键帧的过滤信息。

7、根据权利要求1所述的多路视频处理方法，其特征在于，所述对接收到的所述视音频信息进行解码之后，还包括：输出经过解码的所述视音频信息。

8、根据权利要求7所述的多路视频处理方法，其特征在于，所述输出经过解码的所述视音频信息包括：对经过解码的所述视频信息进行转码处理，输出所述视频信息。

9、根据权利要求8所述的多路视频处理方法，其特征在于，所述对经过解码的所述视频信息进行转码处理，输出所述视频信息包括：

将经过解码的视频信息的输出格式转换成图形输出格式；

根据所述视频信息的输出控制信息，按照所述图形输出格式进行输出。

10、根据权利要求9所述的多路视频处理方法，其特征在于，所述根据所述视频信息的输出控制信息，按照所述图形输出格式进行输出包括：

根据图形大小输出控制信息，对所述视频信息进行处理；

根据图形位置输出控制信息，将所述视频信息按照所述图形输出格式输出。

11、根据权利要求1所述的多路视频处理方法，其特征在于，所述接收经过过滤处理的视音频信息包括：

为所述通信连接通路分配对应的内存缓冲区；

将接收到的经过过滤处理的视音频信息存储到对应的所述内存缓冲区中。

12、根据权利要求11所述的多路视频处理方法，其特征在于，所述对接收到的所述视音频信息进行解码包括：

依序检查所述内存缓冲区，对存储在所述内存缓冲区中的所述视音频信息进行解码；

和/或根据接收到的解码请求信息，对存储在所述内存缓冲区中的所述视音频信息进行解码。

13、根据权利要求1至12所述的任一多路视频处理方法，其特征在于，所述基于建立的多个通信连接通路，接收经过过滤处理的视音频信息包括：

接收节目页面信息；

根据所述节目页面信息中各视音频信息的地址信息，为所述视音频信息建立对应的多个通信连接通路；

接收经过过滤处理的视音频信息。

14、根据权利要求1至12所述的任一多路视频处理方法，其特征在于，所述基于建立的多个通信连接通路，接收经过过滤处理的视音频信息包括：

接收频道列表；

为所述频道列表中各频道的视音频信息，建立对应的多个通信连接通路；

接收经过过滤处理的视音频信息。

15、根据权利要求1至12所述的任一多路视频处理方法，其特征在于，所述基于建立的多个通信连接通路，接收经过过滤处理的视音频信息包括：

播放当前频道节目的同时，建立所述当前频道的相邻频道和/或历史频道的通信连接通路；

接收经过过滤处理的视音频信息。

16、根据权利要求1至12所述的任一多路视频处理方法，其特征在于，所述基于建立的多个通信连接通路，接收经过过滤处理的视音频信息包括：

播放当前频道节目的同时，建立所有频道的通信连接通路；

接收经过过滤处理的视音频信息。

17、根据权利要求16所述的多路视频处理方法，其特征在于，所述接收经过过滤处理的视音频信息包括：

为所述通信连接通路分配对应的内存缓冲区；

将经过过滤处理的视音频信息存储到对应的所述内存缓冲区中；

接收所述内存缓冲区中存储的所述视音频信息。

18、根据权利要求1至12所述的任一多路视频处理方法，其特征在于，所述基于建立的多个通信连接通路，接收经过过滤处理的视音频信息包括：

与本地存储介质建立多个通信连接通路；

接收经过过滤处理的视音频信息。

19、一种多路视频处理系统，其特征在于，包括：终端和媒体服务器；

所述终端用于设置视音频过滤信息，基于与所述媒体服务器建立的通信连接通路，接收所述媒体服务器根据所述视音频过滤信息对视音频信息进行处理后的视音频信息，并对接收的所述视音频信息进行解码；

所述服务器用于根据所述终端设置的视音频过滤信息对视音频信息进行过滤处理，并通过对应的通信连接通路发送经过过滤处理的所述视音频信息。

20、一种终端，其特征在于，包括：

设置模块，用于设置视音频过滤信息；

接收模块，用于基于与媒体服务器建立的通信连接通路，接收媒体服务器根据所述视音频过滤信息对视音频信息进行处理后的视音频信息；

解码模块，用于对所述接收模块接收的所述视音频信息进行解码。

21、根据权利要求20所述的终端，其特征在于，所述解码模块包括：

缓存处理子模块，用于将所述接收模块接收到的所述视音频信息存储在与所述通信连接通路对应的内存缓冲区中；

解码子模块，用于对所述内存缓冲区中存储的所述视音频信息进行解码。

22、根据权利要求20或21所述的终端，其特征在于，还包括：输出模块，用于输出经过解码的所述视音频信息。

23、一种媒体服务器，其特征在于，包括：

过滤模块，用于根据终端设置的视音频过滤信息对视音频信息进行过滤处理；

发送模块，用于通过对应的通信连接通路发送经过所述过滤模块过滤处理的所述视音频信息。

24、根据权利要求23所述的媒体服务器，其特征在于，还包括缓存处理模块，用于缓存经过所述过滤模块过滤处理的所述视音频信息。

Images