CN103905783A - 对视频流进行解码显示的方法及设备 - Google Patents

Abstract

本发明公开了对视频流进行解码显示的方法及设备，其中，该方法包括：客户端进程单元接收解码指令，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元；否则，客户端进程单元启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元；解码显示进程单元接收视频码流，由空闲的解码资源对视频码流进行解码后显示。本发明方案能够提高对视频码流进行解码显示的效率。

Description

对视频流进行解码显示的方法及设备

技术领域

本发明涉及解码技术，尤其涉及对视频流进行解码显示的方法及设备。

背景技术

目前，多采用单进程方式对视频流进行解码显示，解码和显示功能与客户端功能在一个进程中执行；客户端进程单元既完成客户端功能，也进行解码和显示。

现有技术中，客户端进程单元接收用户通过视频解码界面输入的解码指令，查询本单元是否有空闲的解码资源，如果是，则将视频码流传送给空闲的解码资源，解码资源对接收的视频码流进行解码后显示；如果没有，则解码失败，通过视频解码界面向用户反馈失败响应。

对于某指定的操作系统，其虚拟内存一部分被内核空间占用；另一部分被用户空间占用，也就是用于应用程序，且每个进程使用的最大虚拟空间容量为用户占用的空间容量。对应于本发明方案，用户占用的虚拟空间也就是解码显示可用的最大虚拟内存空间，在需要进行解码显示的情况下，如果判断出这部分虚拟空间用完，则解码失败，降低了解码显示的效率。

以32位操作系统为例，操作系统分配了4GB的虚拟内存，其中2GB被内核空间占用，2GB被用户空间占用，应用程序可使用的虚拟内存只有2GB，也就是最大只有2GB用于对视频流的解码显示，这意味着客户端的其他功能和解码显示功能必须共同使用这部分虚拟内存资源，客户端的其他功能包括界面显示功能、与用户的交互功能等。由于计算机的特点，应用程序通常真正能够使用的虚拟内存远未达到2GB。现有的客户端进程单元包含多个解码资源，每个解码资源可进行一路视频码流的解码显示，一路视频码流的解码显示过程可能会占用大量的虚拟内存，虚拟内存使用量主要根据视频图像的大小和设置的视频流畅程度而定。以视频监控为例，视频数据解码显示设备需要将来自多路监控设备的视频流进行同时解码显示；由于可使用的虚拟内存最大容量有限，这导致了客户端进程单元同时解码显示的路数受到很大的限制；对于高清1080p以上的分辨率码流，路数限制会更加明显，具体表现在一个客户端可能同时只能看到几个高清画面；对于目前H.264码流的倒放功能，其占用更多的虚拟内存资源，在单进程解码中，一个客户端最多只能倒放两路高清码流。解码显示占用的虚拟内存过多时也会影响到客户端的其他功能的正常使用。对于单进程解码显示的客户端来说，如果要解决虚拟内存限制就需要使用64位的操作系统。而使用64位的操作系统对于产品的管理和维护需要付出更大的成本，因此，较少地采用增加虚拟内存的方式。

综上，现有对视频流进行单进程解码显示的方案，存在效率低的缺陷。

发明内容

本发明提供了一种对视频流进行解码显示的方法，该方法能够提高对视频码流进行解码显示的效率。

本发明提供了一种对视频流进行解码显示的设备，该设备能够提高对视频码流进行解码显示的效率。

一种对视频流进行解码显示的方法，该方法包括：

客户端进程单元接收解码指令，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元；否则，客户端进程单元启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元；

解码显示进程单元接收视频码流，由空闲的解码资源对视频码流进行解码后显示。

一种对视频流进行解码显示的设备，该设备包括客户端进程单元和至少一个解码显示进程单元；

所述客户端进程单元，接收解码指令，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元；否则，客户端进程单元启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元；

所述解码显示进程单元，接收来自客户端进程单元的视频码流，由空闲的解码资源对视频码流进行解码后显示。

从上述方案可以看出，本发明中，将解码显示从客户端进程单元独立出来，与客户端进程单元连接的解码显示单元为至少一个，如果与客户端进程单元连接的解码显示单元的解码资源用完，则启动新的解码显示进程单元；这样，采用多个解码显示进程单元对视频流进行解码显示，相比于现有技术中单进程的解码实现方案，提高了效率。假设同时有两个解码显示单元进行解码显示，解码路数将比现有方案增加一倍；对于同时有三个以上解码显示单元进行解码显示的情况，将进一步提高效率。

附图说明

图1为本发明对视频流进行解码显示的方法示意性流程图；

图2为本发明对视频流进行解码显示的方法流程图实例；

图3为客户端进程与解码显示进程之间的关系示意图；

图4为本发明对视频流进行解码显示的设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

本发明中，将解码显示从客户端进程单元独立出来，与客户端进程单元连接的解码显示单元为至少一个，如果与客户端进程单元连接的解码显示单元的解码资源用完，则启动新的解码显示进程单元。参加图1，为本发明对视频流进行解码显示的方法，其包括以下步骤：

步骤101，客户端进程单元接收解码指令。

用户通过视频解码界面向客户端进程单元输入解码指令。以视频监控为例，视频解码界面显示的内容包括需要进行解码显示的视频源标识，当用户需要显示关于某监控设备的视频数据时，选择与该监控设备对应的视频源标识，以向客户端进程单元输入关于该视频源标识的解码指令。

步骤102，客户端进程单元判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则执行步骤103；否则执行步骤104。

较优地，与客户端进程单元连接的有一个常驻解码显示进程单元，客户端进程单元启动后便启动该常驻解码显示进程单元，由该常驻解码显示进程单元进行视频流解码显示；如果该常驻解码显示进程单元的解码资源用完，则启动一个新的解码显示进程单元。这样，与客户端进程单元连接着至少一个解码显示进程单元；各个解码显示进程单元互相独立，分别运行一个进程进行解码显示，每个解码显示进程单元可占用的最大虚拟内存容量为用户可占用的空间容量，以32位操作系统为例，每个解码显示进程单元可占用的最大虚拟内存容量为2GB，从而，提高了解码显示效率。

步骤103，客户端进程单元将视频码流传送给具有空闲解码资源的解码显示进程单元，执行步骤105。

较优地，本步骤具体包括：客户端进程单元与解码显示进程单元的空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源。

进行视频码流传送过程中，如果数据包过大，可进行拆包传输，具体地：客户端进程单元对视频码流进行拆包，为拆分后的数据包加上包头，传送给具有空闲资源的解码显示进程单元；解码显示进程单元接收来自客户端进程单元的数据包后，解析出包头，由包头组合出原始的视频码流；组合时，按照包头信息的指示，将属于同一视频码流的数据包按顺序组合成原始的视频码流。

步骤104，客户端进程单元启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元，执行步骤105。

较优地，本步骤具体包括：新启动的解码显示进程单元申请空闲资源，客户端进程单元与申请的空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源。新启动的解码显示进程单元可从系统申请空闲资源。

步骤105，解码显示进程单元接收视频码流，由空闲的解码资源对视频码流进行解码后显示。

图1的流程中，可在客户端进程单元与解码显示进程单元之间建立消息管道，以进行除视频码流以外的消息、命令的传输。具体地，步骤102之前，该方法还包括：客户端进程单元与解码显示进程单元之间协商消息管道名，客户端进程单元与解码显示进程单元之间建立与消息管道名对应的消息管道；相应地，步骤102包括：客户端进程单元通过消息管道向解码显示进程单元发送资源请求指令；解码显示进程单元接收资源请求指令后判断是否具有空闲的解码资源，如果是，则通过消息管道将空闲解码资源的标识反馈给客户端进程单元，否则通过消息管道向客户端进程单元反馈无空闲资源消息。

步骤105由空闲的解码资源对视频码流进行解码及显示的过程中，还可对解码和显示进行控制，具体包括：

客户端进程单元经通过消息管道向解码显示进程单元发送视频控制命名；

解码显示进程单元将接收的视频控制命令传送给解码资源，解码资源按照视频控制命令对接收的视频码流进行解码和显示。

步骤105由空闲的解码资源对视频码流进行解码后显示之后，为了节省资源，还可进行解码资源的释放，具体包括：

客户端进程单元经消息管道向解码显示进程单元发送停止命令，所述停止命令包括码流管道标识；

解码显示进程单元接收停止命令后，通知与码流管道标识对应的解码资源停止解码，释放解码资源；解码显示进程单元判断所有解码资源是否都释放完毕，如果是，则判断是否为常驻解码显示进程单元，如果不是常驻解码显示进程单元，则退出进程。

本发明采用多个解码显示进程单元对视频流进行解码显示，相比于现有技术中单进程的解码实现方案，提高了效率。假设同时有两个解码显示单元进行解码显示，解码路数将比现有方案增加一倍；对于同时有三个以上解码显示单元进行解码显示的情况，将进一步提高效率。

参加图2，为本发明对视频流进行解码显示的方法流程图实例，其包括以下步骤：

步骤201，客户端进程单元接收解码指令。

以视频监控为例，当用户需要对来自某监控设备的视频码流进行预览或回放时，向客户端进程单元发送关于该视频码流的解码指令；预览，即对该监控设备采集的视频码流进行实时解码显示，回放，即对该监控设备之前采集的视频码流进行解码显示。客户端进程单元接收解码指令后，会从该监控设备获取相应的视频码流。

步骤202，客户端进程单元与解码显示进程单元之间协商消息管道名，客户端进程单元与解码显示进程单元之间建立与消息管道名对应的消息管道。

本实例中，首先启动的是常驻解码显示进程单元，也就是，本步骤中客户端进程单元与常驻解码显示进程单元之间建立消息管道。客户端进程单元启动常驻解码显示进程单元的同时，还将客户端进程名和客户端进程ID作为启动参数传递给解码显示进程单元，用于建立消息管道。

客户端进程单元运行客户端进程，解码显示进程单元运行解码显示进程，客户端进程与解码显示进程之间建立消息管道。采用命名管道技术，其特点是整个系统中管道名必须唯一，所以在建立消息管道前客户端进程和解码显示进程需先协商消息管道名，为了避免重复，本实施例中，命名规则是用客户端进程名、客户端进程ID、解码显示进程ID组合成消息管道名，中间用“.”号连接，其完整形式是“\\\\.\\pipe\\客户端进程名.客户端进程ID.解码显示进程ID”，“\\\\.\\pipe\\”前缀是固定形式。而后，就在两个进程间建立消息管道。

步骤203，客户端进程单元通过消息管道向解码显示进程单元发送资源请求指令。

步骤204，解码显示进程单元接收资源请求指令后判断是否具有空闲的解码资源，如果是，则通过消息管道将空闲解码资源的标识反馈给客户端进程单元，执行步骤205，否则通过消息管道向客户端进程单元反馈无空闲资源消息，执行步骤206。

步骤205，客户端进程单元根据解码资源标识，与空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源，执行步骤207。

客户端进程与解码显示进程之间先协商管道名，例如为“\\\\.\\pipe\\客户端名.客户端进程ID.解码显示进程ID.解码资源ID”，而后，两个进程间建立码流管道。

建立完通信渠道后，客户端进程先将发送的消息和视频码流序列化为字节流传输到管道中，管道的另一端解码显示进程需要将字节流反序列化为消息和视频码流。对于由消息管道传输的消息，将消息结构被序列化为可扩展标记语言（XML，Extensible Markup Language）文本进行传输，这样方便对消息进行扩展。对视频码流的序列化类似于网络传输时的打包头，将从前端监控设备中传过来的码流加上包头发送，如果一次传递的视频码流很大，可以分成多个包发出去，包头包含码流类型、数据长度的等信息。

步骤206，客户端进程单元启动一个新的解码显示进程单元，新启动的解码显示进程单元申请空闲资源，客户端进程单元与申请的空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源，执行步骤207。

步骤207，解码显示进程单元的解码资源对视频码流进行解码后显示。

步骤208，客户端进程单元经消息管道向解码显示进程单元发送视频控制命名。

所述视频控制命令包括：快放、慢放、暂停、单帧、倒放、同步回放、图形叠加、字符叠加等命令。

步骤209，解码显示进程单元将接收的视频控制命令传送给解码资源，解码资源按照视频控制命令对接收的视频码流进行解码和显示。

解码显示进程解压缩码流并将解码后的图像显示在客户端窗口上；解码显示进程在获取客户端进程的解码指示后开启解码功能，等待客户端进程将视频码流发送过来，一接收到数据就开始解码和显示图像。解码显示进程实时将解码状态通过消息管道发送给客户端进程，以使客户端进程实时掌握解码状态。

步骤210，客户端进程单元经消息管道向解码显示进程单元发送包含码流管道标识的停止命令。

步骤211，解码显示进程单元接收停止命令后，通知与码流管道标识对应的解码资源停止解码，释放解码资源。

进一步地，释放解码资源后，解码显示进程单元还可判断所有解码资源是否都释放完毕，如果是，则判断是否为常驻解码显示进程单元，如果不是常驻解码显示进程单元，则退出进程。

该实例中，客户端进程单元本身不解码和显示图像，而是将视频码流发送给解码显示进程单元，由解码显示进程单元完成解压缩码流和显示图像。一个解码显示进程单元运行一个进程，可以解若干路码流，该进程为每一路视频码流分配一个解码资源，每一个解码显示进程有一定的解码路数上限，该限制主要与视频码流的图像大小和设置的流畅程度相关。当一个解码显示进程的资源不足时，客户端进程单元会主动启用新的解码显示进程。在32位4G物理内存配置的操作系统中，客户端可以管理3个解码显示进程，这样的解码能力是单进程解码客户端的3倍。

客户端进程单元运行一个客户端进程，该客户端进程下有多个线程；解码显示进程单元运行一个解码显示进程，该解码显示进程下有多个线程；各线程由主进程根据需要调用。图3示出了客户端进程与解码显示进程之间的关系，解码显示进程中有若干个解码资源，默认情况下都保持空闲状态，客户端进程在进行预览或者回放操作时，会让客户端进程单元中的资源管理器去寻找具有空闲资源的解码显示进程，解码显示进程则将空闲的资源返回给资源管理器。客户端进程通过与解码显示进程之间的通信，发送命令、解码参数、窗口句柄和码流数据给解码显示进程，由解码显示进程完成解码和显示图像；客户端进程还发送控制命令给解码显示进程，控制解码和显示的过程，这些命令包括：开始、停止、快放、慢放、暂停、单帧、倒放、同步回放、图形叠加、字符叠加等等。

客户端进程会对解码显示进程和解码资源做管理，有效提高资源利用率，降低操作系统的负载。客户端进程通过对解码显示进程编号，以管理这些解码显示进程和解码资源。在启动客户端进程后，将常驻解码显示进程编号为1，客户端进程在需要播放视频码流的时候从常驻解码显示进程中申请空闲解码资源，常驻解码显示进程如有空闲资源就将其分配给客户端进程。当解码显示进程的所有资源都分配完后，客户端进行会启动一个新的解码显示进程，其编号会在上一个解码显示进程的编号上加1，即第二个解码显示进程的编号为2，并向该进程申请空闲解码资源。当客户端播放视频结束后，通知解码显示进程释放解码资源，该资源被标记为空闲。以此类推，每次获取资源时从编号小的进程开始申请。当编号大于1的某解码进程中所有解码资源都释放后客户端结束这个解码显示进程。

图3描述了客户端进程和解码显示进程之前是如何进行进程间通信，如何进行消息、视频码流传递的。图3仅示出了解一路视频码流的情况，对于两路以上的情况与之类似。客户端进程与解码显示进程采用命名管道的方式建立通信渠道。图3，客户端进程和解码显示进程建立了两个通信渠道，每一个通信渠道其两端分别在两个进程中，包括消息管道对应的消息循环线程和管道线程，还包括码流管道对应的取流回调线程和管道线程，这两个通信渠道就是两条命名管道，称为消息管道和码流管道。消息管道，负责两个进程之间双向的消息数据通信，这些数据包含除码流以外的会话协议、控制命令、状态等。一个解码显示进程仅有一个消息管道。码流管道，提供给客户端进程一种视频码流传输的途径，能够让客户端进程把码流数据传输到解码显示进程中，这个管道是单向通信的。解码显示进程会为每一路解码资源分配一个码流管道。

本发明方案对于使用者完全是透明的，从使用者的角度上看，区分不出解码显示功能是在客户端还是在后台进程中进行。

参见图4，为本发明对视频流进行解码显示的设备结构示意图，该设备包括客户端进程单元和至少一个解码显示进程单元；

所述客户端进程单元，接收解码指令，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元；否则，客户端进程单元启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元；

所述解码显示进程单元，接收来自客户端进程单元的视频码流，由空闲的解码资源对视频码流进行解码后显示。

较优地，所述客户端进程单元包括用户界面层单元、业务层单元和资源管理器；

所述用户界面层单元，接收解码指令，传送给业务层单元，

所述业务层单元，接收来自用户界面层单元的解码指令，获取视频码流，将视频码流传送给资源管理器；

所述资源管理器，接收来自业务层单元的视频码流，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元的资源分配器；否则，启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元的资源分配器。

较优地，所述资源管理器，还用于与解码显示进程单元的空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源。

较优地，所述解码显示进程单元包括资源分配器；所述资源管理器，还用于与解码显示进程单元的资源分配器之间协商消息管道名，与资源分配器之间建立与消息管道名对应的消息管道，通过消息管道向资源分配器发送资源请求指令；

所述资源分配器，接收来自资源管理器的资源请求指令后判断是否具有空闲的解码资源，如果是，则通过消息管道将空闲解码资源的标识反馈给客户端进程单元，否则通过消息管道向客户端进程单元反馈无空闲资源消息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种对视频流进行解码显示的方法，其特征在于，该方法包括：

客户端进程单元接收解码指令，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元；否则，客户端进程单元启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元；

解码显示进程单元接收视频码流，由空闲的解码资源对视频码流进行解码后显示。

2.如权利要求1所述的方法，其特征在于，所述将视频码流传送给具有空闲解码资源的解码显示进程单元包括：客户端进程单元与解码显示进程单元的空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源；

所述客户端进程单元将视频码流传送给新启动的解码显示进程单元包括：新启动的解码显示进程单元申请空闲资源，客户端进程单元与申请的空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源。

3.如权利要求1所述的方法，其特征在于，所述判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源之前，该方法还包括：客户端进程单元与解码显示进程单元之间协商消息管道名，客户端进程单元与解码显示进程单元之间建立与消息管道名对应的消息管道；

所述判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源包括：客户端进程单元通过消息管道向解码显示进程单元发送资源请求指令；解码显示进程单元接收资源请求指令后判断是否具有空闲的解码资源，如果是，则通过消息管道将空闲解码资源的标识反馈给客户端进程单元，否则通过消息管道向客户端进程单元反馈无空闲资源消息。

4.如权利要求3所述的方法，其特征在于，所述由空闲的解码资源对视频码流进行解码及显示的过程中，该方法还包括：

客户端进程单元经通过消息管道向解码显示进程单元发送视频控制命令；

解码显示进程单元将接收的视频控制命令传送给解码资源，解码资源按照视频控制命令对接收的视频码流进行解码和显示。

5.如权利要求3所述的方法，其特征在于，所述由空闲的解码资源对视频码流进行解码后显示之后，该方法还包括：

客户端进程单元经消息管道向解码显示进程单元发送停止命令，所述停止命令包括码流管道标识；

解码显示进程单元接收停止命令后，通知与码流管道标识对应的解码资源停止解码，释放解码资源；解码显示进程单元判断所有解码资源是否都释放完毕，如果是，则判断是否为常驻解码显示进程单元，如果不是常驻解码显示进程单元，则退出进程。

6.如权利要求1至5中任一项所述的方法，其特征在于，所述客户端进程单元将视频码流传送给具有空闲解码资源的解码显示进程单元包括：

客户端进程单元对视频码流进行拆包，为拆分后的数据包加上包头，传送给具有空闲资源的解码显示进程单元；

解码显示进程单元接收来自客户端进程单元的数据包后，解析出包头，根据包头组合出原始的视频码流。

7.一种对视频流进行解码显示的设备，其特征在于，该设备包括客户端进程单元和至少一个解码显示进程单元；

所述客户端进程单元，接收解码指令，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元；否则，客户端进程单元启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元；

所述解码显示进程单元，接收来自客户端进程单元的视频码流，由空闲的解码资源对视频码流进行解码后显示。

8.如权利要求7所述的设备，其特征在于，所述客户端进程单元包括用户界面层单元、业务层单元和资源管理器；

所述用户界面层单元，接收解码指令，传送给业务层单元，

所述业务层单元，接收来自用户界面层单元的解码指令，获取视频码流，将视频码流传送给资源管理器；

所述资源管理器，接收来自业务层单元的视频码流，判断与客户端进程单元连接的至少一个解码显示进程单元是否存在具有空闲的解码资源，如果是，则将视频码流传送给具有空闲解码资源的解码显示进程单元的资源分配器；否则，启动一个新的解码显示进程单元，将视频码流传送给新启动的解码显示进程单元的资源分配器。

9.如权利要求8所述的设备，其特征在于，所述资源管理器，还用于与解码显示进程单元的空闲解码资源之间建立码流管道，将视频码流通过建立的码流管道传送给解码资源。

10.如权利要求7、8或9所述的设备，其特征在于，所述解码显示进程单元包括资源分配器；所述资源管理器，还用于与解码显示进程单元的资源分配器之间协商消息管道名，与资源分配器之间建立与消息管道名对应的消息管道，通过消息管道向资源分配器发送资源请求指令；

所述资源分配器，接收来自资源管理器的资源请求指令后判断是否具有空闲的解码资源，如果是，则通过消息管道将空闲解码资源的标识反馈给客户端进程单元，否则通过消息管道向客户端进程单元反馈无空闲资源消息。

Images