CN102834805B - 屏幕录制方法、屏幕录制控制方法及装置 - Google Patents

Abstract

本发明实施例提供一种屏幕录制方法、屏幕录制控制方法及装置。该屏幕录制方法包括：接收屏幕录制控制装置发送的控制消息；将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。本发明减少了屏幕录制过程中占用的物理空间和传输的数据量，同时也降低了录制过程中的带宽需求。

Description

屏幕录制方法、屏幕录制控制方法及装置

技术领域

本发明实施例涉及信息技术领域，尤其涉及一种屏幕录制方法、屏幕录制控制方法及装置。

背景技术

屏幕录制(Screen Record，简称SR)通常用于将一台计算机在一段时间内显示的变化内容(包括用户操作和视频播放等)进行记录和保存。屏幕录制是目前制作各种屏幕录像或进行录像监控的通用方法。

现有的屏幕录制方法是，在一段时间内通过操作系统提供的API接口截取屏幕上的帧图像，例如可以调用Windows操作系统的GDI引擎提供的接口截取屏幕上的帧图像，然后将截取到的帧图像以视频流形式保存在磁盘上。用户可以通过播放视频流的方式观看此段时间内的屏幕变化。因此，上述方法的录像的质量取决于截取图像的频率和分辨率。为了将截取的帧图像保存为视频流，需要定时截图以保证图像的连续性和录像的流畅性。为降低录像占用的空间，在截取帧图像后需根据图像的类型对截取的图像进行压缩。同时为了保证视频流的流畅，压缩算法必须具有较快的压缩率。

然而，现有的屏幕录制方法是通过连续地截取屏幕上图像来完成录制的，会产生大量的图像信息，从而需要占用大量的物理空间。虽然采用高压缩比的压缩算法对截取图像进行较快的压缩可一定程度上减少录像占用的物理空间，但压缩后节省的物理空间比较少。

发明内容

本发明实施例提供一种屏幕录制方法、屏幕录制控制方法及装置，用以解决现有技术在屏幕录制过程中物理空间占用较大的缺陷。

一方面，本发明实施例提供一种屏幕录制方法，包括：

接收屏幕录制控制装置发送的控制消息；

将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

一方面，本发明实施例还提供一种屏幕录制装置，包括：

控制消息接收模块，用于接收屏幕录制控制装置发送的控制消息；

发送模块，用于将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

另一方面，本发明实施例提供一种屏幕录制控制方法，包括：

向屏幕录制装置发送控制消息；

接收所述屏幕录制装置发送的设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间；

存储所述图形指令和所述设备在所述录制开始时刻的图像信息。

另一方面，本发明实施例还提供一种屏幕录制控制装置，包括：

控制模块，用于向屏幕录制装置发送控制消息；

接收模块，用于接收所述屏幕录制装置发送的设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间；

存储模块，用于存储所述设备在所述录制开始时刻的图像信息和所述图形指令。

本发明实施例提供的屏幕录制方法、屏幕录制控制方法及装置，屏幕录制装置根据屏幕录制控制装置所指示的录制时间，向屏幕录制控制装置发送使被录制屏幕的设备的图像发生变化的图形指令，和设备在录制开始时刻的图像信息。屏幕录制控制装置将获取到图形指令和设备在录制开始时刻的图像信息作为录制结果进行存储。本实施例录制的是引起设备屏幕上的图像发生变化的图形指令，图形指令中的图像信息量远少于从屏幕上连续截取的图像信息，因此减少了屏幕录制过程中占用的物理空间和传输的数据量，同时也降低了录制过程中的带宽需求。

附图说明

图1为本发明实施例提供的一种屏幕录制方法流程图；

图2为本发明实施例提供的另一种屏幕录制方法流程图；

图3为本发明实施例提供的又一种屏幕录制方法流程图；

图4为本发明实施例提供的再一种屏幕录制方法流程图；

图5A为本发明实施例提供的一种屏幕录制控制方法流程图；

图5B为本发明实施例提供的一种时间轴加入示意图；

图6为本发明实施例提供再一种屏幕录制方法流程图；

图7A为本发明实施例提供的一种屏幕录制装置结构示意图；

图7B为本发明实施例提供的另一种屏幕录制装置结构示意图；

图7C为本发明实施例提供的又一种屏幕录制装置结构示意图；

图7D为本发明实施例提供的再一种屏幕录制装置结构示意图；

图8为本发明实施例提供的一种屏幕录制控制装置结构示意图；

图9为本发明实施例提供的另一种屏幕录制控制装置结构示意图。

具体实施方式

本发明实施例采用录制图形指令的方法进行屏幕录制，以减少屏幕录制过程中产生的数据量，从而减少屏幕录制过程中占用的物理空间。本发明实施例适用于本机录制，也适用于远程录制。

图1为本发明实施例提供的一种屏幕录制方法流程图。本实施例的执行主体屏幕录制装置位于被录制屏幕的设备的显示驱动模块内部，当然并不限于此，本实施例的执行主体屏幕录制装置也可以位于其他设备内。在本实施例中，屏幕为显示的最终界面。如图1所示，本实施例包括：

步骤11：接收屏幕录制控制装置发送的控制消息。

位于被录制屏幕的设备本机或远程的屏幕录制控制装置向屏幕录制装置发送控制消息，控制屏幕录制的录制开始时刻和录制的停止时刻。

步骤12：将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

屏幕录制装置接收到控制消息后，根据屏幕录制控制装置指示的录制开始时刻，获取被录制屏幕的设备在录制开始时刻的图像信息。其中，被录制屏幕的设备在所述录制开始时刻的图像信息，可以是被录制屏幕的设备在所述录制开始时刻的设备表面。设备表面为显示驱动模块管理的图像，操作系统无法处理。一个设备表面对应一个图像。设备表面相当于动态更新的缓存。设备表面包括一个用于负责屏幕显示的主表面，其它设备表面不用显示。主表面不断地刷新并显示在被录制屏幕的设备的屏幕上。以Windows操作系统为例，在Windows驱动中需要保存的图像称为设备表面，Windows中的表面分为设备表面和GDI表面，GDI表面是GDI引擎可以直接处理的图像。初始设备表面为在录制开始时刻被录制屏幕的设备的设备表面。

当对设备进行操作导致设备屏幕上的图像发生变化时，设备上的操作系统会向显示驱动模块发出图形指令，例如图像拷贝指令、文字绘制指令、线条处理指令等。以Windows操作系统为例，其中的图像拷贝指令分为DrvCopyBits指令、DrvBitBlt指令、DrvStretchBlt指令和DrvTransparentBlt指令等，提供了一般的位图传输能力，包括图像的直接拷贝、加入ROP(光栅)操作、画刷、掩码后的图像拷贝、图像拉伸和图像透明等。文字绘制指令包括DrvTextOut等指令，提供了文字的字信息、文字的字体(包括矢量字体)、文字的大小和文字的颜色等。线条处理指令分为DrvFillPath指令、DrvLineTo指令和DrvStrokePath指令等，提供了画线、画框和绘制表格等功能。屏幕录制装置可实时捕获操作系统向显示驱动模块发送的图像操作指令，也可以称为图形指令。图形指令中的图像信息为该指令直接操作的图像信息，例如可以为屏幕上的局部图像信息。图形指令是对设备表面的操作。图形指令中可能有创建设备表面的图形指令，也可能有删除设备表面的图形指令。图形指令中的图像信息包括像素信息、坐标信息和调色板等。从屏幕上连续截取的图像信息主要为像素信息。由于从屏幕上截取的图像信息用于表示设备显示区域上的图像，图形指令中的图像信息表示图形指令直接操作的图像。通常情况下，图形指令所操作的图像只是设备显示的局部图像。例如，对于操作设备所显示的图像中某个区域的图形指令，该图形指令中的图像信息表示待操作区域的图像，而截取的屏幕图像信息表示设备显示区域上的图像。又例如。画线指令中图像信息为各个点的坐标和线条格式，而不是用于表示设备显示区域上的图像。再例如，文字指令中图像信息为字符的字信息、字体、大小和颜色等，而不是用于表示设备显示区域上的图像。因此，图形指令中的图像信息占用的物理空间远小于连续截取的屏幕图像信息占用的物理空间。

屏幕录制装置将在控制消息指示的录制时间内从被录制屏幕的设备获取的图形指令发送给屏幕录制控制装置。屏幕录制装置向屏幕录制控制装置发送获取到的图形指令，而不是发送从屏幕上连续截取的图像信息。屏幕录制控制装置将获取到图形指令和被录制屏幕的设备的设备表面作为录制结果进行存储。在播放录制结果时，按照存储的图形指令被获取的时间先后顺序，对设备表面和图形指令中的图像信息执行与这些图形指令相应的图像操作，以改变屏幕上的图像，从而达到播放屏幕操作的目的。

另外，控制消息中还可以包括压缩等级。在发送图形指令之前，根据所述控制消息所指示的压缩等级，对在所述录制时间内获取的图形指令中的图像信息进行压缩处理，将用于标识所述图形指令的压缩等级的压缩类型添加到该图形指令。图形指令中的图像信息经压缩后再发送给屏幕录制控制装置，可减少屏幕录制装置向屏幕录制控制装置传输的数据量。屏幕录制控制装置在接收到图形指令后，先根据图形指令中压缩类型所指示的压缩等级进行解压缩，之后再进行加入时间轴等操作。

本实施例提供的屏幕录制方法，屏幕录制装置根据屏幕录制控制装置所指示的录制时间，向屏幕录制控制装置发送使被录制屏幕的设备的图像发生变化的图形指令。屏幕录制控制装置将获取到图形指令和设备在录制开始时刻的图像信息作为录制结果进行存储。本实施例录制的是引起设备屏幕上的图像发生变化的图形指令，图形指令中的图像信息量远少于从屏幕上连续截取的图像信息，因此减少了屏幕录制过程中占用的物理空间和传输的数据量，同时也降低了录制过程中的带宽需求。

为进一步减少屏幕录制过程中屏幕录制装置向屏幕录制控制装置传输的数据量，如图2所示的另一种屏幕录制方法的实施例，包括：

步骤21：接收屏幕录制控制装置发送的控制消息。

步骤22：获取设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

步骤23a：判断在所述录制时间内，图形指令中的图像信息是否已缓存。如果是则执行步骤23c，否则执行步骤23b。

步骤23b：在所述录制时间内，若图形指令中的图像信息没有被缓存，缓存所述图形指令中的图像信息。

进一步，还可在所述图形指令中添加用于标识所述图形指令的图像信息为完整信息的图像类型。

如果在录制时间内，被录制屏幕的设备的缓存中没有当前图形指令中的图像信息，可确定在录制时间内在当前图形指令之前的其它图形指令中不包括该图像信息，因此，缓存该图像信息，并在当前图形指令中添加图像类型，以标识该图形指令的图像信息为完整信息。

步骤23c：在所述录制时间内，若图形指令中的图像信息已被缓存，在所述图形指令中添加图像信息的图像关键值，并删除所述图形指令中的图像信息。

进一步，还可在所述图形指令中添加用于标识所述图形指令中的图像信息为图像关键值的图像类型。

若图形指令中的图像信息已被缓存，则可确定在录制时间内，在当前图形指令之前的其它图形指令中也包括有与当前图形指令相同的图像信息，因此为减少录制过程中产生的图像信息量，只在当前图形指令中存储图像关键值，只将当前图形指令中的图像关键值发送给屏幕录制控制装置，而不需要将当前图形指令中的图像信息发送给屏幕录制控制装置。屏幕录制控制装置根据图像关键值从缓存的图像信息中获取相应的图像信息。

步骤24：向屏幕录制控制装置发送设备在录制开始时刻的图像信息和经过上述处理的图形指令。

进一步，屏幕的某一块区域连续快速地被更新时，会产生大量的图形指令。由于在极短时间内，后面图形指令的操作区域有可能覆盖前面图形指令的操作区域，从而人的肉眼无法感知到极短时间内的屏幕变化，例如，在极短时间内连续有两条图形绘制指令在同一区域绘制了两幅图形，人的肉眼只能感知到最后一条图形绘制指令在绘制结果。如图3所示的又一种屏幕录制方法的实施例包括：

步骤31：接收屏幕录制控制装置发送的控制消息。

步骤32：获取设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

步骤33：在录制时间内获取的图形指令中，确定图像信息中坐标信息相同的图形指令组成的图形指令集，若所述图形指令集中存在间隔时间小于整合时间的两条图形指令，删除其中获取时间早的图形指令。该整合时间可以由控制消息指示。

步骤34：向屏幕录制控制装置发送设备在录制开始时刻的图像信息和经过处理的图形指令。

整合时间由屏幕录制控制装置通过控制消息传输给屏幕录制装置。通过步骤33可删除人的肉眼无法感知的极短时间内的屏幕变化所对应的图形指令，不需要发送给屏幕录制控制装置，从而可以进一步减少向屏幕录制控制装置传输的图形指令的数量。

为进一步减少屏幕录制装置向屏幕录制控制装置传输的数据量，如图4所示的再一种屏幕录制方法的实施例，包括：

步骤41：接收屏幕录制控制装置发送的控制消息。

步骤42：获取设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

步骤43：若所述图形指令包括冗余信息，删除所述图形指令中的冗余信息；所述冗余信息包括播放时不需要的调色板信息或所述屏幕录制控制装置已保存的图像信息。

进一步，删除所述图形指令中的冗余信息后，将用于标识所述图形指令为修改后图形指令的指令类型添加到所述图形指令；若所述图形指令不包括冗余信息，将用于标识所述图形指令为没有被修改的图形指令的指令类型添加到所述图形指令。

例如在windows操作系统下，有的图形指令是设备表面到设备表面的操作，由于屏幕录制控制装置已有缓存的设备表面，只需要向屏幕录制控制装置传输坐标信息或设备表面的标识即可。另外，有些图像有调色板，例如1位图像和4位图像在处理时要有调色板，24位图像和32位图像在处理时可以不需要调色板。屏幕录制装置从显示驱动模块中捕获到图形指令后，判断该图形指令中图像是否需要调色板，如果不需要调色板则从该图形指令中删除调色板信息，屏幕录制装置不需要向屏幕录制控制装置传输这些图形指令中的调色板信息。

步骤44：向屏幕录制控制装置发送设备在录制开始时刻的图像信息和经过上述处理的图形指令。

以上各实施例可以组合或者单独使用。

图5A为本发明实施例提供的一种屏幕录制控制方法流程图。本实施例的执行主体屏幕录制控制装置可以位于被录制屏幕的设备本机内，也可以位于远程。如图5A所示，本实施例包括：

步骤51：向屏幕录制装置发送控制消息。

步骤52：接收所述屏幕录制装置发送的设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

屏幕录制装置接收到控制消息后，从被录制屏幕的设备的显示模块获取所述设备在录制开始时刻的图像信息并向屏幕录制控制装置发送。同时，还将在录制时间内获取的图形指令发送给屏幕录制控制装置。其中图形指令为在录制时间内使被录制屏幕的设备的图像信息发生变化的图形指令，具体地，可以是屏幕录制装置从所述设备的显示驱动模块获取的图形指令。

步骤53：存储从屏幕录制装置获取的所述图形指令和所述设备在录制开始时刻的图像信息。

屏幕录制控制装置将获取的图形指令和被录制屏幕的设备在录制开始时刻的图像信息作为录制结果进行存储。按照存储的图形指令被获取的时间先后顺序，对被录制屏幕的设备在录制开始时刻的图像信息和图形指令中的图像信息执行与这些图形指令相应的图像操作，改变设备上的图像，从而达到播放屏幕操作的目的。

其中，图像信息可以是被录制屏幕的设备在录制开始时刻的设备表面，称为初始设备表面。在播放时，初始设备表面中主表面不断地刷新并显示在设备的显示区域上，其它设备表面保存在内存中不显示，存储的图形指令中可能有创建设备表面的图形指令，新创建的设备表面在创建后也保存在内存中；存储的图形指令中也可能有删除设备表面的图形指令，执行删除设备表面的图形指令时从内存中查找到需删除的设备表面。

进一步，屏幕录制控制装置可以在接收到的图形指令中加入时间轴，使用户可以对录制的屏幕进行播放控制，例如开始、暂停、快进、慢进、停止或拖动等控制操作。具体可以为所有的图形指令进行编号，将编号与播放的时间点对应。如图5B所示的实施例，可以在每个图形指令的消息头处加入时间戳编号，并将每个编号如104040与播放的时间10:40:40对应，这样可以得到录像时间点。其中每秒可能产生很多位指令，这里以将时间与该秒的第一条指令对应为例。

图6为本发明实施例提供的再一种屏幕录制方法流程图。如图6所示，本实施例包括：

步骤61：屏幕录制控制装置向屏幕录制装置发送控制消息，控制消息中包括录制时间、压缩等级和整合时间；其中，录制时间可由录制开始时刻和录制结束时刻组成，也可由录制开始时刻和录制时长组成。

在实际应用中，控制消息可以包括录制时间，也可以包括录制时间和压缩等级，还可以包括录制时间和整合时间等。

步骤62：屏幕录制装置向所述屏幕录制控制装置发送所述控制消息所指示的录制开始时刻的设备表面。

步骤63：屏幕录制装置判断录制时间内的图形指令中的图像信息是否已缓存，图形指令是使设备的图像发生变化的图形指令。如果是执行步骤64a，否则执行步骤64b。

步骤64a：若所述图形指令中的图像信息已被缓存，屏幕录制装置删除所述图形指令中的图像信息，并确定所述图形指令的图像类型。该图像类型用于标识所述图形指令中的图像信息为图像关键值。

步骤64b：若所述图形指令中的图像信息没有被缓存，屏幕录制装置缓存所述图形指令中的图像信息，并确定所述图形指令的图像类型。该图像类型用于标识所述图形指令的图像信息为完整信息。

在播放录制结果的过程中，在执行到一条新的图形指令时，根据该图形指令中图像类型判断该图形指令中的图像信息是否为完整信息，若为完整信息，缓存所述图形指令中的图像信息；若为图像关键值，根据所述图形指令中图像关键值从缓存的图像信息中获取所述图形指令的图像信息。从而对于包括图像关键值的图形指令可以从缓存中获取到与图像关键值对应的图像信息。

步骤65：若所述图形指令包括冗余信息，屏幕录制装置删除所述图形指令中的冗余信息，确定所述图形指令的指令类型为修改后的图形指令；若所述图形指令不包括冗余信息，确定所述图形指令的指令类型为没有被修改的图形指令；所述冗余信息包括播放时不需要的调色板信息和/或所述屏幕录制控制装置已保存的图像信息。

在播放录制结果的过程中，在执行到一条新的图形指令时，根据图形指令的指令类型，判断该图形指令是否被修改过，如果没有被修改过，判断该图形指令是否有调色板信息，如果有调色板信息，根据图形指令中调色板信息获取需要的调色板。另外，如果确定该图形指令被修改过，进一步根据该图形指令中的图像信息中包括的设备表面的标识，从保存的设备表面的空间中读取对应的设备表面。

步骤66：在录制时间使所述设备的图像发生变化的图形指令中，屏幕录制装置确定图像信息中坐标信息相同的图形指令组成的图形指令集，若所述图形指令集中存在间隔时间小于所述控制消息指示的整合时间的两条图形指令，删除其中获取时间早的图形指令。

步骤67：屏幕录制装置根据控制消息所指示的压缩等级对图形指令中的图像信息进行压缩处理，并确定用于标识所述图形指令的压缩等级的压缩类型。

步骤68：屏幕录制装置将图形指令的图像类型、压缩类型和指令类型添加到该图形指令，向屏幕录制控制装置发送包括图像类型、压缩类型和指令类型的图形指令。

步骤69：屏幕录制控制装置根据所述图形指令中的压缩类型所指示的压缩等级，对所述图形指令中的图像信息进行解压缩处理。

在播放录制结果的过程中，在执行到一条新的图形指令时，先根据图形指令中压缩类型所指示的压缩等级，对图形指令进行解压缩处理。

步骤610：屏幕录制控制装置在所述图形指令中加入时间轴。

步骤611：屏幕录制控制装置根据图形指令中压缩类型所指示的压缩等级，对包括有时间轴的图形指令中的图像信息进行压缩处理。

步骤612：屏幕录制控制装置存储所述图形指令和被录制屏幕的设备的在录制开始时刻的设备表面。图形指令中包括图像信息、指令类型、压缩类型和图像类型。

在播放屏幕录制控制装置存储的录制结果时，按照存储的图形指令被获取的时间先后顺序，对设备表面和图形指令中的图像信息执行与这些图形指令相应的图像操作。

图7A为本发明实施例提供的一种屏幕录制装置结构示意图。如图7A所示，本实施例提供的屏幕录制装置包括：控制消息接收模块71和发送模块72。

控制消息接收模块71，用于接收屏幕录制控制装置发送的控制消息。

发送模块72，用于将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

其中，所述图形指令可以为从所述设备的显示驱动模块获取的图形指令。所述设备在所述录制开始时刻的图像信息具体可以为所述设备在所述录制开始时刻的设备表面

上述各模块的功能参见方法对应实施例中描述，在此不再赘述。

本实施例提供的屏幕录制装置根据屏幕录制控制装置所指示的录制时间，向屏幕录制控制装置发送使被录制屏幕的设备的图像发生变化的图形指令。屏幕录制控制装置将获取到图形指令和设备在录制开始时刻的图像信息作为录制结果进行存储。本实施例录制的是引起设备屏幕上的图像发生变化图形指令，图形指令中的图像信息远少于从屏幕上连续截取的图像信息，因此减少了屏幕录制过程中占用的物理空间和传输的数据量，同时也降低了录制过程中的带宽需求。并且还可以减少了CPU的负荷。

为减少屏幕录制过程中屏幕录制装置向屏幕录制控制装置传输的数据量，如图7B所示的另一种屏幕录制装置的实施例，在图7A的基础上还包括指令缓存模块73。

指令缓存模块73，用于在发送模块72将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，若所述图形指令中的图像信息没有被缓存，则缓存所述图形指令中的图像信息；若所述图形指令中的图像信息已被缓存，在所述图形指令中添加所述图像信息的图像关键值，并且从所述图形指令中删除所述图像信息。

进一步，指令缓存模块73还可以用于若所述图形指令中的图像信息没有被缓存，则在所述图形指令中添加用于标识所述图像指令中的图像信息为完整信息的图像类型；若所述图形指令中的图像信息已被缓存，则在所述图形指令中添加用于标识所述图像指令中的图像信息为图像关键值的图像类型。

为了进一步减少向屏幕录制控制装置传输的图形指令的数量，对于人的肉眼无法感知到极短时间内的屏幕变化所对应的图形指令，不需要发送给屏幕录制控制装置。如图7C所示的又一种屏幕录制装置的实施例，在图7A或者7B的基础上还包括指令整合模块74。

指令整合模块74，用于在发送模块72将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令发送给所述屏幕录制控制装置之前，在所述录制时间内的图形指令中，确定图像信息中坐标信息相同的图形指令组成的图形指令集，若所述图形指令集中存在间隔时间小于所述控制消息指示的整合时间的两条图形指令，删除其中获取时间早的图形指令。

进一步，指令整合模块74，还用于若所述图形指令包括冗余信息，若所述图形指令包括冗余信息，删除所述图形指令中的冗余信息，所述冗余信息包括播放时不需要的调色板信息或所述屏幕录制控制装置已保存的图像信息。

进一步，指令整合模块74在删除所述图形指令中的图像信息的冗余信息后，还可在所述图形指令中添加指令类型，所述指令类型指示所述图形指令为修改后的图形指令。若所述图形指令不包括冗余信息，还可在所述图形指令中添加指令类型，所述指令类型指示所述图形指令为没有被修改的图形指令。

为了进一步减少向屏幕录制控制装置传输的图形指令的数量，可以在传输之前对图形指令中的图像信息进行压缩。如图7D所示的再一种屏幕录制装置的实施例，在图7A、7B或者7C的基础上还包括指令压缩模块75。

指令压缩模块75，用于在发送模块72将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令发送给所述屏幕录制控制装置之前，根据所述控制消息所指示的压缩等级，对在所述录制时间内获取的图形指令中的图像信息进行压缩处理，并在所述图形指令中添加用于标识所述图形指令的压缩等级的压缩类型。

进一步，指令压缩模块75还可以在所述图形指令中添加用于标识所述图形指令的压缩等级的压缩类型。

以上各屏幕录制装置的实施例可以组合。

图8为本发明实施例提供的一种屏幕录制控制装置结构示意图。如图8所示，本实施例包括：控制模块81、接收模块82和存储模块83。

控制模块81，用于向屏幕录制装置发送控制消息。

接收模块82，用于接收所述屏幕录制装置发送的设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间。

存储模块83，用于存储所述图形指令和所述设备在所述录制开始时刻的图像信息。

为使用户可以控制录像的播放，例如开始、暂停、快进、慢进、停止或拖动等控制操作，接收模块82还用于在图形指令中加入时间轴，以根据所述时间轴对录制的屏幕进行播放控制。

进一步，如图9所示，本实施例提供的屏幕录制控制装置还可以包括解压缩模块84。

解压缩模块84，用于在接收模块82在所述图形指令中加入时间轴之前，根据所述图形指令中压缩类型所指示的压缩等级，对所述图形指令中的图像信息进行解压缩处理。

另外，解压缩模块84还用于接收模块82在所述图形指令中加入时间轴之后，根据所述图形指令中压缩类型所指示的压缩等级，对包括有时间轴的图形指令进行压缩处理。

以下描述在屏幕录制过程中，屏幕录制装置和屏幕录制控制装置中各模块之间的交互过程：

1：屏幕录制装置获取被录制屏幕的设备的操作系统向所述设备的显示驱动模块发送的图形指令。

2：屏幕录制控制装置的控制模块向屏幕录制装置发送控制消息，控制消息中包括录制时间、压缩等级和整合时间；其中，录制时间可由录制开始时刻和录制结束时刻组成，也可由录制开始时刻和录制时长组成。

在应用中，控制消息可以包括录制时间，也可以包括录制时间和压缩等级，也可以包括录制时间和整合时间。

3：屏幕录制装置的控制消息接收模块接收屏幕录制控制装置发送的控制消息。然后屏幕录制装置的指令缓存模块判断图形指令中的图像信息是否已缓存，所述图形指令指在控制消息指示的录制时间内使所述设备的图像发生变化的图形指令。如果是执行4a，否则执行4b。

4a：若所述图形指令中的图像信息已被缓存，屏幕录制装置的指令缓存模块删除所述图形指令中的图像信息，在所述图形指令中添加用于标识所述图像指令中的图像信息为图像关键值的图像类型。

4b：若所述图形指令中的图像信息没有被缓存，屏幕录制装置的指令缓存模块缓存所述图形指令中的图像信息，在所述图形指令中添加用于标识所述图像指令中的图像信息为完整信息的图像类型。

在播放录制结果的过程中，在执行到一条新的图形指令时，根据该图形指令中图像类型判断该图形指令中的图像信息是否为完整信息，若为完整信息，缓存所述图形指令中的图像信息；若为图像关键值，根据所述图形指令中图像关键值从缓存的图像信息中获取所述图形指令的图像信息。从而对于包括图像关键值的图形指令可以从缓存中获取到与图像关键值对应的图像信息。

5：图形指令经过指令缓存模块处理后，若所述图形指令包括冗余信息，屏幕录制装置的指令整合模块删除所述图形指令中的冗余信息，在图形指令中添加用于标识所述图形指令为修改后的图形指令的指令类型；若所述图形指令不包括冗余信息，则在图形指令中添加用于标识所述图形指令为没有被修改的图形指令的指令类型。所述冗余信息包括播放时不需要的调色板信息和/或所述屏幕录制控制装置已保存的图像信息。

在播放录制结果的过程中，在执行到一条新的图形指令时，根据图形指令中指令类型，判断该图形指令是否被修改过，如果没有被修改过，判断该图形指令是否有调色板信息，如果有调色板信息，根据图形指令中调色板信息获取需要的调色板。另外，如果确定该图形指令被修改过，进一步根据该图形指令中的图像信息中包括的设备表面的标识，从保存的设备表面的空间中读取对应的设备表面。

6：在删除图形指令中冗余信息后，在录制时间内获取的图形指令中，屏幕录制装置的指令整合模块确定图像信息中坐标信息相同的图形指令组成的图形指令集，若所述图形指令集中存在间隔时间小于所述控制消息指示的整合时间的两条图形指令，删除其中获取时间早的图形指令。

7：屏幕录制装置的指令压缩模块，根据控制消息所指示的压缩等级，对在所述录制时间内获取的图形指令中的图像信息进行压缩处理，并在所述图形指令中添加用于标识所述图形指令的压缩等级的压缩类型。

8：屏幕录制装置的发送模块向屏幕录制控制装置的接收模块发送包括图像类型、压缩类型和指令类型的图形指令。

9：屏幕录制控制装置的解压缩模块根据所述图形指令中的压缩类型所指示的压缩等级，对所述图形指令中的图像信息进行解压缩处理。

10：屏幕录制控制装置的接收模块在所述图形指令中加入时间轴。

11：屏幕录制控制装置的解压缩模块根据图形指令中压缩类型所指示的压缩等级，对包括有时间轴的图形指令中的图像信息进行压缩处理。

在播放录制结果的过程中，在执行到一条新的图形指令时，先根据图形指令中压缩类型所指示的压缩等级，对图形指令进行解压缩处理。

12：屏幕录制控制装置中的存储模块存储所述图形指令和被录制屏幕的设备的在录制开始时刻的设备表面。图形指令中包括图像信息、指令类型、压缩类型和图像类型。

本发明实施例可以应用在VDI(虚拟桌面)场景，比如可以根据录像找到当时对数据做了哪些操作等。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (24)

1.一种屏幕录制方法，其特征在于，包括：

接收屏幕录制控制装置发送的控制消息；

将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间，所述图形指令为从所述设备的显示驱动模块获取的图形指令。

2.根据权利要求1所述的方法，其特征在于，所述设备在录制开始时刻的图像信息为所述设备在所述录制开始时刻的设备表面。

3.根据权利要求1至2任一项所述的方法，其特征在于，在所述将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，所述方法还包括：

若所述图形指令中的图像信息没有被缓存，则缓存所述图形指令中的图像信息；

若所述图形指令中的图像信息已被缓存，在所述图形指令中添加所述图像信息的图像关键值，并且从所述图形指令中删除所述图像信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述图形指令中的图像信息没有被缓存，则在所述图形指令中添加用于标识所述图像指令中的图像信息为完整信息的图像类型；

若所述图形指令中的图像信息已被缓存，则在所述图形指令中添加用于标识所述图像指令中的图像信息为图像关键值的图像类型。

5.根据权利要求1至2任一项所述的方法，其特征在于，在所述将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，所述方法还包括：

在所述图形指令中，确定图像信息中坐标信息相同的图形指令组成的图形指令集，若所述图形指令集中存在间隔时间小于所述控制消息指示的整合时间的两条图形指令，删除其中获取时间早的图形指令。

6.根据权利要求1至2任一项所述的方法，其特征在于，在所述将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，所述方法还包括：

若所述图形指令包括冗余信息，删除所述图形指令中的冗余信息，所述冗余信息包括播放时不需要的调色板信息或所述屏幕录制控制装置已保存的图像信息。

7.根据权利要求1至2任一项所述的方法，其特征在于，在所述将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，所述方法还包括：

根据所述控制消息所指示的压缩等级，对在所述录制时间内获取的图形指令中的图像信息进行压缩处理，并在所述图形指令中添加用于标识所述图形指令的压缩等级的压缩类型。

8.一种屏幕录制控制方法，其特征在于，包括：

向屏幕录制装置发送控制消息；

接收所述屏幕录制装置发送的设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间，所述图形指令为从所述设备的显示驱动模块获取的图形指令；

存储所述图形指令和所述设备在所述录制开始时刻的图像信息。

9.根据权利要求8所述的方法，其特征在于，所述设备在录制开始时刻的图像信息为所述设备在所述录制开始时刻的设备表面。

10.根据权利要求8至9任一项所述的方法，其特征在于，在所述存储所述图形指令和所述设备在所述录制开始时刻的图像信息之前，还包括：

在所述图形指令中加入时间轴，以根据所述时间轴对录制的屏幕进行播放控制。

11.根据权利要求10所述的方法，其特征在于，在所述图形指令中加入时间轴之前，还包括：

根据所述图形指令中压缩类型所指示的压缩等级，对所述图形指令中的图像信息进行解压缩处理。

12.根据权利要求11所述的方法，其特征在于，在所述图形指令中加入时间轴之后，还包括：

根据所述图形指令中压缩类型所指示的压缩等级，对包括有时间轴的图形指令中的图像信息进行压缩处理。

13.一种屏幕录制装置，其特征在于，包括：

控制消息接收模块，用于接收屏幕录制控制装置发送的控制消息；

发送模块，用于将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间，所述图形指令为从所述设备的显示驱动模块获取的图形指令。

14.根据权利要求13所述的装置，其特征在于，所述设备在所述录制开始时刻的图像信息为所述设备在所述录制开始时刻的设备表面。

15.根据权利要求13至14任一项所述的装置，其特征在于，还包括：

指令缓存模块，用于在所述发送模块将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，若所述图形指令中的图像信息没有被缓存，则缓存所述图形指令中的图像信息；若所述图形指令中的图像信息已被缓存，在所述图形指令中添加所述图像信息的图像关键值，并且从所述图形指令中删除所述图像信息。

16.根据权利要求15所述的装置，其特征在于，所述指令缓存模块还用于若所述图形指令中的图像信息没有被缓存，则在所述图形指令中添加用于标识所述图像指令中的图像信息为完整信息的图像类型；若所述图形指令中的图像信息已被缓存，则在所述图形指令中添加用于标识所述图像指令中的图像信息为图像关键值的图像类型。

17.根据权利要求13至14任一项所述的装置，其特征在于，还包括：

指令整合模块，用于在所述发送模块将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，在所述图形指令中，确定图像信息中坐标信息相同的图形指令组成的图形指令集，若所述图形指令集中存在间隔时间小于所述控制消息指示的整合时间的两条图形指令，删除其中获取时间早的图形指令。

18.根据权利要求17所述的装置，其特征在于，所述指令整合模块，还用于若所述图形指令包括冗余信息，删除所述图形指令中的冗余信息，所述冗余信息包括播放时不需要的调色板信息或所述屏幕录制控制装置已保存的图像信息。

19.根据权利要求13至14任一项所述的装置，其特征在于，还包括：

指令压缩模块，用于在所述发送模块将设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，发送给所述屏幕录制控制装置之前，根据所述控制消息所指示的压缩等级，对在所述录制时间内获取的图形指令中的图像信息进行压缩处理，并在所述图形指令中添加用于标识所述图形指令的压缩等级的压缩类型。

20.一种屏幕录制控制装置，其特征在于，包括：

控制模块，用于向屏幕录制装置发送控制消息；

接收模块，用于接收所述屏幕录制装置发送的设备在录制开始时刻的图像信息和在录制时间内使所述设备的图像发生变化的图形指令，所述设备为被录制屏幕的设备，所述录制开始时刻为所述控制消息指示的录制开始时刻，所述录制时间为所述控制消息指示的录制时间，所述图形指令为从所述设备的显示驱动模块获取的图形指令；

存储模块，用于存储所述设备在所述录制开始时刻的图像信息和所述图形指令。

21.根据权利要求20所述的装置，其特征在于，所述接收模块还用于在所述图形指令中加入时间轴，以根据所述时间轴对录制的屏幕进行播放控制。

22.根据权利要求21所述的装置，其特征在于，还包括：

解压缩模块，用于在所述接收模块在所述图形指令中加入时间轴之前，根据所述图形指令中压缩类型所指示的压缩等级，对所述图形指令中的图像信息进行解压缩处理。

23.根据权利要求22所述的装置，其特征在于，所述解压缩模块还用于在所述接收模块在所述图形指令中加入时间轴之后，根据所述图形指令中压缩类型所指示的压缩等级，对包括有时间轴的图形指令中的图像信息进行压缩处理。

24.根据权利要求20至23任一项所述的装置，其特征在于，所述设备在录制开始时刻的图像信息为所述设备在所述录制开始时刻的设备表面。

Images