CN103164227B - 一种窗口图像的采集方法及装置 - Google Patents

Abstract

本发明公开了一种窗口图像的采集方法及装置，解决现有窗口图像采集方法无法采集全部应用的窗口图像以及工作量大，效率低的问题。本方法包括：获取待采集窗口图像的窗口句柄，为该句柄创建设定大小的缩略图，拦截D3DAPI调用，获取对应该缩略图的窗口纹理在显存中的存储地址信息，根据该地址从显存中采集窗口图像。本发明中为窗口句柄创建缩略图时，操作系统会自动在显存中为该缩略图创建窗口纹理，只需要通过拦截D3D API调用，即可获取显存中对应的窗口纹理的存储地址，从而获取该窗口图像，简便有效；并且本发明实施例提供的采集方法，可以采集任何应用的窗口图像，节省了开发的时间和成本，提高了窗口图像的采集效率。

Description

一种窗口图像的采集方法及装置

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种窗口图像的采集方法及装置。

背景技术

窗口采集可以将在Windows系统中运行的各应用的窗口图像采集下来，并保存为位图。如果只采集某一时间点的窗口图像，则可以获得静止的、该时间点的窗口图像的截图；如果采集连续时间段内的窗口图像，则可以获得动态的、该连续时间段内的窗口图像的视频。

现有技术在进行窗口图像的采集时，可以基于Windows图形设备接口(Graphics Device Interface，GDI)应用程序编程接口(Application ProgrammingInterface，API)进行窗口图像采集，或者也可以采用特定类型的API进行窗口图像的采集。

具体的，在基于Windows GDI API进行窗口图像的采集时，需要先获得指定窗口的上下文句柄(Handle of Device Context，HDC)，再利用GDI API的BitBlt等函数，将窗口图像拷贝到指定位置。该方法只能采集到基于GDI渲染的窗口图像，而很多应用的窗口图像并不是基于GDI渲染的，比如很多游戏应用、视频应用等并不是基于GDI渲染的。因此采用该方法采集窗口图像时，只能采集到基于GDI渲染的应用的窗口图像，无法采集到非基于GDI渲染的应用的窗口图像。

采用特定类型的API进行窗口图像的采集时，以Direct3D(以下简称D3D)API为例进行说明：通过开发拦截工具，拦截D3D API的调用，获取基于D3D的应用窗口图像的地址，进而获得图像。利用这种方式进行窗口图像的采集时，只能采集到基于该特定类型的API渲染的窗口图像，但游戏、视频等大量应用基于的API类型繁多，如D3D，DirectDraw和OpenGL等API类型，并且同一类型的API又有多个不同的版本，因此采用该方法采集窗口图像时，需要针对每种类型的API的每个版本都开发拦截工具，工作量很大，并且每种拦截工具的使用范围极小，从而影响了窗口图像的采集效率。

发明内容

本发明实施例提供一种窗口图像的采集方法及装置，用以解决现有技术采集窗口图像时，无法采集全部应用的窗口图像，以及在窗口图像采集时工作量大、效率低的问题。

本发明实施例提供一种窗口图像的采集方法，所述方法包括：

采集装置获取待采集窗口图像的窗口句柄；

通过桌面窗口管理器的缩略图应用程序编程接口DWM Thumbnail API，为所述窗口句柄创建设定大小的缩略图；

拦截DWM的Direct3D API调用，在显存中过滤出新建的与该缩略图对应的窗口纹理的存储地址信息；

根据所述存储地址信息，采集显存中该地址保存的窗口图像数据。

本发明实施例提供一种窗口图像的采集装置，所述装置包括：

获取模块，用于获取待采集窗口图像的窗口句柄；

创建模块，用于通过桌面窗口管理器的缩略图应用程序编程接口DWMThumbnail API，为所述窗口句柄创建设定大小的缩略图；

拦截模块，用于拦截DWM的Direct3D API调用，在显存中过滤出新建的与该缩略图对应的窗口纹理的存储地址信息；

采集模块，用于根据所述存储地址信息，采集显存中该地址保存的窗口图像数据。

本发明实施例提供一种窗口图像的采集方法及装置，该方法包括：获取待采集窗口图像的窗口句柄，为该句柄创建设定大小的缩略图，拦截D3D API调用，获取对应该缩略图的窗口纹理在显存中的存储地址信息，根据该地址从显存中采集窗口图像。在本发明中为窗口句柄创建缩略图时，操作系统会自动在显存中为该缩略图创建窗口纹理，此时只需要通过拦截D3D API调用，即可获取显存中该缩略图对应的窗口纹理的存储地址，从而获取该窗口图像数据，简便有效；并且本发明实施例提供的方法可以采集任何应用的窗口图像数据，节省了开发的时间和成本，提高了窗口图像的采集效率。

附图说明

图1为本发明实施例提供的一种窗口图像的采集过程示意图；

图2A为本发明实施例提供的Windows桌面的示意图；

图2B为本发明实施例提供的显存中纹理存储的示意图；

图3为本发明实施例提供的该窗口图像的详细采集过程示意图；

图4为发明实施例提供的该窗口图像的另一采集过程示意图；

图5为本发明实施例提供的一种窗口图像的采集装置结构示意图。

具体实施方式

本发明为了减小窗口图像采集软件的开发周期及成本，提高窗口图像的采集效率，提供了一种窗口图像的采集方法及装置。

下面结合说明书附图，对本发明进行详细说明。

图1为本发明实施例提供的一种窗口图像的采集过程示意图，该过程包括以下步骤：

S101：采集装置获取待采集窗口图像的窗口句柄。

句柄是操作系统为应用程序中不同对象分配的标识，例如窗口、按键、滚动条、输出设备等都有其对应的句柄，因此通过句柄可以访问相应的对象的信息。在本发明实施例中为了采集窗口图像，在此获取了待采集窗口图像的窗口句柄。具体的，在本发明实施例中可以通过Windows API来获取待采集窗口图像的窗口句柄。

另外，本发明实施例中的窗口图像，可以是基于任何类型的API渲染的窗口图像。

S102：通过DWM Thumbnail API，为所述窗口句柄创建设定大小的缩略图。

DWM Thumbnail API可以为任意窗口创建缩略图。为了实现窗口图像的采集，在本发明实施例中需要通过DWM Thumbnail API，为该待采集窗口图像的窗口句柄创建缩略图，其中该缩略图可以为系统资源可承受下的任意大小，该缩略图的宽度方向可以包括w个像素，高度方向可以包括h个像素，其中w和h都为大于0的正整数。

该设定大小的缩略图包括：与窗口尺寸相等的缩略图、大于窗口尺寸的缩略图和小于窗口尺寸的缩略图。

S103：拦截DWM的D3D API调用，在显存中过滤出新建的与该缩略图对应的窗口纹理的存储地址信息。

DWM将桌面上的窗口图像拆分成若干素材，将这些素材以D3D纹理的方式保存在显存中。当DWM接收到创建缩略图的命令后，通过D3D API对这些纹理进行组合，从而形成窗口。此时拦截DWM的D3D API调用即可获取该显存中新建的宽度包含w个像素点，高度包含h个像素点的窗口纹理的存储地址信息。

S104：根据所述存储地址信息，采集显存中该地址保存的窗口图像数据。

当获取了显存中该窗口图像的纹理的存储地址信息后，访问显存，根据该存储地址信息即可采集到该窗口图像数据。

由于在本发明实施例中为窗口句柄创建缩略图，此时系统会在显存中为该缩略图创建窗口纹理，此时只需要通过拦截D3D API调用，即可获取显存中该缩略图对应的窗口纹理的存储地址，从而获取该窗口图像。并且本发明实施例提供的该窗口图像的采集方法，可以采集任何应用的窗口图像，节省了开发的周期和成本，提高了窗口图像的采集效率。另外，本发明实施例提供的窗口图像的采集方法，从显存读取窗口图像的D3D API被显卡硬件加速，因此提高了窗口图像采集的效率。

Microsoft Windows为了实现更好的用户体验，采用了先进的桌面窗口管理器——DWM。DWM将桌面上的窗口图像拆分成若干素材，例如可以为窗口内的动态画面和控件等，之后DWM将这些素材以D3D纹理的方式保存在显存中。

图2A和图2B为本发明实施例提供的Windows桌面及显存中纹理存储的示意图，Windows桌面上显示有窗口图像2、窗口图像上方的标题栏1、缩略图23和任务栏24、其中窗口图像又包括动态画面21和控件22。DWM将桌面上显示的各部分拆分为若干个素材，将这些素材以D3D纹理的形式保存在显存中。具体的显存中保存的各纹理的示意图如图2B所示，这些纹理分别为动态画面21、控件22、缩略图23和任务栏24。

这些纹理虽然保存在显存中，但是对于用户来说，其并不知道显存中每一部分保存的是哪个纹理信息，当需要获取窗口图像时，无法准确的从显存中准确的获取纹理的信息。另外，即使从显存中获取了窗口图像的纹理，但是由于组成窗口图像的纹理可能包括多个，对于用户来说其并不知道哪个纹理代表的是窗口图像的哪部分，因此也就没办法准确的获取窗口图像。

因此，在本发明实施例中为了准确的获取窗口图像，在从显存中获取窗口图像的纹理之前，首先通过DWM Thumbnail API为窗口句柄创建一个设定大小的缩略图，该缩略图可以为系统资源承受下的任意大小，该设定大小的缩略图可以是与窗口图像大小相等的缩略图，此时采集到的窗口图像将会与原始窗口图像大小相等无变形，当该设定大小的缩略图是比窗口图像大的缩略图时，采集到的窗口图像将会比原始窗口图像大，当该设定大小的缩略图是比窗口图像小的缩略图时，采集到的窗口图像将会比原始窗口图像小。

当DWM Thumbnail API根据该设定大小的缩略图，在显存中进行缩略图的创建时，拦截DWM的D3D API调用，从而获取显存中该缩略图对应的窗口纹理的存储地址信息，并进一步据此获得窗口图像。其中拦截DWM的D3D API调用属于本领域的公知技术，在本发明实施例中对此不再进行赘述，相信本领域技术人员可以根据本发明实施例描述的方案中获知相应的调用方法。

拦截DWM的D3D调用获取了窗口纹理的存储地址信息后，可以随时根据窗口图像采集的命令，借助显卡硬件加速的D3D API从显存的该存储地址中将窗口图像的信息读取出来。如果在该过程中只接收到一次窗口图像的采集命令，则可以获得当前采集时间点对应的窗口图像的静态截图，如果周期性的接收到窗口图像的采集命令，则可以得到窗口图像的动态视频。

由于D3D API都是显卡硬件直接支持的操作，直接在硬件上执行，相比于其他图像设备操作的API，没有中间处理步骤，执行速度非常快。

另外，本发明实施例提供的该窗口图像的采集方法，当获取了显存中窗口图像的存储地址后，可以随时采集该存储地址中保存的窗口图像数据。但是当当前窗口被最小化后还原，其窗口图像的对应纹理在显存中存储的位置会发生变化，采用之前获取的存储地址，将无法获取其窗口图像；另外当DWM被操作系统临时禁用后重新启用后，由于DWM在中间被禁用，因此将导致重新启用后的DWM无法获得显存中窗口图像的纹理对应的存储地址。

在本发明实施例中为了克服该问题，当窗口被最小化后还原或DWM被操作系统临时禁用后重新启用时，为了采集到窗口图像，该采集方法还包括：

通过DWM Thumbnail API，为所述窗口句柄重新创建设定大小的缩略图；

拦截DWM的Direct3D API调用，在显存中再次过滤出新建的与该缩略图对应的窗口纹理的存储地址信息；

根据所述存储地址信息，采集显存中该地址保存的窗口图像数据。

图3为本发明实施例提供的该窗口图像的详细采集过程示意图，该过程包括以下步骤：

S301：采集装置获取待采集窗口图像的窗口句柄。

S302：通过DWM Thumbnail API，为所述窗口句柄创建宽度方向包含w个像素点，高度方向包含h个像素点的缩略图，其中w和h为大于0的正整数。

S303：拦截DWM的D3D API调用，在显存中过滤出新建的与该缩略图对应的窗口纹理的存储地址信息。

S304：根据所述存储地址信息，采集显存中该地址保存的窗口图像数据。

S305：判断当前是否为窗口被最小化后还原或DWM被操作系统临时禁用后重新启用的状态，当判断结果为是时，进行步骤S302，否则，进行步骤S305。

在本发明的上述实施例中，S305可以位于S302之后的任意两步骤之间，若当前为窗口被最小化后还原或DWM被操作系统临时禁用后重新启用状态时，需要重新采用上述S302～S304的方式获取窗口图像数据。

采集装置采集到了窗口图像数据后，当其他装置也需要获取该窗口图像数据时，例如当该其他装置为编码装置时，采集装置需要将该窗口图像数据提供给该其他装置。一般采集装置在向其他装置提供窗口图像数据时，将该窗口图像数据拷贝到临时缓冲区内，其他装置再从该临时缓冲区中获取该窗口图像数据。但是该方法中对窗口图像数据需要进行两次拷贝，才能将该窗口图像数据提供给其他装置，从而影响了窗口图像数据的提供效率，并影响了其他装置采用该窗口图像数据进行后续处理的效率。

在本发明实施例中为了有效的提高窗口图像数据，从采集装置到其他装置的传送效率，该窗口图像的采集过程还包括：

所述在显存中过滤出新建的与该设定大小对应的窗口纹理的存储地址信息后，将所述存储地址信息传递给其他装置，使其他装置通过所述存储地址信息，获取显存中保存的窗口图像数据。

受制于操作系统本身的设计，在两个不同的装置之间，通过不同进程直接传递数据存储地址信息是无效的。因此，具体的，在本发明实施例中将所述存储地址信息传递给其他装置包括：

将所述存储地址信息包装为D3D共享资源；

将所述共享资源的句柄传递给其他装置。

例如，在本发明实施例中编码装置需要将采集装置采集的窗口图像数据进行编码，当采集装置获取到窗口图像的纹理在显存中的存储地址信息后，将该存储地址信息包装为共享资源发送给编码装置，编码装置接收到该共享资源后解析获得该存储地址信息，从显存中对应地址获取窗口图像数据并编码。

图4为发明实施例提供的该窗口图像的另一采集过程示意图，该过程包括以下步骤：

S401：采集装置获取待采集窗口图像的窗口句柄。

S402：通过DWM Thumbnail API，为所述窗口句柄创建宽度方向包含w个像素点，高度方向包含h个像素点的缩略图，其中w和h为大于0的正整数。

S403：拦截DWM的D3D API调用，在显存中过滤出新建的与该缩略图对应的窗口纹理的存储地址信息。

S404：采用D3D API将该存储地址信息包装为共享资源，传递给编码装置。

S405：编码装置解析该共享资源获取该存储地址信息，从显存中对应地址获取该窗口图像数据进行编码。

S406：根据所述存储地址信息，采集装置采集显存中该地址保存的窗口图像数据。

在上述过程中步骤S404～S405与S406在执行时不分先后顺序，采集装置可以先获取该存储地址信息，也可以是其他装置先获取该存储地址信息，并不受本发明上述实施例描述的步骤的限制。

具体的，在本发明实施例中采集装置采用D3D API将该存储地址信息包装为D3D共享资源，采集装置中自身的进程将该共享资源句柄通过进程间通信的方式，传递给编码装置的进程，编码装置能够从该句柄中解析出该存储地址信息，从而获得该窗口图像数据并编码。

本发明实施例中在将采集装置采集到的窗口的图像信息，传递给其他装置时，通过进程间传递共享资源句柄，达到传递窗口图像数据的目的，无需进行两次窗口图像数据的拷贝，节省了数据提供的时间，提高了数据提供的效率。

图5为本发明实施例提供的一种窗口图像的采集装置结构示意图，所述装置包括：

获取模块51，用于获取待采集窗口图像的窗口句柄；

创建模块52，用于通过DWM Thumbnail API，为所述窗口句柄创建设定大小的缩略图；

拦截模块53，用于拦截DWM的D3D API调用，在显存中过滤出新建的与该缩略图对应的窗口纹理的存储地址信息；

采集模块54，用于根据所述存储地址信息，采集显存中该地址保存的窗口图像数据。

所述装置还包括：

传递模块55，用于将所述存储地址信息传递给其他装置，使其他装置通过所述存储地址信息，获取显存中保存的窗口图像数据。

所述传递模块55，具体用于将所述存储地址信息包装为D3D共享资源；将所述共享资源的句柄传递给其他装置。

所述装置还包括：

判断模块56，用于当前状态是否为窗口被最小化后还原或DWM被操作系统临时禁用后重新启用状态，当判断结果为是时，调用所述创建模块；

所述创建模块52，用于通过DWM Thumbnail API，为所述窗口句柄创建设定大小的缩略图；

所述拦截模块53，用于拦截DWM的D3D API调用，在显存中过滤出新建的与该设定大小对应的窗口纹理的存储地址信息；

所述采集模块54，用于根据所述存储地址信息，采集显存中该地址保存的窗口图像数据。

所述采集模块54，具体用于根据所述存储地址信息，周期性的采集显存中该地址保存的窗口图像数据。

本发明实施例提供一种窗口图像的采集方法及装置，该方法包括：获取待采集窗口图像的窗口句柄，为该句柄创建设定大小的缩略图，拦截D3D API调用，获取对应该缩略图的窗口纹理在显存中的存储地址信息，根据该地址从显存中采集窗口图像。在本发明中为窗口句柄创建缩略图是，操作系统会自动在显存中为该缩略图创建新建窗口纹理，此时只需要通过拦截D3D API调用，即可获取显存中该缩略图对应的窗口纹理的存储地址，从而获取该窗口图像数据，简便有效；并且本发明实施例提供的方法可以采集任何应用的窗口图像数据，节省了开发的时间和成本，提高了窗口图像的采集效率。另外，本发明实施例提供的窗口图像的采集方法，从显存读取窗口图像的D3D API被显卡硬件加速，因此提高了窗口图像采集的效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种窗口图像的采集方法，其特征在于，所述方法包括：

采集装置获取待采集窗口图像的窗口句柄；

通过桌面窗口管理器的缩略图应用程序编程接口DWM Thumbnail API，为所述窗口句柄创建设定大小的缩略图；其中，所述设定大小的缩略图为系统资源可承受下的任意大小；

拦截桌面窗口管理器的Direct3D API调用，在显存中过滤出与该缩略图对应的窗口纹理的存储地址信息；其中，所述与该缩略图对应的窗口纹理是新建的；

根据所述存储地址信息，采集显存中相应地址保存的窗口图像数据。

2.如权利要求1所述的采集方法，其特征在于，所述在显存中过滤出与该缩略图对应的窗口纹理的存储地址信息后，所述方法还包括：

将所述存储地址信息传递给其他装置，使所述其他装置通过所述存储地址信息，获取显存中保存的窗口图像数据。

3.如权利要求2所述的采集方法，其特征在于，将所述存储地址信息传递给所述其他装置包括：

将所述存储地址信息包装为Direct3D共享资源；

将所述共享资源的句柄传递给所述其他装置。

4.如权利要求1所述的采集方法，其特征在于，所述方法还包括：当窗口被最小化后还原或桌面窗口管理器被操作系统临时禁用后重新启用时，通过DWM Thumbnail API，为所述窗口句柄创建设定大小的缩略图；其中，所述设定大小的缩略图为系统资源可承受下的任意大小；

拦截桌面窗口管理器的Direct3D API调用，在显存中过滤出与该缩略图对应的窗口纹理的存储地址信息；其中，所述与该缩略图对应的窗口纹理是新建的；

根据所述存储地址信息，采集显存中相应地址保存的窗口图像数据。

5.如权利要求1所述的采集方法，其特征在于，所述设定大小的缩略图包括：

与窗口尺寸相等的缩略图、大于窗口尺寸的缩略图和小于窗口尺寸的缩略图。

6.一种窗口图像的采集装置，其特征在于，所述装置包括：

获取模块，用于获取待采集窗口图像的窗口句柄；

创建模块，用于通过桌面窗口管理器的缩略图应用程序编程接口DWMThumbnail API，为所述窗口句柄创建设定大小的缩略图；其中，所述设定大小的缩略图为系统资源可承受下的任意大小；

拦截模块，用于拦截桌面窗口管理器的Direct3D API调用，在显存中过滤出与该缩略图对应的窗口纹理的存储地址信息；其中，所述与该缩略图对应的窗口纹理是新建的；

采集模块，用于根据所述存储地址信息，采集显存中相应地址保存的窗口图像数据。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

传递模块，用于将所述存储地址信息传递给其他装置，使所述其他装置通过所述存储地址信息，获取显存中保存的窗口图像数据。

8.如权利要求7所述的装置，其特征在于，所述传递模块，具体用于将所述存储地址信息包装为Direct3D共享资源；将所述共享资源的句柄传递给所述其他装置。

9.如权利要求6所述的装置，其特征在于，所述装置还包括：

判断模块，用于当前状态是否为窗口被最小化后还原或桌面窗口管理器被操作系统临时禁用后重新启用状态，当判断结果为是时，调用所述创建模块、所述拦截模块和所述采集模块。

10.如权利要求6所述的装置，其特征在于，所述采集模块，具体用于根据所述存储地址信息，周期性地采集显存中相应地址保存的窗口图像数据。