CN101046742A - 一种实时获取多媒体图像的方法以及设备 - Google Patents

Abstract

本发明提供一种实时获取多媒体图像的方法，用于在执行多媒体图像API例程以显示多媒体图像的情况下，实时获取多媒体图像数据，包括：通过HOOK机制，钩住计算机系统内的所有多媒体API接口函数；修改多媒体图像API例程中调用的多媒体图像API接口函数，使之跳转到控制子例程，拦截多媒体图像数据；在控制子例程的控制下，对拦截到的多媒体图像数据进行复制；以及在完成复制的基础上，恢复且调用所述多媒体图像API例程。从而在保证多媒体图像质量的情况下，可实时、快速的获取所有多媒体图像。

Description

一种实时获取多媒体图像的方法以及设备

技术领域

本发明涉及计算机图形及图像处理领域，尤其涉及一种实时获取多媒体图像的方法以及设备。

背景技术

随着计算机的普及，3D动画、视频图像等多媒体图像的应用越来越广泛，从而，如何在保证多媒体图像质量的前提下，实时的获取多媒体图像数据变得日益重要。

目前，实时的获取多媒体图像存在有两种方案。

方案I

直接截取显示适配器的视频输出信号，并将其作为输入源，输入到视频压缩卡中，通过压缩卡压缩后以流的形式记录下来。

该方案I实现简单，并且由于是使用附加的硬件压缩卡处理视频信号，所以对计算机的处理能力没有额外要求。但是，该方案的缺点是需增加额外的视频压缩卡硬件，设备配置复杂；同时视频信号经过两次数模转换，损失了一定精度，存在较大失真。

方案II

加载屏幕映象显示驱动程序，从而实时映象(mirror)当前显示屏，然后将映象后的数据进行压缩并以流的形式记录下来。

该方案II可以只获取显示屏幕变化的部分，因而获取图像数据的速度更快，即在图像显示的同时即可被复制(实时性更高)。但是，该方案的缺点是在加载屏幕映象显示驱动程序后，Windows操作系统会自动禁用显示设备硬件加速功能，从而，所有必须使用硬件加速的多媒体图像将无法正常显示。

因此，根据上述方案的缺点，有必要设计一种实时获取多媒体图像的方法以及设备，其可以实时获取计算机中正在播放的所有多媒体图像数据(视频或3D图像数据)，对数据压缩后以文件的形式存储下来，或通过传输介质(有线、无线)传送到远端实现远程播放。

发明内容

本发明的目的在于，提供一种实时获取多媒体图像的方法，从而在保证多媒体图像质量的情况下，可实时、快速的获取所有多媒体图像。

本发明的另一目的在于，提供一种实时获取多媒体图像的设备，从而在保证多媒体图像质量的情况下，可实时、快速的获取所有多媒体图像。

根据本发明的目的，提供一种实时获取多媒体图像的方法，用于在执行多媒体图像API例程以显示多媒体图像的情况下，实时获取多媒体图像数据，包括：通过HOOK机制，钩住计算机系统内的所有多媒体API接口函数；修改多媒体图像API例程中调用的多媒体图像API接口函数，使之跳转到控制子例程，拦截多媒体图像数据；在控制子例程的控制下，对拦截到的多媒体图像数据进行复制；以及在完成复制的基础上，恢复且调用所述多媒体图像API例程。

根据本发明的另一目的，提供一种实时获取多媒体图像的设备，用于在计算机执行多媒体图像API例程以显示多媒体图像的情况下，实时获取多媒体图像数据，包括HOOK模块、修改及跳转模块、以及控制模块，其中：HOOK模块通过HOOK机制，钩住计算机系统内的所有多媒体API接口函数；修改及跳转模块修改多媒体图像API例程中调用的多媒体图像API接口函数，使之跳转到控制模块中的控制子例程，拦截多媒体图像数据；控制模块对拦截到的多媒体图像数据进行复制，且在在完成复制的基础上，恢复且调用所述多媒体图像API例程。

本发明的有益效果是：在保证多媒体图像质量的情况下，可实时、快速的获取所有多媒体图像(DirectX 3D图像、DirectX Draw视频图像、以及OpenGL图像等)，并且不会影响计算机系统的硬件加速功能。并且，本发明的实时获取多媒体图像的方法和设备可以以软件形式实现，从而不需额外的设备，即可实时获取多媒体图像。

附图说明

图1显示了依照本发明的实时获取多媒体图像的设备的结构示意图；以及

图2以DirectDraw接口Flip为例显示了依照本发明的实时获取多媒体图像的方法的主要流程图。

具体实施方式

以下将结合附图说明依照本发明的实时获取多媒体图像的方法以及设备。

通常，计算机多媒体图像是通过一系列图像API例程(graphicalApplication Programming Interface function Routines)而显示于计算机屏幕上。计算机在执行这些图像API例程时，会产生一系列的有关多媒体图像的函数调用。本发明的实时获取多媒体图像的方法和设备则是利用上述特征，通过拦截Windows多媒体图像的函数调用接口，修改调用接口函数，在多媒体图像显示前对多媒体图像数据进行复制，然后对复制的数据进行压缩并以流的形式记录下来。因而，在保证多媒体图像质量的情况下，可实时、快速的获取所有多媒体图像，并且不会影响系统的硬件加速功能。

图1显示了依照本发明的实时获取多媒体图像的设备的结构示意图。

如图1所示，实时获取多媒体图像的设备1包括HOOK模块11、修改及跳转模块12、以及控制模块13。

如图1所示，HOOK模块11通过HOOK机制，钩住计算机系统内的所有多媒体API接口函数。

在计算机为了显示多媒体图像，而执行多媒体图像API例程、且调用被钩住的多媒体图像API函数的情况下，修改及跳转模块12修改调用的多媒体图像API接口函数，使其跳转到控制模块13中的控制子例程，从而拦截多媒体图像API接口函数。

在控制子例程的控制下，控制模块13对拦截到的多媒体图像数据进行复制，并将复制的多媒体图像数据保存在共享内存区(或其它预定的存储区域、未显示)。

在完成复制的基础上，控制模块13恢复且调用所述多媒体图像API例程以在计算机上显示多媒体图像。

其中，控制模块13在对拦截到的多媒体图像数据进行复制时，可进一步对多媒体图像数据进行编码并保存，或者可将编码后的多媒体图像数据通过传输介质传送到远端，在解码后实现远程播放。

因而，由于本发明的实时获取多媒体图像的设备1是在多媒体图像显示前，对多媒体图像数据进行复制，从而，在图像截取过程中不存在任何转换，多媒体图像也就不会失真。同时，由于获取多媒体图像的实时性高，所以可高速获取图像，并且不会影响系统的硬件加速功能。

另外，本发明的实时获取多媒体图像的设备1可以以软件形式实现，从而不需额外的设备，即可实时获取多媒体图像。

图2以DirectDraw接口Flip(多媒体API接口函数)为例显示了依照本发明的实时获取多媒体图像的方法的主要流程图。

如图2所示，实时获取多媒体图像的方法的主要流程包括：

S1：HOOK模块11通过HOOK机制，进入多媒体图像显示进程空间(多媒体图像API例程)，钩住计算机系统内的所有多媒体API接口函数。

S2：修改及跳转模块12寻找Flip接口函数在内存中的地址。

S3：修改及跳转模块12定位Flip接口函数在内存中的地址，将其修改为可读写。

S4：修改及跳转模块12在实时获取多媒体图像的设备1中的预定存储区域，保存Flip接口函数的内存地址的头几个字节。

S5：修改及跳转模块12修改Flip接口函数的内存地址头几个字节，使得Flip函数被执行时就跳转到控制模块13中的控制子例程，并因而执行该控制子例程。

S6：由于从多媒体图像API例程的Flip函数跳转到控制模块13中的控制子例程，从而控制模块13可以对多媒体图像数据进行复制。

S7：在完成复制的基础上，控制模块13恢复且调用所述多媒体图像API例程以在计算机上显示多媒体图像。

从而，在上述步骤的基础上，在计算机上显示多媒体图像之前，实时拦截且获取多媒体图像。

另外，上述流程可进一步包括步骤S8：控制模块13进一步对多媒体图像数据进行编码并写入共享内存区(或其它存储区域)，并通知计算机系统中的图像压缩模块，由图像压缩模块对共享内存中的数据进行压缩，然后将压缩后的数据写入磁盘；或者将编码后的多媒体图像数据通过传输介质传送到远端，在解码后实现远程播放。

下面，将举例说明修改及跳转模块12是如何进行接口函数的内存地址的修改并实现跳转，且控制模块13是如何恢复到原多媒体图像API例程的过程。

由于现有多媒体图像主要包括DirectX 3D图像、DirectX Draw视频图像、以及OpenGL图像，所以将分别针对这三种图像进行说明。

(一)DirectX 3D图像(包括DirectX 8.1和DirectX9)

(1)依照本发明的实时获取多媒体图像的设备的HOOK模块11，通过SetWindowsHookEx安装WH_CBT类型的hook，插入到多媒体图像API例程。

(2)修改及跳转模块12通过vtable计算出函数present和reset相对于d3d COM组件基址的偏移，其中多媒体API接口函数present和reset用于多媒体图像的最终显示。

(3)对于DirectX 8.1，修改及跳转模块12首先通过GetModuleHandle取得d3d8.dll的基址，将该基址加上上述相对于d3d COM组件基址的偏移，得到present和reset接口的地址。

(4)然后，修改及跳转模块12计算出控制子例程中的新的接口函数NewPresent8和NewReset8相对于present和reset的偏移addr(因为跳转指令占5个字节，所以该偏移为NewPresent8和NewReset8相对于present和reset的实际偏移减去5)，修改及跳转模块12在预定位置保存present和reset的前5个字节后，将其改写为jmp addr，从而在执行函数present和reset时就实现了跳转。

(5)跳转到控制模块13的控制子例程，且控制模块13在完成多媒体图像数据的复制后，在NewPresent8中首先根据修改及跳转模块12在预定位置保存的present和reset的前5个字节，将jmp addr改写回多媒体API例程中正确的present前5个字节的内容，然后调用真实的present接口函数(多媒体API例程中正确的present)。其中，可以保存AddRef和Release的指针并改写为NewAddRef8和NewRelease8，以对拷贝进行计数，从而加速拷贝。

(6)最后，修改及跳转模块12再将函数present和reset的前5个字节改写为jmp addr，以用于下次执行函数present和reset时可进行跳转并获取多媒体图像数据。

对于DirectX9而言，其修改接口函数地址且进行跳转的过程和DirectX8.1类似，只是d3d COM组件为d3d9.dll。

(二)DirectX Draw视频图像

(1)依照本发明的实时获取多媒体图像的设备的HOOK模块11，通过SetWindowsHookEx安装WH_CBT类型的hook，插入到多媒体图像API例程。

(2)修改及跳转模块12通过vtable计算出接口函数flip和updateoverlay相对于ddraw COM组件基址的偏移，其中多媒体API接口函数flip和updateoverlay用于多媒体图像的最终显示。

(3)修改及跳转模块12首先通过GetModuleHandle取得ddraw.dll的基址，将该基址加上上述相对于ddraw COM组件基址的偏移，得到接口函数flip和updateoverlay的地址。

(4)然后，修改及跳转模块12计算出控制子例程中的新的接口函数NewFlip和Newupdateoverlay相对于flip和updateoverlay的偏移addr(因为跳转指令占5个字节，所以该偏移为NewFlip和Newupdateoverlay相对于flip和updateoverlay的实际偏移减去5)，修改及跳转模块12在预定位置保存flip和updateoverlay的前5个字节后，将其改写为jmp addr，从而在执行函数flip和updateoverlay时就实现了跳转。

(5)跳转到控制模块13的控制子例程，且控制模块13在完成多媒体图像数据的复制后，在Newflip中首先根据修改及跳转模块12在预定位置保存的flip和updateoverlay的前5个字节，将jmp addr改写回多媒体API例程中正确的flip前5个字节的内容，然后调用真实的flip接口函数(多媒体API例程中正确的flip)。其中，可以保存AddRef和Release的指针并改写为NewAddRef8和NewRelease8，以对拷贝进行计数，从而加速拷贝。

(6)最后，修改及跳转模块12再将接口函数flip和updateoverlay的前5个字节改写为jmp addr，以用于下次执行接口函数flip和updateoverlay时可进行跳转并获取多媒体图像数据。

(三)OpenGL图像

(1)依照本发明的实时获取多媒体图像的设备的HOOK模块11，通过SetWindowsHookEx安装WH_CBT类型的hook，插入到多媒体图像API例程。

(2)修改及跳转模块12通过GetProcAddress得到wglSwapBuffers的地址，多媒体API接口函数wglSwapBuffers用于图像处理。

(3)修改及跳转模块12计算出控制子例程中的新的处理函数NewWglSwapBuffers相对于WglSwapBuffers的偏移addr(因为跳转指令占5个字节，所以该偏移为NewWglSwapBuffers相对于WglSwapBuffers的实际偏移减去5)，修改及跳转模块12在预定位置保存WglSwapBuffers的前5个字节后，将其改写为jmp addr，从而在执行函数WglSwapBuffers时就实现了跳转。

(4)跳转到控制模块13的控制子例程，且控制模块13在完成多媒体图像数据的处理(抓屏)后，在NewWglSwapBuffers中首先根据修改及跳转模块12在预定位置保存的WglSwapBuffers的前5个字节，将jmp addr改写回多媒体API例程中正确的WglSwapBuffers前5个字节的内容，然后调用真实的WglSwapBuffers接口函数(多媒体API例程中正确的WglSwapBuffers)。

(5)最后，修改及跳转模块12再将函数WglSwapBuffers的前5个字节改写为jmp addr，以用于下次执行函数WglSwapBuffers时可进行跳转并获取多媒体图像数据。

对于上述DirectX 3D图像、DirectX Draw视频图像、以及OpenGL图像，以上三个流程都可以得到多媒体图像数据流，在本发明中可以将其编码后写入共享内存区(或其它存储区域)，并通知计算机系统中的图像压缩模块，由图像压缩模块对共享内存中的数据进行压缩，然后将压缩后的数据写入磁盘。或者将编码后的多媒体图像数据通过传输介质传送到远端，在解码后实现远程播放。

综上所述，根据本发明的实时获取多媒体图像的方法和设备，通过拦截Windows多媒体图像的函数调用接口，修改调用接口函数，在多媒体图像显示前对多媒体图像数据进行复制，然后对复制的数据进行压缩并以流的形式记录下来。因而，在保证多媒体图像质量的情况下，可实时、快速的获取所有多媒体图像(DirectX 3D图像、DirectX Draw视频图像、以及OpenGL图像等)，并且不会影响计算机系统的硬件加速功能。并且，本发明的实时获取多媒体图像的方法和设备可以以软件形式实现，从而不需额外的设备，即可实时获取多媒体图像。

对该技术领域的普通技术人员来说，根据以上实施类型可以很容易的联想到其他的优点和变形。因此，本发明并不局限于上述具体实施例，其仅仅作为例子对本发明的一种形态进行详细、示范性的说明。在不背离本发明宗旨的范围内，本领域普通技术人员可以根据上述具体实施例通过各种等同替换所得到的技术方案，但是这些技术方案均应该包含在本发明的权利要求的范围及其等同的范围之内。

Claims (8)

1.一种实时获取多媒体图像的方法，用于在执行多媒体图像API例程以显示多媒体图像的情况下，实时获取多媒体图像数据，包括：

步骤I：通过HOOK机制，钩住计算机系统内的所有多媒体API接口函数；

步骤II：修改多媒体图像API例程中调用的多媒体图像API接口函数，使之跳转到控制子例程，拦截多媒体图像数据；

步骤III：在控制子例程的控制下，对拦截到的多媒体图像数据进行复制；以及

步骤IV：在完成复制的基础上，恢复且调用所述多媒体图像API例程。

2.如权利要求1所述的实时获取多媒体图像的方法，其中

在步骤III中，进一步将复制的多媒体图像数据进行编码，并保存在共享内存区或指定存储区域中。

3.如权利要求1所述的实时获取多媒体图像的方法，其中

在步骤III中，进一步将复制的多媒体图像数据进行编码，并将编码后的多媒体图像数据通过传输介质传送到远端，在解码后实现远程播放。

4.如权利要求2或3所述的实时获取多媒体图像的方法，其中

该多媒体图像包括DirectX 3D图像、DirectX Draw视频图像、或OpenGL图像。

5.一种实时获取多媒体图像的设备，用于在计算机执行多媒体图像API例程以显示多媒体图像的情况下，实时获取多媒体图像数据，包括HOOK模块、修改及跳转模块、以及控制模块，其中：

HOOK模块通过HOOK机制，钩住计算机系统内的所有多媒体API接口函数；

修改及跳转模块修改多媒体图像API例程中调用的多媒体图像API接口函数，使之跳转到控制模块中的控制子例程，拦截多媒体图像数据；

控制模块对拦截到的多媒体图像数据进行复制，且在在完成复制的基础上，恢复且调用所述多媒体图像API例程。

6.如权利要求5所述的实时获取多媒体图像的设备，其中

控制模块进一步将复制的多媒体图像数据进行编码，并保存在共享内存区或指定存储区域中。

7.如权利要求5所述的实时获取多媒体图像的设备，其中

控制模块进一步将复制的多媒体图像数据进行编码，并将编码后的多媒体图像数据通过传输介质传送到远端，在解码后实现远程播放。

8.如权利要求6或7所述的实时获取多媒体图像的设备，其中

该多媒体图像包括DirectX 3D图像、DirectX Draw视频图像、或OpenGL图像。

Images