CN109821236A - 一种实时图像的提取方法 - Google Patents

Abstract

本申请公开了一种实时图像的提取方法，涉及图像处理技术领域。本申请的主要技术方案为：UE4采集客户端启动，创建主线程和渲染线程；主线程：创建采集窗口，加载场景采集插件，并为当前窗口创建渲染硬件接口；渲染线程：获取后备缓存数据；通过调用渲染硬件接口从渲染线程获取后备缓存数据，在主线程中用后备缓存数据渲染采集窗口画面。采用本申请技术方案，能够提高采集图像效率，实时高效地输出程序画面；而且便于全平台上运行采集功能，不受开发平台的限制。

Description

一种实时图像的提取方法

技术领域

本申请涉及图像处理技术领域，尤其涉及一种实时图像的提取方法。

背景技术

在UE4(Unreal Engine 4，虚幻引擎4)现有的图像采集或截取程序画面的方法是通过控制台发布Shot/HighResShot命令来执行，当游戏在窗口模式下运行时，该指令根据屏幕分辨率大小生成屏幕截图。由于在读取视口显示的像素到预分配的内存中时会阻塞主线程，直到渲染线程同步，此时画面会出现明显的卡顿，影响运行和显示视觉效果。

其次，在虚幻引擎中运行控制台命令必须在编辑器或是在打包成开发版的运行程序中，而在开发版本环境下不能执行相关的采集指令。因此，亟需一种不受平台限制而且高效采集图像的方法，基于此，本申请应运而生。

发明内容

本申请提供一种实时图像的提取方法，其特征在于，包括：UE4采集客户端启动，创建主线程和渲染线程；主线程：创建采集窗口，加载场景采集插件，并为当前窗口创建渲染硬件接口；渲染线程：获取后备缓存数据；通过调用渲染硬件接口从渲染线程获取后备缓存数据，在主线程中用后备缓存数据渲染采集窗口画面。

如上的，其中，UE4采集客户端的主线程具体执行如下子步骤：创建UE4采集窗口并初始化；加载并初始化采集插件；实时更新窗口内容；通过调用渲染硬件接口从渲染线程获取后备缓存数据，使用后备缓存数据渲染采集窗口画面。

如上的，其中，创建UE4采集窗口并初始化，具体包括如下子步骤：创建设备、上下文、交换链和渲染目标；使用上下文将渲染目标设置为向屏幕输出；创建视口，实时使用从渲染目标获取的当前页面渲染数据更新视口。

如上的，其中，加载并初始化采集插件，具体包括如下子步骤：获取场景视口，通过场景视口获取当前窗口的宽高以及所需接口；创建UI应用层渲染器，并获取视口资源数据；通过UI应用层渲染器获取顶层窗口的资源；将获取的顶层窗口的资源强制转换为与渲染硬件接口相同类型的数据。

如上的，其中，在UE4下运行的窗口类型包括编辑器模式和运行时模式；在编辑器模式下获取引擎实例的视口数据，通过场景视口获取视口组件，将视口组件的节点转换为窗口类，处理编辑器模式下的渲染硬件接口；在运行时模式下获取引擎场景的视口数据，获取正确的引擎窗口，获取视口组件，将视口组件的节点转换为窗口类，处理运行时模式下的渲染硬件接口。

如上的，其中，主线程在获取到后备缓存数据后，用后备缓存数据渲染采集窗口画面，具体为：在编辑器模式下，确定当前窗口为场景窗口时，获取场景视窗上的目标纹理，通过渲染硬件接口将视窗数据转化为RGBA类型的颜色空间；在运行时模式下，通过渲染硬件接口直接获取到视口后备缓存中的像素数据，将像素数据转化为RGBA类型的颜色空间。

如上的，其中，在主线程中渲染画面，具体为：创建顶点，根据创建的顶点使用基本图元的拓扑类型构建多边形，生成3D场景；根据3D场景和摄像机固定渲染管线。

如上的，其中，根据创建的顶点使用基本图元的拓扑类型构建多边形，具体为：将创建的每个顶点作为一个单独的点进行绘制，将所有的顶点按顺序逐个连接成线段，再将所有的顶点按顺序两两配对连接成线段，并将所有顶点按顺序组成三角形，即前三个顶点组成第一个三角形，从第四个顶点开始每个顶点与位于其前面的两个顶点组成一个三角形，以及按顺序三三配对组成三角形，由此构成多边形。

如上的，其中，根据3D场景和摄像机固定渲染管线，具体为：使用3D场景及摄像机得到视图空间，将视图空间转换为2D图形并显示在屏幕上。

如上的，其中，固定渲染管线，具体包括：

本地空间：即建模空间，在本地组织三角形的组织方式；

世界空间：通过平移、旋转、缩放将本地空间的物体转换成世界空间的物体，实现场景的组织；

视图空间：将摄像机移至世界空间的原点，旋转摄像机使其正方向与世界空间的Z方向一致，当移动或旋转摄像机时，世界空间的几何图随着摄像机的变化做相同的变化，得到相机视图矩阵；

背面拣选：通过背面拣选方式剔除无用的背面多边形；

光照裁剪：在世界空间中提供光照，并将超过平截平台的几何图部分裁剪；

投影：通过投影变换矩阵将3D场景转换成2D图像，然后转到投影窗口上；

视口变换：将投影窗口变换为屏幕上一个矩阵区域的可靠变换；

光栅化处理：计算需要显示的每个三角形中每个点的像素值，将经视口变换后的图像显示到屏幕上。

本申请实现的有益效果如下：采用本申请技术方案，能够提高采集图像效率，实时高效地输出程序画面；而且便于全平台上运行采集功能，不受开发平台的限制。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的实时图像的提取方法流程图；

图2为UE4采集客户端在主线程中的具体操作流程图；

图3为UE4采集窗口创建成功后加载采集插件并初始化的具体操作流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供一种实时图像的提取方法，如图1所示，包括：

步骤11：UE4采集客户端启动，创建主线程和渲染线程；

步骤12：在主线程中创建采集窗口，加载场景采集插件，并为当前窗口创建渲染硬件接口；在渲染线程中获取后备缓存数据；

步骤13：UE4采集客户端通过调用渲染硬件接口从渲染线程获取后备缓存数据，在主线程中用后备缓存数据渲染采集窗口画面。

参见图2，UE4采集客户端在主线程中具体执行如下操作：

步骤21：创建UE4采集窗口并初始化；

本实施例中，UE4采集客户端创建UE4采集窗口并初始化，具体包括如下子步骤：

步骤211：创建设备(device)、上下文(context)和交换链(swapchain)；

其中，设备device用于在加载过程中加载各种资源；上下文context用于在渲染过程中设置传入显卡的数据；交换链swapchain用于描述输出窗口、渲染帧率以及渲染目标，交换链提供前台缓存和后台缓存，前台缓存用于渲染，后台缓存用于绘制最新图像数据。

步骤212：创建渲染目标；

渲染目标(render target)为所有绘制行为的最终目的地，即屏幕；虚拟引擎在不同平台下进行渲染时，在编辑器下运行从渲染目标中获取页面渲染数据。

步骤213：使用上下文(context)将渲染目标设置为向屏幕输出。

步骤214：创建视口(viewport)，实时使用从渲染目标获取的当前页面渲染数据更新视口；

其中，当前页面渲染数据包括当前页面的高度、宽度以及每个像素点位置的RGB信息，按照当前页面的高度和宽度，逐行逐列地获取每个像素点在页面中的RGB值，使用该值更新视口。

返回参见图2，步骤22：加载实时图像采集插件并初始化采集插件；

本实施例中，在UE4下运行的窗口编辑器下创建一个新的空白插件模板，然后生成一个工程文件，将图像采集插件加载至该工程文件中；优选的，采集图像插件为独立插件，可以在虚幻引擎的其他程序中使用；在初始化采集插件成功后，还包括获取当前窗口、分辨率以及渲染命令列表接口；

具体的，如图3所示，当判断UE4采集窗口创建成功后，加载采集插件并初始化，具体包括如下子步骤：

步骤31：获取场景视口(SceneViewport)，通过场景视口获取当前窗口的宽高以及所需接口；

在UE4下运行的窗口类型包括编辑器模式和运行时模式；其中，在编辑器模式下获取引擎实例的视口数据，在运行时模式下获取引擎场景的视口数据，在不同模式下分别处理不同模式下的渲染硬件接口(RHI，Render Hardware Interface)。

步骤32：调用FSlateRenderer接口函数创建UI应用层渲染器，并获取视口资源数据；

在UE4引擎中加载Slate控件，用于在游戏中创建平头显示信息HUD或其他用户界面UI元素(如菜单等)，在采集窗口中创建一个或多个容器控件，负责用户界面的特定方面，其中的FSlateRenderer接口函数用于创建UI应用层渲染器；Slate控件使得为工具及应用程序创建图形用户界面变得非常简单，并且可以快速地在界面上进行迭代开发。

步骤33：通过UI应用层渲染器获取顶层窗口的资源；

具体的，在编辑器模式下通过场景视口获取视口组件，将视口组件的节点转换为窗口类；在运行时模式下获取正确的引擎窗口，获取视口组件，将视口组件的节点转换为窗口类。

步骤34：将获取的顶层窗口的资源强制转换为RHI相同类型的数据。

返回参见图2，步骤23：实时更新窗口内容；

CPU单线程地不断将数据输入GPU，具体的通过切换上下文context的各种数据，组装出各种组件并传入GPU，在窗口中不停显示。

步骤24：主线程通过调用渲染硬件接口RHI从渲染线程获取后备缓存数据，使用后备缓存数据渲染画面；

由于在进行用户界面渲染(UI渲染)时都是由应用程序的主线程进行的，但受到主线程处理能力和CPU性能的约束，在主线程的任务处理较为繁重或者CPU性能较低时，进行UI渲染可能会出现页面卡顿的情形。因此，本申请针对渲染任务1或者渲染任务2中包含的UI渲染，应用程序的主线程在CPU中执行渲染操作时，采用异步处理的方式，将用于渲染的后备缓存数据的获取操作转移到子线程，即渲染线程中执行，主线程通过调用渲染硬件接口RHI从渲染线程获取后备缓存数据，继续在所述主线程执行渲染操作，从而来减轻所述主线程的负荷，同时降低了主线程在任务繁重时无法及时处理渲染任务造成的用户界面卡顿；

主线程在获取到后备缓存数据后，根据当前窗口的类型进行渲染，具体为：在编辑器模式下，先确定当前窗口为场景窗口，然后获取场景视窗上的目标纹理，通过渲染硬件接口RHI将视窗数据转化为RGBA(Red(红色)Green(绿色)Blue(蓝色)和Alpha的色彩空间)；在运行时模式下，通过渲染硬件接口RHI直接获取到视口后备缓存中的像素数据，将像素数据转化为RGBA。

本实施例中，优选地，使用D3D的固定渲染管线渲染画面，具体包括如下子步骤：

步骤241：创建顶点；

其中，创建的每个顶点的属性均包括位置、都有位置Postion、法线Noraml、纹理TexTure、颜色Colour。

步骤242：根据创建的顶点使用基本图元的拓扑类型构建多边形，生成3D场景；

其中，基本图元的拓扑类型具体为：将创建的每个顶点作为一个单独的点进行绘制，将所有的顶点按顺序逐个连接成线段，再将所有的顶点按顺序两两配对连接成线段，并将所有顶点按顺序组成三角形，即前三个顶点组成第一个三角形，从第四个顶点开始每个顶点与位于其前面的两个顶点组成一个三角形，以及按顺序三三配对组成三角形，由此构成多边形。

步骤243：根据3D场景和摄像机固定渲染管线；

本实施例中，固定渲染管线即使用3D场景及摄像机得到视图空间转换为2D图形并显示在屏幕上，具体包括如下流程：

本地空间：即建模空间，在本地组织三角形的组织方式；

世界空间：通过平移(D3DXMaterxTranslation函数)、旋转(D3DXMaterxRoationX/Y/Z/Axis函数)、缩放(D3DXMaterxScalling函数)将本地空间的物体转换成世界空间的物体，实现场景的组织；

视图空间：将摄像机移至世界空间的原点，旋转摄像机使其正方向与世界空间的Z方向一致，当移动或旋转摄像机时，世界空间的几何图随着摄像机的变化做相同的变化，得到相机视图矩阵(D3DXMatrixLookAtLH函数)；

背面拣选：通过背面拣选方式剔除无用的背面多边形(g_Device->SetRendState(D3DRS_CULLMODE，Value))；

光照裁剪：在世界空间中提供光照，并将超过平截平台的几何图部分裁剪；

投影：通过投影变换矩阵(D3DXMaterxPerspectiveFovLH)将3D场景转换成2D图像，然后转到投影窗口上；

视口变换：将投影窗口变换为屏幕上一个矩阵区域的可靠变换(g_pDevice->SetView Port(D3DVIEWPORT)；

光栅化处理：计算需要显示的每个三角形中每个点的像素值，将经视口变换后的图像显示到屏幕上。

本申请实现的有益效果如下：本申请在程序开始前创建渲染线程并获取到渲染硬件接口RHI，将采集视口数据的功能放在渲染线程中，在主线程运行时不会受到采集数据的影响，不会出现卡顿或画面掉帧等情况，使得渲染帧率方面在1920*1080的分辨率下达到50fps以上。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种实时图像的提取方法，其特征在于，包括：UE4采集客户端启动，创建主线程和渲染线程；

主线程：创建采集窗口，加载场景采集插件，并为当前窗口创建渲染硬件接口；

渲染线程：获取后备缓存数据；

通过调用渲染硬件接口从渲染线程获取后备缓存数据，在主线程中用后备缓存数据渲染采集窗口画面。

2.如权利要求1所述的实时图像的提取方法，其特征在于，UE4采集客户端的主线程具体执行如下子步骤：

创建UE4采集窗口并初始化；

加载并初始化采集插件；

实时更新窗口内容；

通过调用渲染硬件接口从渲染线程获取后备缓存数据，使用后备缓存数据渲染采集窗口画面。

3.如权利要求2所述的实时图像的提取方法，其特征在于，创建UE4采集窗口并初始化，具体包括如下子步骤：

创建设备、上下文、交换链和渲染目标；

使用上下文将渲染目标设置为向屏幕输出；

创建视口，实时使用从渲染目标获取的当前页面渲染数据更新视口。

4.如权利要求2所述的实时图像的提取方法，其特征在于，加载并初始化采集插件，具体包括如下子步骤：

获取场景视口，通过场景视口获取当前窗口的宽高以及所需接口；

创建UI应用层渲染器，并获取视口资源数据；

通过UI应用层渲染器获取顶层窗口的资源；

将获取的顶层窗口的资源强制转换为与渲染硬件接口相同类型的数据。

5.如权利要求4所述的实时图像的提取方法，其特征在于，在UE4下运行的窗口类型包括编辑器模式和运行时模式；

在编辑器模式下获取引擎实例的视口数据，通过场景视口获取视口组件，将视口组件的节点转换为窗口类，处理编辑器模式下的渲染硬件接口；

在运行时模式下获取引擎场景的视口数据，获取正确的引擎窗口，获取视口组件，将视口组件的节点转换为窗口类，处理运行时模式下的渲染硬件接口。

6.如权利要求1所述的实时图像的提取方法，其特征在于，主线程在获取到后备缓存数据后，用后备缓存数据渲染采集窗口画面，具体为：在编辑器模式下，确定当前窗口为场景窗口时，获取场景视窗上的目标纹理，通过渲染硬件接口将视窗数据转化为RGBA类型的颜色空间；在运行时模式下，通过渲染硬件接口直接获取到视口后备缓存中的像素数据，将像素数据转化为RGBA类型的颜色空间。

7.如权利要求1所述的实时图像的提取方法，其特征在于，在主线程中渲染画面，具体为：创建顶点，根据创建的顶点使用基本图元的拓扑类型构建多边形，生成3D场景；根据3D场景和摄像机固定渲染管线。

8.如权利要求7所述的实时图像的提取方法，其特征在于，根据创建的顶点使用基本图元的拓扑类型构建多边形，具体为：将创建的每个顶点作为一个单独的点进行绘制，将所有的顶点按顺序逐个连接成线段，再将所有的顶点按顺序两两配对连接成线段，并将所有顶点按顺序组成三角形，即前三个顶点组成第一个三角形，从第四个顶点开始每个顶点与位于其前面的两个顶点组成一个三角形，以及按顺序三三配对组成三角形，由此构成多边形。

9.如权利要求7所述的实时图像的提取方法，其特征在于，根据3D场景和摄像机固定渲染管线，具体为：使用3D场景及摄像机得到视图空间，将视图空间转换为2D图形并显示在屏幕上。

10.如权利要求7或9所述的实时图像的提取方法，其特征在于，固定渲染管线，具体包括：

本地空间：即建模空间，在本地组织三角形的组织方式；

世界空间：通过平移、旋转、缩放将本地空间的物体转换成世界空间的物体，实现场景的组织；

视图空间：将摄像机移至世界空间的原点，旋转摄像机使其正方向与世界空间的Z方向一致，当移动或旋转摄像机时，世界空间的几何图随着摄像机的变化做相同的变化，得到相机视图矩阵；

背面拣选：通过背面拣选方式剔除无用的背面多边形；

光照裁剪：在世界空间中提供光照，并将超过平截平台的几何图部分裁剪；

投影：通过投影变换矩阵将3D场景转换成2D图像，然后转到投影窗口上；

视口变换：将投影窗口变换为屏幕上一个矩阵区域的可靠变换；

光栅化处理：计算需要显示的每个三角形中每个点的像素值，将经视口变换后的图像显示到屏幕上。