CN114168060A - 电子白板渲染方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种电子白板渲染方法、装置、设备和存储介质，该方法包括：响应于对电子白板的操作指令，将通过电子白板输入的触控轨迹，传输到电子白板对应的本地服务层，本地服务层包括待处理的初始图像；通过本地服务层中预先设置的渲染接口，在初始图像中渲染触控轨迹对应的几何图形，以得到包含几何图形的目标图像，其中渲染接口与用于展示电子白板的终端设备所属类型匹配；输出目标图像至终端设备。该方法通过本地服务跨平台跨操作系统实现电子白板渲染，提升电子白板渲染效率，提升多用户使用电子白板时的演示效果和用户体验。并且无需在CPU和GPU之间反复转换，减少对CPU、GPU以及内存资源的消耗，提高电子白板渲染性能。

Description

电子白板渲染方法、装置、设备和存储介质

技术领域

本发明涉及电子白板领域，尤其涉及一种电子白板渲染方法、装置、设备和存储介质。

背景技术

随着设备智能化的发展，电子白板(Whiteboard，也称互动白板)已广泛的应用于在线教学、视频会议、视频/音频直播等交互场景中。

以在线教学为例，多个用户在使用电子白板进行交流互动的过程中，每一用户看到的电子白板是一模一样的。为此，需要将多个用户绘制的结果同步显示到该电子白板中，从而实现多个用户在同一电子白板上共同绘制的效果。

但是，相关技术中，多个用户往往会通过不同终端设备来打开电子白板，比如手机、台式机、平板电脑、智能电视、智能投影设备等。但是，不同终端设备所采用的渲染接口不同，容易导致不同终端设备所显示的电子白板的渲染表现不一致，使得用户使用电子白板进行交互的过程中得到的演示效果较差，影响用户体验。因此，针对上述技术问题，亟待设计一种各种设备通用的电子白板渲染方案。

发明内容

本发明实施例提供一种电子白板渲染方法、装置、设备和存储介质，用以跨平台、跨操作系统地实现电子白板渲染，拓展电子白板渲染方式的适用范围，提升电子白板渲染效率。

第一方面，本发明实施例提供一种电子白板渲染方法，方法包括：

响应于对电子白板的操作指令，将通过电子白板输入的触控轨迹，传输到电子白板对应的本地服务层，其中，本地服务层包括待处理的初始图像；

通过本地服务层中预先设置的渲染接口，在初始图像中渲染触控轨迹对应的几何图形，以得到包含几何图形的目标图像，其中，渲染接口与用于展示电子白板的终端设备所属类型匹配；

输出目标图像至终端设备。

第二方面，本发明实施例提供一种电子白板渲染装置，装置包括：

获取模块，用于响应于对电子白板的操作指令，将通过电子白板中输入的触控轨迹，传输到电子白板对应的本地服务层，其中，本地服务层包括待处理的初始图像；

渲染模块，用于通过本地服务层中预先设置的渲染接口，在初始图像中渲染触控轨迹对应的几何图形，以得到包含几何图形的目标图像，其中，渲染接口与用于展示电子白板的终端设备所属类型匹配；

输出模块，用于输出目标图像至终端设备。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的电子白板渲染方法。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的电子白板渲染方法。

在本发明实施例提供的方案中，响应于对电子白板的操作指令，首先获取用户在电子白板中输入的触控轨迹，并将触控轨迹输入到电子白板对应的本地服务层，从而实现对触控轨迹的采集录入。该本地服务层包括待处理的初始图像。进而，通过本地服务层中预先设置的渲染接口，在初始图像中渲染触控轨迹对应的几何图形，以得到包含几何图形的目标图像，其中该渲染接口与用于展示电子白板的终端设备所属类型匹配。最终，输出目标图像至终端设备，从而实现终端设备中的电子白板。

本方案中，通过本地服务层中预先设置的渲染接口，能够在多种类型的终端设备中实现电子白板的渲染，保证各个终端设备中的电子白板展示内容的一致性，提升多用户使用电子白板交互时的演示效果和用户体验。除此之外，本方案能够通过本地服务层跨平台、跨操作系统地实现电子白板的渲染，不仅大大拓展电子白板渲染方式的适用范围，还无需在处理器(CPU)和图形处理器(GPU)之间反复转换，减少对CPU、GPU以及内存资源的消耗，提高电子白板渲染性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子白板渲染方法的流程图；

图2为本发明实施例提供的一种电子白板渲染方法的原理示意图；

图3为本发明实施例提供的一种渲染管线的原理示意图；

图4为本发明实施例提供的一种电子白板渲染装置的结构示意图；

图5为与图4所示实施例提供的电子白板渲染装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本发明实施例提供的电子白板渲染方法可以由一电子设备来执行，该电子设备可以是诸如PC机、笔记本电脑、智能手机等具有数据处理能力的终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云端服务器或服务器集群。

随着设备智能化的发展，以及相关软件的开发，在较多的交互场景中会使用到电子白板，比如：在视频会议时，调用视频会议软件中的电子白板进行会议讲解演示；在智慧教学的过程中，通过智慧黑板中的电子白板进行批注、绘制等方式讲解学科知识。

其中，电子白板可以像普通白板或者教学黑板一样，直接进行书写或者绘制，区别在于电子白板在专门的应用程序的支持下，能够与其他的电子设备，比如：笔记本电脑、平板电脑、智慧黑板等，建立通信连接，将书写结果或者绘制结果进行电子化的存储和显示。

在使用电子白板的场景中，多个用户可以使用电子白板进行交流互动。此过程中，需要将多个用户绘制的结果同步显示到该电子白板中，以使每一用户看到的电子白板是一模一样的，实现多个用户在同一电子白板上共同绘制的效果。

但是，相关技术中，多个用户往往会通过不同终端设备来打开电子白板。不同终端设备所采用的渲染方式不同。例如，IOS设备可以采用CoreAnimation或CoreGraphics进行渲染。具体地，CoreAnimation并不支持使用像素级结构控制笔头形状、纹理，也不支持自定义混合规则，导致电子白板中的橡皮擦功能难以实现，灵活性较差。而CoreGraphics方案虽然灵活性较好，但需要占用较高的CPU资源以及内存。例如，Android设备可使用Canvas进行渲染，但是渲染结果需要传输到Cocos引擎或Unity引擎中，并在内存以及GPU的显存中经过数次拷贝，设备性能消耗较高。并且，Cocos引擎以及Unity引擎无法实现跨引擎服务，也不支持本地服务(Native)项目。

显然，相关技术中，由于不同终端设备所采用的渲染方式不同，导致不同终端设备所显示的电子白板的渲染表现不一致，这样会使得用户在使用电子白板进行交互的过程中得到的演示效果和用户体验较差。

因此，在多平台多引擎的情况下，如何在不同类型设备中跨平台跨操作系统地实现电子白板的渲染，成为亟待解决的技术问题。

本发明实施例提供了一种电子白板渲染方法，如图1所示。图1为本发明实施例提供的一种电子白板渲染方法的流程图，可以包括如下步骤：

101、响应于对电子白板的操作指令，将通过电子白板输入的触控轨迹，传输到电子白板对应的本地服务层。

102、通过本地服务层中预先设置的渲染接口，在初始图像中渲染触控轨迹对应的几何图形，以得到包含几何图形的目标图像。

103、输出目标图像至终端设备。

在上述步骤中，通过本地服务层中预先设置的渲染接口，能够在多种类型的终端设备中实现电子白板的渲染，保证各个终端设备中的电子白板展示内容的一致性，提升多用户使用电子白板交互时的演示效果和用户体验。

本实施例中，用户可以通过与终端设备的交互操作，在电子白板中输入触控轨迹(Path)。这里的触控轨迹包括但不限于用户想要在电子白板中绘制的几何图形、和/或文字。可以理解的是，几何图形中包含有开放式图形和封闭式图形。其中，开放式图形包含有点、直线和圆弧等图形；封闭式图形包含有多边形和椭圆等图形。对于封闭式图形和开放式图形来说，由于图形类型不同，相应的图形特征差异也较大，对应的几何图形渲染方式也不同。具体介绍参见下文实施例。

101中，响应于用户对电子白板的操作指令，将用户通过电子白板输入的触控轨迹，传输到电子白板对应的本地服务层。

具体而言，用户的操作指令可以是通过触控笔发出的触控指令，也可以是对触控屏发出的绘制指令，还可以是通过鼠标选取某一画笔控件并拖动画笔控件发出的指令，本实施例中并不限定。在获取到用户的操作指令之后，获取该操作指令对应的触控轨迹，将获取到的触控轨迹传输到本地服务层。具体来说，可以根据用户输入数据所属的数据类型进行拆分，得到输入数据对应的轨迹信息(如线框纹理、形状、尺寸等)，从而形成操作指令对应的触控轨迹。操作指令包括但不限于绘制、拷贝、粘贴、删除、批量拖拽。可选地，若检测到用户对电子白板中任一分页发出上述任意一种操作指令，则更新该分页对应的重绘标识，该重绘标识用于触发该分页的渲染流程。例如，根据触控指令识别出用户通过触控笔意图在电子白板中发出的移动轨迹，并将该移动轨迹作为触控轨迹。例如，根据绘制指令识别出用户意图在电子白板中手绘的几何图形和/或文字，并将这些手绘得到的轨迹作为触控轨迹。

除此之外，还可假设多个用户对电子白板的输入方式为画笔控件。该画笔控件可以是用于发出操作指令的触控笔，也可以是应用程序中提供的虚拟控件。用户选择画笔控件对应的绘制类型(例如涂鸦、或特定形状的笔触)之后，可以采用对应绘制类型进行绘制，从而，在电子白板中生成对应数据类型的触控轨迹，该触控轨迹用于记录用户输入的至少一个位置信息。可选地，通过画笔控件还可以调整触控轨迹对应的纹理类型和/或颜色，从而创造出不同类型的笔触，进一步提升电子白板的视觉效果，丰富用户交流方式。

本实施例中，电子白板对应的本地服务层是指用于呈现电子白板的终端设备所使用的原生平台。这里的原生平台，可以是终端设备所搭载的操作系统，如iOS操作系统、安卓(Android)操作系统、Windows操作系统，也可以是终端设备所使用的渲染引擎，如Unity渲染引擎、Cocos渲染引擎。在本地服务层中，可以调用终端设备中预设的应用程序以及底层资源。每种操作系统或渲染引擎中可调用的接口、调用方法均不相同。

其中，本地服务层中包括待处理的初始图像。这里待处理是指需要渲染到电子白板中的初始图像。实际上，待处理的初始图像可以实现为与具体应用场景匹配的形式。以在线教育场景为例，初始图像可以是需要阅读的课程内容，比如系列课程中的各节课本内容、绘本阅读中的绘本内容。实际应用中，这些初始图像可以是基于课程要求从教学素材库中选取对应教学素材后编辑得到的，也可以是扫描现有教材(例如经过排版的绘本、课本等)后编辑得到的，还可以是相关人员基于课程要求编辑得到的(例如教学PPT等)。以视频会议为例，初始图像可以是参会人员预先准备的会议演示文稿，也可以是供参会人员相互交流的空白版面。

进而，102中，通过本地服务层中预先设置的渲染接口，在初始图像中渲染触控轨迹对应的几何图形，以得到包含几何图形的目标图像。该渲染接口与用于展示电子白板的终端设备所属类型匹配，具体来说，为实现跨平台、跨系统的电子白板渲染过程，可以在本地服务层中预先设置与各种平台或操作系统匹配的渲染接口。本实施例中可使用终端设备所搭载的原生渲染接口，以提高渲染效率。例如，假设终端设备所属类型为安卓设备，那么，安卓设备对应的原生渲染接口包括开放图形库(OpenGL for Embedded Systems，OpenGLES)接口。例如，假设终端设备所属类型为IOS设备，那么，IOS设备对应的原生渲染接口包括Metal接口(即一种图形编程接口)。例如，假设终端设备所使用的渲染引擎为Unity渲染引擎或Cocos渲染引擎，那么，也可采用上述引擎对应的原生渲染接口实现步骤102。

具体地，在102中，可以调用本地服务层中的原生渲染接口，在初始图像的基础上渲染触控轨迹对应的几何图形，从而，将几何图形添加到初始图像中得到需要渲染的目标图像。实际应用中，几何图形包括但不限于封闭式图形、开放式图形。可以进一步理解的是，几何图形还可以组合为文字。目标图像可以是包含上述几何图形的纹理贴图(下文实施例中也称为目标纹理贴图)，在显存空间中存储有该纹理贴图的标识，用于实现103中目标图像的传递。

以在线教育场景为例，几何图形可以是教师配合讲解内容绘制，并同步渲染到学生侧的电子白板中，例如教师的板书。也可以是学生做笔记或提问时绘制，并同步到其他学生侧或教师侧的电子白板中，例如学生的课堂笔记或解答过程。实际应用中，可选地，可以由绘制端选择是否授权将几何图形同步渲染到其他终端侧，以避免同步内容过于混乱，泄露用户隐私。

103中，输出目标图像至用于展示电子白板的终端设备。具体来说，终端设备可以是包含有上述电子白板功能的应用程序所在的电子设备，比如：笔记本电脑、平板电脑等；也可以是做电子白板使用的大屏、智慧黑板、数字画板等，并不以此为限。在103中，假设目标图像是包含上述几何图形的纹理贴图，基于此，可以在显存空间中将纹理贴图的标识传递到终端设备中，从而直接在显存空间中完成纹理贴图的多端共享，提高传递效率，保证目标图像的同步渲染。

在本实施例中，通过本地服务层中预先设置的渲染接口，能够在多种类型的终端设备中实现电子白板的渲染，保证各个终端设备中的电子白板展示内容的一致性，提升多用户使用电子白板交互时的演示效果和用户体验。除此之外，本方案能够通过本地服务跨平台、跨操作系统地实现电子白板的渲染，不仅大大拓展电子白板渲染方式的适用范围，还无需在CPU和GPU之间反复转换，减少对CPU、GPU以及内存资源的消耗，提高电子白板渲染性能。

在上述或下述实施例中，可选地，在102中，根据终端设备所属类型，确定本地服务层所使用的原生渲染接口；根据触控轨迹向图形处理器GPU传输初始图像中待绘制的几何图形；通过GPU在初始图像对应的初始纹理贴图中渲染出几何图形，得到包含几何图形的目标纹理贴图。

上述步骤中，触控轨迹以及纹理贴图的处理流程均可在GPU的显存空间中通过调用本地服务层中的原生渲染接口实现，避免了因GPU与CPU之间的数据转换导致的渲染步骤复杂化，有助于提高渲染效率。

具体而言，在102中，可选地，通过读取终端设备的属性配置，确定终端设备所属类型，进而根据终端设备所属类型确定本地服务层可调用的原生渲染接口。例如，安卓设备对应的原生渲染接口包括OpenGLES接口，IOS设备对应的原生渲染接口包括Metal接口，或者，Unity渲染引擎或Cocos渲染引擎各自对应的原生渲染接口。接着，将用户输入的触控轨迹传输到本地服务层中。

进而，根据触控轨迹向图形处理器GPU传输初始图像中待绘制的几何图形的一种可选实现方式为：根据触控轨迹以及电子白板的配置信息，确定几何图形的顶点数据；将顶点数据输入至GPU中预先设置的渲染管线。

具体来说，在一可选实施例中，可以确定触控轨迹对应的数据类型，本实施例中，触控轨迹对应的数据类型包括但不限于：涂鸦类型、线框图(wireframe)类型、形状(shape)类型中的之一或组合。实际应用中，对于不同类型的触控轨迹，顶点数据的计算方式不同。例如，接收用户输入的触控轨迹之后，通过终端设备的前端应用程序解析触控轨迹的数据类型。具体地，可以采用安卓的前端应用程序，对用户输入的触控轨迹进行解析，判断触控轨迹属于哪一种数据类型。在解析过程中，可以基于触控轨迹的起点、终点、起点和终点是否重合、轨迹长度、笔触类型等参数，判断该触控轨迹属于哪一种数据类型。

值得说明的是，IOS、Unity渲染引擎、或Cocos渲染引擎的前端应用程序也可对用户输入的触控轨迹所属数据类型进行判断，此处暂不展开。

进而，根据触控轨迹对应的数据类型以及配置信息，计算至少一个顶点的顶点数据。本实施例中，顶点数据包括但不限于至少一个顶点的顶点位置、面片位置、贴图坐标(即UV坐标)中的任意一个或组合。进一步地，确定数据类型对应的设定算法；采用设定算法，根据数据类型以及配置信息，计算至少一个顶点的顶点位置、面片位置、UV坐标。

下面以图2示出的触控轨迹渲染流程为例，针对上述数据类型的触控轨迹，分别介绍各自的顶点数据计算方式。

在图2中，对于涂鸦类型的触控轨迹，首先对触控轨迹中的各个坐标点进行抽稀算法，并存储抽稀后的坐标点，通过抽稀算法可以有效减少坐标点同步所需的数据传输量。进而，对抽稀后的坐标点进行贝塞尔插值(如三阶贝塞尔插值)得到插值点(即图2中的插值点数组)，从而消除触控轨迹中的各个坐标点之间的空隙，用以平滑过渡。最终，采用顶点生成算法根据插值点计算对应顶点的顶点数据，此处顶点数据包括但不限于顶点位置、面片位置、UV坐标，用于后续的渲染管线调用流程。具体地，针对每个插值点，可以生成4个顶点、2个三角面、4个UV坐标。具体顶点生成算法可参见相关技术此处暂不展开。

值得说明的是，上述步骤得到的插值点不参与各用户端的数据同步，数据同步过程中主要传输抽稀后的坐标点相关的数据，以避免数据传输量过大，影响数据同步的实时性。参与数据同步的各用户端接收到抽稀后的坐标点之后，可以采用预先设置的贝塞尔插值方式进行插值计算。

在图2中，对于shape类型的触控轨迹，以触控轨迹的形状类型是矩形(Rect)为例，需要根据触控轨迹的起点坐标(即图2中的开始位置)以及终点坐标(即图2中的当前位置)，计算矩形的四个顶点坐标(即图2中的矩形四顶点)。进而，与上文实施类似，可以采用顶点生成算法根据四个顶点坐标计算对应顶点的顶点数据，此处顶点数据包括但不限于顶点位置、面片位置、UV坐标，用于后续的渲染管线调用流程。具体地，针对矩形的四个顶点，可以生成4个顶点、2个三角面。

可以理解的是，在图2中，触控轨迹的形状类型是三角形(Triangle)或椭圆形(Oval)的情况下，可以采用矩形作为基础几何图形，生成对应的顶点数据。例如，针对形状类型是三角形的触控轨迹，采用矩形的内切等腰三角形生成3个顶点以及1个三角面，从而得到此类触控轨迹的顶点数据。例如，针对形状类型是椭圆形的触控轨迹，采用椭圆形的内切椭圆形，根据预设细分程度由多个三角形构成的椭圆形，并采用前述三角形的处理方式生成对应的顶点以及三角面，从而得到此类触控轨迹的顶点数据。

在图2中，wireframe类型的触控轨迹与shape类型的触控轨迹处理方式类似。主要区别在于，计算出矩形的四个顶点坐标后，还需计算对应的插值点。例如，在图2中，矩形触控轨迹对应的插值点可以通过以下方式生成：以矩形的边作为路径生成多个插值点(即图2中的一系列插值点)。例如，在图2中，三角形触控轨迹对应的插值点可以通过以下方式生成：以矩形的内切等腰三角形的边作为路径生成多个插值点(即图2中的一系列插值点)。例如，在图2中，三角形触控轨迹对应的插值点可以通过以下方式生成：以矩形的椭圆形的内切椭圆形的边作为路径生成多个插值点(即图2中的一系列插值点)。

通过上述方式计算出插值点后，采用不同形状类型对应的顶点生成算法，根据插值点计算得到对应的顶点数据。这里的顶点生成算法与上文实施例类似，此处不再展开。与上文实施例类似，每一插值点可以生成4个顶点、2个三角面、4个UV坐标。

值得说明的是，为了节省数据同步的传输量，数据同步过程中可以传输四个顶点坐标，从而参与数据同步的各用户端接收到四个顶点坐标之后，根据需要渲染的形状类型以及四个顶点坐标计算对应的顶点数据。

进而，确定几何图形的顶点数据之后，将顶点数据输入至预先设置的渲染管线中，包括：确定数据类型对应的着色器；为顶点数据绑定对应的画笔纹理，并将顶点数据以及画笔纹理输入到包含着色器的渲染管线中。

本实施例中，着色器包括顶点着色器(Vertex Shader)、片元着色器(FragmentShader)、混合模式处理模块(Blend Mode)中的任意一个或组合。其中，顶点着色器是渲染管线中的一部分。顶点着色器分为输入和输出两个部分,其负责的主要功能是将输入数据通过矩阵变换位置,从而计算光照公式生成各个顶点的颜色、变换后的纹理坐标等参数(即顶点数据)。并且将各个顶点的颜色、变换后的纹理坐标等参数输出至渲染管线中的下一处理单元(如片元着色器)。片元着色器的主要作用是处理在光栅化阶段得到的片元，并最终计算出片元中各个顶点颜色。也即得到包含每一个顶点的颜色分量以及像素透明度的数据集合。

举例来说，上述步骤中，判断当前的顶点数据是否对应橡皮擦类型，若当前的顶点数据不对应橡皮擦类型，则确定需要使用到的着色器依次为顶点着色器和片元着色器。若当前的顶点数据对应橡皮擦类型，则确定需要使用到的着色器依次为顶点着色器、片元着色器、混合模式处理模块。接着，为当前的顶点数据绑定对应的画笔纹理，并将顶点数据以及画笔纹理输入到包含上述着色器的渲染管线中。如果检测到用户对触控轨迹对应的几何图形进行批量拖拽操作，那么，就需要改变几何图形所处位置。此情况下，可选地，需要生成每个几何图形对应的平移变换矩阵，同样需要将平移变换矩阵传输到对应的渲染管线中。

进而，通过GPU在初始图像对应的初始纹理贴图中渲染出几何图形，得到包含几何图形的目标纹理贴图的一种可选实现方式为：在渲染管线中调用原生渲染接口，在初始纹理贴图中绘制顶点数据对应的至少一个顶点，以获得包含几何图形的目标纹理贴图。

举例来说，假设终端设备所属类型包括安卓设备或者IOS设备。图3所示的渲染管线中，首先通过绘画调用(Draw Call)将这些顶点数据传递到Metal接口或OpenGLES接口对应的接口中进行渲染，并输出至GPU中指定的显存空间作为纹理贴图(Texture)。

对于安卓设备而言，假设安卓设备对应的原生渲染接口包括OpenGLES接口。上述步骤中，在渲染管线中调用原生渲染接口，在初始纹理贴图中绘制顶点数据对应的至少一个顶点，以获得包含几何图形的目标纹理贴图，包括：将顶点数据输入至OpenGLES接口对应的图形绘制方式中；在OpenGLES接口下，通过对应的顶点着色器和/或片元着色器，将顶点数据绘制为对应的至少一个顶点；通过混合模式处理模块将至少一个顶点与初始纹理贴图进行混合，得到目标纹理贴图。

对于IOS设备而言，获得包含几何图形的目标纹理贴图的方式与安卓设备相似，区别仅在于，IOS设备对应的原生渲染接口为Metal接口。

除此之外，可选地，对于橡皮擦类型的触控轨迹而言，还需要修改对应的混合模式，即触发混合模式处理模块执行对应的混合流程，以使该类型的触控轨迹可以通过模板混合覆盖初始图像中的指定区域，从而达到擦除指定区域的效果。

本实施例中，通过调用原生渲染接口处理触控轨迹，使得触控轨迹的渲染效率更高，从而在低端设备及弱网条件下保证电子白板的低延迟，提升电子白板的多端交互效果。

在上述或下述实施例中，可选地，在103中，可以获取目标图像在图形处理器(GPU)中的标识，进而，将该标识传输至终端设备，以使终端设备通过GPU渲染该标识对应的目标图像。通过这一方式，目标图像的处理以及传递均可在GPU中实现，避免了因GPU与CPU之间的数据转换导致的渲染步骤复杂化，提高渲染效率。

进一步地，假设存在多个终端设备，并且这些终端设备分别属于不同设备类型。基于此，还可以在多个终端设备中分别设置触控轨迹缓冲区，该触控轨迹缓冲区中存储有目标图像中触控轨迹的轨迹标识以及位置信息。

基于上述触控轨迹缓冲区，可选地，还可响应于针对触控轨迹的拷贝粘贴指令，在触控轨迹缓冲区中更新触控轨迹的位置信息。实际应用中，假设电子白板包括多个分页。以绘本阅读场景为例，绘本中的每一页对应电子白板中的一个分页(Page)。针对多个分页，触控轨迹的位置信息包括但不限于标识、轨迹所处分页、轨迹在分页中的坐标信息。

本实施例中，通过该触控轨迹缓冲区，能够将触控轨迹的渲染与数据处理分离，从而在低端设备及弱网条件下保证电子白板的低延迟以及同步运行。

在上述或下述实施例中，可选地，还可使计算逻辑与展示逻辑分离，以进一步提高渲染效率。这里计算逻辑是指对每一触控轨迹的位置数据进行计算的逻辑，展示逻辑则是指对用户所请求的分页进行渲染的逻辑。简单来说，就是实时计算电子白板所包含的各个分页的位置数据，并同时展示用户请求的分页。

具体而言，假设电子白板包括多个分页，每一分页设置有对应的触控轨迹缓冲区。基于此，还可响应于对任意一个分页的展示指令，从该任意一个分页对应的触控轨迹缓冲区中获取触控轨迹的轨迹标识以及位置信息；输出触控轨迹的轨迹标识以及位置信息至终端设备，以使终端设备通过GPU渲染对应的目标图像。

实际上，以绘本阅读场景为例，绘本中的每一页对应电子白板中的一个分页。在分页对应的触控轨迹缓冲区中，存储当前分页中触控轨迹的轨迹标识以及位置信息。

基于此，响应于用户对一个分页的选取指令，根据该指令确定对应的分页指针，并通过该分页指针从该分页对应的触控轨迹缓冲区中获取所有触控轨迹的轨迹标识以及位置信息。进而，将这些触控轨迹的轨迹标识以及位置信息输入到对应的渲染管线，以使终端设备通过GPU渲染对应的目标图像，从而实现对电子白板的翻页指令。

本实施例中，通过分离计算逻辑与展示逻辑，在用户操作的分页并非当前所展示的分页，也可以在后台同步执行对用户操作分页中的位置数据计算。这样，在分页数据同步过程中，即使翻页操作与更新后的分页内容出现乱序，也不会影响最终展示分页的显示结果。

在上述或下述实施例中，在电子白板中绘制完成几何图形之后，可选地，还可通过电子白板中预先设置的或用户自定义的操作方式，对几何图形的大小、角度、位置和/或数量进行调整。

可选地，通过拖动触控笔或直接移动触控笔，在保证几何图形中指定坐标点位置不动的情况下，改变几何图形的大小和角度，从而可以使几何图形更接近用户真正想要绘制的形状。

可选地，响应于用户发出的批量拖拽指令，从触控轨迹对应的标识列表中选取用户所拖拽的几何图形，并记录与该几何图形匹配的位移距离。从而，通过位移距离的同步，保证在拖拽前后参与数据同步的其他终端不会受到网络延迟的影响。

可选地，响应于用户发出的批量拷贝指令或粘贴指令，从触控轨迹对应的标识列表中选取用户所拖拽的几何图形，并记录与该几何图形匹配的位移距离。从而，通过位移距离的同步，保证在拖拽前后参与数据同步的其他终端不会受到网络延迟的影响。

可选地，为一个或多个几何图形建立绑定关系，并在触控轨迹缓冲区中存储绑定关系对应的标识。从而，响应于用户对某一个或几个几何图形的拷贝或粘贴指令，获取某一个或几个几何图形的标识，并在各端同步该标识以及与操作指令对应的目标位置，从而实现某一个或几个几何图形的拷贝或粘贴操作。

本实施例中，通过几何图形的调整，提升电子白板的功能性以及交互操作方式，为电子白板用户提供便利。

以下将详细描述本发明的一个或多个实施例的图像识别装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图4为本发明实施例提供的一种电子白板渲染装置的结构示意图，如图4所示，该装置包括：获取模块11、渲染模块12、输出模块13。

获取模块11，用于响应于对电子白板的操作指令，将通过电子白板中输入的触控轨迹，传输到电子白板对应的本地服务层，其中，本地服务层包括待处理的初始图像。

渲染模块12，用于通过本地服务层中预先设置的渲染接口，在初始图像中渲染触控轨迹对应的几何图形，以得到包含几何图形的目标图像，其中，渲染接口与用于展示电子白板的终端设备所属类型匹配。

输出模块13，用于输出目标图像至终端设备。

可选地，渲染模块12通过所述本地服务层中预先设置的渲染接口，在所述初始图像中渲染所述触控轨迹对应的几何图形，以得到包含所述几何图形的目标图像的过程中，具体用于：

根据所述终端设备所属类型，确定所述本地服务层所使用的原生渲染接口；

根据所述触控轨迹向图形处理器GPU传输所述初始图像中待绘制的所述几何图形；

通过所述GPU在所述初始图像对应的初始纹理贴图中渲染出所述几何图形，得到包含所述几何图形的目标纹理贴图。

相应地，渲染模块12根据所述触控轨迹向图形处理器GPU传输所述初始图像中待绘制的所述几何图形的过程中，具体用于：

根据所述触控轨迹以及所述电子白板的配置信息，确定所述几何图形的顶点数据；

将所述顶点数据输入至所述GPU中预先设置的渲染管线；

所述通过所述GPU在所述初始图像对应的初始纹理贴图中渲染出所述几何图形，得到包含所述几何图形的目标纹理贴图，包括：

在所述渲染管线中调用所述原生渲染接口，在所述初始纹理贴图中绘制所述顶点数据对应的至少一个顶点，以获得包含所述几何图形的目标纹理贴图。

相应地，渲染模块12根据所述触控轨迹以及所述电子白板的配置信息，确定所述几何图形的顶点数据的过程中，具体用于：

确定所述触控轨迹对应的数据类型；

根据所述数据类型以及所述配置信息，计算所述至少一个顶点的顶点数据，所述顶点数据包括所述至少一个顶点的顶点位置、面片位置、UV坐标中的任意一个或组合。

渲染模块12将所述顶点数据输入至预先设置的渲染管线中的过程中，具体用于：

确定所述数据类型对应的着色器，所述着色器包括顶点着色器、片元着色器、混合模式处理模块中的任意一个或组合；

为所述顶点数据绑定对应的画笔纹理，并将所述顶点数据以及所述画笔纹理输入到包含所述着色器的渲染管线中。

可选地，所述数据类型包括以下之一或组合：涂鸦类型、线框图wireframe类型、形状shape类型。

渲染模块12根据所述数据类型以及所述配置信息，计算所述至少一个顶点的顶点数据的过程中，具体用于：

确定所述数据类型对应的设定算法；

采用所述设定算法，根据所述数据类型以及所述配置信息，计算所述至少一个顶点的顶点位置、面片位置、UV坐标。

可选地，渲染模块12还用于：

响应于针对所述电子白板的设定操作指令，生成所述触控轨迹对应的平移变换矩阵，所述平移变换矩阵中包括所述触控轨迹的顶点数据以及位置变化信息；

输出所述平移变换矩阵至所述渲染管线。

可选地，所述终端设备所属类型包括安卓设备或者IOS设备，所述安卓设备对应的原生渲染接口包括OpenGLES接口，所述IOS设备对应的原生渲染接口包括Metal接口。

渲染模块12在所述渲染管线中调用所述原生渲染接口，在所述初始纹理贴图中绘制所述顶点数据对应的至少一个顶点，以获得包含所述几何图形的目标纹理贴图的过程中，具体用于：

将所述顶点数据输入至所述OpenGLES接口或所述Metal接口对应的图形绘制接口中；

在所述OpenGLES接口或所述Metal接口下，通过对应的顶点着色器和/或片元着色器，将所述顶点数据绘制为对应的至少一个顶点；

通过混合模式处理模块将所述至少一个顶点与所述初始纹理贴图进行混合，得到所述目标纹理贴图。

可选地，渲染模块12输出所述目标图像至所述终端设备的过程中，具体用于：

获取所述目标图像在GPU中的标识；

将所述标识传输至所述终端设备，以使所述终端设备通过GPU渲染所述标识对应的所述目标图像。

可选地，多个所述终端设备属于不同设备类型，在多个所述终端设备中分别设置触控轨迹缓冲区；所述触控轨迹缓冲区中存储有所述目标图像中所述触控轨迹的轨迹标识以及位置信息。

可选地，渲染模块12还用于：

响应于针对所述触控轨迹的拷贝粘贴指令，在所述触控轨迹缓冲区中更新所述触控轨迹的位置信息。

可选地，所述电子白板包括多个分页，每一分页设置有对应的触控轨迹缓冲区。

可选地，渲染模块12还用于：

响应于对任意一个分页的展示指令，从所述任意一个分页对应的触控轨迹缓冲区中获取所述触控轨迹的轨迹标识以及位置信息；

输出所述触控轨迹的轨迹标识以及位置信息，至所述终端设备，以使所述终端设备通过GPU渲染对应的所述目标图像。

图4所示装置可以执行前述实施例中介绍的步骤，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图4所示电子白板渲染装置的结构可实现为一电子设备，如图5所示，该电子设备可以包括：处理器21、存储器22、通信接口23。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，使处理器21至少可以实现如前述实施例中提供的电子白板渲染方法。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的电子白板渲染方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的接口来实现，当然也可以通过硬件和软件结合的接口来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种电子白板渲染方法，其特征在于，包括：

响应于对电子白板的操作指令，将通过所述电子白板输入的触控轨迹，传输到所述电子白板对应的本地服务层，其中，所述本地服务层包括待处理的初始图像；

通过所述本地服务层中预先设置的渲染接口，在所述初始图像中渲染所述触控轨迹对应的几何图形，以得到包含所述几何图形的目标图像，其中，所述渲染接口与用于展示所述电子白板的终端设备所属类型匹配；

输出所述目标图像至所述终端设备。

2.根据权利要求1所述的方法，其特征在于，所述通过所述本地服务层中预先设置的渲染接口，在所述初始图像中渲染所述触控轨迹对应的几何图形，以得到包含所述几何图形的目标图像，包括：

根据所述终端设备所属类型，确定所述本地服务层所使用的原生渲染接口；

根据所述触控轨迹向图形处理器传输所述初始图像中待绘制的所述几何图形；

通过所述图形处理器在所述初始图像对应的初始纹理贴图中渲染出所述几何图形，得到包含所述几何图形的目标纹理贴图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述触控轨迹向图形处理器传输所述初始图像中待绘制的所述几何图形，包括：

根据所述触控轨迹以及所述电子白板的配置信息，确定所述几何图形的顶点数据；

将所述顶点数据输入至所述图形处理器中预先设置的渲染管线；

所述通过所述图形处理器在所述初始图像对应的初始纹理贴图中渲染出所述几何图形，得到包含所述几何图形的目标纹理贴图，包括：

在所述渲染管线中调用所述原生渲染接口，在所述初始纹理贴图中绘制所述顶点数据对应的至少一个顶点，以获得包含所述几何图形的目标纹理贴图。

4.根据权利要求3所述的方法，其特征在于，所述根据所述触控轨迹以及所述电子白板的配置信息，确定所述几何图形的顶点数据，包括：

确定所述触控轨迹对应的数据类型；

根据所述数据类型以及所述配置信息，计算所述至少一个顶点的顶点数据，所述顶点数据包括所述至少一个顶点的顶点位置、面片位置、UV坐标中的任意一个或组合；

所述将所述顶点数据输入至预先设置的渲染管线中，包括：

确定所述数据类型对应的着色器，所述着色器包括顶点着色器、片元着色器、混合模式处理模块中的任意一个或组合；

为所述顶点数据绑定对应的画笔纹理，并将所述顶点数据以及所述画笔纹理输入到包含所述着色器的渲染管线中。

5.根据权利要求4所述的方法，其特征在于，所述数据类型包括以下之一或组合：涂鸦类型、线框图类型、形状类型；

所述根据所述数据类型以及所述配置信息，计算所述至少一个顶点的顶点数据，包括：

确定所述数据类型对应的设定算法；

采用所述设定算法，根据所述数据类型以及所述配置信息，计算所述至少一个顶点的顶点位置、面片位置、贴图坐标。

6.根据权利要求4所述的方法，其特征在于，还包括：

响应于针对所述电子白板的设定操作指令，生成所述触控轨迹对应的平移变换矩阵，所述平移变换矩阵中包括所述触控轨迹的顶点数据以及位置变化信息；

输出所述平移变换矩阵至所述渲染管线。

7.根据权利要求3所述的方法，其特征在于，所述终端设备所属类型包括安卓设备或者IOS设备，所述安卓设备对应的原生渲染接口包括开放图形库接口，所述IOS设备对应的原生渲染接口包括图形编程接口；

所述在所述渲染管线中调用所述原生渲染接口，在所述初始纹理贴图中绘制所述顶点数据对应的至少一个顶点，以获得包含所述几何图形的目标纹理贴图，包括：

将所述顶点数据输入至所述开放图形库接口或所述图形编程接口对应的图形绘制接口中；

在所述开放图形库接口或所述图形编程接口下，通过对应的顶点着色器和/或片元着色器，将所述顶点数据绘制为对应的至少一个顶点；

通过混合模式处理模块将所述至少一个顶点与所述初始纹理贴图进行混合，得到所述目标纹理贴图。

8.根据权利要求1所述的方法，其特征在于，所述输出所述目标图像至所述终端设备，包括：

获取所述目标图像在图形处理器中的标识；

将所述标识传输至所述终端设备，以使所述终端设备通过所述图形处理器渲染所述标识对应的所述目标图像。

9.根据权利要求8所述的方法，其特征在于，多个所述终端设备属于不同设备类型，在多个所述终端设备中分别设置触控轨迹缓冲区；

所述触控轨迹缓冲区中存储有所述目标图像中所述触控轨迹的轨迹标识以及位置信息。

10.根据权利要求9所述的方法，其特征在于，还包括：

响应于针对所述触控轨迹的拷贝粘贴指令，在所述触控轨迹缓冲区中更新所述触控轨迹的位置信息。

11.根据权利要求1所述的方法，其特征在于，所述电子白板包括多个分页，每一分页设置有对应的触控轨迹缓冲区；

所述方法还包括：

响应于对任意一个分页的展示指令，从所述任意一个分页对应的触控轨迹缓冲区中获取所述触控轨迹的轨迹标识以及位置信息；

输出所述触控轨迹的轨迹标识以及位置信息，至所述终端设备，以使所述终端设备通过图形处理器渲染对应的所述目标图像。

12.一种电子白板渲染装置，其特征在于，包括：

获取模块，用于响应于对电子白板的操作指令，将通过所述电子白板中输入的触控轨迹，传输到所述电子白板对应的本地服务层，其中，所述本地服务层包括待处理的初始图像；

渲染模块，用于通过所述本地服务层中预先设置的渲染接口，在所述初始图像中渲染所述触控轨迹对应的几何图形，以得到包含所述几何图形的目标图像，其中，所述渲染接口与用于展示所述电子白板的终端设备所属类型匹配；

输出模块，用于输出所述目标图像至所述终端设备。

13.一种电子白板渲染设备，其特征在于，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至11中任一项所述的电子白板渲染方法。

14.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至11中任一项所述的电子白板渲染方法。

Images