CN117596351B - 一种红外书写作为录播画面的交互系统、方法及终端 - Google Patents

Abstract

本申请提供的一种红外书写作为录播画面的交互系统、方法及终端，红外触摸卡获取到使用者触摸产生的红外书写轨迹，并将红外书写轨迹发送至数字算力芯片进行绘制，在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题，红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

Description

一种红外书写作为录播画面的交互系统、方法及终端

技术领域

本申请涉及数字教学技术领域，具体涉及一种红外书写作为录播画面的交互系统、方法及终端。

背景技术

录播系统，顾名思义包括录像和播放两个部分，录像部分执行记录和存储功能，播放部分激发学生的反馈思维。其基本过程是由录像设备将老师教学过程记录下来，教师及学生通过回放进行学习、反馈和核查，现在还有一些带有评分软件录播系统。

现在有技术中老师的书写是通过摄像机拍书写板视频，通过单独的信号路段来给显示器播放板书视频，因此，老师上课录播画面和老师板书画面是两个独立的信号源，这两个独立的信号源在显示器端整合在一起，形成最终的老师上课画面。这种方式数据量大，并不能真正形成数据化。这种技术方案存在重复对齐、单个功能单独一套体系，从而出现时间不同步，相关应用无法复用的问题，并且现有技术中教学板书既不能形成数字化，更不能把数化化信息进入录播系统里面，在录播教学中也不能有效把老师上课的板书及录入里面，不方便学生查阅。

因此，本申请提供一种红外书写作为录播画面的交互系统、方法及终端，以解决以上技术问题。

发明内容

针对现有技术中的问题，本申请提供一种红外书写作为录播画面的交互系统、方法及终端。

第一方面，本发明提供一种红外书写作为录播画面的交互系统，包括：

红外触摸卡、数字算力终端以及智慧黑板；

所述红外触摸卡接收使用者触摸产生的红外书写轨迹，并发送至所述数字算力终端；

所述数字算力终端将所述红外书写轨迹绘制到智慧黑板输入的教学画面，以在导播画面中显示；

所述智慧黑板内置边缘计算芯片。

优选地，所述数字算力终端包括：

多合一硬件系统，所述多合一硬件系统至少包括通过一个电路板控制的前端摄像头、麦克风以及物联网板卡；

所述物联网板卡耦接所述边缘计算芯片。

优选地，所述红外触摸卡包括：

第一接口和第二接口，所述第一接口用于耦接开放可编程系统，第二接口用于耦接一单片机；

触摸框，与所述第一接口和所述第二接口耦接；

其中所述单片机用于传输复位指令和触摸数据，所述开放可编程系统用于处理所述触摸数据。

第二方面，本发明提供一种红外书写作为录播画面的数字算力交互方法，包括：

将红外触摸卡传输的红外书写轨迹映射为第一数据；

结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹。

优选地，所述将红外触摸卡传输的红外书写轨迹映射为第一数据，包括：

将所述红外书写轨迹绘制于一预设坐标系下，确定所述红外书写轨迹中每个轨迹点的坐标；

根据所述红外书写轨迹的顺序，结合所述预设坐标系，生成按照书写顺序排列的坐标集合；

组装所述坐标集合中的所有坐标，形成所述第一数据。

优选地，所述第二数据包括：所述多帧第一录播画面中每个坐标像素值与坐标组合的对值数据，所述第一数据与第二数据，生成第三数据，包括：

按照书写顺序标记所述坐标集合中的每个坐标，使每个坐标对应其中一帧；

按照所述书写顺序，针对每一帧，在所述第二数据中查找对应标记的坐标，并将标记坐标对应的对值数据的像素值修改为预设值；

将修改后的第二数据组装，形成第三数据。

优选地，在将修改后的第二数据组装，形成第三数据之后，所述将所述第三数据映射为多帧第二录播画面，包括：

根据每一帧对应的每个坐标像素值与坐标组成的对值数据，生成每一帧录播画面。

优选地，若其中一帧录播画面无红外轨迹，结合该帧的前X帧对应的标记坐标和后X帧对应的标记坐标，以及预设的与该使用者对应的神经网络模型预测该帧对应的标记坐标；所述神经网络模型利用该使用者的历史红外轨迹训练得到；

将预测出的标记坐标的像素值修改为所述预设值，结合该帧对应的其他坐标对应的对值数据，生成该帧录播画面。

优选地，所述神经网络模型的训练步骤包括重复执行：

计算对应使用者的历史红外书写轨迹中两个相邻坐标点的斜率；

计算所述历史红外书写轨迹中前i帧和后i帧的斜率，i大于1且小于x；

将所有计算出的前x帧和后x帧的斜率组成斜率集合，并用当前帧坐标点标记该斜率集合，形成一个训练数据；

利用得到的训练数据训练所述神经网络模型。

第三方面，本发明提供一种红外书写作为录播画面的数字算力终端，包括：

第一数据映射模块，将红外触摸卡传输的红外书写轨迹映射为第一数据；

第三数据生成模块，结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

第二录播画面映射模块，将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹。

由以上技术方案可知，本申请提供的一种红外书写作为录播画面的交互系统、方法及终端，红外触摸卡获取到使用者触摸产生的红外书写轨迹，并将红外书写轨迹发送至数字算力芯片进行绘制，在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题。本申请提供的交互系统简单高效，完全取代了原有的录播系统，改变一个系统一个传输模块的方式，摄录设备、监控设备、广播系统同传一套音频、视频数据，不再以业务分开，把三份音视频数据整合成一份，红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中红外书写作为录播画面的数字算力交互方法的流程示意图。

图2是本申请实施例中红外书写作为录播画面的交互系统的结构示意图。

图3是本申请实施例中形成第一数据的步骤流程示意图。

图4是本申请实施例中形成第三数据的步骤流程示意图。

图5是本申请实施例中红外书写作为录播画面的数字算力终端的结构示意图。

图6是本申请实施例中所述数字算力终端的结构示意图。

图7为本申请实施例中老师在通过红外触摸卡触摸产生的图像示意图。

图8为本申请实施例中老师上课录播画面示意图。

图9为本申请实施例中红外触摸卡传输的红外书写轨迹映射得到的红外书写轨迹示意图。

图10为本申请实施例中红外书写轨迹映射在预设坐标系的示意图。

图11为本申请实施例中老师上课录播画面映射在预设坐标系的示意图。

图12是本申请实施例中的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请公开的红外书写作为录播画面的交互系统、方法及终端可用于数字教学技术领域，也可用于除数字教学技术领域之外的任意领域，本申请公开的红外书写作为录播画面的交互系统、方法及终端的应用领域不做限定。

本申请还提供一种用于实现本申请一个或多个实施例中提供的数字算力终端，该数字算力终端包括多个映射模块，映射模块用于将红外书写轨迹映射为录播画面，映射模块与多个客户端设备通信连接，客户端设备可用于存储录播画面。

可以理解的是，所述客户端设备可以包括智能手机、平板电子设备、便携式计算机、台式电脑、个人数字助理(PDA)等。

以上业务系统与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在以上协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。

本申请提供的一种红外书写作为录播画面的交互系统、方法及终端，红外触摸卡获取到使用者触摸产生的红外书写轨迹，并将红外书写轨迹发送至数字算力芯片进行绘制，在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题。本申请提供的交互系统简单高效，完全取代了原有的录播系统，改变一个系统一个传输模块的方式，摄录设备、监控设备、广播系统同传一套音频、视频数据，不再以业务分开，把三份音视频数据整合成一份，红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

具体通过下述多个实施例及应用实例分别进行说明。

本申请提供一种红外书写作为录播画面的数字算力交互方法，如图1所示，包括：

步骤S100：将红外触摸卡传输的红外书写轨迹映射为第一数据；

步骤S200：结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

步骤S300：将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹。

从以上描述可知，本申请实施例提供的红外书写作为录播画面的数字算力交互方法，将红外书写轨迹以及老师上课画面均映射为数据，将红外书写轨迹对应的数据与老师上课画面对应的数据结合，形成第三数据，将第三数据映射为录播画面，在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题。红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

本申请中，第一数据为红外触摸卡传输的红外书写轨迹映射得到，第二数据为老师上课画面映射得到，将第一数据和第二数据结合，得到第三数据，第三数据映射得到完整的录播画面，将老师板书轨迹数字化，将老师板书轨迹数字信息结合到上课画面数字信息里，进而在录播教学中也能有效把老师上课的板书录入。参见图2，老师通过红外触摸卡触摸产生红外书写轨迹，教室显示屏录制老师上课画面，数字算力芯片进行红外书写轨迹绘制，将红外书写轨迹以及老师上课画面转换为第一数据和第二数据，并将第一数据和第二数据结合形成第三数据，进而映射为录播画面。

在具体的实施方式中，图7为老师在通过红外触摸卡触摸产生的图像，图8为老师上课画面，图9为红外触摸卡传输的红外书写轨迹映射得到的红外书写轨迹，将图7老师红外书写的轨迹进行数字化处理得到第一数据，将图8老师上课画面进行数字化处理得到第二数据，将第一数据和第二数据结合形成第三数据，从而将原有的红外书写轨迹信号源和录播画面信号源整合在一起，形成一个信号源。

本申请对书写笔迹和录播画面进行数字化，并将数字化后的书写笔迹和录播画面在数字化层面进行统一处理，将书写笔迹和录播画面在数字化层面结合，因此无需在显示器端通过两路独立信号传输，解决了信号不同步预计系统不统一的问题。

在本申请提供的数字算力交互方法的一个实施例中，如图3所示，步骤S100包括：

步骤S101：将所述红外书写轨迹绘制于一预设坐标系下，确定所述红外书写轨迹中每个轨迹点的坐标；

步骤S102：根据所述红外书写轨迹的顺序，结合所述预设坐标系，生成按照书写顺序排列的坐标集合；

步骤S103：组装所述坐标集合中的所有坐标，形成所述第一数据。

本申请实施例中，预设一坐标系，根据该坐标系确定红外书写轨迹中每个轨迹点的坐标，进而得到所有轨迹点的坐标集合，即形成第一数据，参见图7，老师在红外触摸板中画出图像，数字算力芯片进行红外书写轨迹绘制，将老师绘制的图像置于预设的坐标系中，参见图10，按照老师的书写顺序得到每一个轨迹点的坐标，例如，第一个红外书写轨迹点A点坐标（a，b），依次第二个红外书写轨迹点A1坐标（a1，b1），第三个红外书写轨迹点A2坐标（a2，b2），进而形成按书写顺序排列的坐标集合（A，A1，A2......AN）。

在本申请提供的数字算力交互方法的一个实施例中，如图4所示，所述第二数据包括：所述多帧第一录播画面中每个坐标像素值与坐标组合的对值数据，所述第一数据与第二数据，生成第三数据，包括：

步骤S201：按照书写顺序标记所述坐标集合中的每个坐标，使每个坐标对应其中一帧；

步骤S202：按照所述书写顺序，针对每一帧，在所述第二数据中查找对应标记的坐标，并将标记坐标对应的对值数据的像素值修改为预设值；

步骤S203：将修改后的第二数据组装，形成第三数据。

本实施例中，第一录播画面为老师上课的画面，将老师上课的录播画面置于预设的坐标系下，将每一帧录播画面中每个坐标的像素值与坐标组合形成对值数据，参见图11，例如，录播画面B点的对值数据（x，y，z），x为该坐标点的像素值，（y，z）为该点的坐标。第二数据包括每一帧录播画面中所有的对值数据。根据书写顺序标记所有轨迹点坐标集合中的每个坐标，使每个坐标对应其中一帧，即每一帧红外书写轨迹都对应一个轨迹点坐标。根据每个轨迹点坐标，在第二数据中找到对应的坐标，例如，轨迹点坐标（a，b），在第二数据中找到含（a，b）坐标的对值数据，并将该对值数据的像素值修改为预设值，进而形成第三数据，其中像素预设值与其他坐标的像素值不同。通过像素值在数字化层面的修改，将第一数据和第二数据融合形成第三数据。因此无需在显示器端通过两路独立信号传输，解决了信号不同步预计系统不统一的问题。

进一步的，在本申请提供的数字算力交互方法的一个实施例中，若其中一帧录播画面无红外轨迹，结合该帧的前X帧对应的标记坐标和后X帧对应的标记坐标，以及预设的与该使用者对应的神经网络模型预测该帧对应的标记坐标；所述神经网络模型利用该使用者的历史红外轨迹训练得到；

将预测出的标记坐标的像素值修改为所述预设值，结合该帧对应的其他坐标对应的对值数据，生成该帧录播画面。

在本实施例中，获取无红外轨迹的录播画面前X帧对应的标记坐标和后X帧对应的标记坐标，结合神经网络模型，计算前X帧对应的标记坐标和后X帧对应的标记坐标的斜率，根据前X帧对应斜率和后X帧对应的斜率预测无红外轨迹的录播画面对应的标记坐标，将预测得到的标记坐标的像素值修改为预设值，结合该帧对应的其他坐标对应的对值数据，生成该帧录播画面，其中X大于1。例如，当前第8帧为无红外轨迹的录播画面，X为6，则获取第2-7帧以及第9-14帧对应的标记坐标，将第2-7帧以及第9-14帧对应的标记坐标输入至神经网络模型，该神经网络模型计算得到第2-7帧以及第9-14帧每相邻两个帧的标记坐标的斜率，进而输出第8帧对应的标记坐标。

本申请提供一种神经网络模型训练方法的一个实施例中，所述神经网络模型的训练步骤包括重复执行：

计算对应使用者的历史红外书写轨迹中两个相邻坐标点的斜率；

计算所述历史红外书写轨迹中前i帧和后i帧的斜率，i大于1且小于x；

将所有计算出的前x帧和后x帧的斜率组成斜率集合，并用当前帧坐标点标记该斜率集合，形成一个训练数据；

利用得到的训练数据训练所述神经网络模型。

本实施例中，将前x帧和后x帧的斜率组成斜率集合作为神经网络模型的输入，将当前帧坐标点标记作为神经网络模型的输出，对神经网络模型进行训练，例如，当前为第10帧，x为7，则分别计算出第3-9帧以及第11-17帧对应的斜率，并组成斜率集合，对神经网络模型进行训练。

从以上实施例可知，本申请提供的一种红外书写作为数字算力交互方法，红外触摸卡获取到使用者触摸产生的红外书写轨迹，并将红外书写轨迹发送至数字算力芯片进行绘制，在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题。本申请提供的交互系统简单高效，完全取代了原有的录播系统，改变一个系统一个传输模块的方式，摄录设备、监控设备、广播系统同传一套音频、视频数据，不再以业务分开，把三份音视频数据整合成一份，红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

本发明提供一种红外书写作为录播画面的数字算力终端，参见图5，包括：

第一数据映射模块01，将红外触摸卡传输的红外书写轨迹映射为第一数据；

第三数据生成模块02，结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

第二录播画面映射模块03，将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹。

从以上描述可知，本申请提供的一种红外书写作为录播画面的数字算力终端，第一数据映射模块将红外触摸卡获取的使用者触摸产生的红外书写轨迹映射为第一数据，第三数据生成模块结合第一数据与第二数据，生成第三数据，第二数据通过多帧老师上课录播画面映射得到，第二录播画面映射模块将第三数据映射为多帧第二录播画面，即在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题。本申请提供的数字算力终端简单高效，完全取代了原有的录播系统，改变一个系统一个传输模块的方式，摄录设备、监控设备、广播系统同传一套音频、视频数据，不再以业务分开，把三份音视频数据整合成一份，红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

本发明提供一种红外书写作为录播画面的交互系统，参见图2，包括：

红外触摸卡、数字算力终端以及智慧黑板；

所述红外触摸卡接收使用者触摸产生的红外书写轨迹，并发送至所述数字算力终端；

所述数字算力终端将所述红外书写轨迹绘制到智慧黑板输入的教学画面，以在导播画面中显示；

所述智慧黑板内置边缘计算芯片。

本实施例中，图7为红外触摸卡获取到使用者触摸产生的红外书写轨迹，并将红外书写轨迹发送至数字算力芯片进行绘制，数字算力芯片绘制后的图像参见图9，图8为录播主体画面，第一数据映射模块01将图7老师红外书写的轨迹进行数字化处理得到第一数据，将图8老师上课画面进行数字化处理得到第二数据，第三数据生成模块02将第一数据和第二数据结合形成第三数据，从而将原有的红外书写轨迹信号源和录播画面信号源整合在一起，形成一个信号源，再进行编码，发送到导播画面。录播集成红外主要有三部分：数字算力芯片接收与绘制红外数据、红外绘制画面与录播画面混合、导播界面。主要流程如上图，数字算力芯片接受到红外数据后，进行绘制，然后再与录播主体画面通过GLES去混合成一路画面，再进行编码，发送到导播画面。

具体地，本申请提供的交互系统的一个实施例中，如图6，所述数字算力终端包括：

多合一硬件系统，所述多合一硬件系统至少包括通过一个电路板控制的前端摄像头001、麦克风002以及物联网板卡003；

所述物联网板卡003耦接所述边缘计算芯片。

在本实施例中，在数字算力终端设计方面，三合一的前端摄像与麦录/板卡多合一系统，配置了双摄像设备，二个智能音响，并配备了二路拾音设备。其中物联网的操作主机为控制所有物联网设备，主要有实时预警、灯光数据、窗帘控制、环境控制值、地图监控等。

在硬件上新增加三个模块，其中边缘计算芯片内接于智慧黑板主板上，物联网板卡通过串口与USB主板连接；一台AI智慧终端，主要分为三个部分：Part1是AI人工智能拓展模；Part2是AI人工智能核心处理模块； Part3是传统OPS模块。我们在产品结构上设计上有四种方式，这四种结果方案都拔插式的，方便快速升级。方式一是Part1与Part2是一个模块，part3是一个单独模块；方式二part1是一个单独模块，part2+part3做成一个模块；方式三是把part1+part2+part3做成一个模块；方式四是把part1+part3做成一个模式，part2是单独模块。

本申请提供的交互系统的一个实施例中，所述红外触摸卡包括：

第一接口和第二接口，所述第一接口用于耦接开放可编程系统，第二接口用于耦接一单片机；

触摸框，与所述第一接口和所述第二接口耦接；

其中所述单片机用于传输复位指令和触摸数据，所述开放可编程系统用于处理所述触摸数据。

本实施例中，红外触摸卡有多个接口，一个是USB口，连接OPS；一个串口，连接单片机；复位流程：复位指令也要通过单片机传出，现在复位分为二个：一是复位触摸卡；另一个是复位单片机；触摸分为：控制流程与触摸数据流程：所有控制流程，如：复位等，控制流程都是在单片机做的，单片机也要做触摸数据；OPS只做触摸数据；如果中央处理单元接受到OPS的操作系统或硬件告警信息，中央处理单元先通过提醒模块发报警信息，然后把这些报警信息通过网路设备发送给超融合后台做成“埋点”数据。

在具体的实施方式中，数字算力芯片接收与绘制红外数据、红外绘制画面与录播画面混合、导播界面。红外触摸卡的OPS生成触摸数据，数字算力芯片接收到触摸数据后，进行绘制，与录播主体画面通过GLES去混合成一路画面，再进行编码，发送到导播画面。

进一步地，本发明为解决音、视频、分析控制流数据传输协议，分为三个通道加传输，后台有专门虚拟单元进行处理，低码流音视频分开传输与低延时技术，优化的H.264编码技术，支持4K显示，兼容各种浏览器，拥有更高的编码效率，更低的CPU负载和带宽占用，而且兼容现有的摄录播与安防的协议，形成一分流数据，多方使用。

下面结合具体的实施例对本申请进行说明。

广播室里安装摄像头，摄像头里面带上阵列麦，智慧黑板终端，有二个设备OPS与AI边缘计算模块，

这分为二个场景：

本申请在推流模式下的应用，本系统将生成的录播视频发送至摄像机控制终端，通过web服务器拉取播放列表，web服务器向摄像机控制终端发送推流指令，摄像机控制终端向流媒体服务器推送视频流，web服务器将播放地址和播放指令发送至智慧黑板终端，播放结束时，智慧黑板终端向web服务器发送播放结束指令，web服务器将向流媒体服务器发送停止接受命令，并向摄像机控制终端发送停止推流命令。

本申请在拉流模式下的应用，本系统将生成的录播视频发送至摄像机控制终端，通过web服务器拉取播放列表，web服务器向流媒体服务器发送拉流指令，流媒体服务器向摄像机控制终端拉取视频流，web服务器将播放地址和播放指令发送至智慧黑板终端，播放结束时，智慧黑板终端向web服务器发送播放结束指令，web服务器将向流媒体服务器发送停止拉流命令。

从硬件层面来说，为了解决现有的录播系统无法数字化的问题，本申请提供一种用于实现所述红外书写作为录播画面的数字算力交互方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：

图12为本申请实施例的电子设备9600的系统构成的示意框图。如图12所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图12是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

在一实施例中，数字算力交互功能可以被集成到中央处理器中。其中，中央处理器可以被配置为进行如下控制：

步骤S100：将红外触摸卡传输的红外书写轨迹映射为第一数据；

步骤S200：结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

步骤S300：将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹。

从以上描述可知，本申请实施例提供的电子设备，将红外书写轨迹以及老师上课画面均映射为数据，将红外书写轨迹对应的数据与老师上课画面对应的数据结合，形成第三数据，将第三数据映射为录播画面，在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题。红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

本申请中，第一数据为红外触摸卡传输的红外书写轨迹映射得到，第二数据为老师上课画面映射得到，将第一数据和第二数据结合，得到第三数据，第三数据映射得到完整的录播画面，将老师板书轨迹数字化，将老师板书轨迹数字信息结合到上课画面数字信息里，进而在录播教学中也能有效把老师上课的板书录入。参见图2，老师通过红外触摸卡触摸产生红外书写轨迹，教室显示屏录制老师上课画面，数字算力芯片进行红外书写轨迹绘制，将红外书写轨迹以及老师上课画面转换为第一数据和第二数据，并将第一数据和第二数据结合形成第三数据，进而映射为录播画面。

在具体的实施方式中，图7为老师在通过红外触摸卡触摸产生的图像，图8为老师上课画面，图9为红外触摸卡传输的红外书写轨迹映射得到的红外书写轨迹，将图7老师红外书写的轨迹进行数字化处理得到第一数据，将图8老师上课画面进行数字化处理得到第二数据，将第一数据和第二数据结合形成第三数据，从而将原有的红外书写轨迹信号源和录播画面信号源整合在一起，形成一个信号源。

本申请对书写笔迹和录播画面进行数字化，并将数字化后的书写笔迹和录播画面在数字化层面进行统一处理，将书写笔迹和录播画面在数字化层面结合，因此无需在显示器端通过两路独立信号传输，解决了信号不同步预计系统不统一的问题。

在另一个实施方式中，数字算力交互系统可以与中央处理器9100分开配置，例如可以将数字算力交互系统配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现数字算力交互功能。

如图12所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图12中所示的所有部件；此外，电子设备9600还可以包括图12中没有示出的部件，可以参考现有技术。

如图12所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存以上与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器（ROM）、随机存取存储器（RAM）、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141（有时被称为缓冲器）。存储器9140可以包括的模块为应用/功能9142，该应用/功能9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

存储器9140还可以包括数据9143，该数据9143用于存储数据，例如联系人、数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能（如消息传送应用、通讯录应用等）的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块（发送机/接收机）耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块（发送机/接收机）9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

本申请的实施例还提供能够实现以上实施例中的数字算力交互方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现以上实施例中的执行主体为服务器或客户端的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

步骤S100：将红外触摸卡传输的红外书写轨迹映射为第一数据；

步骤S200：结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

步骤S300：将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹。

从以上描述可知，本申请实施例提供的计算机可读存储介质，将红外书写轨上课画面均映射为数据，将红外书写轨迹对应的数据与老师上课画面对应的数据结合，形成第三数据，将第三数据映射为录播画面，在数字化层面将红外书写轨迹与录播主体画面混合成一路画面，再进行编码，发送到导播画面。将现有技术中红外书写轨迹和录播画面两个信号源整合成一个信号源，无需在显示器端通过两路信号独立传输，解决了信号不同步以及系统不统一的问题。红外书写轨迹能直接接入录播，这样高度集成后，视频流、音频流、IOT数据流，资源共享，高效管理，实现了教学场景数字化，让老师板书直接数字化。

本申请中，第一数据为红外触摸卡传输的红外书写轨迹映射得到，第二数据为老师上课画面映射得到，将第一数据和第二数据结合，得到第三数据，第三数据映射得到完整的录播画面，将老师板书轨迹数字化，将老师板书轨迹数字信息结合到上课画面数字信息里，进而在录播教学中也能有效把老师上课的板书录入。参见图2，老师通过红外触摸卡触摸产生红外书写轨迹，教室显示屏录制老师上课画面，数字算力芯片进行红外书写轨迹绘制，将红外书写轨迹以及老师上课画面转换为第一数据和第二数据，并将第一数据和第二数据结合形成第三数据，进而映射为录播画面。

在具体的实施方式中，图7为老师在通过红外触摸卡触摸产生的图像，图8为老师上课画面，图9为红外触摸卡传输的红外书写轨迹映射得到的红外书写轨迹，将图7老师红外书写的轨迹进行数字化处理得到第一数据，将图8老师上课画面进行数字化处理得到第二数据，将第一数据和第二数据结合形成第三数据，从而将原有的红外书写轨迹信号源和录播画面信号源整合在一起，形成一个信号源。

本申请对书写笔迹和录播画面进行数字化，并将数字化后的书写笔迹和录播画面在数字化层面进行统一处理，将书写笔迹和录播画面在数字化层面结合，因此无需在显示器端通过两路独立信号传输，解决了信号不同步预计系统不统一的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（装置）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种红外书写作为录播画面的交互系统，其特征在于，包括：

红外触摸卡、数字算力终端以及智慧黑板；

所述红外触摸卡接收使用者触摸产生的红外书写轨迹，并发送至所述数字算力终端；

所述数字算力终端将所述红外书写轨迹绘制到智慧黑板输入的教学画面，以在导播画面中显示；

所述智慧黑板内置边缘计算芯片；其中，

所述数字算力终端执行的步骤包括：

将红外触摸卡传输的红外书写轨迹映射为第一数据；

结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹；

若其中一帧录播画面无红外轨迹，结合该帧的前X帧对应的标记坐标和后X帧对应的标记坐标，以及预设的与该使用者对应的神经网络模型预测该帧对应的标记坐标；所述神经网络模型利用该使用者的历史红外轨迹训练得到；

将预测出的标记坐标的像素值修改为预设值，结合该帧对应的其他坐标对应的对值数据，生成该帧录播画面，所述对值数据为坐标像素值与坐标组成的数据。

2.根据权利要求1所述的交互系统，其特征在于，所述数字算力终端包括：

多合一硬件系统，所述多合一硬件系统至少包括通过一个电路板控制的前端摄像头、麦克风以及物联网板卡；

所述物联网板卡耦接所述边缘计算芯片。

3.根据权利要求1所述的交互系统，其特征在于，所述红外触摸卡包括：

第一接口和第二接口，所述第一接口用于耦接开放可编程系统，第二接口用于耦接一单片机；

触摸框，与所述第一接口和所述第二接口耦接；

其中所述单片机用于传输复位指令和触摸数据，所述开放可编程系统用于处理所述触摸数据。

4.一种红外书写作为录播画面的数字算力交互方法，其特征在于，包括：

将红外触摸卡传输的红外书写轨迹映射为第一数据；其中，所述红外书写轨迹是使用者触摸所述红外触摸卡产生的；

结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹；

还包括：

若其中一帧录播画面无红外轨迹，结合该帧的前X帧对应的标记坐标和后X帧对应的标记坐标，以及预设的与该使用者对应的神经网络模型预测该帧对应的标记坐标；所述神经网络模型利用该使用者的历史红外轨迹训练得到；

将预测出的标记坐标的像素值修改为预设值，结合该帧对应的其他坐标对应的对值数据，生成该帧录播画面，所述对值数据为坐标像素值与坐标组成的数据。

5.根据权利要求4所述的数字算力交互方法，其特征在于，所述将红外触摸卡传输的红外书写轨迹映射为第一数据，包括：

将所述红外书写轨迹绘制于一预设坐标系下，确定所述红外书写轨迹中每个轨迹点的坐标；

根据所述红外书写轨迹的顺序，结合所述预设坐标系，生成按照书写顺序排列的坐标集合；

组装所述坐标集合中的所有坐标，形成所述第一数据。

6.根据权利要求5所述的数字算力交互方法，其特征在于，所述第二数据包括：所述多帧第一录播画面中每个坐标像素值与坐标组合的对值数据；结合所述第一数据与第二数据，生成第三数据，包括：

按照书写顺序标记所述坐标集合中的每个坐标，使每个坐标对应其中一帧；

按照所述书写顺序，针对每一帧，在所述第二数据中查找对应标记的坐标，并将标记坐标对应的对值数据的像素值修改为预设值；

将修改后的第二数据组装，形成第三数据。

7.根据权利要求6所述的数字算力交互方法，其特征在于，在将修改后的第二数据组装，形成第三数据之后，所述将所述第三数据映射为多帧第二录播画面，包括：

根据每一帧对应的每个坐标像素值与坐标组成的对值数据，生成每一帧录播画面。

8.根据权利要求4所述的数字算力交互方法，其特征在于，所述神经网络模型的训练步骤包括重复执行：

计算对应使用者的历史红外书写轨迹中两个相邻坐标点的斜率；

计算所述历史红外书写轨迹中前i帧和后i帧的斜率，i大于1且小于x；

将所有计算出的前x帧和后x帧的斜率组成斜率集合，并用当前帧坐标点标记该斜率集合，形成一个训练数据；

利用得到的训练数据训练所述神经网络模型。

9.一种红外书写作为录播画面的数字算力终端，其特征在于，包括：

第一数据映射模块，将红外触摸卡传输的红外书写轨迹映射为第一数据；

第三数据生成模块，结合所述第一数据与第二数据，生成第三数据，所述第二数据通过多帧第一录播画面映射得到；

第二录播画面映射模块，将所述第三数据映射为多帧第二录播画面，所述第二录播画面包括所述红外书写轨迹；

所述数字算力终端进一步执行的步骤包括：

若其中一帧录播画面无红外轨迹，结合该帧的前X帧对应的标记坐标和后X帧对应的标记坐标，以及预设的与使用者对应的神经网络模型预测该帧对应的标记坐标；所述神经网络模型利用该使用者的历史红外轨迹训练得到；

将预测出的标记坐标的像素值修改为预设值，结合该帧对应的其他坐标对应的对值数据，生成该帧录播画面，所述对值数据为坐标像素值与坐标组成的数据。