CN115941999A - 基于rtc技术的电子白板的视频直播方法及系统 - Google Patents

Abstract

本申请提出一种基于RTC技术的电子白板的视频直播方法及系统，所述方法应用于云服务端，包括：接收演示端发送的电子白板文本数据和第一RTC音视频流；根据所述电子白板文本数据，通过云端渲染生成第二RTC音视频流；将所述第一RTC音视频流与所述第二RTC音视频流混合，获得第三RTC音视频流；发送所述第三RTC音视频流到观看端。本申请提出的方案使得在直播过程中直播视频和白板文档数据之间时间延迟小，同时对发起端软硬件要求低，提升了电子白板视频直播的可操作性和便捷性。

Description

基于RTC技术的电子白板的视频直播方法及系统

技术领域

本申请涉及视频直播领域，尤其是涉及一种基于RTC技术的电子白板的视频直播方法及系统。

背景技术

随着网络技术的发展，视频直播在各个行业中得到广泛的应用。其中已经被广泛应用的一种直播场景包括音视频、电子白板（包括电子文档）、互动聊天等功能，特别是在远程教育、企业培训等场景下，电子白板是必不可缺的直播工具和手段。具体而言，电子白板完成的动作包括电子文档（PPT、PDF等）演示、文档翻页、文档动画、绘制图形、在线手写文字等。

目前实现电子白板的视频直播主要有以下两种方式：

第一种方式中音视频流和电子白板使用两种通道进行数据通信，其中音视频流使用媒体协议和通道，端到端延迟一般情况下为3-5s。电子白板内容使用消息长链接协议和通道，端到端延迟为300ms以内。此种方式下的媒体协议和消息长链接协议在数据传输中的时间延迟相差较大，观看端接收数据后，使用视频播放器播放音视频流，使用电子白板SDK渲染文档白板，并通过预估延迟差值，来校正两种数据的同步性。使用这种方式，预估延迟差值的校正效果不好，造成同步性差。

第二种方式在发起端将文档白板的内容转换成音视频流，将图像音视频流和白板音视频流混合在一起，并统一传输播放。此方式对发起端软件要求较高，需要发起端的软件具有一定专业性，能够实现对文档白板的页面采集编码以及视频流混合功能，同时在传输全程视频较大，占用较多带宽。

因此，需要一种改进的能够传输白板文档数据的直播方法，要求该方法具有传输的直播视频音视频流和白板文档数据之间的时间延迟小，对发起端软硬件要求低的特点。

发明内容

针对现有技术中存在的问题，本申请提供了一种基于RTC技术的电子白板的视频直播方法及系统。

根据本申请的第一个方面，提出一种基于RTC技术的电子白板的视频直播方法，应用于云服务端，包括：

接收演示端发送的电子白板文本数据和第一RTC音视频流；

根据电子白板文本数据，通过云端渲染生成第二RTC音视频流；

将第一RTC音视频流与第二RTC音视频流混合，获得第三RTC音视频流；

发送第三RTC音视频流到观看端。

根据一些实施例，根据电子白板文本数据，生成第二RTC音视频流包括：

生成虚拟观看端；

将电子白板文本数据渲染到虚拟观看端上，生成电子白板图像数据；

采集虚拟观看端页面的电子白板图像数据，生成第二RTC音视频流。

根据一些实施例，采集虚拟观看端页面的电子白板图像数据，生成第二RTC音视频流包括：

在生成电子白板图像数据之后，通过加载虚拟观看端的RTC JS-SDK，进行当前页面图像的采集。

根据一些实施例，将第一RTC音视频流和第二RTC音视频流混合，获得第三RTC音视频流包括：

通过MCU混流方式进行音视频流混合。

根据本申请的第二个方面，提出一种基于RTC技术的电子白板的视频直播装置，包括数据接收模块、文本视频转化模块、视频混合模块和数据发送模块，其中：

数据接收模块用于接收演示端发送的电子白板文本数据和第一RTC音视频流；

文本视频转化模块用于根据电子白板文本数据，生成第二RTC音视频流；

视频混合模块用于将第一RTC音视频流与第二RTC音视频流混合，获得第三RTC音视频流；

数据发送模块用于发送第三RTC音视频流到观看端。

根据本申请的第三个方面，提出一种基于RTC技术的电子白板的视频直播系统，包括演示端、云服务端和观看端，其中：

演示端用于向云服务端发送电子白板文本数据和第一RTC音视频流；

云服务端用于执行如本申请第一个方面所述的方法；

观看端用于通过内容分发网络接收云服务端发送的第三RTC音视频流，解析第三RTC音视频流并播放视频。

根据一些实施例，演示端还用于获得电子白板内容、将电子白板内容转化为电子白板文本数据以及采集第一RTC音视频流。

根据一些实施例，演示端还用于：

加载电子白板JS-SDK；

载入电子白板内容，其中：

所述电子白板内容包括电子文档和电子白板操作动作。

根据本申请的第四个方面，提出一种电子设备，包括：

处理器；以及

存储器，存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行本申请第一个方面所述的方法。

根据本申请的第四个方面，提出一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行本申请第一个方面所述的方法。

本申请提出的方案将电子白板以及其包含的文档以文本数据类型上传到云服务端，在云服务端实现文档云渲染，生成基于RTC技术的第二音视频流，同时和直播中采集的视频画面组成的第一音视频流进行MCU旁路混流后传输到观看端。本申请的方案使得在直播过程中直播视频和白板文档数据之间时间延迟小，同时对发起端软硬件的功能配置要求低，提升了电子白板视频直播的可操作性和便捷性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。

图1为本申请的基于RTC技术的电子白板的视频直播方法应用于云服务端的步骤流程图；

图2为本申请的基于RTC技术的电子白板的视频直播方法中生成第二RTC视频流的步骤流程图；

图3为本申请的基于RTC技术的电子白板的视频直播装置的示意图；

图4为本申请的基于RTC技术的电子白板的视频直播系统的结构示意图；

图5为本申请提供的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请的基于RTC（Real-Time Communications，实时通信）技术的电子白板的视频直播方法应用于云服务端的步骤流程图。

步骤S101，接收演示端发送的电子白板文本数据和第一RTC音视频流；

在一些具体实施例中，演示端发起视频直播和电子白板演示。在一些具体实施例中，演示端发起视频直播后，开启摄像头，同时加载并使用RTC JS-SDK，通过页面的采集、编码、推流，生成第一RTC音视频流，并将一RTC音视频流发送到云服务端。

在一些具体实施例中，演示端发起视频直播后，加载并使用电子白板JS-SDK，进行文档白板的演示。在一些具体实施例中，演示端将电子白板内容格式化为电子白板文本数据，并通过WebSocket协议进行通信，将电子白板文本数据发送到云服务端。在一些具体实施例中，电子白板内容包括电子文档和电子白板操作动作如文档翻页、画笔、橡皮擦等。

步骤S102，根据电子白板文本数据，通过云端渲染生成第二RTC音视频流；

在一些具体实施例中，云服务端接收演示端发送的电子白板文本数据。在一些具体实施例中，云服务端通过启动Headless Chrome子进程构建虚拟观看端。在一些具体实施例中，云服务端在虚拟观看端加载电子白板JS-SDK，将接收的电子白板文本数据渲染在虚拟观看端的页面中。在一些具体实施例中，云服务端通过加载并使用RTC JS-SDK进行虚拟观看端页面的采集、编码、推流，生成第二RTC音视频流。

步骤S103，将第一RTC音视频流与第二RTC音视频流混合，获得第三RTC音视频流；

步骤S104，发送第三RTC音视频流到观看端。

在一些具体实施例中，云服务端接收演示端发送的第一RTC音视频流，根据电子白板文本数据生成第二RTC音视频流。在一些具体实施例中，云服务端通过RTC技术中的MCU（MultiPoint Control Unit，多点控制单元）混流方式将第一RTC音视频流和第二RTC音视频流混合成一路，生成第三RTC音视频流。在一些具体实施例中，云服务端将第三RTC音视频流发送给观看端。

在一些具体实施例中，演示端和观看端为包括Web RTC（Web Real-TimeCommunications，Web实时通信） API的浏览器。在一些具体实施例中，演示端和云服务端、观看端和云服务端之间通过RTC技术传输各个环节的音视频流。

在一些具体实施例中，第一RTC音视频流传播由演示端发送到云服务端的时延为300ms，电子白板文本数据由演示端发送到云服务端的时延为100ms，将电子白板文本数据转化为第二RTC音视频流的过程为云服务端实时渲染，耗时极小，可以忽略不计，生成的第二RTC音视频流由云服务端的虚拟观看端传输到MCU旁路混流的传播时延为300ms，本申请的方案使得在直播过程中音视频流和白板文档数据之间时间延迟差异小，同步性好。

图2为本申请的基于RTC技术的电子白板的视频直播方法中生成第二RTC视频流的步骤流程图。

步骤S201，生成虚拟观看端；

步骤S202，将电子白板文本数据渲染到虚拟观看端上，生成电子白板图像数据；

步骤S203，采集虚拟观看端页面的电子白板图像数据，生成第二RTC音视频流。

在一些具体实施例中，云服务端接收演示端发送的电子白板文本数据。在一些具体实施例中，云服务端接收演示端发送的与当前直播活动对应的参数信息包括直播间ID、消息频道ID等。在一些具体实施例中，云服务端根据当前参数信息，启动Headless Chrome子进程，构建虚拟观看端。在一些具体实施例中，云服务端在虚拟观看端加载电子白板JS-SDK，将接收的电子白板文本数据渲染在虚拟观看端的页面中。在一些具体实施例中，云服务端加载并使用RTC JS-SDK进行虚拟观看端页面的采集、编码、推流，生成第二RTC音视频流。

图3为本申请的基于RTC技术的电子白板的视频直播装置的示意图。

参见图3，基于RTC技术的电子白板的视频直播装置包括数据接收模块、文本视频转化模块、视频混合模块和数据发送模块。

数据接收模块用于接收演示端发送的电子白板文本数据和第一RTC音视频流。

在一些具体实施例中，演示端发起视频直播和电子白板演示。在一些具体实施例中，演示端发起视频直播后，开启摄像头，同时加载并使用RTC JS-SDK，通过页面的采集、编码、推流，生成第一RTC音视频流，并将一RTC音视频流发送到云服务端。

在一些具体实施例中，演示端发起视频直播同时，加载并使用电子白板JS-SDK，进行文档白板的演示。在一些具体实施例中，演示端将电子白板内容格式化为电子白板文本数据，并通过WebSocket协议进行通信，将电子白板文本数据发送到云服务端。在一些具体实施例中，电子白板内容包括电子文档和电子白板操作动作如文档翻页、画笔、橡皮擦等。

文本视频转化模块用于根据电子白板文本数据，生成第二RTC音视频流。

在一些具体实施例中，云服务端接收演示端发送的电子白板文本数据。在一些具体实施例中，云服务端通过启动Headless Chrome子进程构建虚拟观看端。在一些具体实施例中，云服务端在虚拟观看端加载电子白板JS-SDK，将接收的电子白板文本数据渲染在虚拟观看端的页面中，生成电子白板图像数据。在一些具体实施例中，云服务端通过加载并使用RTC JS-SDK进行虚拟观看端页面中电子白板图像数据的采集、编码、推流，生成第二RTC音视频流。

视频混合模块用于将第一RTC音视频流与第二RTC音视频流混合，获得第三RTC音视频流。

数据发送模块用于发送第三RTC音视频流到观看端。

在一些具体实施例中，云服务端接收演示端发送的第一RTC音视频流，根据电子白板文本数据生成第二RTC音视频流。在一些具体实施例中，云服务端通过RTC技术中的MCU混流方式将第一RTC音视频流和第二RTC音视频流混合成一路，生成第三RTC音视频流。在一些具体实施例中，云服务端将第三RTC音视频流发送给观看端。

在一些具体实施例中，演示端和观看端为包括Web RTC API的浏览器。在一些具体实施例中，演示端和云服务端、观看端和云服务端之间通过Web RTC 技术传输各个环节的音视频流。

图4为本申请的基于RTC技术的电子白板的视频直播系统的结构示意图。

在一些具体实施例中，演示端发起视频直播和电子白板演示。在一些具体实施例中，演示端发起视频直播后，开启摄像头，同时加载并使用RTC JS-SDK，通过页面的采集、编码、推流，生成第一RTC音视频流，并将一RTC音视频流发送到云服务端。在一些具体实施例中，演示端加载并使用电子白板JS-SDK，进行文档白板的演示。在一些具体实施例中，演示端将电子白板内容格式化为电子白板文本数据，并通过WebSocket协议进行通信，将电子白板文本数据发送到云服务端。在一些具体实施例中，电子白板内容包括电子文档和电子白板操作动作如文档翻页、画笔、橡皮擦等。

在一些具体实施例中，基于RTC技术的电子白板的视频直播系统中通过Web RTC技术传输各个环节的音视频流。在一些具体实施例中，演示端为包括Web RTC API的浏览器。

在一些具体实施例中，云服务端接收演示端发送的电子白板文本数据。在一些具体实施例中，云服务端提供http接口，用于接收外部的开始、结束等命令。在一些具体实施例中，云服务端通过启动Headless Chrome子进程，构建虚拟观看端。在一些具体实施例中，云服务端在虚拟观看端加载电子白板JS-SDK，将接收的电子白板文本数据渲染在虚拟观看端的页面中，生成电子白板图像数据，通过加载并使用RTC JS-SDK进行页面中电子白板图像数据的采集、编码、推流，生成第二RTC音视频流。

在一些具体实施例中，云服务端接收演示端发送的第一RTC音视频流，根据电子白板文本数据生成第二RTC音视频流。在一些具体实施例中，云服务端通过RTC技术中的MCU混流方式将第一RTC音视频流和第二RTC音视频流混合成一路，生成第三RTC音视频流。在一些具体实施例中，云服务端将第三RTC音视频流发送给观看端。

在一些具体实施例中，观看端通过CDN（Content Delivery Network，内容分发网络）接收云服务端发送的第三RTC音视频流，解析第三RTC音视频流并播放视频。在一些具体实施例中，观看端播放的视频包括视频直播和电子白板演示。在一些具体实施例中，观看端为包括Web RTC API的浏览器。

图5为本申请提供的一种电子设备的结构图，包括处理器以及存储器。存储器存储有计算机指令，当计算机指令被处理器执行时，使得处理器执行所述计算机指令从而实现如图1至图2所示的方法以及细化方案。

应该理解，上述的装置实施例仅是示意性的，本发明披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。

另外，若无特别说明，在本发明各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，所述处理器或芯片可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，所述片上缓存、片外内存、存储器可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-AccessMemory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方 HMC（Hybrid Memory Cube）等等。

所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例还提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行如图1至图2所示的方法以及细化方案。

本申请提出的方案将电子白板以及其包含的文档以文本数据类型上传到云服务端，在云服务端实现文档云渲染，生成基于RTC技术的第二音视频流，同时和直播中采集的视频画面组成的第一音视频流进行MCU旁路混流后传输到观看端。本申请的方案使得在直播过程中音视频流和白板文档数据之间时间延迟小，同时对发起端软件的功能配置要求低，提升了电子白板视频直播的可操作性和便捷性。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于RTC技术的电子白板的视频直播方法，应用于云服务端，包括：

接收演示端发送的电子白板文本数据和第一RTC音视频流；

根据所述电子白板文本数据，通过云端渲染生成第二RTC音视频流；

将所述第一RTC音视频流与所述第二RTC音视频流混合，获得第三RTC音视频流；

发送所述第三RTC音视频流到观看端。

2.如权利要求1所述的方法，其特征在于，其中，所述根据所述电子白板文本数据，通过云端渲染生成第二RTC音视频流包括：

生成虚拟观看端；

将所述电子白板文本数据渲染到所述虚拟观看端上，生成电子白板图像数据；

采集所述虚拟观看端页面的所述电子白板图像数据，生成所述第二RTC音视频流。

3.如权利要求2所述的方法，其特征在于，所述采集所述虚拟观看端页面的所述电子白板图像数据，生成第二RTC音视频流包括：

在生成电子白板图像数据之后，通过加载所述虚拟观看端的RTC JS-SDK，进行当前页面图像的采集。

4.如权利要求1所述的方法，其特征在于，所述将所述第一RTC音视频流和所述第二RTC音视频流混合，获得第三RTC音视频流包括：

通过MCU混流方式进行音视频流混合。

5.一种基于RTC技术的电子白板的视频直播装置，包括数据接收模块、文本视频转化模块、视频混合模块和数据发送模块，其中：

所述数据接收模块用于接收演示端发送的电子白板文本数据和第一RTC音视频流；

所述文本视频转化模块用于根据所述电子白板文本数据，通过云端渲染生成第二RTC音视频流；

所述视频混合模块用于将所述第一RTC音视频流与所述第二RTC音视频流混合，获得第三RTC音视频流；

所述数据发送模块用于发送所述第三RTC音视频流到观看端。

6.一种基于RTC技术的电子白板的视频直播系统，包括演示端、云服务端和观看端，其中：

所述演示端用于向所述云服务端发送电子白板文本数据和第一RTC音视频流；

所述云服务端用于执行如权利要求1-4任一者所述的方法；

所述观看端用于通过内容分发网络接收所述云服务端发送的第三RTC音视频流，解析所述第三RTC音视频流并播放视频。

7.如权利要求6所述的系统，其特征在于，所述演示端还用于获得电子白板内容、将所述电子白板内容转化为所述电子白板文本数据以及采集所述第一RTC音视频流。

8.如权利要求7所述的系统，其特征在于，所述演示端还用于：

加载电子白板JS-SDK；

载入电子白板内容，其中：

所述电子白板内容包括电子文档和电子白板操作动作。

9.一种电子设备，包括：

处理器；以及

存储器，存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行权利要求1-4任一者所述的方法。

10.一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行权利要求1-4任一者所述的方法。

Images