CN116708909A - 直播方法、终端设备及系统 - Google Patents

Abstract

本申请实施例提供一种直播方法、终端设备及系统，该方法包括：按照预设采样周期采集轨迹消息以及音频信号，根据轨迹消息获得轨迹数据，并对音频信号进行处理获得音频数据；将轨迹数据以及音频数据分别通过第一声道和第二声道同步传输至第二终端，第二终端解析轨迹数据获得待显示轨迹消息，对音频数据进行处理获得待播放音频信号，使得第二终端播放待播放音频信号以及显示待显示轨迹消息，提高了远程授课的效果。

Description

直播方法、终端设备及系统

技术领域

本申请实施例涉及直播技术领域。更具体地讲，涉及一种直播方法、终端设备及系统。

背景技术

在远程培训教学场景中，讲师在授课端的电脑中播放课件，并通过网络将课件同步传输至听讲端的电脑中，使得学生能够远程在线学习。

在现有的远程授课过程中，老师在授课端电脑的触控屏上会进行批注和讲解，然而学生听讲端的电脑中无法共享批注的具体内容，只能够通过视频的方式观看老师的讲解过程，影响远程授课的效果。

发明内容

本申请示例性的实施方式提供一种直播方法、终端设备及系统，解决了现有技术中听讲端电脑中无法同步共享音频和批注内容的问题，提高了远程授课的效果。

第一方面，本申请实施例提供一种直播方法，应用于第一终端，包括：

按照预设采样周期采集轨迹消息以及音频信号，根据所述轨迹消息获得轨迹数据，并对所述音频信号进行处理获得音频数据；

将所述轨迹数据以及所述音频数据分别通过第一声道和第二声道同步传输至第二终端，以使所述第二终端解析所述轨迹数据获得待显示轨迹消息，对所述音频数据进行处理获得待播放音频信号，使得所述第二终端播放所述待播放音频信号以及显示所述待显示轨迹消息。

在一种可能的设计中，所述根据所述轨迹消息获得轨迹数据，包括：

将所述轨迹消息按照预设数据帧格式进行编码获得至少一条轨迹帧；

根据预设消息格式对所有轨迹帧进行处理获得轨迹数据。

在一种可能的设计中，所述按照预设采样周期采集轨迹消息，包括：

采集预设采样周期内所有触控点的触控数据，将所述所有触控点的触控数据作为轨迹消息，其中每个触控点的触控数据包含触控编号、触控操作类型码、触控点坐标值、触控点对应的触控操作时间以及触控参数中的至少一种；所述触控操作类型码为书写操作类型码、擦除操作类型码、撤销操作类型码以及回退操作类型码中的任意一种。

在一种可能的设计中，所述预设数据帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的至少一种，所述书写帧格式的触控操作类型码为书写操作类型码、所述擦除帧格式的触控操作类型码为擦除操作类型码、所述撤销帧格式的触控操作类型码为撤销操作类型码、所述回退帧格式的触控操作类型码为回退操作类型码；

相应地，所述将所述轨迹消息按照预设数据帧格式进行编码获得至少一条轨迹帧，包括：

将与所述轨迹消息中每个的触控点触控数据包含的触控操作类型码一致的预设数据帧格式，确定为所述触控点对应的目标帧格式，其中所述目标帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的一种；

根据每个触控点对应的目标数据帧格式对所述触控点的触控数据进行编码，获得每个触控点对应的轨迹帧。

在一种可能的设计中，所述书写帧格式包含触控编号、书写操作类型码、坐标值、时间、笔记粗细参数以及笔记颜色参数；

所述擦除帧格式包含触控编号、擦除操作类型码、坐标值、时间、板擦大小参数；

所述撤销帧格式包含触控编号、撤销操作类型码、时间；

所述回退帧格式包含触控编号、回退操作类型码、时间。

在一种可能的设计中，所述预设消息格式包含消息总数、第一消息体至第N消息体，其中每个消息体包括消息长度和消息数据，N为大于0的整数；

相应地，所述根据预设消息格式对所有轨迹帧进行处理获得轨迹数据，包括：

根据所有轨迹帧的数量确定消息总数；

根据每个轨迹帧包含的数据大小确定每个轨迹帧对应的消息体的消息长度，并根据每个轨迹帧的数据确定每个轨迹帧对应的消息体的消息数据；

根据每个轨迹帧对应的消息体的消息长度以及消息数据确定每个轨迹帧对应的消息体，根据所有轨迹帧包含的编号对所有消息体进行排序获得第一消息体至第N消息体，并根据预设消息格式将所述消息总数以及所述第一消息体至第N消息体确定为轨迹数据。

在一种可能的设计中，所述将所述轨迹数据以及所述音频数据分别通过第一声道和第二声道同步传输至第二终端，包括：

采用脉冲编码调制PC M编码格式分别将所述轨迹数据以及所述音频数据进行处理，获得第一音频流以及第二音频流；

采用实时消息传输协议格式通过第一声道将所述第一音频流传输至第二终端，并采用实时消息传输协议格式通过第二声道将所述第二音频流传输至第二终端，以使所述第二终端对所述第一音频流进行解析获得待显示轨迹消息，以及对所述第二音频流进行解析获得待播放音频信号。

第二方面，本申请实施例提供一种直播方法，应用于第二终端，包括：

分别通过第一声道和第二声道接受第一终端传输的轨迹数据以及音频数据，其中所述轨迹数据为所述第一终端根据轨迹消息获得的，所述音频数据为所述第一终端对音频信号进行处理获得的，所述轨迹消息以及音频信号为所述第一终端按照预设采样周期采集的；

对所述轨迹数据进行解析获得待显示轨迹消息，并对所述音频数据进行处理获得待播放音频信号；

播放所述待播放音频信号以及显示所述待显示轨迹消息。

在一种可能的设计中，所述对所述轨迹数据进行解析获得待显示轨迹消息，包括：

按照预设消息格式对所述轨迹数据进行解析获得至少一条轨迹帧；

根据预设数据帧格式对所有轨迹帧进行解析获得待显示的轨迹消息，其中所述待显示的轨迹消息包含了所有待显示触控点的触控数据。

在一种可能的设计中，在所述播放所述待播放音频信号以及显示所述待显示轨迹消息之后，还包括：

按照预设时间间隔获取触控轨迹，显示并存储所述触控轨迹；

响应于采集的语音信号，将所述语音信号发送至所述第一终端，使得所述第一终端播放所述语音信号。

第三方面，本申请实施例提供一种终端设备，所述终端设备包含音频采集装置、触控装置以及第一终端控制器；

所述触控装置，用于按照预设采样周期采集轨迹消息；

所述音频采集装置，用于按照预设采样周期采集音频信号；

所述第一终端控制器，用于执行如第一方面及第一方面的任一方面所述的直播方法。

第四方面，本申请实施例提供一种终端设备，所述终端设备包含音频播放装置、显示装置以及第二终端控制器；

所述第二终端控制器，用于执行如第二方面及第二方面的任一方面所述的直播方法；

所述音频播放装置，用于播放待播放音频信号；

所述显示装置，用于显示待显示轨迹消息。

第五方面，本申请实施例提供一种直播系统，所述直播系统包括一个如第三方面所述的终端设备以及至少一个如第四方面所述的终端设备。

本申请实施例提供的直播方法、终端设备及系统，通过设置第一终端按照预设采样周期采集轨迹消息以及音频信号，根据轨迹消息获得轨迹数据，并对音频信号进行处理获得音频数据；将轨迹数据以及音频数据分别通过第一声道和第二声道同步传输至第二终端，第二终端解析轨迹数据获得待显示轨迹消息，对音频数据进行处理获得待播放音频信号，使得第二终端播放待播放音频信号以及显示待显示轨迹消息，使得听讲端电脑中能够实时显示批注内容以及播放讲解音频信号，提高了远程授课的效果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的显示设备与控制装置之间操作场景的示意图；

图2示例性示出了根据示例性实施例中控制设备的配置框图；

图3为本发明实施例提供的控制设备的硬件配置框图；

图4为本发明实施例提供的显示设备中软件配置示意图；

图5为本发明实施例提供的显示设备中应用程序的图标控件界面显示示意图；

图6为本发明实施例提供的直播系统的结构示意图；

图7为本发明实施例提供的直播方法的流程示意图一；

图8为本发明实施例提供的直播方法的流程示意图二；

图9为本发明实施例提供的预设数据帧格式示意图；

图10为本发明实施例提供的直播方法的流程示意图三；

图11为本发明实施例提供的直播方法的流程示意图四；

图12为本发明实施例提供的直播方法的流程示意图五；

图13为本发明实施例提供的直播装置的结构示意图一；

图14为本发明实施例提供的直播装置的结构示意图二。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一″、“第二″、“第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括″和“具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为本发明实施例提供的显示设备与控制装置之间操作场景的示意图，如图1所示，用户可通过移动终端300和控制设备200操作显示设备100。控制设备200可以是遥控器，遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信，无线或其他有线方式来控制显示设备100。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备100。在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备100。

图2示例性示出了根据示例性实施例中控制设备的配置框图。如图2所示，控制设备100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制设备100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3为本发明实施例提供的控制设备的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，″用户界面″，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

图4为本发明实施例提供的显示设备中软件配置示意图，如图4所示，将系统分为四层，从上至下分别为应用程序(Applications)层(简称″应用层″)，应用程序框架(Application Framework)层(简称″框架层″)，安卓运行时(Android runtime)和系统库层(简称″系统运行库层″)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

图5为本发明实施例提供的显示设备中应用程序的图标控件界面显示示意图，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序，可以通过不同的信号源提供直播电视。媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。应用程序中心，可以提供储存各种应用程序。远程授课应用程序，为用户提供了可以播放课件和进行批注的授课软件。

现有技术中，在远程培训教学场景中，讲师在授课端的电脑中播放课件，并通过网络将课件同步传输至听讲端的电脑中，使得学生能够远程在线学习。在现有的远程授课过程中，老师在授课端电脑的触控屏上会进行批注和讲解，然而学生听讲端的电脑中无法共享批注的具体内容，只能够通过视频的方式观看老师的讲解过程，影响远程授课的效果。

对现有方法中学生听讲端的电脑中无法同步共享批注内容和音频的问题，本申请提供了一种直播方法、终端设备及系统，通过设置第一终端将采集的轨迹消息按照预设数据帧格式进行编码获得轨迹帧，并根据预设消息格式对所有轨迹帧进行处理获得轨迹数据，并通过设置第二终端对轨迹数据进行解析获得轨迹消息并进行显示，使得听讲端电脑中能够同步显示批注内容和讲解音频，提高了远程授课的效果。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图6为本发明实施例提供的直播系统的结构示意图，如图6所示，显示设备包含图像直播系统包括第一终端6100以及多个第二终端6200，第一终端6100包含音频采集装置6101、触控装置6102以及第一终端控制器6103，第二终端6200包含音频播放装置6201、显示装置6202以及第二终端控制器6203。示例性的，第一终端6100为授课端的显示设备，第二终端6200为听讲端的显示设备。本发明中提供的第一终端6100以及第二终端6200均采用图1至图5中显示设备的控制设备配置、硬件配置、软件配置以及图标控件界面配置，在此不再赘述。示例性的，第二终端6200包含音频播放装置6201采用SDL开源播放器。

在本发明实施例中，第一终端6100的触控装置6102按照预设采样周期获取轨迹消息，第一终端6100的音频采集装置6101按照预设采样周期采集音频信号，第一终端控制器6103根据轨迹消息获得轨迹数据，并对音频信号进行处理获得音频数据，将轨迹数据以及音频数据分别通过第一声道和第二声道同步传输至第二终端控制器6203。

在本发明实施例中，第二终端控制器6203通过解析轨迹数据获得待显示轨迹消息，对音频数据进行处理获得待播放音频信号，第二终端6200的触控装置6102显示待显示轨迹消息，第一终端6100的音频播放装置6201播放待播放音频信号。

图7为本发明实施例提供的直播方法的流程示意图一，本实施例的执行主体可以为图6所示实施例中的第一终端控制器。如图7所示，该方法包括：

S701：按照预设采样周期采集轨迹消息以及音频信号，根据轨迹消息获得轨迹数据，并对音频信号进行处理获得音频数据。

在本发明实施例中，通过音频采集装置采集授课现场的音频信号，并重采样为单声道音频信号。具体的，音频采集装置为麦克风。音频采集装置将采集的单声道音频信号发送至第一终端控制器中进行存储，第一终端控制器对采集的音频信号进行处理获得音频数据。

在本发明实施例中，通过采集预设采样周期内所有触控点的触控数据，将所有触控点的触控数据作为轨迹消息。在本发明实施例中，第一终端的触控装置按照预设采样周期采集触控屏上的所有触控操作产生的触控数据。触控装置将采集的所有触控点的数控数据发送至第一终端控制器。示例性的，预设采样周期为10毫秒。具体的，触控数据包含触控编号、触控操作类型码、触控点坐标值、触控点对应的触控操作时间以及触控参数中的至少一种；触控操作类型码为书写操作类型码、擦除操作类型码、撤销操作类型码以及回退操作类型码中的任意一种。

在本发明实施例中，在获得了轨迹消息之后，将轨迹消息按照预设数据帧格式进行编码获得至少一条轨迹帧，并根据预设消息格式对所有轨迹帧进行处理获得轨迹数据。示例性的，预设数据帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的至少一种，书写帧格式的触控操作类型码为书写操作类型码、擦除帧格式的触控操作类型码为擦除操作类型码、撤销帧格式的触控操作类型码为撤销操作类型码、回退帧格式的触控操作类型码为回退操作类型码。示例性的，设置预设消息格式包含消息总数、第一消息体至第N消息体，其中每个消息体包括消息长度和消息数据，N为大于0的整数。根据预设消息格式对所有轨迹帧进行处理获得轨迹数据。

S702：将轨迹数据以及音频数据分别通过第一声道和第二声道同步传输至第二终端，以使第二终端解析轨迹数据获得待显示轨迹消息，对音频数据进行处理获得待播放音频信号，使得第二终端播放待播放音频信号以及显示待显示轨迹消息。

在本发明实施例中，在获得的了轨迹数据以及音频数据之后，采用脉冲编码调制(Pulse Code Modulation，PCM)脉冲编码调制编码格式分别将轨迹数据以及音频数据进行处理，获得第一音频流以及第二音频流，并采用实时消息传输协议格式通过第一声道将第一音频流传输至第二终端，并采用实时消息传输协议格式通过第二声道将第二音频流传输至第二终端，实现了第一音频流和第二音频流的同步传输。示例性的，第一声道和第二声道可以为双声道中的左声道和右声道，或者多声道中的任意两个不同声道。

在本发明实时例中，第二终端分别通过第一声道和第二声道接受第一终端传输的第一音频流以及第二音频流。具体的，设置左声道传输第一音频流以及设置右声道传输第二音频流。通过设置第二终端对第一音频流进行解析获得待显示轨迹消息，以及对第二音频流进行解析获得待播放音频信号，设置第二终端的音频播放装置播放待播放音频信号，以及设置第二终端的显示装置显示待显示轨迹消息，在第二终端上实现了播放带播放音频信息以及显示待显示轨迹消息的同步。

本实施例提供的直播方法，通过设置授课端的电脑按照预设采样周期采集轨迹消息以及音频信号，根据轨迹消息获得轨迹数据，并对音频信号进行处理获得音频数据，将轨迹数据以及音频数据分别通过第一声道和第二声道同步传输至听讲端电脑。设置听讲端电脑解析轨迹数据获得待显示轨迹消息，对音频数据进行处理获得待播放音频信号，听讲端电脑同步播放待播放音频信号以及显示待显示轨迹消息，提高了远程授课的效果。

图8为本发明实施例提供的直播方法的流程示意图二。如图8所示，在图7提供的实施例的基础上，本发明实施例提供了根据轨迹消息获得轨迹数据的具体实施步骤，该步骤包括：

S801：将与轨迹消息中每个的触控点触控数据包含的触控操作类型码一致的预设数据帧格式，确定为触控点对应的目标帧格式，其中目标帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的一种。

在本发明实施例中，将与每个的触控点触控数据包含的触控操作类型码一致的预设数据帧格式，确定为触控点对应的目标帧格式。图9为本发明实施例提供的预设数据帧格式示意图。如图9所示，本发明实施例提供的书写帧格式包含触控编号、书写操作类型码、坐标值、时间、笔记粗细参数以及笔记颜色参数；擦除帧格式包含触控编号、擦除操作类型码、坐标值、时间、板擦大小参数；撤销帧格式包含触控编号、撤销操作类型码、时间；回退帧格式包含触控编号、回退操作类型码、时间。具体的，触控编号为2字节触控操作类型码为1字节，坐标值为16字节，时间为8字节，笔记粗细参数为2字节、笔记颜色参数为2字节，板擦大小参数为16字节。示例性的，当触控点触控数据的触控操作类型码为擦除操作类型码，则对应的目标数据帧格式为擦除帧格式。

S802：根据每个触控点对应的目标数据帧格式对触控点的触控数据进行编码，获得每个触控点对应的轨迹帧。

示例性的，根据每个触控点对应的目标数据帧格式对触控点的触控数据进行编码，获得每个触控点对应的轨迹帧。示例性的，当触控点触控数据的触控操作类型码为擦除操作类型码，则对应的目标数据帧格式为擦除帧格式，再根据该触控点对应的擦除帧格式对触控点的触控数据进行编码，获得该触控点对应的轨迹帧。其中，擦除帧格式包含触控编号、擦除操作类型码、坐标值、时间、板擦大小参数。则根据擦除帧格式对触控点触控数据包含的触控编号、触控操作类型码、触控点坐标值、触控点对应的触控操作时间以及触控参数进行编码，获得该触控点数据对应的轨迹帧。通过上述处理过程，即根据每个触控点的目标数据帧分别对每个触控点的触控数据进行编码，获得每个触控点对应的轨迹帧，由此获得所有触控点的触控数据对应的所有轨迹帧。

S803：根据所有轨迹帧的数量确定消息总数，根据每个轨迹帧包含的数据大小确定每个轨迹帧对应的消息体的消息长度，并根据每个轨迹帧的数据确定每个轨迹帧对应的消息体的消息数据，再根据每个轨迹帧对应的消息体的消息长度以及消息数据确定每个轨迹帧对应的消息体，根据所有轨迹帧包含的编号对所有消息体进行排序获得第一消息体至第N消息体，并根据预设消息格式将所述消息总数以及所述第一消息体至第N消息体确定为轨迹数据。

示例性的，预设消息格式包含消息总数、第一消息体至第N消息体，其中每个消息体包括消息长度和消息数据。根据所有轨迹帧的数量确定消息总数，再根据每个轨迹帧包含的数据大小确定每个轨迹帧对应的消息体的消息长度。根据每个轨迹帧的数据确定每个轨迹帧对应的消息体的消息数据，再根据每个轨迹帧对应的消息体的消息长度以及消息数据确定每个轨迹帧对应的消息体，最后根据所有轨迹帧包含的编号对所有消息体进行排序获得第一消息体至第N消息体，并将消息总数以及第一消息体至第N消息体确定为轨迹数据。

在本发明实施例中，在S801至S803描述的根据轨迹消息获得轨迹数据方法的基础上，在第二终端接收到轨迹数据之后，对轨迹数据进行解析获得待显示轨迹消息。具体的，根据预设消息格式对待显示轨迹消息进行解析获得至少一个轨迹帧，并根据预设数据帧格式对所有轨迹帧进行解析获得待显示的轨迹消息，其中待显示的轨迹消息包含了所有待显示触控点的触控数据，第二终端的触控装置根据所有待显示触控点的触控数据显示对应的触控操作。

本实施例提供的直播方法，通过设置第一终端将采集的轨迹消息按照预设数据帧格式进行编码获得轨迹帧，并根据预设消息格式对所有轨迹帧进行处理获得轨迹数据，并通过设置第二终端对轨迹数据进行解析获得轨迹消息并进行显示，使得听讲端电脑中能够同步显示批注内容，提高了远程授课的效果。

图10为本发明实施例提供的直播方法的流程示意图三，本实施例的执行主体可以为图6所示实施例中的第二终端控制器。如图10所示，该方法包括：

S1001：分别通过第一声道和第二声道接受第一终端传输的轨迹数据以及音频数据，其中所述轨迹数据为所述第一终端根据轨迹消息获得的，所述音频数据为所述第一终端对音频信号进行处理获得的，所述轨迹消息以及音频信号为所述第一终端按照预设采样周期采集的。

S1002：对轨迹数据进行解析获得待显示轨迹消息，并对音频数据进行处理获得待播放音频信号。

S1003：播放待播放音频信号以及显示待显示轨迹消息。

在本发明实施例中，S1001至S1003的方法与图7实施例中S701至S703的方法以及实现的效果一致，在此不再赘述。

图11为本发明实施例提供的直播方法的流程示意图四。在本发明实施例中，在图10提供的实施例的基础上，第二终端中还集成了触控屏以及麦克风。在第二终端播放所述待播放音频信号以及显示所述待显示轨迹消息之后，如图11所示，本发明提供的另一种直播方法包括：

S1101：按照预设时间间隔获取触控轨迹，显示并存储触控轨迹。

在本发明实施例中，在第二终端的触控装置显示待显示轨迹消息以及第二终端的音频播放装置播放待播放音频信号之后，还为听课端的用户提供了在第二终端的触控屏上进行批注和绘制的功能，便于用户对第一终端共享的批注内容进行书写和保存。示例性的，第二终端的触控屏按照预设时间间隔获取用户在第二终端的触控屏上的所有触控操作对应的触控轨迹，存储并显示触控轨迹。

S1102：响应于采集的语音信号，将语音信号发送至第二终端，使得第二终端播放语音信号。

在本发明实施例中，另一方面还可以通过第二终端的音频采集装置采集听课端用户反馈的语音，并将采集的语音发送至第一终端进行播放，实现授课端的用户与听课端的用户之间的互动。具体的，当第二终端的音频采集装置采集到语音信号时，通过声道将采集的语音信号发送至第二终端进行播放。

本实施例提供的直播方法，通过设置第二终端显示并存储触控轨迹，以及将采集的语音信号发送至第二终端进行播放，不仅便于用户对第一终端共享的批注内容进行书写和保存，还实现了授课端的用户与听课端的用户之间的互动，提高了远程授课的效果。

图12为本发明实施例提供的直播方法的流程示意图五，在图6提供的直播系统结构基础上，如图12所示，该方法包括：

S1201：第一终端的触控装置按照预设采样周期获取轨迹消息，第一终端的音频采集装置按照预设采样周期采集音频信号。

S1202：第一终端控制器根据轨迹消息获得轨迹数据，对音频信号进行处理获得音频数据，并将轨迹数据以及音频数据分别通过第一声道和第二声道同步传输至第二终端。

S1203：第二终端控制器对轨迹数据进行解析获得待显示轨迹消息，并对音频数据进行处理获得待播放音频信号。

S1204：第二终端的触控装置显示待显示轨迹消息，第二终端的音频播放装置播放待播放音频信号。

在本发明实施例中，S1201至S1204的方法与图7实施例中S701至S703的方法以及实现的效果一致，在此不再赘述。

图13为本发明实施例提供的直播装置的结构示意图一。如图13所示，该直播装置130包括：采集模块1301及传输模块1302。

采集模块1301，用于按照预设采样周期采集轨迹消息以及音频信号，根据所述轨迹消息获得轨迹数据，并对所述音频信号进行处理获得音频数据；

传输模块1302，用于将所述轨迹数据以及所述音频数据分别通过第一声道和第二声道同步传输至第二终端，以使所述第二终端解析所述轨迹数据获得待显示轨迹消息，对所述音频数据进行处理获得待播放音频信号，使得所述第二终端播放所述待播放音频信号以及显示所述待显示轨迹消息。

在一种可能的实现方式中，采集模块1301具体用于将所述轨迹消息按照预设数据帧格式进行编码获得至少一条轨迹帧；根据预设消息格式对所有轨迹帧进行处理获得轨迹数据。

在一种可能的实现方式中，采集模块1301具体用于采集预设采样周期内所有触控点的触控数据，将所述所有触控点的触控数据作为轨迹消息，其中每个触控点的触控数据包含触控编号、触控操作类型码、触控点坐标值、触控点对应的触控操作时间以及触控参数中的至少一种；所述触控操作类型码为书写操作类型码、擦除操作类型码、撤销操作类型码以及回退操作类型码中的任意一种。

在一种可能的实现方式中，所述预设数据帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的至少一种，所述书写帧格式的触控操作类型码为书写操作类型码、所述擦除帧格式的触控操作类型码为擦除操作类型码、所述撤销帧格式的触控操作类型码为撤销操作类型码、所述回退帧格式的触控操作类型码为回退操作类型码。相应地，采集模块1301具体用于将与所述轨迹消息中每个的触控点触控数据包含的触控操作类型码一致的预设数据帧格式，确定为所述触控点对应的目标帧格式，其中所述目标帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的一种；根据每个触控点对应的目标数据帧格式对所述触控点的触控数据进行编码，获得每个触控点对应的轨迹帧。

在一种可能的实现方式中，所述预设消息格式包含消息总数、第一消息体至第N消息体，其中每个消息体包括消息长度和消息数据，N为大于0的整数，相应地，采集模块1301具体用于根据所有轨迹帧的数量确定消息总数；根据每个轨迹帧包含的数据大小确定每个轨迹帧对应的消息体的消息长度，并根据每个轨迹帧的数据确定每个轨迹帧对应的消息体的消息数据；根据每个轨迹帧对应的消息体的消息长度以及消息数据确定每个轨迹帧对应的消息体，根据所有轨迹帧包含的编号对所有消息体进行排序获得第一消息体至第N消息体，并根据预设消息格式将所述消息总数以及所述第一消息体至第N消息体确定为轨迹数据。

在一种可能的实现方式中，传输模块1302具体用于采用脉冲编码调制PCM编码格式分别将所述轨迹数据以及所述音频数据进行处理，获得第一音频流以及第二音频流；采用实时消息传输协议格式通过第一声道将所述第一音频流传输至第二终端，并采用实时消息传输协议格式通过第二声道将所述第二音频流传输至第二终端，以使所述第二终端对所述第一音频流进行解析获得待显示轨迹消息，以及对所述第二音频流进行解析获得待播放音频信号。

本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图14为本发明实施例提供的直播装置的结构示意图二。如图14所示，该直播装置140包括：接收模块1401、解析模块1402及显示模块1403。

接收模块1401，用于分别通过第一声道和第二声道接受第一终端传输的轨迹数据以及音频数据，其中所述轨迹数据为所述第一终端根据轨迹消息获得的，所述音频数据为所述第一终端对音频信号进行处理获得的，所述轨迹消息以及音频信号为所述第一终端按照预设采样周期采集的；

解析模块1402，用于对所述轨迹数据进行解析获得待显示轨迹消息，并对所述音频数据进行处理获得待播放音频信号；

显示模块1403，用于播放所述待播放音频信号以及显示所述待显示轨迹消息。

在一种可能的实现方式中，解析模块1402具体用于按照预设消息格式对所述轨迹数据进行解析获得至少一条轨迹帧；根据预设数据帧格式对所有轨迹帧进行解析获得待显示的轨迹消息，其中所述待显示的轨迹消息包含了所有待显示触控点的触控数据。

在一种可能的实现方式中，直播装置140还包括发送模块，具体用于按照预设时间间隔获取触控轨迹，显示并存储所述触控轨迹；响应于采集的语音信号，将所述语音信号发送至所述第一终端，使得所述第一终端播放所述语音信号。

本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (13)

1.一种直播方法，其特征在于，应用于第一终端，包括：

按照预设采样周期采集轨迹消息以及音频信号，根据所述轨迹消息获得轨迹数据，并对所述音频信号进行处理获得音频数据；

将所述轨迹数据以及所述音频数据分别通过第一声道和第二声道同步传输至第二终端，以使所述第二终端解析所述轨迹数据获得待显示轨迹消息，对所述音频数据进行处理获得待播放音频信号，使得所述第二终端播放所述待播放音频信号以及显示所述待显示轨迹消息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述轨迹消息获得轨迹数据，包括：

将所述轨迹消息按照预设数据帧格式进行编码获得至少一条轨迹帧；

根据预设消息格式对所有轨迹帧进行处理获得轨迹数据。

3.根据权利要求1所述的方法，其特征在于，所述按照预设采样周期采集轨迹消息，包括：

采集预设采样周期内所有触控点的触控数据，将所述所有触控点的触控数据作为轨迹消息，其中每个触控点的触控数据包含触控编号、触控操作类型码、触控点坐标值、触控点对应的触控操作时间以及触控参数中的至少一种；所述触控操作类型码为书写操作类型码、擦除操作类型码、撤销操作类型码以及回退操作类型码中的任意一种。

4.根据权利要求2所述的方法，其特征在于，所述预设数据帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的至少一种，所述书写帧格式的触控操作类型码为书写操作类型码、所述擦除帧格式的触控操作类型码为擦除操作类型码、所述撤销帧格式的触控操作类型码为撤销操作类型码、所述回退帧格式的触控操作类型码为回退操作类型码；

相应地，所述将所述轨迹消息按照预设数据帧格式进行编码获得至少一条轨迹帧，包括：

将与所述轨迹消息中每个的触控点触控数据包含的触控操作类型码一致的预设数据帧格式，确定为所述触控点对应的目标帧格式，其中所述目标帧格式为书写帧格式、擦除帧格式、撤销帧格式以及回退帧格式中的一种；

根据每个触控点对应的目标数据帧格式对所述触控点的触控数据进行编码，获得每个触控点对应的轨迹帧。

5.根据权利要求4所述的方法，其特征在于，所述书写帧格式包含触控编号、书写操作类型码、坐标值、时间、笔记粗细参数以及笔记颜色参数；

所述擦除帧格式包含触控编号、擦除操作类型码、坐标值、时间、板擦大小参数；

所述撤销帧格式包含触控编号、撤销操作类型码、时间；

所述回退帧格式包含触控编号、回退操作类型码、时间。

6.根据权利要求2所述的方法，其特征在于，所述预设消息格式包含消息总数、第一消息体至第N消息体，其中每个消息体包括消息长度和消息数据，N为大于0的整数；

相应地，所述根据预设消息格式对所有轨迹帧进行处理获得轨迹数据，包括：

根据所有轨迹帧的数量确定消息总数；

根据每个轨迹帧包含的数据大小确定每个轨迹帧对应的消息体的消息长度，并根据每个轨迹帧的数据确定每个轨迹帧对应的消息体的消息数据；

根据每个轨迹帧对应的消息体的消息长度以及消息数据确定每个轨迹帧对应的消息体，根据所有轨迹帧包含的编号对所有消息体进行排序获得第一消息体至第N消息体，并根据预设消息格式将所述消息总数以及所述第一消息体至第N消息体确定为轨迹数据。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述轨迹数据以及所述音频数据分别通过第一声道和第二声道同步传输至第二终端，包括：

采用脉冲编码调制PCM编码格式分别将所述轨迹数据以及所述音频数据进行处理，获得第一音频流以及第二音频流；

采用实时消息传输协议格式通过第一声道将所述第一音频流传输至第二终端，并采用实时消息传输协议格式通过第二声道将所述第二音频流传输至第二终端，以使所述第二终端对所述第一音频流进行解析获得待显示轨迹消息，以及对所述第二音频流进行解析获得待播放音频信号。

8.一种直播方法，其特征在于，应用于第二终端，包括：

分别通过第一声道和第二声道接受第一终端传输的轨迹数据以及音频数据，其中所述轨迹数据为所述第一终端根据轨迹消息获得的，所述音频数据为所述第一终端对音频信号进行处理获得的，所述轨迹消息以及音频信号为所述第一终端按照预设采样周期采集的；

对所述轨迹数据进行解析获得待显示轨迹消息，并对所述音频数据进行处理获得待播放音频信号；

播放所述待播放音频信号以及显示所述待显示轨迹消息。

9.根据权利要求8所述的方法，其特征在于，所述对所述轨迹数据进行解析获得待显示轨迹消息，包括：

按照预设消息格式对所述轨迹数据进行解析获得至少一条轨迹帧；

根据预设数据帧格式对所有轨迹帧进行解析获得待显示的轨迹消息，其中所述待显示的轨迹消息包含了所有待显示触控点的触控数据。

10.根据权利要求8或9所述的方法，其特征在于，在所述播放所述待播放音频信号以及显示所述待显示轨迹消息之后，还包括：

按照预设时间间隔获取触控轨迹，显示并存储所述触控轨迹；

响应于采集的语音信号，将所述语音信号发送至所述第一终端，使得所述第一终端播放所述语音信号。

11.一种终端设备，其特征在于，所述终端设备包含音频采集装置、触控装置以及第一终端控制器；

所述触控装置，用于按照预设采样周期采集轨迹消息；

所述音频采集装置，用于按照预设采样周期采集音频信号；

所述第一终端控制器，用于执行如权利要求1至7任一项所述的直播方法。

12.一种终端设备，其特征在于，所述终端设备包含音频播放装置、显示装置以及第二终端控制器；

所述第二终端控制器，用于执行如权利要求8至10任一项所述的直播方法；

所述音频播放装置，用于播放待播放音频信号；

所述显示装置，用于显示待显示轨迹消息。

13.一种直播系统，其特征在于，所述直播系统包括第一终端以及至少一个第二终端，所述第一终端包含音频采集装置、触控装置以及第一终端控制器，所述第二终端包含音频播放装置、显示装置以及第二终端控制器：

所述第一终端的触控装置，被配置为：

按照预设采样周期获取轨迹消息；

所述第一终端的音频采集装置，被配置为：

按照预设采样周期采集音频信号；

所述第一终端控制器，被配置为：

根据所述轨迹消息获得轨迹数据，对所述音频信号进行处理获得音频数据，并将所述轨迹数据以及所述音频数据分别通过第一声道和第二声道同步传输至第二终端；

与所述第一终端控制器的连接的第二终端控制器，被配置为：

分别通过第一声道和第二声道接受第一终端传输的轨迹数据以及音频数据，对所述轨迹数据进行解析获得待显示轨迹消息，并对所述音频数据进行处理获得待播放音频信号；

所述第二终端的触控装置，被配置为：

显示所述待显示轨迹消息；

所述第二终端的音频播放装置，被配置为：

播放所述待播放音频信号。