CN113141519B - 一种直播数据处理方法及装置 - Google Patents

一种直播数据处理方法及装置 Download PDF

Info

Publication number
CN113141519B
CN113141519B CN202110698086.XA CN202110698086A CN113141519B CN 113141519 B CN113141519 B CN 113141519B CN 202110698086 A CN202110698086 A CN 202110698086A CN 113141519 B CN113141519 B CN 113141519B
Authority
CN
China
Prior art keywords
whiteboard
live broadcast
signaling
shared
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110698086.XA
Other languages
English (en)
Other versions
CN113141519A (zh
Inventor
靳宝山
李斐
刘凤一
阎丰
沙威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University President Beijing Network Education Technology Co Ltd
Original Assignee
University President Beijing Network Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University President Beijing Network Education Technology Co Ltd filed Critical University President Beijing Network Education Technology Co Ltd
Priority to CN202110698086.XA priority Critical patent/CN113141519B/zh
Publication of CN113141519A publication Critical patent/CN113141519A/zh
Application granted granted Critical
Publication of CN113141519B publication Critical patent/CN113141519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种直播数据处理方法及装置,应用于云端服务器,在直播间建立之后,监控进入房间的用户状态,当用户进入直播间后,立刻将共享白板的操作历史进行合并转发,使得用户客户端的白板内容能够快速与当前房间的白板内容保持一致,有效的提高了在直播过程中使用白板时的白板操作历史合并转发效率,并且使得使用时的白板同步效率得到了提升。

Description

一种直播数据处理方法及装置
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种直播数据处理方法及装置。
背景技术
随着互联网技术的发展以及新媒体的不断融和,直播技术和产业得到了迅速发展,直播技术也被应用到了各个领域。以在线教育直播为例,通过网络课堂直播可以实现教师与学生之间的远程交互教学。直播白板功能,是在线教育直播中需要经常进行使用的工具,通过白板功能,可以使参与在线学习的老师和学生在其各自的终端上同步的显示相应的内容,保持课堂进度的一致。
在直播过程中,随着在白板上操作的不断增加,累积了大量的白板操作历史,当有新的用户进入直播间时,需要对之前的白板操作进行同步,或者是在完成直播后的数据处理过程中,都会涉及到白板操作历史合并转发。随着直播数量以及参与用户的增加,如何有效的进行白板操作历史合并转发,提升白板的同步效率,是目前亟待解决的问题。
发明内容
为了改善上述问题,本发明提供了一种直播数据处理方法及消息传输方法。
本发明实施例的第一方面,提供了一种直播数据处理方法,应用于云端服务器,包括:
首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板;
接收用户的客户端发送的互动信令,在所述共享白板执行与互动信令对应的操作;
记录所述直播房间内的用户对所述共享白板的操作历史;
当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端,以使该用户的客户端根据所述历史白板数据更新所述共享白板的数据内容。
可选地,在执行与互动信令对应的操作的步骤之后,所述方法还包括:
将新产生的操作历史以及操作执行后更新的数据信息发送到当前直播房间中所有用户的客户端,以实现所述共享白板的数据内容同步。
可选地,所述互动信令包括信令ID与操作指令,所述信令ID与发送该互动信令的用户的客户端对应,所述操作指令对应该互动信令的用户在所述共享白板上执行的操作,
所述接收用户的客户端发送的互动信令,在所述共享白板执行与互动信令对应的操作的步骤,具体包括:
根据所述操作指令判断所述互动信令的类型,所述互动信令的类型根据所述操作指令的内容包括第一类型信令和第二类型信令;所述第一类型信令对应的操作指令包括画笔、添加图形或公式、添加文本,所述第二类型信令对应的操作指令包括删除、撤销、回复、换页、新建页和清空;
当所述互动信令为第一类型信令时,根据所述操作指令的内容,将在所述共享白板上描画的最终状态数据保存到共享数据映射表;
当所述互动信令为第二类型信令时,执行相应的操作;
所述记录所述直播房间内的用户对所述共享白板的操作历史的方式具体为:
将当前互动信令打上时间戳后保存到所述共享白板的JSON结构中。
可选地,所述方法还包括为:
当直播结束时,将所述共享白板的JSON结构进行保存,同时保存所述共享白板的时长。
可选地,所述方法还包括:
直播结束后,生成整个直播过程的直播视频文件;
生成直播的视频文件的具体方式为:
获取所述共享白板建立时的初始状态,以及所述共享白板的JSON结构的文件信息;
根据时间戳以及互动信令的操作指令,从共享白板建立时的初始状态开始,按照时序执行并进行转码,得到白板视频流;
将所述白板视频流与保存的直播过程中输入的音频流混流,得到所述直播视频文件。
本发明实施例的第二方面,提供了一种直播数据处理装置,应用于云端服务器,包括:
白板生成单元,用于首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板;
白板控制单元,用于接收用户的客户端发送的互动信令,在所述共享白板执行与互动信令对应的操作;
信息记录单元,用于记录所述直播房间内的用户对所述共享白板的操作历史;
数据同步单元,用于当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端,以使该用户的客户端根据所述历史白板数据更新所述共享白板的数据内容。
可选地,所述数据同步单元,还用于将新产生的操作历史以及操作执行后更新的数据信息发送到当前直播房间中所有用户的客户端,以实现所述共享白板的数据内容同步。
可选地,所述互动信令包括信令ID与操作指令,所述信令ID与发送该互动信令的用户的客户端对应,
所述白板控制单元具体包括:
指令判断子单元,用于根据所述操作指令判断所述互动信令的类型,所述互动信令的类型根据所述操作指令的内容包括第一类型信令和第二类型信令;所述第一类型信令对应的操作指令包括画笔、添加图形或公式、添加文本,所述第二类型信令对应的操作指令包括删除、撤销、回复、换页、新建页和清空;
指令执行子单元,用于当所述互动信令为第一类型信令时,根据所述操作指令的内容,将在所述共享白板上描画的最终状态数据保存到共享数据映射表;当所述互动信令为第二类型信令时,执行相应的操作;
所述信息记录单元,具体用于将当前互动信令打上时间戳后保存到所述共享白板的JSON结构中。
可选地,所述信息记录单元,还用于当直播结束时,将所述共享白板的JSON结构进行保存,同时保存所述共享白板的时长。
可选地,所述装置包括:
视频文件生成单元,用于直播结束后,生成整个直播过程的直播视频文件;
所述视频文件生成单元生成直播的视频文件的具体方式为:
获取所述共享白板建立时的初始状态,以及所述共享白板的JSON结构的文件信息;
根据时间戳以及互动信令的操作指令,从共享白板建立时的初始状态开始,按照时序执行并进行转码,得到白板视频流;
将所述白板视频流与保存的直播过程中输入的音频流混流,得到所述直播视频文件。
综上所述,本发明提供了一种直播数据处理方法及装置,在直播间建立之后,监控进入房间的用户状态,当用户进入直播间后,立刻将共享白板的操作历史进行合并转发,使得用户客户端的白板内容能够快速与当前房间的白板内容保持一致,有效的提高了在直播过程中使用白板时的白板操作历史合并转发效率,并且使得使用时的白板同步效率得到了提升。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的直播数据处理方法的应用场景示意图;
图2为本发明实施例的直播数据处理方法的方法流程图;
图3为本发明另一实施例的直播数据处理方法的方法流程图;
图4为本发明另一实施例的共享白板执行与互动信令对应的操作的方法流程图;
图5为本发明另一实施例的生成整个直播过程的直播视频文件方法流程图;
图6为本发明实施例的直播数据处理装置的功能模块框图;
图7为本发明另一实施例的直播数据处理装置的功能模块框图。
图标:
云端服务器100;客户端200;白板生成单元110;白板控制单元120;指令判断子单元121;指令执行子单元122;信息记录单元130;数据同步单元140;视频文件生成单元150。
具体实施方式
目前,随着互联网技术的发展以及新媒体的不断融和,直播技术和产业得到了迅速发展,直播技术也被应用到了各个领域。以在线教育直播为例,通过网络课堂直播可以实现教师与学生之间的远程交互教学。直播白板功能,是在线教育直播中需要经常进行使用的工具,通过白板功能,可以使参与在线学习的老师和学生在其各自的终端上同步的显示相应的内容,保持课堂进度的一致。
在直播过程中,随着在白板上操作的不断增加,累积了大量的白板操作历史,当有新的用户进入直播间时,需要对之前的白板操作进行同步,或者是在完成直播后的数据处理过程中,都会涉及到白板操作历史合并转发。随着直播数量以及参与用户的增加,如何有效的进行白板操作历史合并转发,提升白板的同步效率,是目前亟待解决的问题。
鉴于此,本发明设计者设计了一种直播数据处理方法及装置,在直播间建立之后,监控进入房间的用户状态,当用户进入直播间后,立刻将共享白板的操作历史进行合并转发,使得用户客户端的白板内容能够快速与当前房间的白板内容保持一致,有效的提高了在直播过程中使用白板时的白板操作历史合并转发效率,并且使得使用时的白板同步效率得到了提升。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语 “顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例
请参阅图1,本实施例提供的一种直播数据处理方法的应用场景示意图。
如图1所示,本发明提供的一种直播数据处理方法,应用于云端服务器100,参与直播的用户通过客户端200与云端服务器100建立连接,云端服务器100向用户提供直播功能。
在上述基础上,如图2所示,为本发明提供的直播数据处理方法,该方法包括:
步骤S101,首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板。
云服务器在有用户进入房间后启动一个共享白板服务,该共享白板服务可以记录本房间中所有的对共享白板的操作历史。新建的共享白板与直播房间存在对应关系。
步骤S102,接收用户的客户端200发送的互动信令,在所述共享白板执行与互动信令对应的操作。
当首个用户进入房间之后,由于共享白板刚建立,不存在对该共享白板的操作历史,因此不需要进行操作历史的同步,直接开始接受用户通过客户端200发动的针对共享白板的互动信令,然后执行相应的操作,以实现用户对白板的控制。
步骤S103,记录所述直播房间内的用户对所述共享白板的操作历史。
当首个用户开始对共享白板进行控制之后,开始产生对共享白板的操作历史,就需要对操作历史进行记录。
步骤S104,当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端200,以使该用户的客户端200根据所述历史白板数据更新所述共享白板的数据内容。
当后续有其他用户进入直播房间后,新进入的用户客户端200需要快速同步到云端服务器100的共享白板内容,此时就将已经记录的所有操作历史合并为历史白板数据,发送至新进入的用户的客户端200。客户端200收到历史白板数据后,在本地根据历史白板数据的内容进行加载,进而实现客户端200上显示的共享白板上的内容,与云端的内容同步。
本实施例提供的直播数据处理方法,在直播间建立之后,监控进入房间的用户状态,当用户进入直播间后,立刻将共享白板的操作历史进行合并转发,使得用户客户端200的白板内容能够快速与当前房间的白板内容保持一致,有效的提高了在直播过程中使用白板时的白板操作历史合并转发效率,并且使得使用时的白板同步效率得到了提升。
如图3-图5所示,本发明另一实施例的直播数据处理方法,应用于云端服务器100,该方法包括:
步骤S101,首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板。
步骤S102,接收用户的客户端200发送的互动信令,在所述共享白板执行与互动信令对应的操作。
在实际的使用过程中,直播房间内的用户数逐渐增加,可能出现多个用户同时希望对共享白板进行控制,并同时发送互动信令的情况。此时可以通过一些预先设置的策略进行调整。
在本实施例中,所述互动信令包括信令ID与操作指令,所述信令ID与发送该互动信令的用户的客户端200对应。其中,所述互动信令的类型根据所述操作指令的内容包括第一类型信令和第二类型信令。所述第一类型信令对应的操作指令包括画笔、添加图形或公式、添加文本,所述第二类型信令对应的操作指令包括删除、撤销、回复、换页、新建页和清空。第一类型信令对应的操作指令为增添内容相关的指令,第二类型信令对应的操作指令为对增添的内容进行控制的相关指令。
在本实施例中,步骤S102的具体执行方式如图4所示,包括以下步骤:
步骤S201,根据所述操作指令判断所述互动信令的类型。
由于第一类型信令和第二类型信令对应执行的操作方式有所区别,因此在接受到互动信令后,需要先判断互动信令的类型,根据判断的结果选择执行以下两个步骤中的对应的一个。
步骤S202,当所述互动信令为第一类型信令时,根据所述操作指令的内容,将在所述共享白板上描画的最终状态数据保存到共享数据映射表。
作为本发明的优选实施方式,最终状态数据采用图片的方式进行保存,通过图片格式,能够更准确的描述和记录执行完互动信令对应操作的共享白板的内容和状态。
步骤S203,当所述互动信令为第二类型信令时,执行相应的操作。
当操作指令为增添内容相关的指令时,需要除了执行相应的操作外,还需要将增添内容后的最终状态数据也一起保存,才能准确、完整的记录当前互动信令对应的操作。采用共享数据映射表的方式对状态数据,是后续同步到其他客户端200时,方便其他客户端200直接通过共享数据映射表获取相应的更新内容。
例如,当前互动信令对应的是画笔对应的动作,参与直播的用户,在其客户端200上使用画笔功能在共享白板上进行了手书的动作,客户端200将该操作转换为互动信令发送到云端服务器100,云端服务器100的共享白板收到互动信令,执行的对应的操作,并同时将手书的结果状态,也一起进行保存。
作为本实施例的优选实施方式,在用户刚进入直播房间或者进入直播房间以后,可以对用户使用共享白板的权限进行设置和调整。例如,可以设置部分有用户拥有使用共享白板的权限,那么这些拥有权限的用户的客户端200发送的互动信令才会被云端服务器100进行识别,进入后续的操作步骤,这些用户在共享白板上的相关操作和数据,仅仅保存在对应的用户客户端200本地,不同步至云端服务器100的共享白板上。还可以设置多个有权限的用户同时对共享白板进行编辑,在后续的执行过程中,可以将多个客户端200发送的互动信令的内容进行合并,对于第一类型信令的内容,相互合并后,保存叠加状态的最终状态数据,对于第二类型信令的内容,仅仅可以调整的对象只包括该客户端200之前发送的第一类型信令的对应操作内容。或者是多个有权限的用户同时对共享白板进行编辑时,仅仅是有最高优先级的用户可以完成对云端服务器100的共享白板的操作。
步骤S103,记录所述直播房间内的用户对所述共享白板的操作历史。
在本实施例中,具体的记录方式为将当前互动信令打上时间戳后保存到所述共享白板的JSON结构中。
通过打时间戳的方式,可以对互动信令的执行时间进行记录,由于互动信令本身也包括了信令ID,可以识别互动信令的发送对象。因此采用上述的记录方式,即可比较好的记录整个直播过程,各个时间段由哪个用户通过什么样的指令对共享白板进行了操作。
步骤S104,当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端200,以使该用户的客户端200根据所述历史白板数据更新所述共享白板的数据内容。
步骤S105,将新产生的操作历史以及操作执行后更新的数据信息发送到当前直播房间中所有用户的客户端200,以实现所述共享白板的数据内容同步。
进入房间的用户客户端200,通过历史白板数据,完成了与云端服务器100当前共享白板的数据内容同步。在此之后,新产生的操作历史以及操作执行后更新的数据信息,需要实时更新到直播房间内的所有用户的客户端200上。因此,每当有新的操作历史生成后,就需要向各个客户端200进行一次同步。其他被同步的客户端200获取相应的操作历史,并通过共享数据映射表获取操作执行后更新的数据信息。
步骤S106,当直播结束时,将所述共享白板的JSON结构进行保存,同时保存所述共享白板的时长。
当整直播完成时,将共享白板所有的操作历史的JSON结构进行保存,同时保存的还有共享白板的试用时长。
步骤S107,直播结束后,生成整个直播过程的直播视频文件。
生成直播的视频文件的具体方式如图5所示,包括
步骤S301,获取所述共享白板建立时的初始状态,以及所述共享白板的JSON结构的文件信息。
步骤S302,根据时间戳以及互动信令的操作指令,从共享白板建立时的初始状态开始,按照时序执行并进行转码,得到白板视频流。
步骤S303,将所述白板视频流与保存的直播过程中输入的音频流混流,得到所述直播视频文件。
在直播时,如果直接采用录屏的方式生成相应的直播视频文件,获取的视频文件通常非常大,不方便传输和下载使用。通过获取共享白板的初始状态、中途产生最终状态数据以及JSON结构的文件信息,还原出整个直播过程中对共享白板的操作流程。然后在其基础上混流直播过程中输入的音频流,即可得到整个直播过程的直播视频文件。采用这样的方式,一方面产生的直播视频文件更小,另一方面客户端200可以直接通过加载共享白板的初始状态、中途产生最终状态数据以及JSON结构的文件信息,代替下载视频文件,直接在本地还原或者生成相应的直播视频文件,使用起来更加方便和灵活,甚至可以通过直接修改最终状态数据以及JSON结构的文件信息的方式,完成对视频内容的编辑。
综上,本实施例提供的直播数据处理方法,在直播间建立之后,监控进入房间的用户状态,当用户进入直播间后,立刻将共享白板的操作历史进行合并转发,使得用户客户端200的白板内容能够快速与当前房间的白板内容保持一致,有效的提高了在直播过程中使用白板时的白板操作历史合并转发效率,并且使得使用时的白板同步效率得到了提升。
如图6所示,本发明实施提供的直播数据处理装置,应用于云端服务器100,包括:
白板生成单元110,用于首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板;
白板控制单元120,用于接收用户的客户端200发送的互动信令,在所述共享白板执行与互动信令对应的操作;
信息记录单元130,用于记录所述直播房间内的用户对所述共享白板的操作历史;
数据同步单元140,用于当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端200,以使该用户的客户端200根据所述历史白板数据更新所述共享白板的数据内容。
本发明实施例提供的直播数据处理装置,用于实现上述直播数据处理方法,因此具体实施方式与上述方法相同,在此不再赘述。
如图7所示,本发明另一实施例的直播数据处理装置,应用于云端服务器100,包括:
白板生成单元110,用于首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板;
白板控制单元120,用于接收用户的客户端200发送的互动信令,在所述共享白板执行与互动信令对应的操作;
信息记录单元130,用于记录所述直播房间内的用户对所述共享白板的操作历史;
数据同步单元140,用于当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端200,以使该用户的客户端200根据所述历史白板数据更新所述共享白板的数据内容。
所述数据同步单元140,还用于将新产生的操作历史以及操作执行后更新的数据信息发送到当前直播房间中所有用户的客户端200,以实现所述共享白板的数据内容同步。
所述互动信令包括信令ID与操作指令,所述信令ID与发送该互动信令的用户的客户端200对应,
所述白板控制单元120具体包括:
指令判断子单元121,用于根据所述操作指令判断所述互动信令的类型,所述互动信令的类型根据所述操作指令的内容包括第一类型信令和第二类型信令;所述第一类型信令对应的操作指令包括画笔、添加图形或公式、添加文本,所述第二类型信令对应的操作指令包括删除、撤销、回复、换页、新建页和清空;
指令执行子单元122,用于当所述互动信令为第一类型信令时,根据所述操作指令的内容,将在所述共享白板上描画的最终状态数据保存到共享数据映射表;当所述互动信令为第二类型信令时,执行相应的操作;
所述信息记录单元130,具体用于将当前互动信令打上时间戳后保存到所述共享白板的JSON结构中。
所述信息记录单元130,还用于当直播结束时,将所述共享白板的JSON结构进行保存,同时保存所述共享白板的时长。
视频文件生成单元150,用于直播结束后,生成整个直播过程的直播视频文件;
所述视频文件生成单元150生成直播的视频文件的具体方式为:
获取所述共享白板建立时的初始状态,以及所述共享白板的JSON结构的文件信息;
根据时间戳以及互动信令的操作指令,从共享白板建立时的初始状态开始,按照时序执行并进行转码,得到白板视频流;
将所述白板视频流与保存的直播过程中输入的音频流混流,得到所述直播视频文件。
本发明另一实施例提供的直播数据处理装置,用于实现上述直播数据处理方法,因此具体实施方式与上述方法相同,在此不再赘述。
综上所述,本发明提供了一种直播数据处理方法及装置,在直播间建立之后,监控进入房间的用户状态,当用户进入直播间后,立刻将共享白板的操作历史进行合并转发,使得用户客户端的白板内容能够快速与当前房间的白板内容保持一致,有效的提高了在直播过程中使用白板时的白板操作历史合并转发效率,并且使得使用时的白板同步效率得到了提升。
在本申请所公开的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种直播数据处理方法,应用于云端服务器,其特征在于,包括:
首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板;
接收用户的客户端发送的互动信令,在所述共享白板执行与互动信令对应的操作;
记录所述直播房间内的用户对所述共享白板的操作历史;
当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端,以使该用户的客户端根据所述历史白板数据更新所述共享白板的数据内容;
在执行与互动信令对应的操作的步骤之后,所述方法还包括:
将新产生的操作历史以及操作执行后更新的数据信息发送到当前直播房间中所有用户的客户端,以实现所述共享白板的数据内容同步。
2.根据权利要求1所述的直播数据处理方法,其特征在于,所述互动信令包括信令ID与操作指令,所述信令ID与发送该互动信令的用户的客户端对应,所述操作指令对应该互动信令的用户在所述共享白板上执行的操作,
所述接收用户的客户端发送的互动信令,在所述共享白板执行与互动信令对应的操作的步骤,具体包括:
根据所述操作指令判断所述互动信令的类型,所述互动信令的类型根据所述操作指令的内容包括第一类型信令和第二类型信令;所述第一类型信令对应的操作指令包括画笔、添加图形或公式、添加文本,所述第二类型信令对应的操作指令包括删除、撤销、回复、换页、新建页和清空;
当所述互动信令为第一类型信令时,根据所述操作指令的内容,将在所述共享白板上描画的最终状态数据保存到共享数据映射表;
当所述互动信令为第二类型信令时,执行相应的操作;
所述记录所述直播房间内的用户对所述共享白板的操作历史的方式具体为:
将当前互动信令打上时间戳后保存到所述共享白板的JSON结构中。
3.根据权利要求2所述的直播数据处理方法,其特征在于,所述方法还包括为:
当直播结束时,将所述共享白板的JSON结构进行保存,同时保存所述共享白板的时长。
4.根据权利要求3所述的直播数据处理方法,其特征在于,所述方法还包括:
直播结束后,生成整个直播过程的直播视频文件;
生成直播的视频文件的具体方式为:
获取所述共享白板建立时的初始状态,以及所述共享白板的JSON结构的文件信息;
根据时间戳以及互动信令的操作指令,从共享白板建立时的初始状态开始,按照时序执行并进行转码,得到白板视频流;
将所述白板视频流与保存的直播过程中输入的音频流混流,得到所述直播视频文件。
5.一种直播数据处理装置,应用于云端服务器,其特征在于,包括:
白板生成单元,用于首次检测到有用户进入直播房间后,建立与该直播房间对应的共享白板;
白板控制单元,用于接收用户的客户端发送的互动信令,在所述共享白板执行与互动信令对应的操作;
信息记录单元,用于记录所述直播房间内的用户对所述共享白板的操作历史;
数据同步单元,用于当再次检测到有用户进入直播房间时,将已经记录的所有操作历史合并为历史白板数据,并发送至该用户的客户端,以使该用户的客户端根据所述历史白板数据更新所述共享白板的数据内容;
所述数据同步单元,还用于将新产生的操作历史以及操作执行后更新的数据信息发送到当前直播房间中所有用户的客户端,以实现所述共享白板的数据内容同步。
6.根据权利要求5中所述的直播数据处理装置,其特征在于,所述互动信令包括信令ID与操作指令,所述信令ID与发送该互动信令的用户的客户端对应,
所述白板控制单元具体包括:
指令判断子单元,用于根据所述操作指令判断所述互动信令的类型,所述互动信令的类型根据所述操作指令的内容包括第一类型信令和第二类型信令;所述第一类型信令对应的操作指令包括画笔、添加图形或公式、添加文本,所述第二类型信令对应的操作指令包括删除、撤销、回复、换页、新建页和清空;
指令执行子单元,用于当所述互动信令为第一类型信令时,根据所述操作指令的内容,将在所述共享白板上描画的最终状态数据保存到共享数据映射表;当所述互动信令为第二类型信令时,执行相应的操作;
所述信息记录单元,具体用于将当前互动信令打上时间戳后保存到所述共享白板的JSON结构中。
7.根据权利要求6所述的直播数据处理装置,其特征在于,
所述信息记录单元,还用于当直播结束时,将所述共享白板的JSON结构进行保存,同时保存所述共享白板的时长。
8.根据权利要求7所述的直播数据处理装置,其特征在于,所述装置包括:
视频文件生成单元,用于直播结束后,生成整个直播过程的直播视频文件;
所述视频文件生成单元生成直播的视频文件的具体方式为:
获取所述共享白板建立时的初始状态,以及所述共享白板的JSON结构的文件信息;
根据时间戳以及互动信令的操作指令,从共享白板建立时的初始状态开始,按照时序执行并进行转码,得到白板视频流;
将所述白板视频流与保存的直播过程中输入的音频流混流,得到所述直播视频文件。
CN202110698086.XA 2021-06-23 2021-06-23 一种直播数据处理方法及装置 Active CN113141519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698086.XA CN113141519B (zh) 2021-06-23 2021-06-23 一种直播数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698086.XA CN113141519B (zh) 2021-06-23 2021-06-23 一种直播数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113141519A CN113141519A (zh) 2021-07-20
CN113141519B true CN113141519B (zh) 2021-09-17

Family

ID=76815870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698086.XA Active CN113141519B (zh) 2021-06-23 2021-06-23 一种直播数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113141519B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO332210B1 (no) * 2009-03-23 2012-07-30 Cisco Systems Int Sarl Grensesnittenhet mellom videokonferansekodek og interaktiv whiteboard-tavle
CN105405325B (zh) * 2015-12-22 2017-04-26 深圳市鹰硕技术有限公司 一种网络教学方法及系统
CN106448297A (zh) * 2016-07-21 2017-02-22 山东共达信息技术有限公司 一种云视声远程互动课堂系统
CN108184140B (zh) * 2018-01-10 2020-03-17 武汉斗鱼网络科技有限公司 一种直播连麦方法、服务器、存储介质及计算机设备
CN108600778B (zh) * 2018-05-07 2020-11-03 广州酷狗计算机科技有限公司 媒体流发送方法、装置、系统及服务器、终端、存储介质
CN109547831B (zh) * 2018-11-19 2021-06-01 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质
CN112543297B (zh) * 2019-09-20 2024-03-29 北京新媒传信科技有限公司 一种视频会议直播方法、装置和系统
CN110599835A (zh) * 2019-09-25 2019-12-20 淄博职业学院 一种交互式计算机远程教育系统
CN111277844B (zh) * 2020-01-15 2022-03-01 酷得少年(天津)文化传播有限公司 一种用于教学的直播系统及设备

Also Published As

Publication number Publication date
CN113141519A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
Greenhalgh Large scale collaborative virtual environments
US9049341B2 (en) Method and apparatus for video resource management in video conference
TWI533198B (zh) 於虛擬區域及實體空間之間通訊的技術
CN112187959B (zh) 车载电脑的远程控制方法、系统、电子设备与存储介质
CN104363476A (zh) 一种基于在线直播的组队活动方法、相关装置及系统
CN110765744A (zh) 多人协同文档编辑方法及系统
CN108965932B (zh) 一种连麦窗口展示方法及装置
CN111723558A (zh) 文档展示方法、装置、电子设备以及存储介质
CN112399132A (zh) 虚拟现实技术于远程会议系统中的应用方法
CN111741353A (zh) 设备协同工作的方法、终端设备及可读存储介质
CN103246435B (zh) 一种基于反馈窗的互动方法及装置
CN110740346A (zh) 视频数据处理方法、装置、服务器、终端和存储介质
CN117321985A (zh) 具有多种空间交互模式特征的视频会议系统
CN113691765B (zh) 一种视频会议场景控制方法、系统、设备、存储介质
CN104469078A (zh) 互动投影控制方法和系统
JP5081088B2 (ja) 相互情報共有システム
CN113141519B (zh) 一种直播数据处理方法及装置
CN105898596B (zh) 直播间显示控制方法及装置
CN112769919A (zh) 推流任务的分发方法、装置、存储介质及电子设备
CN110415318B (zh) 图像处理方法和装置
CN108900794B (zh) 用于远程会议的方法和装置
CN103294193A (zh) 多终端互动的方法、装置和系统
CN113938698B (zh) 直播用户资料的显示控制方法、装置及计算机设备
CN105142033A (zh) 一种互动消息显示的方法和系统
CN108377243B (zh) 一种直播流的传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant