CN111581432A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111581432A
CN111581432A CN202010368155.6A CN202010368155A CN111581432A CN 111581432 A CN111581432 A CN 111581432A CN 202010368155 A CN202010368155 A CN 202010368155A CN 111581432 A CN111581432 A CN 111581432A
Authority
CN
China
Prior art keywords
live broadcast
broadcast interactive
data
interactive data
data table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010368155.6A
Other languages
English (en)
Inventor
段勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010368155.6A priority Critical patent/CN111581432A/zh
Publication of CN111581432A publication Critical patent/CN111581432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开关于一种数据处理方法、装置、电子设备及存储介质,以至少解决相关技术中的直播互动数据管理方案存在的直播互动数据的获取逻辑复杂、查询效率低的问题。所述方法包括:根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
随着网络技术的不断发展,网络直播已成为一种新兴的社交方式。在网络直播中,各主播之间可以进行直播对决PK,即一个主播在进行直播时可以对其他主播发起挑战,一旦其他主播接受挑战,两个直播间的主播就开始进行连麦互动,各主播的粉丝通过点赞、刷礼物等方式为自己的主播增加人气,通过统计各主播最终的人气度来决定胜负。
网络直播平台上每日会产生多场的直播对决,每场直播对决过程中产生的直播互动数据的数据量较大,随着数据量的不断上升最终将会影响到数据库操作。根据此,相关技术中的直播互动数据管理方案通常采用分表存储的方式,即将数据库中存储的所有直播互动数据散列到多张数据表中。然而,随着直播互动数据的数据量增加,采用的分表增多,将增加直播互动数据的获取逻辑的复杂度,降低了直播互动数据的查询效率。
发明内容
本公开提供一种数据处理方法、装置及系统,以至少解决相关技术中的直播互动数据管理方案存在的直播互动数据的获取逻辑复杂、查询效率低的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种数据处理方法,包括:
根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;
将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
可选地,所述将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中,包括:
根据所述待归档的直播互动数据的记录标识,将所述待归档的直播互动数据分批插入所述归档数据表中并在插入成功后将所述待归档的直播互动数据从所述实时数据表中删除。
可选地,所述直播互动数据的记录标识包括所述直播互动数据的顺序标识和/或产生时间;
所述归档条件包括:
所述顺序标识与所述实时数据表存储的直播互动数据中的最大顺序标识之间的绝对差值大于预设阈值,和/或,所述产生时间与当前时间之间的时间间隔大于预设时间间隔。
可选地,在所述根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据之前,所述方法还包括:
获取最大归档记录标识,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
所述根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,包括:
从所述最大归档记录标识起遍历所述实时数据表;
对于遍历到的每一直播互动数据,若所述直播互动数据的记录标识所指示的产生顺序和/或产生时间满足所述归档条件,则从所述实时数据表中读取出所述直播互动数据。
可选地,在所述将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中之后,所述方法还包括:
根据所述待归档的直播互动数据的记录标识更新所述最大归档记录标识。
可选地,所述方法还包括:
接收直播互动业务的查询请求,所述查询请求中携带指定记录标识;
根据所述指定记录标识和最大归档记录标识,获取所述指定记录标识对应的直播互动数据所属的目标数据表,所述目标数据表包括所述实时数据表或所述归档数据表,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
从所述目标数据表中读取所述指定记录标识对应的直播互动数据并反馈给所述直播互动业务。
可选地,所述根据所述指定记录标识和最大归档记录标识,获取所述指定记录标识对应的直播对决数据所属的目标数据表,包括:
若所述指定记录标识所指示的产生时间在所述最大归档记录标识所指示的产生时间之后和/或所述指定记录标识所指示的产生顺序位于所述最大归档记录标识指示的产生顺序之后,则获取所述实时数据表;
若所述指定记录标识所指示的产生时间不超过所述最大归档记录标识所指示的产生时间和/或所述指定记录标识所指示的产生顺序不超过所述最大归档记录标识所指示的产生顺序,则获取所述归档数据表。
可选地,所述方法还包括:
接收到直播互动业务的打点请求,所述打点请求用于请求统计分析所述直播互动业务对应的直播互动数据;
响应于所述打点请求,扫描所述实时数据表以获取所述直播互动业务对应的直播互动数据;
对所述直播互动业务对应的直播互动数据进行打点。
根据本公开实施例的第二方面,提供一种数据处理装置,包括:
第一确定单元,被配置为执行根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;
迁移单元,被配置为执行将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
可选地,所述迁移单元具体被配置为执行:
根据所述待归档的直播互动数据的记录标识,将所述待归档的直播互动数据分批插入所述归档数据表中并在插入成功后将所述待归档的直播互动数据从所述实时数据表中删除。
可选地,所述直播互动数据的记录标识包括所述直播互动数据的顺序标识和/或产生时间;
所述归档条件包括:
所述顺序标识与所述实时数据表存储的直播互动数据中的最大顺序标识之间的绝对差值大于预设阈值,和/或,所述产生时间与当前时间之间的时间间隔大于预设时间间隔。
可选地,所述装置还包括:
第一获取单元,被配置为执行在所述第一确定单元根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据之前,获取最大归档记录标识,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
所述第一确定单元具体被配置为执行:
从所述最大归档记录标识起遍历所述实时数据表;
对于遍历到的每一直播互动数据,若所述直播互动数据的记录标识所指示的产生顺序和/或产生时间满足所述归档条件,从所述实时数据表中读取出所述直播互动数据。
可选地,所述装置还包括:
更新单元,被配置为执行在所述迁移单元将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中之后,根据所述待归档的直播互动数据的记录标识更新所述最大归档记录标识。
可选地,所述装置还包括:
第一接收单元,被配置为执行接收直播互动业务的查询请求,所述查询请求中携带指定记录标识;
第二确定单元,被配置为执行根据所述指定记录标识和最大归档记录标识,获取所述指定记录标识对应的直播互动数据所属的目标数据表,所述目标数据表包括所述实时数据表或所述归档数据表,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
读取单元,被配置为执行从所述目标数据表中读取所述指定记录标识对应的直播互动数据并反馈给所述直播互动业务。
可选地,所述第二确定单元具体被配置为执行:
若所述指定记录标识所指示的产生时间在所述最大归档记录标识所指示的产生时间之后和/或所述指定记录标识所指示的产生顺序位于所述最大归档记录标识指示的产生顺序之后,则获取所述实时数据表;
若所述指定记录标识所指示的产生时间不超过所述最大归档记录标识所指示的产生时间和/或所述指定记录标识所指示的产生顺序不超过所述最大归档记录标识所指示的产生顺序之前,则获取所述归档数据表。
可选地,所述装置还包括:
第二接收单元,被配置为执行接收到直播互动业务的打点请求,所述打点请求用于请求统计分析所述直播互动业务对应的直播互动数据;
扫描单元,被配置为执行响应于所述打点请求,扫描所述实时数据表以获取所述直播互动业务对应的直播互动数据;
打点单元,被配置为执行对所述直播互动业务对应的直播互动数据进行打点。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现第一方面所述的数据处理方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行第一方面所述的数据处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括一条或多条指令,该指令可以由电子设备是处理器执行时,使得电子设备能够执行第一方面所述的数据处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,并将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中,使得所述实时数据表中存储使用频率较高、较活跃的直播互动数据,而所述归档数据表中存储使用频率较低、不活跃的历史直播互动数据,由此,一方面可以有效控制所述实时数据表中的数据量,进而可以提高对所述实时数据表的查询和更新效率,使得所述实时数据表能够支持更高要求的读写请求;另一方面,可以减少使用频率低、不活跃的直播互动数据对线上资源的占用。此外,本公开实施例提供的数据处理方法仅采用两张数据表,相较于相关技术中将所有直播互动数据散列存储在大量数据表的方式,可以简化对直播互动数据的获取逻辑。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据处理方法的流程图。
图2是根据一示例性实施例示出的一种数据处理方法的交互图。
图3是根据一示例性实施例示出的一种数据处理装置的框图。
图4是根据一示例性实施例示出的另一种数据处理装置的框图。
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种数据处理方法的流程图,如图1所示,该方法可以用于服务器中,该方法包括以下步骤:
在步骤S11中,根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据。
在本公开实施例中,直播互动数据可以例如包括但不限于参与直播对决等直播互动的每位主播在直播互动过程中收到的礼物数、点赞数、观看人数、评论数等数据。直播互动过程中实时产生的直播互动数据实时存储在所述实时数据表中。
每一直播互动数据都对应一记录标识,该记录标识可用于指示直播互动数据的产生顺序和/或产生时间。具体地,该记录标识可以包括用于指示直播互动数据的产生顺序的顺序标识和或直播互动数据的产生时间。相应地,待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足归档条件的直播互动数据。
在一种可选的实施方式中,考虑到直播过程中产生的直播互动数据的使用频率较高,而其他时间段产生的直播互动数据的使用频率较低,因而对于每一直播互动业务而言,可将该直播互动业务的持续时间段之外的直播互动数据作为待归档的直播互动数据。例如,以直播互动业务为直播对决业务为例,每场直播对决业务的持续时间为10分钟,进而可将这10分钟之外产生的直播互动数据作为待归档的直播互动数据。
在另一种可选的实施方式中,还考虑到直播互动业务下游的依赖,时常需要使用一段时间内(如一天以内)的历史直播互动数据,因而可保留所述实时数据表中当前时间之前的预定数量的直播互动数据或者预定时间段内的直播互动数据确定为待归档的直播互动数据。具体地,可从所述实时数据表中读取序列标识与所述实时数据表存储的直播互动数据中的最大顺序标识之间的绝对差值大于预设阈值和/或产生时间与当前时间之间的时间间隔大于预设时间间隔的直播互动数据。
需要说明的是,所述预设阈值和所述预设时间间隔均可以根据实际需要自定义设置,例如,所述预设阈值可以设置为10,000,000,所述预设时间间隔可以设置为7天。
在步骤S12中,将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
其中,所述归档数据表用于存储所有需要归档的历史直播互动数据。在基于上述步骤S11确定出所述实时数据表中待归档的直播互动数据后,可将所述待归档的直播互动数据迁移至所述归档数据表中,由此,使得所述实时数据表中存储使用频率较高、较活跃的直播互动数据,而所述归档数据表中存储使用频率较低、不活跃的历史直播互动数据。
具体地,可以将所述待归档的直播互动数据插入到所述归档数据表中并在插入成功后将所述待归档的直播互动数据从所述实时数据表中删除。
考虑到待处理的直播互动数据的数据量较大时,将各个待归档的直播互动数据按顺序依次插入到所述归档数据表的效率较低,而将所有待归档的直播互动数据并行插入到所述归档数据表又可能存在归档数据表的参数限制而导致插入失败的问题,基于此,在具体实施时,可以根据所述待归档的直播互动数据的记录标识,将所述待归档的直播互动数据分批插入所述归档数据表中并在插入成功后将所述待归档的直播互动数据从所述实时数据表中删除。
通过本公开实施例提供的数据处理方法,根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,并将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中,使得所述实时数据表中存储使用频率较高、较活跃的直播互动数据,而所述归档数据表中存储使用频率较低、不活跃的历史直播互动数据,由此,一方面可以有效控制所述实时数据表中的数据量,进而可以提高对所述实时数据表的查询和更新效率,使得所述实时数据表能够支持更高要求的读写请求;另一方面,可以减少使用频率低、不活跃的直播互动数据对线上资源的占用。此外,本公开实施例提供的数据处理方法仅采用两张数据表,相较于相关技术中将所有直播互动数据散列存储在大量数据表的方式,可以简化对直播互动数据的获取逻辑。
在本公开的另一个实施例中,为了提高从所述实时数据表中确定待归档的直播互动数据的效率和准确性,在上述步骤S11之前,本公开实施例提供的数据处理方法还可以包括:获取最大归档记录标识,其中,所述最大归档记录标识是指所述实时数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识。相应地,在执行上述步骤S11时,可基于所述最大归档记录标识从所述实时数据表中读取待归档的直播互动数据。具体地,可以从所述最大归档记录标识起遍历所述实时数据表,根据所述最大记录标识从所述实时数据表中读取待归档的直播互动数据。
需要说明的是,所述最大归档记录标识可以通过查询所述归档数据表中获取,即所述归档数据表已存储的直播互动数据中的最大记录标识即为所述最大归档记录标识;或者,所述最大归档记录标识可以从预先设置的归档标识记录表中查询获取,其中,所述归档标识记录表中记录有所述实时数据表中已归档的直播互动数据中的最大记录标识,且所述归档标识记录表在对所述实时数据表中的直播互动数据进行迁移归档的过程中不断更新。
可以理解,在该实施例中,由于所述最大归档记录标识指示了所述实时数据表中已归档的直播互动数据中的最大记录标识,通过所述最大归档记录标识便可获知所述实时数据表中哪些直播互动数据已经归档至所述归档数据表,进而从所述最大归档记录标识起遍历所述实时数据表来读取所述实时数据表中待归档的直播互动数据,可以提高从所述实时数据表中读取待归档的直播互动数据的效率,避免出现待归档的直播互动数据的遗漏和错误等问题。
相应地,在本公开的另一个实施例中,在上述步骤S12之后,本公开实施例提供的数据处理方法还可以包括:根据所述待归档的直播互动数据的记录标识更新最大归档记录标识。
具体地,可以将所述最大归档记录标识更新为所有待归档的直播互动数据中的最大记录标识。
可以理解,在该实施例中,通过对所述最大归档记录标识进行更新,可以便于及时、准确获知所述实时数据表中的直播互动数据的归档进展情况,进而可基于所述最大归档记录标识执行下一次的归档操作。
需要说明的是,本公开上述实施例所述的数据处理方法可通过离线任务实现。示例性地,服务器可预先创建一离线任务,通过调用所述离线任务执行上述实施例所述的数据处理方法实现对所述实时数据表中的直播互动数据的归档操作。参见图2:所述离线任务与所述归档标识记录表通信,向所述归档标识记录表申请获取所述最大归档记录标识maxArchiveId,所述归档标识记录表响应于该申请返回所述最大归档标识记录标识maxArchiveId。接着,所述离线任务可以与所述实时数据表通信,向所述实时数据表申请获取所述实时数据表已存储的直播互动数据中的最大记录标识maxId,所述实时数据表响应于该申请返回所述最大记录标识maxId。然后,所述离线任务查询所述实时数据表中记录标识Id小于所述最大记录标识maxId的直播互动数据,作为候选直播互动数据。进一步地,所述离线任务从所述实时数据表中读取序列标识与所述实时数据表存储的直播互动数据中的最大记录标识maxId之间的绝对差值大于预设阈值和/或产生时间与当前时间之间的时间间隔大于预设时间间隔的候选直播互动数据,作为待归档的直播互动数据,并将所述待归档的直播互动数据存储至直播互动数据的归档数据表中。进一步地,所述离线任务在接收到所述归档数据表返回的迁移成功响应时,使用待归档的直播互动数据中的最大记录标识candidateMaxArchiveId更新所述最大归档记录标识maxArchiveId。最后,所述离线任务与所述实时数据表通信,向所述实时数据表申请删除记录标识Id小于所述最大归档记录标识maxArchiveId的直播互动数据。所述实时数据表在将记录标识Id小于所述最大归档记录标识maxArchiveId的直播互动数据删除后,向所述离线任务返回删除成功响应。
进一步地,通过采用上述实施例所述的数据处理方法对所述实时数据表中的直播互动数据进行归档后,可以实现直播互动业务相关的直播互动信息获取、直播互动数据清理以及打点等任务。接下来,通过具体的实施例分别对这三个任务的具体实现过程进行说明。
实施例一:直播互动信息获取
相应地,本公开实施例所述的数据处理方法还可以包括:首先,接收直播互动业务的查询请求,所述查询请求中携带指定记录标识。其次,根据所述指定记录标识和所述最大归档记录标识,获取所述指定记录标识对应的直播互动数据所属的目标数据表,所述目标数据表包括所述实时数据表或所述归档数据表。最后,从所述目标数据表中读取所述指定记录标识对应的直播互动数据并反馈给所述直播互动业务。
对于所述指定记录标识对应的直播互动数据所属的目标数据表的确定,由于所述最大归档记录标识指示了所述实时数据表中已归档的直播互动数据中的最大记录标识,通过所述最大归档记录标识便可获知所述实时数据表中哪些直播互动数据已经归档至所述归档数据表,作为一种可选的实施方式,若所述指定记录标识所指示的产生时间在所述最大归档记录标识所指示的产生时间之后,和/或,所述指定记录标识所指示的产生顺序位于所述最大归档记录标识所指示的产生顺序之后,则获取所述实时数据表;若所述指定记录标识所指示的产生时间不超过所述最大归档记录标识所指示的产生时间和/或所述指定记录标识所指示的产生顺序不超过所述最大归档记录标识所指示的产生顺序,则获取所述归档数据表。
需要说明的是,直播互动信息获取也可以通过离线任务实现。示例性地,如图2所示,首先,所述服务器接收直播互动业务发送的携带有指定记录标识Id的查询请求。接着,所述服务器调用离线任务与所述实时数据表通信,向所述归档标识记录表申请获取所述最大归档记录标识maxArchiveId,所述归档标识记录表响应于该申请向所述离线任务返回所述最大归档记录标识maxArchiveId。进一步地,所述离线任务将所述指定记录标识Id与所述最大归档记录标识maxArchiveId进行比较,若所述指定记录标识Id所指示的产生顺序不超过所述最大归档记录标识maxArchiveId所指示的产生顺序,则所述离线任务与所述归档数据表通信,向所述归档数据表申请获取所述指定记录标识Id对应的直播互动数据,所述归档数据表响应于该申请向所述离线任务返回所述指定记录标识Id对应的直播互动数据;若所述指定记录标识Id所指示的产生顺序在所述最大归档记录标识maxArchiveId所指示的产生顺序之后,则所述离线任务与所述实时数据表通信,向所述实时数据表申请获取所述指定记录标识Id对应的直播互动数据,所述实时数据表响应于该申请向所述离线任务返回所述指定记录标识Id对应的直播互动数据。最后,所述离线任务向直播互动业务返回所述指定记录标识Id对应的直播互动数据。
可以理解,该实施例中,通过所述指定记录标识和所述最大归档记录标识可以快速定位所述指定记录标识对应的直播互动数据所属的目标数据表,可以进一步简化对直播互动数据的查询逻辑,且可以提高直播互动信息的获取效率。
实施例二:直播互动数据清理任务
相应地,本公开实施例所述的数据处理方法还可以包括:获取参与直播互动业务的各个主播的直播状态信息,在任一主播的直播状态信息指示该主播方的直播间关闭的情况下,将直播业务的状态更新为关闭,并解除该直播业务与所述实时数据表中的直播互动数据之间的映射关系。
需要说明的是,直播互动数据清理任务也可以通过离线任务实现。示例性地,如图2所示,首先,所述离线任务向所述实时数据表申请批量获取所述实时数据表中处于活跃状态的直播互动数据,所述实时数据表根据所存储的各个直播互动数据的状态标识读取所有处于活跃状态的直播互动数据,得到活跃直播互动数据表activePkList并返回给所述离线任务。接着,所述离线任务获取参与直播互动业务的各个主播的直播状态信息,在任一主播的直播状态信息指示该主播方的直播间关闭的情况下,向所述实时数据表申请删除所述跃直播互动数据表activePkList,所述实时数据表响应于该申请将该直播业务的状态更新为关闭并解除该直播互动业务与所述跃直播互动数据表activePkList之间的映射关系。
可以理解,该实施方式中,由于使用频率较高、活跃的直播互动数据仍存储于实时数据表中,在执行直播互动业务相关的清理任务时,仅需扫描所述实时数据表,进而简化了直播互动业务相关的清理任务的处理逻辑。
实施例三:直播互动数据打点任务
相应地,本公开实施例所述的数据处理方法还可以包括:首先,接收到直播互动业务的打点请求,其中,所述打点请求用于请求统计分析所述直播互动业务对应的直播互动数据。接着,响应于所述打点请求,扫描所述实时数据表以获取所述直播互动业务对应的直播互动数据。最后,对所述直播互动业务对应的直播互动数据进行打点。
需要说明的是,直播互动数据打点任务也可以通过离线任务实现。示例性地,如图2所示,首先,所述离线任务向所述实时数据表申请批量获取所述实时数据表中处于活跃状态的直播互动数据,所述实时数据表根据所存储的各个直播互动数据的状态标识读取所有处于活跃状态的直播互动数据,得到活跃直播互动数据表activePkList并返回给所述离线任务。接着,所述离线任务可对所述实时数据表返回的所述活跃直播互动数据表activePkList进行打点。
可以理解,该实施方式中,由于使用频率较高、活跃的直播互动数据仍存储于实时数据表中,在执行直播互动业务相关的打点任务时,也仅需扫描所述实时数据表,进而简化了直播互动业务相关的打点任务的处理逻辑。
图3是根据一示例性实施例示出的一种数据处理装置框图。参照图3,该装置包括第一确定单元301和迁移单元302。
该第一确定单元301被配置为执行执行根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据。
该迁移单元302被配置为执行将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
通过本公开实施例提供的数据处理装置,根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,并将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中,使得所述实时数据表中存储使用频率较高、较活跃的直播互动数据,而所述归档数据表中存储使用频率较低、不活跃的历史直播互动数据,由此,一方面可以有效控制所述实时数据表中的数据量,进而可以提高对所述实时数据表的查询和更新效率,使得所述实时数据表能够支持更高要求的读写请求;另一方面,可以减少使用频率低、不活跃的直播互动数据对线上资源的占用。此外,本公开实施例提供的数据处理方法仅采用两张数据表,相较于相关技术中将所有直播互动数据散列存储在大量数据表的方式,可以简化对直播互动数据的获取逻辑。
可选地,所述迁移单元302具体被配置为执行:
根据所述待归档的直播互动数据的记录标识,将所述待归档的直播互动数据分批插入所述归档数据表中并在插入成功后将所述待归档的直播互动数据从所述实时数据表中删除。
可选地,所述直播互动数据的记录标识包括所述直播互动数据的顺序标识和/或产生时间;
所述归档条件包括:
所述顺序标识与所述实时数据表存储的直播互动数据中的最大顺序标识之间的绝对差值大于预设阈值,和/或,所述产生时间与当前时间之间的时间间隔大于预设时间间隔。
可选地,如图4所示,所述装置300还包括:
第一获取单元303,被配置为执行在所述第一确定单元根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据之前,获取最大归档记录标识,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
所述第一确定单元302具体被配置为执行:
从所述最大归档记录标识起遍历所述实时数据表;
对于遍历到的每一直播互动数据,若所述直播互动数据的记录标识所指示的产生顺序和/或产生时间满足所述归档条件,从所述实时数据表中读取出所述直播互动数据。
可选地,如图4所示,所述装置300还包括:
更新单元304,被配置为执行在所述迁移单元将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中之后,根据所述待归档的直播互动数据的记录标识更新所述最大归档记录标识。
可选地,如图4所示,所述装置300还包括:
第一接收单元305,被配置为执行接收直播互动业务的查询请求,所述查询请求中携带指定记录标识;
第二确定单元306,被配置为执行根据所述指定记录标识和最大归档记录标识,获取所述指定记录标识对应的直播互动数据所属的目标数据表,所述目标数据表包括所述实时数据表或所述归档数据表,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
读取单元307,被配置为执行从所述目标数据表中读取所述指定记录标识对应的直播互动数据并反馈给所述直播互动业务。
可选地,所述第二确定单元306具体被配置为执行:
若所述指定记录标识所指示的产生时间在所述最大归档记录标识所指示的产生时间之后和/或所述指定记录标识所指示的产生顺序位于所述最大归档记录标识指示的产生顺序之后,则获取所述实时数据表;
若所述指定记录标识所指示的产生时间不超过所述最大归档记录标识所指示的产生时间和/或所述指定记录标识所指示的产生顺序不超过所述最大归档记录标识所指示的产生顺序之前,则获取所述归档数据表。
可选地,如图4所示,所述装置300还包括:
第二接收单元308,被配置为执行接收到直播互动业务的打点请求,所述打点请求用于请求统计分析所述直播互动业务对应的直播互动数据;
扫描单元309,被配置为执行响应于所述打点请求,扫描所述实时数据表以获取所述直播互动业务对应的直播互动数据;
打点单元310,被配置为执行对所述直播互动业务对应的直播互动数据进行打点。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备的框图。参照图5,电子设备包括处理组件501,其进一步包括一个或多个处理器,以及由存储器502所代表的存储器资源,用于存储可由处理组件502的执行的指令,例如应用程序。存储器502中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件501被配置为执行指令,以执行上述的数据处理方法。例如,该数据处理方法包括以下步骤:
根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;
将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
电子设备还可以包括一个电源组件503被配置为执行服务器的电源管理,一个有线或无线网络接口504被配置为将服务器连接到网络,和一个输入输出(I/O)接口505。服务器可以操作根据存储在存储器502的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器502,上述指令可由电子设备的处理器执行以完成上述数据处理方法。例如,数据处理方法包括以下步骤:
根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;
将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供了一种计算机程序产品,包括指令,当计算机程序产品被计算机所执行时,该指令使得计算机执行上述的数据处理方法。例如,数据处理方法包括以下步骤:
根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;
将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;
将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
2.根据权利要求1所述的方法,其特征在于,所述将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中,包括:
根据所述待归档的直播互动数据的记录标识,将所述待归档的直播互动数据分批插入所述归档数据表中并在插入成功后将所述待归档的直播互动数据从所述实时数据表中删除。
3.根据权利要求1所述的方法,其特征在于,所述直播互动数据的记录标识包括所述直播互动数据的顺序标识和/或产生时间;
所述归档条件包括:
所述顺序标识与所述实时数据表存储的直播互动数据中的最大顺序标识之间的绝对差值大于预设阈值,和/或,所述产生时间与当前时间之间的时间间隔大于预设时间间隔。
4.根据权利要求1所述的方法,其特征在于,在所述根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据之前,所述方法还包括:
获取最大归档记录标识,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
所述根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,包括:
从所述最大归档记录标识起遍历所述实时数据表;
对于遍历到的每一直播互动数据,若所述直播互动数据的记录标识所指示的产生顺序和/或产生时间满足所述归档条件,则从所述实时数据表中读取出所述直播互动数据。
5.根据权利要求4所述的方法,其特征在于,在所述将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中之后,所述方法还包括:
根据所述待归档的直播互动数据的记录标识更新所述最大归档记录标识。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收直播互动业务的查询请求,所述查询请求中携带指定记录标识;
根据所述指定记录标识和最大归档记录标识,获取所述指定记录标识对应的直播互动数据所属的目标数据表,所述目标数据表包括所述实时数据表或所述归档数据表,所述最大归档记录标识是指所述归档数据表中产生顺序位于最后和/或产生时间距离当前时间最近的历史直播互动数据的记录标识;
从所述目标数据表中读取所述指定记录标识对应的直播互动数据并反馈给所述直播互动业务。
7.根据权利要求6所述的方法,其特征在于,所述根据所述指定记录标识和最大归档记录标识,获取所述指定记录标识对应的直播对决数据所属的目标数据表,包括:
若所述指定记录标识所指示的产生时间在所述最大归档记录标识所指示的产生时间之后和/或所述指定记录标识所指示的产生顺序位于所述最大归档记录标识指示的产生顺序之后,则获取所述实时数据表;
若所述指定记录标识所指示的产生时间不超过所述最大归档记录标识所指示的产生时间和/或所述指定记录标识所指示的产生顺序不超过所述最大归档记录标识所指示的产生顺序,则获取所述归档数据表。
8.一种数据处理装置,其特征在于,包括:
第一确定单元,被配置为执行根据预置的实时数据表中存储的直播互动数据的记录标识和预先设置的归档条件,读取所述实时数据表中待归档的直播互动数据,其中,所述实时数据表存储有直播互动过程中实时产生的直播互动数据,所述记录标识用于指示直播互动数据的产生顺序和/或产生时间,所述待归档的直播互动数据包括记录标识所指示的产生顺序和/或产生时间满足所述归档条件的直播互动数据;
迁移单元,被配置为执行将所述待归档的直播互动数据存储至用于存储历史直播互动数据的归档数据表中。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的数据处理方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项所述的数据处理方法。
CN202010368155.6A 2020-04-30 2020-04-30 数据处理方法、装置、电子设备及存储介质 Pending CN111581432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368155.6A CN111581432A (zh) 2020-04-30 2020-04-30 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368155.6A CN111581432A (zh) 2020-04-30 2020-04-30 数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111581432A true CN111581432A (zh) 2020-08-25

Family

ID=72120406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368155.6A Pending CN111581432A (zh) 2020-04-30 2020-04-30 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111581432A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245195A (zh) * 2022-01-13 2022-03-25 百果园技术(新加坡)有限公司 直播互动方法、装置、设备、存储介质及程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239457A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 数据归档方法及装置
CN109348261A (zh) * 2018-08-21 2019-02-15 北京潘达互娱科技有限公司 一种直播中数据统计方法、装置及电子设备
US20190065536A1 (en) * 2017-08-30 2019-02-28 International Business Machines Corporation Modifying archive data without table changes
CN109495763A (zh) * 2018-11-16 2019-03-19 北京达佳互联信息技术有限公司 虚拟物品记录确定方法、装置、服务器及存储介质
CN109600678A (zh) * 2018-12-19 2019-04-09 北京达佳互联信息技术有限公司 信息展示方法、装置及系统、服务器、终端、存储介质
CN109726174A (zh) * 2018-12-28 2019-05-07 江苏满运软件科技有限公司 数据归档方法、系统、设备以及存储介质
CN110059139A (zh) * 2019-03-12 2019-07-26 平安普惠企业管理有限公司 业务数据归档方法、设备、服务器及计算机可读存储介质
CN110191364A (zh) * 2019-05-31 2019-08-30 武汉瓯越网视有限公司 视频数据迁移方法、存储介质、设备及系统
CN110765088A (zh) * 2019-10-22 2020-02-07 北京天融信网络安全技术有限公司 一种日志处理方法及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239457A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 数据归档方法及装置
US20190065536A1 (en) * 2017-08-30 2019-02-28 International Business Machines Corporation Modifying archive data without table changes
CN109348261A (zh) * 2018-08-21 2019-02-15 北京潘达互娱科技有限公司 一种直播中数据统计方法、装置及电子设备
CN109495763A (zh) * 2018-11-16 2019-03-19 北京达佳互联信息技术有限公司 虚拟物品记录确定方法、装置、服务器及存储介质
CN109600678A (zh) * 2018-12-19 2019-04-09 北京达佳互联信息技术有限公司 信息展示方法、装置及系统、服务器、终端、存储介质
CN109726174A (zh) * 2018-12-28 2019-05-07 江苏满运软件科技有限公司 数据归档方法、系统、设备以及存储介质
CN110059139A (zh) * 2019-03-12 2019-07-26 平安普惠企业管理有限公司 业务数据归档方法、设备、服务器及计算机可读存储介质
CN110191364A (zh) * 2019-05-31 2019-08-30 武汉瓯越网视有限公司 视频数据迁移方法、存储介质、设备及系统
CN110765088A (zh) * 2019-10-22 2020-02-07 北京天融信网络安全技术有限公司 一种日志处理方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245195A (zh) * 2022-01-13 2022-03-25 百果园技术(新加坡)有限公司 直播互动方法、装置、设备、存储介质及程序产品
CN114245195B (zh) * 2022-01-13 2023-11-07 百果园技术(新加坡)有限公司 直播互动方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN110659121B (zh) 任务数据获取方法及装置、任务配置方法及装置和服务器
CN110636340B (zh) 视频文件的上传方法、存储设备、终端设备及存储介质
CN110505495B (zh) 多媒体资源抽帧方法、装置、服务器及存储介质
CN108182258B (zh) 分布式的数据分析系统及方法
CN112003976B (zh) 硬编硬解测试方法及装置
CN113688002A (zh) 一种日志采集方法及相关装置
CN111581432A (zh) 数据处理方法、装置、电子设备及存储介质
CN111464826A (zh) 虚拟资源的榜单更新方法、装置、电子设备及存储介质
CN113065054B (zh) 请求处理方法、装置、电子设备及存储介质
CN112395307A (zh) 执行语句的方法、装置、服务器及存储介质
CN113901021A (zh) 用于多版本数据库的升级脚本生成方法、装置与电子设备
CN115827646B (zh) 索引配置方法、装置和电子设备
CN111124650A (zh) 一种流式数据处理方法及装置
CN112764988B (zh) 一种数据分段采集方法及装置
CN116795256A (zh) 任务处理方法、装置、电子设备及存储介质
CN113626217A (zh) 异步消息处理方法、装置、电子设备和存储介质
CN110858201B (zh) 数据处理方法及系统、处理器、存储介质
CN114003571A (zh) 数据处理方法、装置、电子设备及存储介质
CN112000786A (zh) 结合rpa和ai的对话机器人问题处理方法、装置和设备
CN113688159B (zh) 一种数据抽取方法与装置
CN114205320B (zh) 消息显示方法和装置、电子设备及存储介质
CN115037614A (zh) 管控规则适配方法、装置,以及,电子设备
CN112015614B (zh) 埋点处理方法、装置及电子设备
CN114710509B (zh) 应用数据同步方法、设备、终端及存储介质
CN110297598B (zh) 一种数据同步方法及存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination