CN107315655B - 一种实时统计的排行榜数据恢复方法与装置 - Google Patents

一种实时统计的排行榜数据恢复方法与装置 Download PDF

Info

Publication number
CN107315655B
CN107315655B CN201710409870.8A CN201710409870A CN107315655B CN 107315655 B CN107315655 B CN 107315655B CN 201710409870 A CN201710409870 A CN 201710409870A CN 107315655 B CN107315655 B CN 107315655B
Authority
CN
China
Prior art keywords
data
time node
ranking list
time
detail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710409870.8A
Other languages
English (en)
Other versions
CN107315655A (zh
Inventor
李骏飞
杨武明
张菊元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing longzhixin Technology Co.,Ltd.
Original Assignee
Beijing Panda Mutual Entertainment Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Panda Mutual Entertainment Technology Co Ltd filed Critical Beijing Panda Mutual Entertainment Technology Co Ltd
Priority to CN201710409870.8A priority Critical patent/CN107315655B/zh
Publication of CN107315655A publication Critical patent/CN107315655A/zh
Application granted granted Critical
Publication of CN107315655B publication Critical patent/CN107315655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种实时统计的排行榜数据恢复方法与装置,涉及互联网技术领域。其中,所述方法包括:根据报警日志,确定排行榜数据需重新恢复的时间节点;根据所述报警日志,修正数据库中所述时间节点后的明细数据;获取所述时间节点的历史排行榜数据;根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复。本发明实施例能够以较短的恢复时间以及较低成本恢复排行榜数据。

Description

一种实时统计的排行榜数据恢复方法与装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种实时统计的排行榜数据恢复方法与装置。
背景技术
目前,大多数网站引入排行榜这一事物,用以对网站运营过程中产生的业务明细数据进行实时统计和排序。例如,网络直播类网站会针对用户赠送礼物的多少进行排序生成各类排行榜并展现在网站网页中。
现有技术中,一旦排行榜统计系统出现故障并导致排行榜数据出现异常,需要根据网站在整个运营过程中产生的所有历史业务明细数据进行重新统计计算,才能恢复排行榜数据。这对于那些运营时间长、用户量大的网站而言,不仅需花费大量时间(通常,以“天”计),还需花费大量的系统运行资源才能实现排行榜数据的恢复。
发明内容
本发明实施例提供了一种实时统计的排行榜数据恢复方法与装置,目的在于能够以较短的恢复时间以及较低的系统运行资源恢复排行榜数据。
为了解决上述技术问题,本发明提供一种实时统计的排行榜数据恢复方法,包括:
根据报警日志,确定排行榜数据需重新恢复的时间节点;
根据所述报警日志,修正数据库中所述时间节点后的明细数据;
获取所述时间节点的历史排行榜数据;
根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复。
可选地,所述方法,还包括:
在所述数据库中,每隔预设时间间隔,备份当前时间节点的排行榜数据作为所述当前时间节点的历史排行榜数据。
可选地,所述根据报警日志,确定排行榜数据需重新恢复的时间节点,包括:
根据所述报警日志以及所述数据库中备份的历史排行榜数据的时间节点,确定排行榜数据需重新恢复的时间节点。
可选地,所述方法,还包括:
获取消息队列所能保存的明细数据的最早时间节点;
将所述数据库中所述最早时间节点后的明细数据更新至所述消息队列中。
可选地,所述根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复,包括:
若所述时间节点晚于或等于所述最早时间节点,则基于所述时间节点的历史排行榜数据以及所述消息队列推送来的所述时间节点后的明细数据进行数据恢复;
若所述时间节点早于所述最早时间节点,则从所述数据库提取时间戳在所述时间节点与所述最早时间节点之间的明细数据;基于所述时间节点的历史排行榜数据、所述时间戳在所述时间节点与所述最早时间节点之间的明细数据以及所述消息队列推送来的所述最早时间节点后的明细数据进行数据恢复。
可选地,还包括:
将新产生的明细数据加入到所述消息队列中。
为了解决上述技术问题,本发明还提供了一种实时统计的排行榜数据恢复装置,包括:
确定模块,用于根据报警日志,确定排行榜数据需重新恢复的时间节点;
修正模块,用于根据所述报警日志,修正数据库中所述时间节点后的明细数据;
第一获取模块,用于获取所述时间节点的历史排行榜数据;
恢复模块,用于根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复。
本发明实施例提供的实时统计的排行榜数据恢复方法与装置,在数据库中针对某些时间节点的排行榜数据进行备份,在进行排行榜数据恢复时,根据报警日志可确定出需重新恢复数据的时间节点,从数据库中获取该时间节点的历史排行榜数据,以该时间节点的历史排行榜数据为数据恢复的起点,将该时间节点之后的明细数据统计到该时间节点的历史排行榜数据中,以得到恢复后的排行榜数据。这样一来,就无需再针对网站运营之后产生的所有明细数据进行重新计算,只需重新统计该时间节点之后的明细数据,大幅度减少了计算量,减低了恢复时间和恢复成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的实时统计的排行榜数据恢复方法的流程示意图;
图2为本发明又一实施例提供的实时统计的排行榜数据恢复方法的流程示意图;
图3为本发明一实施例提供的实时统计的排行榜数据恢复装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于监测”。类似地,取决于语境,短语“如果确定”或“如果监测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响应于监测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明一实施例提供的实时统计的排行榜数据恢复方法的流程示意图。如图1所示,该方法包括:
101、根据报警日志,确定排行榜数据需重新恢复的时间节点。
102、根据所述报警日志,修正数据库中所述时间节点后的明细数据。
103、获取所述时间节点的历史排行榜数据。
104、根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复。
排行榜数据是基于网站运营过程中产生的历史明细数据进行统计而来的,并且随着网站的运营以及新的明细数据的产生,排行榜数据会不断更新。目前,排行榜应用于各类网站,例如:电商网站、网络直播网站等。在电商网站中,通过对站内同一类型店铺的销售额或销售量进行统计并按照销售额或销售量由多到少进行排名生成总榜、月榜或周榜等,并将各种排行榜提供给商家。在网络直播网站中,通过对用户给主播赠送礼物的数量或价值量进行统计并按照数量或价值量由多到少进行排名生成总榜、月榜或周榜等,并将各种排行榜展示在网站主页或直播间页面。其中,总榜是基于网站开始运营之日起所产生的明细数据统计而来,月榜是基于当前月所产生的明细数据统计而来,周榜是基于当前周所产生的明细数据统计而来。
上述的明细数据指的是针对已产生的每一项业务事件所记录的原始数据,所述明细数据中包括事件发起者、事件承受者、事件发生时间、事件具体内容信息。例如,电商网站的明细数据中包括:买方用户、卖方用户、买卖发生时间、交易商品信息,其中,所述交易商品信息可包括商品名称、商品数量、商品价格;网络直播网站的明细数据中包括:赠送用户、受赠主播、赠送发生时间、赠送礼物信息,其中,所述赠送礼物信息可包括礼物名称、礼物数量,礼物价值。以网络直播网站的明细数据为例,简述所述明细数据的产生过程:响应于用户向主播赠送礼物的操作,记录下所述用户的用户ID、所述主播的直播间ID、当前时间戳以及礼物信息,以作为该业务事件的明细数据。
由于排行榜统计系统在运行过程中,不可避免会出现系统故障引起大量的明细数据发生错误或者丢失,从而导致统计出的排行榜信息出现错误。因此,可在排行榜统计系统中设置报警日志以记录系统在运行过程中产生的故障信息,报警日志中包括故障发生时间、故障具体内容。所述报警日志可每隔一段时间主动向网站后台工作人员发送,也可在记录到故障事件时,立即发送给后台工作人员,后台工作人员可根据实际情况确定何时启动数据恢复的工作。上述步骤101中,根据报警日志,确定排行榜数据需重新恢复的时间节点,也即是根据报警日志中所记录的故障中的最早故障发生时间,根据所述最早故障发生时间,确定出排行榜数据是从哪个时间节点开始出现错误的,也就能确定出了排行榜数据需重新恢复的时间节点。
上述步骤102中,根据报警日志中记录的所有故障的具体内容,在数据库中,将所述时间节点后的明细数据进行修正。例如,若报警日志中记录有“20170427100530、明细数据1写入异常”,其中,20170427100530代表的是2017年4月27日10点5分30秒这一时刻,1代表的是明细数据的标识,则将明细数据1更新写入数据库中;若报警日志中记录有“20170427100620、明细数据2传输异常”,表明明细数据2未成功传输至数据库中,即在进行排行榜数据统计时未将明细数据2统计进去,因此,需将明细数据2添加进数据库中。其中,所述报警日志在记录故障的具体内容时,还可将故障涉及的明细数据的具体内容进行记录,这样,在进行明细数据修正时,即可从报警日志中获取相应的明细数据的具体内容并重新写入或添加进数据库中。当然,所述报警日志也可不记录故障涉及的明细数据的具体内容,在进行明细数据修正时,可根据报警日志中的故障发生时间以及明细数据的标识从其他服务器上进行查找,从而提取出相关数据来修正数据库。在上述步骤103中,从数据库中获取所述时间节点的历史排行榜数据,所述历史排行榜数据指的是基于所述时间节点及以前的明细数据统计好的数据,该历史排行榜数据可通过事先备份得到。由于数据库的存储空间有限,若对所有时间节点上的排行榜数据进行备份,会占用太大的内存。因此,可选择性的存储一些时间节点上的历史排行榜数据。具体的备份方法可采用如下一种或多种:
方法一、在数据库中针对某些特定的时间节点上的历史排行榜数据进行备份,例如,针对每天的零点(00:00)进行备份、或每个小时的起点(例如,11:00、13:00)进行备份。
方法二、在数据库中,每隔预设时间间隔,备份当前时间节点的排行榜数据作为所述当前时间节点的历史排行榜数据。例如、每隔两天或每隔5小时。
因此,在上述步骤101中,确定排行榜数据需重新恢复的时间节点时,不仅需参考报警日志中记载的最早故障时间点,还需考虑数据库中备份的历史排行榜数据的时间节点。即根据所述报警日志以及所述数据库中备份的历史排行榜数据的时间节点,确定排行榜数据需重新恢复的时间节点。
例如,数据库中记录了每天零点的历史排行榜数据,当最早故障时间点是2017年4月27日14点8分56秒,则将排行榜数据需重新恢复的时间节点确定为2017年4月27日0点0分0秒。
上述步骤104中,从数据库中获取了所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据后,将所述明细数据统计到所述历史排行榜中,以得到恢复后的排行榜数据。
本发明实施例提供的实时统计的排行榜数据恢复方法,在数据库中针对某些时间节点的排行榜数据进行备份,在进行排行榜数据恢复时,根据报警日志可确定出需重新恢复数据的时间节点,从数据库中获取该时间节点的历史排行榜数据,以该时间节点的历史排行榜数据为数据恢复的起点,将该时间节点之后的明细数据统计到该时间节点的历史排行榜数据中,以得到恢复后的排行榜数据。这样一来,就无需再针对网站运营之后产生的所有明细数据进行重新计算,只需重新统计该时间节点之后的明细数据,大幅度减少了计算量,减低了恢复时间和恢复成本。
图2为本发明又一实施例的实时统计的排行榜数据恢复方法的流程示意图。如图2所示,该方法包括:
201、根据报警日志,确定排行榜数据需重新恢复的时间节点。
202、根据所述报警日志,修正数据库中所述时间节点后的明细数据。
203、获取所述时间节点的历史排行榜数据。
204、获取消息队列所能保存的明细数据的最早时间节点。
205、将所述数据库中所述最早时间节点后的明细数据更新至所述消息队列中。
206、根据所述时间节点与所述最早时间节点判断是否需要从所述数据库中获取明细数据。
207、若需要,则基于所述时间节点的历史排行榜、从所述数据库中获取的明细数据及所述消息队列推送的明细数据进行数据恢复;否则,基于所述时间节点的历史排行榜及所述消息队列推送的明细数据进行数据恢复。
上述步骤201到203可参见上述实施例的描述,此处不再赘述。
上述步骤204中,所述消息队列具有推送机制,即所述消息队列会将加入到消息队列中的明细数据按照先进先出的规则推送给统计服务器进行排行榜数据统计。通常,消息队列中能保存最近几天的明细数据,例如,能保存最近7天的明细数据,若当前时间为2017年4月28日10点整,那么,所述消息队列中所能保存的明细数据的最早时间节点为2017年4月22日零点。
在上述步骤205中,从修正后的数据库中获取所述最早时间节点后的明细数据,将其更新到消息队列中,也即是替换掉消息队列中原本的明细数据。
上述步骤206和207中,根据所述时间节点和所述最晚时间节点来判断是否需要从数据库中获取一部分的明细数据,若所述时间节点早于所述最早时间节点,则需要从数据库中获取时间戳在所述时间节点与所述最早时间节点之间的明细数据。若所述时间节点晚于或等于所述最早时间节点,则不需要从数据库中获取明细数据。
若所述时间节点晚于或等于所述最早时间节点,则基于所述时间节点的历史排行榜数据以及所述消息队列推送来的所述时间节点后的明细数据进行数据恢复。
需要说明的是,虽然消息队列中的明细数据是按照明细数据产生的时间先后顺序进行排列的,但是在消息队列中无法根据消息队列中的明细数据的内容进行时间节点的判断,也就无法准确地在消息队列中确定出所述时间节点后的明细数据的起点位置。因此,可根据消息队列中所保存的明细数据的天数、所保存的总消息量以及所述时间节点与所述最早时间节点的时间差,估算出消息队列需从哪个位置开始推送明细数据。
例如,消息队列中存储的最近7天的消息量为7000条,平均每天的消息量(日平均消息量)在1000条,所述时间节点与所述最早时间节点的时间差为4天,可估算出这4天中的4000条明细数据不需要进行推送,但是,由于每天真实的消息量并不是确定的数值,因此,为了确保所述时间节点之后的明细数据都能被推送到统计服务器进行统计,需多推送一日平均消息量,即从消息队列中第3000条开始推送(注:消息队列中时间节点最早的明细数据为第一条)。统计服务器在接收到消息队列推送来的明细数据之后,将所述明细数据中包含的时间戳与所述时间节点进行判断;将时间戳早于或等于所述时间节点的明细数据进行丢弃;将时间戳晚于所述时间节点的明细数据统计到所述时间节点的历史排行榜数据中。
若所述时间节点早于所述最早时间节点,则从所述数据库提取时间戳在所述时间节点与所述最早时间节点之间的明细数据,其中,不包括时间戳为所述时间节点的明细数据,但包括时间戳为所述最早时间节点的明细数据;基于所述时间节点的历史排行榜数据、所述时间戳在所述时间节点与所述最早时间节点之间的明细数据以及所述消息队列推送来的所述最早时间节点后的明细数据进行数据恢复。
需要说明的是,由于数据恢复需要一段时间,在这段时间中产生以及后续产生的新的明细数据可添加至所述消息队列中。由于消息队列具有推送机制,即有新的明细数据加入之后,会自动推送至统计服务器,无需统计服务器每隔预设时间间隔去获取。这样,经过一段时间的数据恢复之后,还能实时更新排行榜数据,保证排行榜数据的实时性。
在数据库中针对某些时间节点的排行榜数据进行备份,在进行排行榜数据恢复时,根据报警日志可确定出数据库中所备份的历史排行榜数据中哪些时间节点的历史排行榜数据是正确的,哪些时间节点的数据是错误的,从正确的历史排行榜数据中获取最晚时间节点的历史排行榜数据,以该最晚时间节点的历史排行榜数据为数据恢复的起点,将该最晚时间节点之后的明细数据统计到该最晚时间节点的历史排行榜数据中,以得到恢复后的排行榜数据。这样一来,就无需再针对网站运营之后产生的所有明细数据进行重新计算,只需重新统计该最晚时间节点之后的明细数据,大幅度减少了计算量,减低了恢复时间和恢复成本。
图3为本发明一实施例的实时统计的排行榜数据恢复装置的结构示意图。如图3所示,该装置包括:确定模块301、修正模块302、第一获取模块303以及恢复模块304。
确定模块301,用于根据报警日志,确定排行榜数据需重新恢复的时间节点。
修正模块302,用于根据所述报警日志,修正数据库中所述时间节点后的明细数据。
第一获取模块303,用于获取所述时间节点的历史排行榜数据。
恢复模块304,用于根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复。
可选地,所述装置,还包括:
备份模块,用于在所述数据库中,每隔预设时间间隔,备份当前时间节点的排行榜数据作为所述当前时间节点的历史排行榜数据。
可选地,所述确定模块,还用于:
根据所述报警日志以及所述数据库中备份的历史排行榜数据的时间节点,确定排行榜数据需重新恢复的时间节点。
可选地,所述装置,还包括:
第二获取模块,用于获取消息队列所能保存的明细数据的最早时间节点。
更新模块,用于将所述数据库中所述最早时间节点后的明细数据更新至所述消息队列中。
可选地,所述恢复模块304,包括:
第一恢复单元,用于若所述时间节点晚于或等于所述最早时间节点,则基于所述时间节点的历史排行榜数据以及所述消息队列推送来的所述时间节点后的明细数据进行数据恢复。
提取单元,用于若所述时间节点早于所述最早时间节点,则从所述数据库提取时间戳在所述时间节点与所述最早时间节点之间的明细数据;第二恢复单元,用于基于所述时间节点的历史排行榜数据、所述时间戳在所述时间节点与所述最早时间节点之间的明细数据以及所述消息队列推送来的所述最早时间节点后的明细数据进行数据恢复。
可选地,所述装置,还包括:
添加模块,用于将新产生的明细数据添加到所述消息队列中。
这里需要说明的是:本实施例提供的所述实时统计的排行榜数据恢复装置可实现上述各实时统计的排行榜数据恢复方法实施例提供的技术方案,具体的实现原理可参见上述各实施例中的相应内容,此处不再赘述。
本发明实施例提供的实时统计的排行榜数据恢复装置,在数据库中针对某些时间节点的排行榜数据进行备份,在进行排行榜数据恢复时,根据报警日志可确定出需重新恢复数据的时间节点,从数据库中获取该时间节点的历史排行榜数据,以该时间节点的历史排行榜数据为数据恢复的起点,将该时间节点之后的明细数据统计到该时间节点的历史排行榜数据中,以得到恢复后的排行榜数据。这样一来,就无需再针对网站运营之后产生的所有明细数据进行重新计算,只需重新统计该时间节点之后的明细数据,大幅度减少了计算量,减低了恢复时间和恢复成本。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种实时统计的排行榜数据恢复方法,其特征在于,包括:
根据报警日志,确定排行榜数据需重新恢复的时间节点;所述排行榜数据是基于网络运营过程中产生的历史明细数据进行统计而来的;
根据所述报警日志,修正数据库中所述时间节点后的明细数据;其中,所述时间节点后的明细数据指的是时间戳晚于所述时间节点的明细数据;所述明细数据中包含有时间戳;
获取所述时间节点的历史排行榜数据;
根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复,包括:将已修正的所述时间节点后的明细数据统计到所述历史排行榜中,以得到恢复后的排行榜数据;
获取消息队列所能保存的明细数据的最早时间节点,将所述数据库中所述最早时间节点后的明细数据更新至所述消息队列中;
所述根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复,包括:
若所述时间节点晚于或等于所述最早时间节点,则基于所述时间节点的历史排行榜数据以及所述消息队列推送来的所述时间节点后的明细数据进行数据恢复;
若所述时间节点早于所述最早时间节点,则从所述数据库提取时间戳在所述时间节点与所述最早时间节点之间的明细数据;基于所述时间节点的历史排行榜数据、所述时间戳在所述时间节点与所述最早时间节点之间的明细数以及所述消息队列推送来的所述最早时间节点后的明细数据进行数据恢复。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述数据库中,每隔预设时间间隔,备份当前时间节点的排行榜数据作为所述当前时间节点的历史排行榜数据。
3.根据权利要求2所述的方法,其特征在于,所述根据报警日志,确定排行榜数据需重新恢复的时间节点,包括:
根据所述报警日志以及所述数据库中备份的历史排行榜数据的时间节点,确定排行榜数据需重新恢复的时间节点。
4.根据权利要求1-3中任一项所述的方法,其特征在于,还包括:
将新产生的明细数据加入到所述消息队列中。
5.一种实时统计的排行榜数据恢复装置,其特征在于,包括:
确定模块,用于根据报警日志,确定排行榜数据需重新恢复的时间节点;所述排行榜数据是基于网络运营过程中产生的历史明细数据进行统计而来的;
修正模块,用于根据所述报警日志,修正数据库中所述时间节点后的明细数据;其中,所述时间节点后的明细数据指的是时间戳晚于所述时间节点的明细数据;所述明细数据中包含有时间戳;
第一获取模块,用于获取所述时间节点的历史排行榜数据;
恢复模块,用于根据所述时间节点的历史排行榜数据以及已修正的所述时间节点后的明细数据进行数据恢复,包括:将已修正的所述时间节点后的明细数据统计到所述历史排行榜中,以得到恢复后的排行榜数据;
第二获取模块,用于获取消息队列所能保存的明细数据的最早时间节点;
更新模块,用于将所述数据库中所述最早时间节点后的明细数据更新至所述消息队列中;
所述恢复模块,包括:第一恢复单元和提取单元,其中:
所述第一恢复单元,用于若所述时间节点晚于或等于所述最早时间节点,则基于所述时间节点的历史排行榜数据以及所述消息队列推送来的所述时间节点后的明细数据进行数据恢复;
所述提取单元,用于若所述时间节点早于所述最早时间节点,则从所述数据库提取时间戳在所述时间节点与所述最早时间节点之间的明细数据;第二恢复单元,用于基于所述时间节点的历史排行榜数据、所述时间戳在所述时间节点与所述最早时间节点之间的明细数据以及所述消息队列推送来的所述最早时间节点后的明细数据进行数据恢复。
6.根据权利要求5所述的装置,其特征在于,还包括:
备份模块,用于在所述数据库中,每隔预设时间间隔,备份当前时间节点的排行榜数据作为所述当前时间节点的历史排行榜数据。
7.根据权利要求6所述的装置,其特征在于,所述确定模块,还用于:
根据所述报警日志以及所述数据库中备份的历史排行榜数据的时间节点,确定排行榜数据需重新恢复的时间节点。
8.根据权利要求5-7中任一项所述的装置,其特征在于,还包括:
添加模块,用于将新产生的明细数据添加到所述消息队列中。
CN201710409870.8A 2017-06-02 2017-06-02 一种实时统计的排行榜数据恢复方法与装置 Active CN107315655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710409870.8A CN107315655B (zh) 2017-06-02 2017-06-02 一种实时统计的排行榜数据恢复方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710409870.8A CN107315655B (zh) 2017-06-02 2017-06-02 一种实时统计的排行榜数据恢复方法与装置

Publications (2)

Publication Number Publication Date
CN107315655A CN107315655A (zh) 2017-11-03
CN107315655B true CN107315655B (zh) 2020-05-19

Family

ID=60181668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710409870.8A Active CN107315655B (zh) 2017-06-02 2017-06-02 一种实时统计的排行榜数据恢复方法与装置

Country Status (1)

Country Link
CN (1) CN107315655B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984341A (zh) * 2018-06-16 2018-12-11 温州职业技术学院 一种基于分布式存储系统的数据恢复方法及系统
CN112190953A (zh) * 2020-10-23 2021-01-08 网易(杭州)网络有限公司 游戏排行榜生成方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102280125A (zh) * 2011-04-25 2011-12-14 杭州海康威视数字技术股份有限公司 一种对异常关机所丢失数据进行恢复的方法及硬盘录像机
CN104317811A (zh) * 2014-09-25 2015-01-28 小米科技有限责任公司 业务指标的统计方法、装置及服务器
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN105573859A (zh) * 2014-10-15 2016-05-11 中兴通讯股份有限公司 一种数据库的数据恢复方法和设备
CN105681128A (zh) * 2016-01-12 2016-06-15 北京中交兴路车联网科技有限公司 一种用于大数据系统状态监控的方法和装置
CN105955845A (zh) * 2016-04-26 2016-09-21 浪潮电子信息产业股份有限公司 一种数据恢复方法及装置
CN106776251A (zh) * 2016-11-29 2017-05-31 努比亚技术有限公司 一种监控数据处理装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151007A (ja) * 2003-11-13 2005-06-09 Matsushita Electric Ind Co Ltd 無線伝送方法とそれに用いる送信装置および受信装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102280125A (zh) * 2011-04-25 2011-12-14 杭州海康威视数字技术股份有限公司 一种对异常关机所丢失数据进行恢复的方法及硬盘录像机
CN104317811A (zh) * 2014-09-25 2015-01-28 小米科技有限责任公司 业务指标的统计方法、装置及服务器
CN105573859A (zh) * 2014-10-15 2016-05-11 中兴通讯股份有限公司 一种数据库的数据恢复方法和设备
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN105681128A (zh) * 2016-01-12 2016-06-15 北京中交兴路车联网科技有限公司 一种用于大数据系统状态监控的方法和装置
CN105955845A (zh) * 2016-04-26 2016-09-21 浪潮电子信息产业股份有限公司 一种数据恢复方法及装置
CN106776251A (zh) * 2016-11-29 2017-05-31 努比亚技术有限公司 一种监控数据处理装置及方法

Also Published As

Publication number Publication date
CN107315655A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
US7685270B1 (en) Method and apparatus for measuring latency in web services
JP5088411B2 (ja) システム運用管理支援プログラム,方法及び装置
US9262260B2 (en) Information processing apparatus, information processing method, and recording medium
CN103001796A (zh) 服务端处理网络日志数据的方法及装置
CN112152823B (zh) 网站运行错误监控方法、装置及计算机存储介质
CN107315655B (zh) 一种实时统计的排行榜数据恢复方法与装置
US10592856B2 (en) Methods and apparatus for processing and marketing inventory via multiple channels
CN110661794B (zh) 流量识别方法、装置、电子设备及可读存储介质
CN112084066A (zh) 一种数据处理方法、设备及存储介质
CN114048217A (zh) 增量数据的同步方法和装置、电子设备和存储介质
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
US10901746B2 (en) Automatic anomaly detection in computer processing pipelines
CN117235062A (zh) 基于数据中台的业务系统数据建模方法
WO2016188682A1 (en) A method for determining a topology of a computer cloud at an event date
US20180268020A1 (en) Transaction processing system and transaction control method
JP5716472B2 (ja) 障害予測サーバ、障害予測システム、障害予測方法及び障害予測プログラム
US20120245972A1 (en) Providing access to future exception information in a supply plan collaboration system
CN110689429B (zh) 一种存证交易数据的方法、装置及系统
JP2007041828A (ja) Sla達成状況判定方法
US20210026683A1 (en) Systems for determining delayed or hung backend processes within process management applications
US20140279586A1 (en) Invoice number gap alerting and processing
CN106375354B (zh) 数据处理方法及装置
US11908023B1 (en) Method and system for generating user interfaces to prompt users to perform an activity in a software application based on transaction time analysis
CN112527521B (zh) 消息处理方法及设备
CN117408748B (zh) 一种积分发放方法、系统、计算机设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210308

Address after: 101300 309, 3rd floor, 60 Fuqian 1st Street, Tianzhu District, Shunyi District, Beijing

Patentee after: Beijing longzhixin Technology Co.,Ltd.

Address before: 100041 room 120, 4th floor, building 17, yard 30, Shixing street, Shijingshan District, Beijing

Patentee before: BEIJING PANDA MUTUAL ENTERTAINMENT TECHNOLOGY Co.,Ltd.