CN111914140A - 一种基于消息数据源的实时榜单实现方法及系统 - Google Patents

Abstract

本发明公开了一种基于消息数据源的实时榜单实现方法及系统。该方法包括采用消息模式提供实时榜单业务数据、采用redis替代数据库缓存榜单历史数据；同时通过后台服务配置具体榜单的消息源、聚合规则、周期、单位时段以及分数计算脚本，利用中间数据落地技术实现将新接收的榜单业务数据与同一个单位时段内的历史榜单业务数据聚合成为在同一个Key下的中间数据，并利用数据过期技术将redis中过期的中间数据清除；在每一次榜单业务数据聚合和过期中间数据清除都执行该榜单对应分数计算脚本重新计算该榜单业务数据对应的最新分数并更新到所述redis的对应榜单中进行实时排名。

Description

一种基于消息数据源的实时榜单实现方法及系统

技术领域

本发明提供的方案涉及榜单业务数据的处理领域，可为游戏、竞赛、活动热点等下游应用提供实时的榜单排名；具体涉及一种基于消息数据源的实时榜单实现方法及系统。

背景技术

榜单应用能便捷地展示某个活动的实时热度、展示产品受欢迎程度，是一种有效的用户激励机制。便利的周期榜单配置方案能够快速生成多种类多周期的榜单，适应快速迭代的榜单需求，缩短开发周期。目前的榜单应用方案通常采用数据库作为榜单数据源，同一个榜单不同周期的业务数据在数据库中采用不同的Key作为索引，不同周期长度，不同周期区间的榜单各自维护各自不同的Key。榜单应用服务器通过定期执行指定的SQL语句查询数据库获得所有的榜单业务数据生成榜单结果供下游应用获取。

现有的榜单生成方案以数据库作为数据源，将周期时间作为榜单Key，在不同周期需要切换不同的Key，榜单维护成本高；每次执行指定的SQL语句查询数据库时需要对对应的历史榜单业务数据进行全量查询，查询速度慢且查询成本高；并且榜单计算和排序的实时性不强。此外、现有的榜单生成方案一般只支持自然周期榜单配置如一个自然日榜单，周期选择不够丰富。

发明内容

为了解决现有的榜单生成方案存在的上述不足，本发明提供一种基于消息数据源的实时榜单实现方法及系统。该榜单实现方法及系统，以消息模式从榜单消息源直接获取榜单业务数据避免数据库全量查询；利用中间数据落地技术支持增量榜单，榜单数据处理速度快、支持实时榜单；并且本发明提供榜单方法及系统的统计周期类型可以由用户根据需要通过后台服务进行灵活配置。

本发明提供的技术方案，具体实现为：

一种基于消息数据源的实时榜单实现方法，包括：从榜单消息源实时获取榜单业务消息，根据预先配置的聚合规则、获取redis中该榜单业务消息主键ID对应于当前单位时段key的中间数据与该榜单业务消息中的业务数据进行聚合，并将聚合结果更新为该单位时段key在所述redis中的新中间数据，同时将所述业务消息的过期时间设置为该key值对应中间数据的过期时间以基于redis的数据过期机制、实现当该Key值对应的中间数据过期，自动清除该key值及其对应的中间数据；在更新该key值对应的中间数据后、获取当前榜单周期内该主键ID在redis中的所有中间数据，执行为该榜单配置的分数计算脚本重新计算该条消息主键ID对应的最新分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取。其中、所述榜单消息源、单位时段、榜单周期、聚合规则、分数计算脚本都可以通过后台服务对应榜单配置时进行设置。所述榜单周期包括X个所述单位时段、X为整数；所述中间数据是指在单位时段内接收到的有效历史业务消息的聚合结果数据。

进一步地、所述榜单实现方法还包括：在所述redis中设置重新计算触发器，在所述将聚合结果更新为该key在所述redis中的新中间数据时，还根据该榜单业务消息对应的榜单周期计算所述当前单位时段key对应的新中间数据过期时间，其中、所述过期时间＝对应于该收到消息时间的单位时段的时间终点+(X*单位时段)；将该过期时间与该榜单业务消息主键ID加入到所述重新计算触发器中以实现到达该过期时间时触发重新计算该主键ID分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取。

与上述实时榜单实现方法相对应，本发明还提供一种基于消息数据源的实时榜单系统，该系统采用redis缓存榜单历史数据，包括：后台服务配置模块、中间数据聚合模块、榜单分数计算模块；所述后台服务配置模块用于配置具体榜单的消息源、聚合规则、周期、单位时段以及分数计算脚本，其中、所述榜单周期包括X个所述单位时段、X为整数；所述中间数据聚合模块、用于根据为该榜单预先配置的聚合规则、获取redis中该榜单业务消息主键ID对应于该收到消息时间的单位时段key的中间数据与该榜单业务消息中的业务数据进行聚合，将聚合结果更新为该单位时段key在所述redis中的新中间数据；并根据对应的榜单周期计算该业务消息的过期时间，将所述业务消息的过期时间设置为该key值对应中间数据的过期时间以实现基于redis的数据过期机制、当该Key值对应的中间数据过期，自动清除该key值及其对应的中间数据；所述榜单分数计算模块，用于在所述中间数据聚合模块将聚合结果更新为该单位时段key在所述redis中的新中间数据之后，执行为该榜单配置的分数计算脚本重新计算该条消息主键ID对应的最新分数，并将其更新到所述redis的对应榜单中进行实时排名以供下游应用获取。其中、所述中间数据是指在单位时段内接收到的有效历史业务消息的聚合结果数据。

本发明所提供的上述基于消息数据源的实时榜单系统具体实现过程与上述基于消息数据源的实时榜单实现方法的处理细节相对应。

附图说明

图1为本发明提供的基于消息数据源的实时榜单实现方法的执行框架示意图；

图2为一种改进后的基于消息数据源的实时榜单实现方法执行框架示意图；

具体实施方式

为了使本发明所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示、本发明提供的基于消息数据源的实时榜单实现方法采用远程字典服务(Redis)代替数据库来缓存榜单历史数据。远程字典服务(Redis)是一个key-value存储系统，数据存储在内存中，支持的push/pop、add/remove等丰富的数据操作，并且这些操作都是原子性的，避免了数据不一致的问题。

所述实时榜单实现方法包括以下细节/步骤：

通过后台服务完成具体榜单的配置，具体榜单的配置消息包括：榜单消息源、消息过滤脚本、单位时段、榜单周期、聚合规则以及分数计算脚本等；其中、所述榜单周期包括X个所述单位时段、X为整数。

以消息的形式从榜单消息源实时获取榜单业务数据、即从榜单消息源直接地实时获取榜单业务消息；根据为该榜单业务消息ID对应的榜单设置过滤脚本，对实时获取的榜单业务消息进行过滤、合法的业务消息继续执行，不合法的业务消息丢弃。例如、将接收到的、不属于处理榜单业务消息范围或者超过榜单周期的消息进行丢弃。

根据对应的榜单周期计算该业务消息的过期时间，根据为该榜单预先配置的聚合规则、获取redis中该榜单业务消息主键ID对应于该收到消息时间的单位时段key的中间数据与该榜单业务消息中的业务数据进行聚合，将聚合结果更新为该单位时段key在所述redis中的新中间数据；同时将所述业务消息的过期时间设置为该key值对应中间数据的过期时间以基于redis的数据过期机制、实现当该Key值对应的中间数据到期后，自动清除该key值及其对应的中间数据。其中、所述中间数据是指在单位时段内接收到的有效历史业务消息的聚合结果数据；所述过期时间＝对应于该收到消息时间的单位时段的时间终点+(X*单位时段)。例如，某榜单配置的榜单周期为2个自然月、单位时段为1个月，当前时间为2020年1月，接收到该榜单业务消息的时间为2020年1月1日，则计算出对应key值及其中间数据的过期时间为2020年3月1日00:00:00。

在所述将聚合结果更新为该单位时段key在所述redis中的新中间数据之后，随即再从所述redis中获取当前榜单周期内该主键ID在redis中的历史数据(即所有未过期的中间数据)，执行为该榜单配置的分数计算脚本重新计算该条消息主键ID对应的最新分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取。

此外、为了在某些key值及其对应的中间数据过期时及时更新对应的榜单结果，还可以在所述用于缓存榜单历史数据的redis中设置重新计算触发器。将具体榜单业务的key值及其中间数据对应的过期时间与该榜单业务消息主键ID加入到所述重新计算触发器中以实现到达该过期时间后，预设的定时轮询器向榜单发送该榜单业务消息主键ID触发重新计算该主键ID分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取。

进一步地、为了防止存在接收该榜单业务消息的时间至当前时间超过该榜单的榜单周期的情况(如配置的榜单消息源为收集代理等间接消息源，则可能存在榜单消息源收集到榜单业务消息后，长时间缓存在该榜单消息源的情况)，还可以在图1所述的方法的基础上，增加对来自榜单消息源的榜单业务消息进行过期识别的处理步骤。如图2所示、在从榜单消息源获取榜单业务消息时，基于为该帮榜单配置的榜单周期判断该榜单业务消息是否过期，若过期直接丢弃、否则根据该榜单周期计算该业务消息的过期时间。优先地、上述判断该榜单业务消息是否过期的步骤，设置在对所述榜单业务消息进行过滤之后、执行所述聚合操作之前。例如，某榜单配置的榜单周期为2个自然月、单位时段为1个月，当前时间为2020年1月，榜单消息源收到该榜单业务消息为2019年11月，则该消息已经过期，丢弃该消息；若当前时间为2020年1月，该榜单消息源收到某榜单业务消息的时间为2020年1月1日，则计算出该消息的过期时间为2020年3月1日00:00:00。

对于未过期的榜单业务消息在计算出该消息的过期时间后，根据为该榜单预先配置的聚合规则、获取redis中该榜单业务消息主键ID对应于该收到消息时间的单位时段key的中间数据与该榜单业务消息中的业务数据进行聚合，将聚合结果更新为该单位时段key在所述redis中的新中间数据，并更新该新中间数据的过期时间。如：某榜单配置的榜单周期为2个自然月、单位时段为1个月，当前时间为2020年1月，收到榜单业务消息时间为2020年1月1日，则本条业务消息的中间数据Key为202001；从Redis中取出key值为202001对应的中间数据，并根据为该榜单配置的聚合规则将本条消息的数据与该中间数据进行聚合，聚合的结果作为该Key值对应的新中间数据。对于key为202001对应的所有中间数据都将到2020年3月1日00:00:00过期，利用redis的数据过期机制、设置该Key值与其对应的中间数据到2020年3月1日00:00:00自动过期，到期后该Key值以及其对应的中间数据就自动消失/清除。

在将聚合结果更新为该单位时段key在所述redis中的新中间数据，并更新该新中间数据的过期时间后，随即将该过期时间与该榜单业务消息主键ID加入到所述重新计算触发器中以实现到达该过期时间后，预设的定时轮询器向榜单发送该榜单业务消息主键ID触发重新计算该主键ID分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取。在将该过期时间与该榜单业务消息主键ID加入到所述重新计算触发器中后，随即从所述redis中获取当前榜单周期内该主键ID在redis中的历史数据(即所有未过期的中间数据)，执行为该榜单配置的分数计算脚本重新计算该条消息主键ID对应的最新分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取。

与上述实时榜单实现方法相对应，本发明还提供一种基于消息数据源的实时榜单系统，该系统采用redis缓存榜单历史数据，包括：后台服务配置模块、中间数据聚合模块、榜单分数计算模块；

所述后台服务配置模块用于配置具体榜单的消息源、聚合规则、周期、单位时段以及分数计算脚本，其中、所述榜单周期包括X个所述单位时段、X为整数；

所述中间数据聚合模块、用于根据为该榜单预先配置的聚合规则、获取redis中该榜单业务消息主键ID对应于该收到消息时间的单位时段key的中间数据与该榜单业务消息中的业务数据进行聚合，将聚合结果更新为该单位时段key在所述redis中的新中间数据；并根据对应的榜单周期计算该业务消息的过期时间，将所述业务消息的过期时间设置为该key值对应中间数据的过期时间以实现基于redis的数据过期机制、当该Key值对应的中间数据过期，自动清除该key值及其对应的中间数据；

所述榜单分数计算模块，用于在所述中间数据聚合模块将聚合结果更新为该单位时段key在所述redis中的新中间数据之后，执行为该榜单配置的分数计算脚本重新计算该条消息主键ID对应的最新分数，并将其更新到所述redis的对应榜单中进行实时排名以供下游应用获取。其中、所述中间数据是指在单位时段内接收到的有效历史业务消息的聚合结果数据。

进一步地、为了当某些key值及其对应的中间数据过期时及时更新对应的榜单结果，还可以在所述用于缓存榜单历史数据的redis中设置重新计算触发器。将具体榜单业务的key值及其中间数据对应的过期时间与该榜单业务消息主键ID加入到所述重新计算触发器中以实现到达该过期时间后，预设的定时轮询器向榜单发送该榜单业务消息主键ID触发重新计算该主键ID分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取。上述基于消息数据源的实时榜单系统具体实现过程与上述基于消息数据源的实时榜单实现方法的处理细节相对应。

本发明提供的实时榜单实现方案将数据源消息化后，榜单消息源每次发送一条榜单业务消息，榜单组件只需要获取与当前业务消息对应主键ID对应的榜单业务数据进行处理，避免了数据库查询的全量检索、有效减轻了榜单组件处理压力。同时、由于仅需要处理当前业务消息对应主键ID对应的榜单业务数据、数据处理量下，所以榜单分数更新及时、能够解决榜单定时轮询中的周期间隔期数据不同步的问题，能够满足实时性的要求。此外、在配置时对周期粒度的规定能够将同一榜单在同一单位时间段的业务数据聚合到同一个Key中，大大降低了存放中间数据所需的Key的数量，缓解内存压力。

Claims (8)

1.一种基于消息数据源的实时榜单实现方法，其特征在于，该方法包括：从榜单消息源实时获取榜单业务消息，获取redis中该榜单业务消息主键ID在当前单位时段key对应的中间数据与该榜单业务消息对应的数据根据预先配置的聚合规则进行聚合，并将聚合结果更新为该单位时段key在所述redis中的新中间数据；同时将所述业务消息的过期时间设置为该key值对应中间数据的过期时间以实现基于redis的数据过期机制、当该Key值对应的中间数据到期后，自动清除该key值及其对应的中间数据；在更新该key值对应的中间数据后、获取当前榜单周期内该主键ID在redis中的所有中间数据，基于该榜单预设的分数计算脚本重新计算该条消息主键ID对应的最新分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取；其中、所述榜单消息源、单位时段、榜单周期、聚合规则以及分数计算脚本由后台服务完成对具体榜单配置时进行指定，所述榜单周期包括X个所述单位时段、X为整数；所述中间数据是指在单位时段内接收到的有效历史业务消息的聚合结果数据。

2.如权利要求1所述的方法，其特征在于，该方法还包括，在所述redis中设置重新计算触发器；在所述将聚合结果更新为该key在所述redis中的新中间数据时，还根据该榜单业务消息对应的榜单周期计算所述当前单位时段key对应的新中间数据过期时间，将该过期时间与该榜单业务消息主键ID加入到所述重新计算触发器中以实现到达该过期时间时触发重新计算该主键ID分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取；其中、所述过期时间＝对应于该收到消息时间的单位时段的时间终点+(X*单位时段)。

3.如权利要求2中所述的方法，其特征在于，所述后台服务完成对所述具体榜单配置时还为其配置有消息过滤脚本；在对所述榜单业务消息对应的数据执行所述聚合操作之前执行所述消息过滤脚本，对所述榜单业务消息进行过滤，丢弃不合法的榜单业务消息。

4.如权利要求1-3中任一项所述的方法，其特征在于，在对所述榜单业务消息进行过滤之后、执行所述聚合操作之前，还基于为该帮榜单配置的榜单周期判断该榜单业务消息是否过期，若过期直接丢弃、否则根据该榜单周期计算该业务消息的过期时间。

5.一种基于消息数据源的实时榜单系统，其特征在于，该系统采用redis缓存榜单历史数据，包括：后台服务配置模块、中间数据聚合模块、榜单分数计算模块；

所述后台服务配置模块用于配置具体榜单的消息源、聚合规则、周期、单位时段以及分数计算脚本，其中、所述榜单周期包括X个所述单位时段、X为整数；

所述中间数据聚合模块、用于根据为该榜单预先配置的聚合规则、获取redis中该榜单业务消息主键ID对应于该收到消息时间的单位时段key的中间数据与该榜单业务消息中的业务数据进行聚合，将聚合结果更新为该单位时段key在所述redis中的新中间数据；并根据对应的榜单周期计算该业务消息的过期时间，将所述业务消息的过期时间设置为该key值对应中间数据的过期时间以基于redis的数据过期机制、实现当该Key值对应的中间数据过期后自动清除该key值及其对应的中间数据；其中、所述中间数据是指在单位时段内接收到的有效历史业务消息的聚合结果数据；

所述榜单分数计算模块，用于在所述中间数据聚合模块将聚合结果更新为该单位时段key在所述redis中的新中间数据之后，执行为该榜单配置的分数计算脚本重新计算该条消息主键ID对应的最新分数，并将其更新到所述redis的对应榜单中进行实时排名以供下游应用获取。

6.如权利要求5所述的实时榜单系统，其特征在于，该系统的所述redis中还设置有重新计算触发器；在该系统将聚合结果更新为该key在所述redis中的新中间数据时，还根据该榜单业务消息对应的榜单周期计算所述当前单位时段key对应的新中间数据过期时间，将该过期时间与该榜单业务消息主键ID加入到所述重新计算触发器中以实现到达该过期时间时触发重新计算该主键ID分数并更新到所述redis的对应榜单中进行实时排名以供下游应用获取；其中、所述过期时间＝对应于该收到消息时间的单位时段的时间终点+(X*单位时段)。

7.如权利要求6所述的实时榜单系统，其特征在于，所述后台服务配置模块完成对所述具体榜单配置时还可以为其配置消息过滤脚本，用于该系统在对所述榜单业务消息对应的数据执行所述聚合操作之前执行所述消息过滤脚本，对所述榜单业务消息进行过滤，丢弃不合法的榜单业务消息。

8.如权利要求5-7中任一项所述实时榜单系统，其特征在于，在对所述榜单业务消息进行过滤之后、执行所述聚合操作之前，所述实时榜单系统还基于为该帮榜单配置的榜单周期判断该榜单业务消息是否过期，若过期直接丢弃、否则根据该榜单周期计算该业务消息的过期时间。

Images