CN115469923B - 一种通用的排行榜配置方法和装置 - Google Patents

Abstract

本发明公开了一种通用的排行榜配置方法。该方法包括以下步骤：创建活动；配置榜单属性，包括配置数据过滤条件和过滤接口，配置完成后实时数据获取、并存入有序集合，排名更新模块，定时读取有序集合数据，并拉取维度详细资料，提取显示字段，生成排名数据快照，用户访问时，返回排名快照数据。本发明采用通用的方法即可完成各种不同规则的复杂榜单，效率高且有效减少单独开发的成本。本发明还公开了一种通用的排行榜配置装置。

Description

一种通用的排行榜配置方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及一种通用的排行榜配置方法和装置。

背景技术

随着互联网技术的不断发展，互联网app越来越多，为了增加用户的趣味性提高用户黏性，运营通常会通过一些活动，来增加可玩性，排行榜就是其中的一种，排行榜通过用户在app里面的行为或动作，通过这些行为或动作以及对应的规则得到对应的得分数值，通过对数值的进行高度排序形成排行榜。在运营中，运营人员时常会举行排行榜活动用来促进用户活跃性，同时会对上榜人员给予一定的奖励，当类似的活动越来越多时，常规的开发手段远远不能满足运营的需求，目前排行榜技术的解决办法有：业务开发人员将用户的行为或动作按运营要求的规则，生成对应的积分，转换成对应的数值，对数值进行累加计算存储，并开发对应的榜单接口，进行针对性的开发。这样每次都得单独开发，每次设定规则不一样，处理的数据源不一样，对应开发编码也不一样。上述现有技术存在以下缺点：1）每次活动启动需要运营、产品、业务服务端、活动研发、测试等多个角色参与，存在周期长，上线慢，牵一发而动全身，研发疲于定制开发；2）不同的活动需要的统计数据不同，没有标准的协议导致研发为满足各种运营诉求不断插入各种代码事件投递等，增加了研发成本，降低项目代码可维护性；3）运营无法全局掌控整个活动的生命周期，在活动进行中活动信息需要变更时，得周知产品，研发调整代码，然后测试验证上线；4）配套的能力有限，没有通用的协议，每次为了单次活动单独开发，其他模块需要获取数据支持时又需要单独开发适配，遇到问题时无法快速排查定位。

因此，需要一种通用的排行榜配置方法来解决上述问题。

发明内容

为了克服现有技术的不足，本发明提出一种通用的排行榜配置方法和装置，解决现有技术中每次都需要单独开发，开发又得进行需求评估，定义数据协议，榜单统计规则，沟通结束后进行开发、联调、测试、上线，如此循环往复造成的开发成本较高的问题。

本发明为实现上述目的，所采用的技术方案之一是：一种通用的排行榜配置方法，包括以下步骤：创建活动；配置榜单属性，包括配置数据过滤条件和过滤接口，配置完成后实时数据获取、并存入有序集合，排名更新模块，定时读取有序集合数据，并拉取维度详细资料，并提取显示字段，生成排名数据快照，用户访问时，返回排名快照数据。

进一步的，通过Kafka实现实时数据获取、传输，接收数据，根据自定义字段条件、条件运算符及条件规则进行数据过滤，得到符合条件的数据，进入自定义组件模块（若有），然后提取配置的维度字段和数据字段，将符合条件的通过zset集合进行存储，然后拉取维度资料连同排名数据一起快照保存。

进一步的，其中数据过滤具体为：若存在过滤接口配置，则将上下文数据传入到业务方接口以获取到过滤依赖的数据字段，将获取到的数据和上下文数据合并，若没有，则使用上下文数据，根据配置的过滤条件进行匹配。

进一步的，所述匹配具体为：1）获取过滤条件以及字段，使用字段提取获取到字段值，2）获取到逻辑运算符，3）匹配数据是否满足条件，4）若满足条件，逻辑运算符是and，重复步骤1），逻辑运算符是or则条件成立，结束判断，5）若不满足，逻辑运算符是 and则条件不成立，结束判断，若逻辑运算符是or重复步骤1）。

进一步的，所述字段提取具体为：支持多维数据获取，如：data_value.online_time，此数据深度为2级，需要对数据对象进行递归获取，递归具体是：1）将要提取的字段名用点（.）进行分割得到1个数组；2）对该数组进行遍历；3）得到数组值（即：字段名），判断该字段名是否在数据map的key中，若存在，即value= map[字段名]；4）判断value是否是单数据类型（非数组类型，没有下一级结构），若是数组，则重复步骤2），若已到了末尾，直接则返回；5）持续 步骤3）-4），得出最终的结果值。

本发明为实现上述目的，所采用的技术方案之二是：一种通用的排行榜配置装置，该装置包括活动创建模块、榜单配置模块、数据获取模块和排名更新模块，其中，

所述活动创建模块用于对活动的创建、所属业务、活动开始时间和结束时间等一些活动基本属性的配置，整个数据流程也存活于活动的生命周期；

所述榜单配置模块用于配置榜单基础属性；

所述数据获取模块，监听到对应数据后对数据进行提取和清洗，并进行计算和存储；

所述排名更新模块，对数据获取模块保存到有序集合的数据进行清算和快照保存，快照将在用户访问时直接返回。

进一步的，所述榜单基础属性包括统计类型、榜单类型、数据统计字段、过滤条件、排行榜数量、换算比例、维度资料接口和资料显示字段。

进一步的，该装置还包括事件投递模块，主要用于活动数据与业务方的对接，让业务方知晓整个活动及榜单数据的变化情况。

进一步的，该装置还包括自定义组件加载模块，在榜单配置时的可选配置项，该项支持组件上传，组件需按特定的标准进行开发，用于在通用榜单配置不满足的情况下对定制业务场景的支持，用于嵌入自定义逻辑以满足定制化需求。

本发明的有益效果是：

本发明通过可灵活配置的榜单配置方法，可自定义榜单类型和榜单多重组合，自定义过滤条件、数据字段提取以及可配置的榜单展示辅助信息获取，以及定制组件加载等，在应用上覆盖了单个规则榜单，多个规则组合榜单，可自定义规则榜单等，大大加快了排行榜活动的上线周期。其中，在业务逻辑上，业务只需要生成对应的基础数据，再通过本方法的配置能力即可完成各种不同规则的复杂榜单，而业务不需要关心榜单内部的处理流程。

附图说明

图1为本发明方法的流程图。

图2为本发明方法中数据获取、过滤的流程图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

参见图1、图2，本发明的一种通用的排行榜配置方法，包括以下步骤:创建活动；配置榜单属性、榜单数量以及统计周期；填写对应的过滤接口和过滤条件；配置完成后对应的脚本服务启动；通过Kafka实现实时数据获取、传输，接收数据，提取出配置的条件字段值，调用接口得到过滤依赖数据；对数据进行过滤，将符合条件的通过zset集合进行存储；排名更新模块：拉取维度资料详情（如：直播间名字，封面等）连同排名数据一起缓存；用户访问时接口读取前述步骤的缓存数据返回给用户端。

本实施例的数据过滤步骤具体为：判断是否有过滤配置接口以获取补充数据，如有则拉取过滤数据，与上下文数据合并，进行提取和条件判断，判断成功则进行数据统计，否则数据丢弃；若没有，则使用上下文数据，根据配置的过滤条件进行匹配，匹配逻辑是：1）获取过滤条件以及字段，使用字段提取获取到字段值，2）获取到逻辑运算符，3）匹配数据是否满足条件，4）若满足条件，逻辑运算符是and（且），重复步骤1，逻辑运算符是or（或）则条件成立，结束判断，5）若不满足，逻辑运算符是 and（且）则条件不成立，结束判断，若逻辑运算符是or（或）重复步骤1。

本实施例的判断逻辑有：包含，排除，大于或小于某些特定的值，条件通过后台配置，并可设置单个字段或多个字段，条件中支持逻辑运算符，符合配置的的条件时则统计，反之不统计，其中数据过滤条件可配置规则有：指定字段>目标值，指定字段<目标值，指定字段=目标值，指定字段存在于某些值内，指定字段不存在与某些值类。

本发明为实现上述目的，所采用的技术方案之二是：一种通用的排行榜配置装置，包括活动创建模块、榜单配置模块、数据获取模块、自定义组件加载模块、榜单事件投递模块、榜单排名更新模块，

本实施例的活动创建模块用于对活动的创建、所属业务、活动开始时间和结束时间等一些基本属性的配置，整个数据流程也存活于活动的生命周期；

本实施例的榜单配置模块用于配置榜单基础属性，基础属性包括榜单排名数量、统计周期、配置数据过滤条件和过滤接口等，通过后台可配置，

其中：统计周期有：总榜，日榜，月榜，周榜等，总榜指的是活动整个生命周期所统计到的总计，日榜，月榜，周榜则分别是按日，月，周进行相关数据的统计，

其中榜单类型可分为普通榜单和组合榜单，普通榜单则是按单种数据类型进行数据统计，以统计到的数值为准，而组合榜单则可以选择多种数据类型，如：送礼数据和在线时长想结合，通过设置每种数据类型的权重，将对应的数值*对应数值的权重，得到组合榜单的数值。组合榜单主要解决运营需要将多个规则融合统计时，在基础数据不变的情况下，通过组合榜单配置每个规则的权重，最后将多个数据进行汇总*权重，从而形成一个榜单，组合榜单大幅提高了榜单配置的应用性，能够在不需要业务服务进行任何修改的情况下任意组合规则和数据，最终将数据汇集形成排行榜。

配置数据字段和统计维度字段，数据统计字段和统计维度字段设置有：可指定任意统计字段和维度，如统计字段包括但不限于有：online.time 在线时长，live.audience直播间观看人数等等，该统计字段可由业务方自定义任意扩展，字段通过标准数据协议投递过来，并在后台进行配置，配置后系统通过数据获取模块和自定义字段获取方法将数值进行提取，然后以此字段作为数据统计字段。统计维度有包括但不限于有：按 （用户id）uid，(房间ID) live_id 等等，统计维度字段也是由业务方投递可任意扩展，只要将字段列入data中即可，如协议示例：

{

"event":"rank.data",//事件名：榜单数据

"app_name":"xxx", //应用名称,

"event_time":123, //事件时间戳

"data":{

"uid":1234567,//用户 uid （统计维度uid）

"live_id":"", //直播 id

"object_id":"123",//对象 id,如:礼物id

"target_uid":456,//目标 uid,如送礼数据， a送给b,这里传 b

"data_value":{"live.profit":1,"live.duration":10}, //数据值键值对，键可选：live.profit 收益数据，live.duration 直播时长数据，live.audience观众人数gift.1收礼数量，gift.2收礼价值，gift.3送礼数量，gift.4送礼价值，

"ext":"", //可选扩展字段

}

}

配置后，配置后系统通过自定义字段获取方法将数值进行提取，然后以此字段作为数据统计字段/维度字段。

过滤类型配置有：可指定data数据任意字段的任意范围值及条件，可选包含或排除关系或大于少于等，若包含则表示只统计在此配置的值内，排除则只统计不在此配置的值内。条件可配置多个字段，多个值，配置后通过自定义字段获取进行字段数据提取，通过数据过滤方法进行逻辑判断。此配置还可自定义配置业务接口以获取补充数据，获取到补充数据后，与上下文数据合并，统一通过自定义字段获取方法进行提取，数据过滤方法进行条件判定，判定成功则进行数据统计，否则数据丢弃。

本实施例的数据获取模块，通过上述配置进行对应的数据获取和清洗，将数据进行计算存储；数据获取后，对数据进行josn_decode解码，得到一个数组map，若存在接口配置，此时将map对象进行包装传入到业务方接口并获取到补充信息，将数据map与补充信息进行合并得到一个综合数据map。将综合数据map及配置的字段名传入到自定义字段获取方法里进行数据提取，和数据过滤方法进行条件判定。

本实施例的过滤具体为：1）获取过滤条件以及字段，使用字段提取获取到字段值，2）获取到逻辑运算符，3）匹配数据是否满足条件，4）若满足条件，逻辑运算符是and，重复步骤1），逻辑运算符是or则条件成立，结束判断，5）若不满足，逻辑运算符是 and则条件不成立，结束判断，若逻辑运算符是or重复步骤1）。

本实施例的字段提取具体为：支持多维数据获取，如：data_value.online_time，此数据深度为2级，需要对数据对象进行递归获取，递归具体是：1）将要提取的字段名用点（.）进行分割得到1个数组；2）对该数组进行遍历；3）得到数组值（即：字段名），判断该字段名是否在数据map的key中，若存在，即value= map[字段名]；4）判断value是否是单数据类型（非数组类型，没有下一级结构），若是数组，则重复步骤2），若已到了末尾，直接则返回；5）持续 步骤3）-4），得出最终的结果值。

自定义条件支持字符串、多维数组、数字等，判断逻辑有：包含，排除，大于或小于某些特定的值，条件通过后台配置，并可设置单个字段或多个字段，条件中支持逻辑运算符，如 and、or等。符合配置的的条件时则统计，反之不统计。其中数据过滤条件可配置规则有：指定字段>目标值，指定字段<目标值，指定字段=目标值，指定字段存在于某些值内，指定字段不存在与某些值类。

如：只统计女性用户的在线时长，此时，标准数据协议的内容大致为：{"uid":1234567, "live_id":"", "object_id":"123", "target_uid":456, "data_value":{"online.time":10 }, "ext":""}，在以上数据中，因为业务方是通用投递，同时可能存在于统计全部用户在线时长的其他活动，在实际业务场景中，研发不能为了单个活动的活动规则，而进行单独的协议投递或更改，不然会影响其他活动的数据。

因此要实现只统计女性用户，在本方法中可以在过滤配置上进行条件条件配置，配置好补充信息接口（如：用户性别获取接口），本模块会当前数据上下文传递到业务方接口，业务方接口返回对应的补充信息，如：大致内容是：{"uid":1234567, "gender":"1", "nick":"测试昵称", "channe":{"id":"123","name":"name"}"channel_id":456, "guild_id":123,}，一般来说业务接口不会为了单个功能而实现，一般都会冗余实现，因此在众多字段中，每次活动可能判断的字段都不太一样，例如：活动1可能是只统计女性，活动2可能统计的是某个频道的用户，活动3统计的是仅限于某个工会的，因此在不同需求中，需要的字段和条件均不相同，若每次根据对应的需求开发，就会导致研发成本大幅提高。 因此在本方法中，通过后台过滤配置即可实现。如配置：{“gender”:2} 即可只获取女性的数据，配置：{“channe.id”:1}，即以channe.id=1的数据进行数据过滤，满足条件则进行数据统计，不满足条件的数据进行忽略。

数据过滤通过后，系统将提取配置的维度字段值作为有序集合中的member，提取配置的数据字段值作为score字段，进行存储累加，若此榜单存在配置的组合榜单，则将数值乘以对应配置权重同步更新至组合榜单。

本实施例的定制化组件加载模块在以上正常情况下，能兼容处理大部分业务，在特殊场景中还有需要额外定制时，即可使用次模块。

此模块在数据处理流程上预留了：榜单统计开始事件，结束统计事件，更新事件，数据获取事件等等勾子，在对应事件触发时，会优先查找是否存在对应业务的组件类，如：正常逻辑使用 ActivityRankData 进行处理，ActivityRankData 处理时会先检查该活动配置是否存在自定义上传组件，若存在，则由自定义组件进行处理，否则尝试加载ActivityRankData_{业务标识} 的组件，若加载成功即由ActivityRankData_{业务标识}组件进行逻辑处理，逻辑处理完成后返回到上层调用方，以完成定制化逻辑。

本实施例的榜单排名更新模块在数据获取步骤中将积分数据统一写入到有序集合后，更新模块通过积分排序，读取配置中配置的排行榜个数，根据配置的个数读取多余配置个数的30%，用于数据冗余，因为排行数据中可能存在积分相同的用户，然后需根据先来后到进行二次筛选，即：先达到此积分的用户进行排序上移，排序完成后，最后截取指定排名数量的数据，得到最终排名数据。

拿到最终排名数据后，当前数据只有对象id 和积分，如：有序集合里只有 member和score，假设统计维度为用户（即只保存了uid）,但通常业务输出时需要连同用户的封面和名称等资料一起输出，因此此时需要通过维度资料接口（可配置）拉取对应的资料，以及提取接口返回后的数据（资料内容的显示字段配置），随后将提取到的显示字段+积分数据一起存入快照，避免了在c端用户访问时再拉取资料，有效增强了系统的稳定性。此模块排名更新频率应设置为5-10秒，这样即可保证用户高性能访问，又能保障排名的正常更新。

本实施例的榜单事件投递模块主要有：榜单数据更新事件，排名更新事件，榜单结束事件。榜单更新事件主要是当用户榜单数据产生一定的变化时，对数据进行投递，主要为了解决当榜单数据更新时，对用户进行一定的提醒。如：某个用户的排名上升，榜单积分变更，活动结束时的最终排名等。事件模块将此类数据通过异步消息传递，业务可自由订阅事件，以进行额外的逻辑处理，以完成整个流程的闭环。

本发明通过通用的配置方法，可完成各种不同规则，不同条件的复杂榜单，方法简单可靠，有效减少了单独开发的成本。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种通用的排行榜配置方法，其特征在于，该方法包括以下步骤：创建活动；

配置榜单属性，包括配置数据过滤条件和过滤接口；配置完成后实时数据获取；

存入有序集合，排名更新模块，定时读取有序集合数据，并拉取维度详细资料，提取显示字段；生成排名数据快照；用户访问时返回排名快照数据，所述实时数据获取通过Kafka实现实时数据获取、传输，接收数据，根据条件、判断逻辑及逻辑运算符进行数据过滤，得到符合条件的数据，若上传自定义组件，则进入自定义组件模块执行自定义组件逻辑，然后提取配置的维度字段和数据字段，将符合条件的通过zset集合进行存储，最后拉取维度详细资料连同排名数据一起快照保存；其中，

所述维度详细资料包括直播间名字、封面；

所述数据字段包括但不限于在线时长、直播间观看人数，所述维度字段包括但不限于按用户ID、房间ID，数据字段和维度字段均由业务方投递并任意扩展，字段通过标准数据协议投入data中即可，数据字段、维度字段在后台进行配置，配置后系统通过数据获取模块和自定义字段获取方法将数值进行提取作为数据字段或维度字段；

所述判断逻辑包括包含、排除、大于或小于某些特定的值，所述条件通过后台配置，并可设置单个字段或多个字段，条件中支持逻辑运算符，符合配置的条件时则统计，反之不统计，所述逻辑运算符有and与or，配置and说明得多个字段条件都符合，才通过验证，配置or说明是单个字段符合条件即可；

所述自定义组件模块在数据处理流程上预留了榜单统计开始事件、结束统计事件、更新事件、数据获取事件，在对应事件触发时，会优先查找是否存在对应业务的组件类，包括正常逻辑使用 ActivityRankData 进行处理，ActivityRankData 处理时会先检查该活动配置是否存在自定义上传组件，若存在，则由自定义组件进行处理，否则尝试加载ActivityRankData_{业务标识} 的组件，若加载成功即由ActivityRankData_{业务标识}组件进行逻辑处理，逻辑处理完成后返回到上层调用方，以完成定制化逻辑；

过滤接口配置用于业务方接口返回对应的补充信息，若存在过滤接口配置，则将上下文数据传入到业务方接口以获取到过滤依赖的数据字段，将获取到的数据和上下文数据合并，若没有，则使用上下文数据，根据配置的过滤条件进行匹配。

2.根据权利要求1所述的通用的排行榜配置方法，其特征在于，根据配置的过滤条件进行匹配具体为：1）获取过滤条件以及字段，使用字段提取获取到字段值，2）获取到逻辑运算符，3）匹配数据是否满足条件，4）若满足条件，逻辑运算符是and，重复步骤1），逻辑运算符是or则条件成立，结束判断，5）若不满足，逻辑运算符是 and则条件不成立，结束判断，若逻辑运算符是or重复步骤1）。

3.根据权利要求2所述的通用的排行榜配置方法，其特征在于，字段提取具体为：步骤1），将要获取的字段名用.进行分割得到一个数组；步骤2），对该数组进行遍历；步骤3），得到数组字段值，判断字段值是否在数据map中，若存在，即value= map[字段名]；步骤4），判断字段值是否是单数据类型，若是字段值已经到了末尾，则返回，若不是，则继续；步骤5），持续步骤3）-步骤4），得出最终的结果值。

4.一种通用的排行榜配置装置，为实现如权利要求1-3任一方法而设置，其特征在于，包括活动创建模块、榜单配置模块、数据获取模块以及排名更新模块，其中：

所述活动创建模块用于对活动的创建，以及所属业务、活动基本属性的配置；

所述榜单配置模块用于配置榜单基础属性，所述榜单基础属性包括统计类型、榜单类型、数据统计字段、过滤条件、排行榜数量、换算比例、维度资料接口和资料显示字段；

所述数据获取模块，通过Kafka实现实时数据获取、传输，接收数据，根据条件、判断逻辑及逻辑运算符进行数据过滤，得到符合条件的数据，将数据进行计算存储；

该装置还包括自定义组件模块，所述自定义组件模块用于嵌入自定义逻辑以满足定制化需求；

所述排名更新模块，对数据获取模块保存到有序集合的数据进行清算和快照保存，快照将在用户访问时直接返回。

5.根据权利要求4所述的通用的排行榜配置装置，其特征在于，该装置还包括事件投递模块，用于活动数据与业务方的对接。

Images