CN115271820A - 一种基于Elasticsearch的圈选大数据人群方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了一种基于Elasticsearch的圈选大数据人群方法、装置及电子设备。该方法包括：S1、配置用户的元数据标签逻辑表达式；S2、基于所述元数据标签逻辑表达式，生成圈选规则表达式；S3、解析所述圈选规则表达式，生成所述圈选规则表达式的子表达式；S4、基于Elasticsearch查询所述子表达式，并缓存所述子表达式对应的查询结果集合；S5、基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，生成所需的大数据人群集合。采用本发明能够利用Elasticsearch存储技术，可以实时的，动态的生成指定的用户特征人群，方便运营人员对用户人群进行细化分析以及进行相关的触客营销，而且还支持营销策略规则的动态调整。

Description

一种基于Elasticsearch的圈选大数据人群方法、装置及电子 设备

技术领域

本发明涉及大数据人群特征画像相关的技术领域，尤其涉及一种基于Elasticsearch的圈选大数据人群方法、装置及电子设备。

背景技术

随着大数据时代的到来，市面上面存在一些基于用户的行为数据标签，在如今大数据行业的发展下，合法收集用户的属性、行为等数据，根据业务逻辑为用户打上标签，以实现营销活动的千人千面，是精细化运营必不可少的必备步骤。依托多个平台的大数据采集，以及大数据技术的分析与预测能力，能够使营销活动更加精准有效地投放。但目前对于用户标签的聚合处理缺乏一种灵活的、动态的将多个标签按照一定的逻辑关系进行组合圈选的方案。

发明内容

为解决现有状况的不足，本申请针对以上背景技术的缺陷，本发明提出了一种基于Elasticsearch的圈选大数据人群方法、装置及电子设备。本申请第一方面涉及一种基于Elasticsearch的圈选大数据人群方法，其特征在于，包括：

S1、配置用户的元数据标签逻辑表达式；

S2、基于所述元数据标签逻辑表达式，生成圈选规则表达式；

S3、解析所述圈选规则表达式，生成所述圈选规则表达式的子表达式；

S4、基于Elasticsearch查询所述子表达式，并缓存所述子表达式对应的查询结果集合；

S5、基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，生成所需的大数据人群集合。

优选地，所述元数据标签包括年龄、用户持仓金额、权益交易次数和用户历史黄金交易次数。

优选地，所述步骤S1包括：

S11、对所述元数据标签进行筛选条件限制，生成第一元数据标签；

S12、对第一元数据标签进行逻辑运算处理，生成元数据标签逻辑表达式。

优选地，所述逻辑运算包括与、或、非和优先级。

优选地，所述步骤S2包括：

S21、预配置元数据标签逻辑表达式与圈选规则的关系；

S22、获取所述元数据标签逻辑表达式，基于所述元数据标签表达式与圈选规则的关系生成圈选规则表达式。

优选地，所述步骤S2还包括：

动态更新元数据标签逻辑表达式与圈选规则的关系。

优选地，所述圈选规则表达式包含各元数据标签间的逻辑关系、对应的数值及Elasticsearch数据查询表达式。

本申请第二方面提出了一种基于Elasticsearch的圈选大数据人群的装置，其特征在于，包括：

配置模块，配置用户的元数据标签逻辑表达式；

圈选规则生成模块，用于基于所述元数据标签逻辑表达式，生成圈选规则表达式；

解析模块，用于解析所述圈选规则表达式，生成所述圈选规则表达式的子表达式；

查询缓存模块，用于基于Elasticsearch查询所述子表达式，并缓存所述子表达式对应的查询结果集合；

集合运算模块，用于基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，生成所需的大数据人群集合。

本申请第三方面提出了一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储圈选规则表达式；

所述处理器，用于通过调用所述圈选规则表达式，执行上述基于Elasticsearch的圈选大数据人群的方法。

本申请第四方面提出了一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于Elasticsearch的圈选大数据人群的方法。

本发明的有益效果为：本申请基于Elasticsearch能够在运营输入所需的元数据标签逻辑表达式后对所需的特征人群进行分布式查询各个所需特征的人群，并给予各个集合之间的关系筛选出所需的大数据人群，本发明可以实时的、动态的生成指定的用户特征人群，方便运营人员对用户人群进行细化分析以及进行相关的触客营销，而且还支持营销策略规则的动态调整。

附图说明

图1为本发明的基于Elasticsearch的圈选大数据人群方法的流程示意图。

图2为本发明的基于Elasticsearch的圈选大数据人群系统的结构框图。

具体实施方式

为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。

但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。本发明是已有专利技术的改进，所以对于本申请未描述的部分以现有技术来实现。

图1为本发明的基于Elasticsearch的圈选大数据人群方法的流程示意图。，其特征在于，包括：

S1、配置用户的元数据标签逻辑表达式；

优选地，所述元数据标签包括年龄、用户持仓金额、权益交易次数和用户历史黄金交易次数。

优选地，所述步骤S1包括：

S11、对所述元数据标签进行筛选条件限制，生成第一元数据标签；

S12、对第一元数据标签进行逻辑运算处理，生成元数据标签逻辑表达式。

优选地，所述逻辑运算包括与、或、非和优先级。

具体的，大数据人员根据用户的基本特征，制定元数据标签，例如年龄、用户持仓金额、用户交易黄金次数的元数据标签。运营人员则登录系统同步元数据标签，运营人员之后根据实际的业务需求，对元数据标签进行条件限制，例如，限制用户持仓金额超过100万，用户黄金交易次数超过10次，生成第一数据标签，之后运营人员根据需要，对生成的第一元数据标签进行逻辑运算处理，所述逻辑运算包括与、或、非和优先级，例如，求和，即同时满足用户持仓金额超过100万和用户黄金交易次数超过10次，生成元数据标签逻辑表达式，与之类似的还有，优先级逻辑运算，即优先满足所设条件的集合，其他的逻辑运算根据运营人员的设置，生成元数据标签逻辑表达式。

S2、基于所述元数据标签逻辑表达式，生成圈选规则表达式；

优选地，所述步骤S2包括：

S21、预配置元数据标签逻辑表达式与圈选规则的关系；

S22、获取所述元数据标签逻辑表达式，基于所述元数据标签表达式与圈选规则的关系生成圈选规则表达式。

优选地，所述步骤S2还包括：

动态更新元数据标签逻辑表达式与圈选规则的关系。

优选地，所述圈选规则表达式包含各元数据标签间的逻辑关系、对应的数值及Elasticsearch数据查询表达式。

具体的，由于预设了元数据标签逻辑表达式与圈选规则的关系，所以在获取了运营人员设置的元数据标签逻辑表达式后，基于所述元数据标签逻辑表达式与圈选规则的关系，生成圈选规则表达式，所述圈选规则表达式包含各元数据标签间的逻辑关系、对应的数值及Elasticsearch数据查询表达式。优选的，所述元数据标签逻辑表达式与圈选规则的关系可以存储在数据表中或者以其他形式进行存储，本申请不限于上述的元数据标签逻辑表达式与圈选规则的关系存储方式，也可以构建元数据标签逻辑表达式与圈选规则的关系映射；或者进行函数映射的方式定义元数据标签逻辑表达式与圈选规则的关系。最后，配置好查询所需的数据源及数据缓存模块。

S3、解析所述圈选规则表达式，生成所述圈选规则表达式的子表达式；

S4、基于Elasticsearch查询所述子表达式，并缓存所述子表达式对应的查询结果集合；

具体的，营销活动执行的时候，动态解析圈选规则表达式，针对圈选规则表达式的每个子表达式，动态的查询Elasticsearch，由于Elasticsearch可以进行分布式的实时文件存储、实时分析分布式搜索，所以在收到圈选规则表达式后进行判断是否进行跨索引，而在营销活动中往往是跨索引的，所以在跨索引的情况下，基于所述圈选规则表达式，动态解析生成所述圈选规则表达式的子表达式，即将所述圈选规则表达式进行分布查询拆分，基于Elasticsearch查询所述子表达式，如对用户持仓金额、权益交易次数的筛选条件进行分布式查询，而进行的查询是基于Elasticsearch数据查询表达式，与运营设置的元数据标签逻辑表达式并不相同；如果所述圈选规则表达式不需要跨索引，则在单索引的情况下进行查询，之后缓存所述子表达式对应的查询结果集合。另外，在查询过程中由于涉及查询表达式在Elasticsearch的转换，由于预先进行了设置，所以在收到查询语句时候即可进行Elasticsearch数据查询，并将所述子表达式对应的查询结果集合临时缓存到redis中。

S5、基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，生成所需的大数据人群集合。

因为查询结果集合均临时存储在redis中，所以为了提高计算的性能，可以利用多线程技术，将多个子表达式的查询结果集合，按照合并下游树的逻辑，聚合成最终的圈选结果集，即所需的大数据人群集合。在这个过程中，由于运营人员在元数据标签逻辑表达式生成过程中预设了查询集合的逻辑运算关系，所以在获得所述子表达式对应的查询结果集合后，基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，例如对分布式查询中的用户持仓金额超过100万的子表达式对应的查询结果集合与用户黄金交易次数超过10次的查询结果集合进行逻辑运算，所述逻辑运算包括与、或、非和优先级，之后生成运营人员所需的特征人群。运营人员可以基于所需的特征人群进行特征分析或则定向营销。

本申请第二方面提出了一种基于Elasticsearch的圈选大数据人群的装置，其特征在于，包括：

配置模块，配置用户的元数据标签逻辑表达式；

优选地，所述元数据标签包括年龄、用户持仓金额、权益交易次数和用户历史黄金交易次数。

优选地，所述配置用户的元数据标签逻辑表达式包括：

S101、对所述元数据标签进行筛选条件限制，生成第一元数据标签；

S102、对第一元数据标签进行逻辑运算处理，生成元数据标签逻辑表达式。

优选地，所述逻辑运算包括与、或、非和优先级。

具体的，大数据人员根据用户的基本特征，制定元数据标签，例如年龄、用户持仓金额、用户交易黄金次数的元数据标签。运营人员则登录系统同步元数据标签，运营人员之后根据实际的业务需求，对元数据标签进行条件限制，例如，限制用户持仓金额超过100万，用户黄金交易次数超过10次，生成第一数据标签，之后运营人员根据需要，对生成的第一元数据标签进行逻辑运算处理，所述逻辑运算包括与、或、非和优先级，例如，求和，即同时满足用户持仓金额超过100万和用户黄金交易次数超过10次，生成元数据标签逻辑表达式，与之类似的还有，优先级逻辑运算，即优先满足所设条件的集合，其他的逻辑运算根据运营人员的设置，生成元数据标签逻辑表达式。

圈选规则生成模块，用于基于所述元数据标签逻辑表达式，生成圈选规则表达式；

优选地，所述生成圈选规则表达式包括：

S201、预配置元数据标签逻辑表达式与圈选规则的关系；

S202、获取所述元数据标签逻辑表达式，基于所述元数据标签表达式与圈选规则的关系生成圈选规则表达式。

优选地，所述生成圈选规则表达式还包括：

动态更新元数据标签逻辑表达式与圈选规则的关系。

优选地，所述圈选规则表达式包含各元数据标签间的逻辑关系、对应的数值及Elasticsearch数据查询表达式。

具体的，由于预设了元数据标签逻辑表达式与圈选规则的关系，所以在获取了运营人员设置的元数据标签逻辑表达式后，基于所述元数据标签逻辑表达式与圈选规则的关系，生成圈选规则表达式，所述圈选规则表达式包含各元数据标签间的逻辑关系、对应的数值及Elasticsearch数据查询表达式。优选的，所述元数据标签逻辑表达式与圈选规则的关系可以存储在数据表中或者以其他形式进行存储，本申请不限于上述的元数据标签逻辑表达式与圈选规则的关系存储方式，也可以构建元数据标签逻辑表达式与圈选规则的关系映射；或者进行函数映射的方式定义元数据标签逻辑表达式与圈选规则的关系。最后，配置好查询所需的数据源及数据缓存模块。

解析模块，用于解析所述圈选规则表达式，生成所述圈选规则表达式的子表达式；

查询缓存模块，用于基于Elasticsearch查询所述子表达式，并缓存所述子表达式对应的查询结果集合；

具体的，营销活动执行的时候，动态解析圈选规则表达式，针对圈选规则表达式的每个子表达式，动态的查询Elasticsearch，由于Elasticsearch可以进行分布式的实时文件存储、实时分析分布式搜索，所以在收到圈选规则表达式后进行判断是否进行跨索引，而在营销活动中往往是跨索引的，所以在跨索引的情况下，基于所述圈选规则表达式，动态解析生成所述圈选规则表达式的子表达式，即将所述圈选规则表达式进行分布查询拆分，基于Elasticsearch查询所述子表达式，如对用户持仓金额、权益交易次数的筛选条件进行分布式查询，而进行的查询是基于Elasticsearch数据查询表达式，与运营设置的元数据标签逻辑表达式并不相同；如果所述圈选规则表达式不需要跨索引，则在单索引的情况下进行查询，之后缓存所述子表达式对应的查询结果集合。另外，在查询过程中由于涉及查询表达式在Elasticsearch的转换，由于预先进行了设置，所以在收到查询语句时候即可进行Elasticsearch数据查询。并将所述子表达式对应的查询结果集合临时缓存到redis中。

集合运算模块，用于基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，生成所需的大数据人群集合。

因为查询结果集合均临时存储在redis中，所以为了提高计算的性能，可以利用多线程技术，将多个子表达式的查询结果集合，按照合并下游树的逻辑，聚合成最终的圈选结果集，即所需的大数据人群集合。在这个过程中，由于运营人员在元数据标签逻辑表达式生成过程中预设了查询集合的逻辑运算关系，所以在获得所述子表达式对应的查询结果集合后，基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，例如对分布式查询中的用户持仓金额超过100万的子表达式对应的查询结果集合与用户黄金交易次数超过10次的查询结果集合进行逻辑运算，所述逻辑运算包括与、或、非和优先级，之后生成运营人员所需的特征人群。运营人员可以基于所需的特征人群进行特征分析或则定向营销。

本申请第三方面提出了一种一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储圈选规则表达式；

所述处理器，用于通过调用所述圈选规则表达式，执行上述基于Elasticsearch的圈选大数据人群的方法。

本申请第四方面提出了一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于Elasticsearch的圈选大数据人群的方法。

本发明的有益效果为：本申请基于Elasticsearch能够在运营输入所需的元数据标签逻辑表达式后对所需的特征人群进行分布式查询各个所需特征的人群，并给予各个集合之间的关系筛选出所需的大数据人群，本发明可以实时的、动态的生成指定的用户特征人群，方便运营人员对用户人群进行细化分析以及进行相关的触客营销，而且还支持营销策略规则的动态调整。

本领域技术人员可以进一步意识到，结合本文的实施例的算法步骤，能够以电子硬件、计算机软件或二者结合的方式实现，且这些功能究竟以硬件还是软件的方式执行，取决于技术方案的特定应用和设计约束条件，本领域技术人员可以对每个特定的应用使用不同方法实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如上所述，通过应用该技术可以自动遍历提取系统的所有元素，并按照操作形成链路，进而构成菜单系统的最终有向状态图，基于此状态图在自动化测试执行发现阻断时(包括系统缺陷和系统变更)，可以自动定位问题页面，并将其牵扯到的整条链路进行提取，并自动生成测试报告，方便之后的回归测试时进行重点关注，在运行中可以更好的支持排期测试以及回归测试等内容。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于Elasticsearch的圈选大数据人群方法，其特征在于，包括：

S1、配置用户的元数据标签逻辑表达式；

S2、基于所述元数据标签逻辑表达式，生成圈选规则表达式；

S3、解析所述圈选规则表达式，生成所述圈选规则表达式的子表达式；

S4、基于Elasticsearch查询所述子表达式，并缓存所述子表达式对应的查询结果集合；

S5、基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，生成所需的大数据人群集合。

2.根据权利要求1所述的方法，其特征在于，所述元数据标签包括年龄、用户持仓金额、权益交易次数和用户历史黄金交易次数。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

S11、对所述元数据标签进行筛选条件限制，生成第一元数据标签；

S12、对第一元数据标签进行逻辑运算处理，生成元数据标签逻辑表达式。

4.根据权利要求3所述的方法，其特征在于，所述逻辑运算包括与、或、非和优先级。

5.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：

S21、预配置元数据标签逻辑表达式与圈选规则的关系；

S22、获取所述元数据标签逻辑表达式，基于所述元数据标签逻辑表达式与圈选规则的关系生成圈选规则表达式。

6.根据权利要求5所述的方法，所述步骤S2还包括：

动态更新元数据标签逻辑表达式与圈选规则的关系。

7.根据权利要求1所述的方法，其特征在于，所述圈选规则表达式包含各元数据标签间的逻辑运算关系、对应的数值及Elasticsearch数据查询表达式。

8.一种基于Elasticsearch的圈选大数据人群的装置，其特征在于，包括：

配置模块，配置用户的元数据标签逻辑表达式；

圈选规则生成模块，用于基于所述元数据标签逻辑表达式，生成圈选规则表达式；

解析模块，用于解析所述圈选规则表达式，生成所述圈选规则表达式的子表达式；

查询缓存模块，用于基于Elasticsearch查询所述子表达式，并缓存所述子表达式对应的查询结果集合；

集合运算模块，用于基于所述元数据标签逻辑表达式中的逻辑运算关系，对所述查询结果集合进行逻辑运算处理，生成所需的大数据人群集合。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储圈选规则表达式；

所述处理器，用于通过调用所述圈选规则表达式，执行权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images