CN117076155A - 人群任务处理方法及系统 - Google Patents
人群任务处理方法及系统 Download PDFInfo
- Publication number
- CN117076155A CN117076155A CN202311096318.XA CN202311096318A CN117076155A CN 117076155 A CN117076155 A CN 117076155A CN 202311096318 A CN202311096318 A CN 202311096318A CN 117076155 A CN117076155 A CN 117076155A
- Authority
- CN
- China
- Prior art keywords
- crowd
- task
- data
- execution result
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000011156 evaluation Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000379 polymerizing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000408747 Lepomis gibbosus Species 0.000 description 1
- 241000353135 Psenopsis anomala Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000020236 pumpkin seed Nutrition 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种人群任务处理方法，该方法包括：获取待分析的人群任务策略；根据所述人群任务策略预执行相应人群任务，生成预执行结果数据；通过实时数据处理引擎对所述预执行结果数据进行格式转换；将转换后的数据批量写入联机分析处理数据库；实时统计所述联机分析处理数据库中的数据，生成对所述人群任务策略的评估结果，并进行可视化展示。本申请还公开了一种人群任务处理系统、电子装置和计算机可读存储介质。由此，能够对人群任务策略的效果进行提前预测，同时提前发现人群任务策略的配置中存在的问题。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种人群任务处理方法、系统、电子装置及计算机可读存储介质。
背景技术
人群任务是指给具体某些人群下发的各种任务，例如直播平台的开播任务、营收任务等。目前，在海量的互联网数据中圈选出的人群是否精准，直接决定着具体人群任务的策略收益。通常情况下，可以通过标签化和数据化用户的特征行为，并将标签和行为数据作为筛选人群的条件来圈选出目标人群，从而对其下发实时任务。
现有技术中，已下发的人群任务数据会存储在Hive中，可通过离线数据对已下发的人群任务进行策略效果分析。但是，这种分析方式无法提前发现所配置的人群任务是否存在问题，也不能提前预测人群任务的收益效果。
发明内容
本申请的主要目的在于提出一种人群任务处理方法、系统、电子装置及计算机可读存储介质，旨在解决至少一个上述技术问题。
为实现上述目的，本申请实施例提供了一种人群任务处理方法，所述方法包括：
获取待分析的人群任务策略；
根据所述人群任务策略预执行相应人群任务，生成预执行结果数据；
通过实时数据处理引擎对所述预执行结果数据进行格式转换；
将转换后的数据批量写入联机分析处理数据库；
实时统计所述联机分析处理数据库中的数据，生成对所述人群任务策略的评估结果，并进行可视化展示。
可选地，所述获取待分析的人群任务包括：
从第一消息队列中获取待分析的人群任务策略，所述第一消息队列中包括多个人群任务策略，所述人群任务策略包括已配置好的任务信息、人群信息和用户样本。
可选地，所述根据所述人群任务策略预执行相应人群任务包括人群预圈选、任务预绑定和人群任务预执行结果统计。
可选地，所述人群预圈选包括：
根据所述人群信息中的人群指标条件，在所述用户样本中圈选所述人群对应的用户。
可选地，所述任务预绑定包括：
根据所述任务信息，将已圈选的人群用户绑定至所述任务，以模拟向所述用户下发所述任务。
可选地，所述人群任务预执行结果统计包括：
统计所述人群任务策略对应的人群预圈选结果、任务预绑定结果、完成任务目标的奖励结果。
可选地，所述方法在所述通过实时数据处理引擎对所述预执行结果数据进行格式转换之前，还包括：
将所述预执行结果数据投递至第二消息队列；
所述实时数据处理引擎实时消费所述第二消息队列，获取所述预执行结果数据。
可选地，所述预执行结果数据为JSON格式数据，所述通过实时数据处理引擎对所述预执行结果数据进行格式转换包括：
对所述JSON格式数据进行预处理，并映射为所述联机分析处理数据库中各个字段的数据。
可选地，所述将转换后的数据批量写入联机分析处理数据库包括：
对转换后的数据按时间窗口和批处理数量进行预聚合；
将预聚合后的数据批量写入所述联机分析处理数据库。
可选地，所述实时统计所述联机分析处理数据库中的数据，生成对所述人群任务策略的评估结果包括：
通过结构化查询语言实时从所述联机分析处理数据库中查询多维度的统计数据，包括人群圈选维度、任务绑定维度、任务目标奖励值维度、任务目标类型维度；
根据所述多维度的统计数据生成对所述人群任务策略的评估结果。
可选地，所述进行可视化展示包括：
在可视化平台通过多种形式的图表实时展示所述评估结果。
此外，为实现上述目的，本申请实施例还提供一种人群任务处理系统，所述系统包括：
获取模块，用于获取待分析的人群任务策略；
执行模块，用于根据所述人群任务策略预执行相应人群任务，生成预执行结果数据；
转换模块，用于通过实时数据处理引擎对所述预执行结果数据进行格式转换；
写入模块，用于将转换后的数据批量写入联机分析处理数据库；
分析模块，用于实时统计所述联机分析处理数据库中的数据，生成对所述人群任务策略的评估结果，并进行可视化展示。
为实现上述目的，本申请实施例还提供一种电子装置，所述电子装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人群任务处理程序，所述人群任务处理程序被所述处理器执行时实现如上述的人群任务处理方法。
为实现上述目的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人群任务处理程序，所述人群任务处理程序被处理器执行时实现如上述的人群任务处理方法。
本申请实施例提出的人群任务处理方法、系统、电子装置及计算机可读存储介质，能够提供一种基于大数据的人群任务预分析方案，分布式预执行多个人群任务策略并进行结果分析，通过实时数据处理引擎实时消费转换消息队列数据，批量写入OLAP数据库，实时查询OLAP数据库中的数据，以多维度统计数据、多图表形式呈现人群任务策略的预分析效果，实现了对人群任务策略效果的提前预测，同时可以提前发现人群任务策略的配置中存在的问题。
附图说明
图1为实现本申请各个实施例的一种应用环境架构图；
图2为本申请第一实施例提出的一种人群任务处理方法的流程图；
图3为图2中步骤S202的一种细化流程示意图；
图4为图2中步骤S206的一种细化流程示意图；
图5为图2中步骤S208的一种细化流程示意图；
图6为本申请第二实施例提出的一种电子装置的硬件架构示意图；
图7为本申请第三实施例提出的一种人群任务处理系统的模块示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
以下提供本申请涉及的术语解释：
Hive：一种数据仓库工具，用来进行数据提取、转化、加载，它是一种可以存储、查询和分析大规模数据的机制。
实时数据处理引擎：一个用于处理实时或高吞吐量数据流的系统，且通常是一个分布式系统，使用多台机器分担工作负载，以便快速处理大量数据，例如Flink。
Flink：一个用于对无界和有界数据流进行状态计算的框架和分布式处理引擎，同时支持批处理和流处理。
消息队列：是在消息的传输过程中保存消息的容器，例如Kafka。可以利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。
Kafka：一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
OLAP(Online Analytical Processing，联机分析处理)数据库：也称分析型数据库，是指一类支持对大规模数据进行较为复杂的联机分析处理的数据库，更关注复杂查询和聚集分析，例如Clickhouse。
Clickhouse：一种开源的用于联机分析处理的列式存储数据库管理系统。
人群指标：用户的特征描述，例如营收金额，粉丝数等。
人群：指对全体用户集合在一个或多个人群指标特征下的拆分方式，可以将全体用户拆分成多个互不相交的集合。
人群任务：是指给具体某些人群下发的各种任务，例如直播平台的开播任务、营收任务等。
JSON(JavaScript Object Notation，JS对象简谱)：是一种轻量级的数据交换格式。
目前，在海量的互联网数据中圈选出的人群是否精准，直接决定着具体人群任务的策略收益。由于对不同的人群会下发不同的任务，而各个人群的圈选条件又会存在各种差异，因此需要对人群的圈选结果提前做相应的预测，并预先分析出各个人群所下发的任务情况，从而提升人群任务策略的收益效果。有鉴于此，本申请提出了一种新的人群任务处理方案，下面结合各个实施例对本申请的技术方案进行说明。
请参阅图1，图1为实现本申请各个实施例的一种应用环境架构图。本申请可应用于包括，但不仅限于客户端2、服务端4、网络6的应用环境中。
其中，所述客户端2用于接收用户在后台页面提交的待分析的人群任务策略，所述人群任务策略包括已配置好的任务信息、人群信息和用户样本，投递至第一消息队列。所述客户端2还用于对服务端4生成的对所述人群任务策略的评估结果进行可视化展示。所述客户端2可以为PC(Personal Computer，个人电脑)、手机、平板电脑、便携计算机、可穿戴设备等终端设备，或者可视化平台的其他形式的显示设备。接收人群任务策略和展示评估结果的客户端2可以为同一设备，也可以为不同设备。
所述服务端4用于从所述第一消息队列中获取所述待分析的人群任务策略，根据所述人群任务策略预执行相应人群任务，生成预执行结果数据，通过实时数据处理引擎对所述预执行结果数据进行格式转换，将转换后的数据批量写入OLAP数据库，实时统计所述OLAP数据库中的数据，生成对所述人群任务策略的评估结果。所述服务端4可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
所述网络6可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。所述服务端4和一个或多个所述客户端2之间通过所述网络6通信连接，以进行数据传输和交互。
实施例一
如图2所示，为本申请第一实施例提出的一种人群任务处理方法的流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。根据需要，还可以对该流程图中的部分步骤进行添加或删减。下面以所述服务端作为执行主体对该方法进行说明。
该方法包括以下步骤：
S200，获取待分析的人群任务策略。
用户可以在后台页面提交待分析的人群任务策略，所述人群任务策略包括已配置好的任务信息、人群信息和用户样本，被投递至第一消息队列。服务端从所述第一消息队列中实时消费，获取待分析的人群任务策略。所述任务信息可以包括任务ID(标识)、任务目标、任务奖励等，所述人群信息(人群包)可以包括人群指标条件等，所述用户样本中包括用户ID、用户标签、用户特征行为数据等。所述第一消息队列中可以包括多个人群任务策略。
在本实施例中，通过分布式方式预执行人群任务，因此一次可以处理多个人群任务策略。所述第一消息队列可以利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。具体地，所述第一消息队列可以是Kafka消息队列。
S202，根据所述人群任务策略预执行相应人群任务，生成预执行结果数据。
所述预执行是指在正式根据所述人群任务策略下发人群任务之前，也就是所述人群任务策略上线之前，先模拟执行所述人群任务，以提前评估所述人群任务策略的收益效果。
在本实施例中，所述预执行包括但不限于人群预圈选、任务预绑定和人群任务预执行结果统计。其中，所述人群预圈选是指根据所述人群信息中的人群指标条件，在所述用户样本中圈选所述人群对应的用户。所述任务预绑定是指根据所述任务信息，将已圈选的人群用户绑定至所述任务，以模拟向所述用户下发所述任务。所述人群任务预执行结果统计是指统计所述人群任务策略对应的人群预圈选结果、任务预绑定结果、完成任务目标的奖励结果等，用于后续预测分析。
具体而言，进一步参阅图3，为上述步骤S202的一种细化流程示意图。可以理解，该流程图不用于对执行步骤的顺序进行限定。根据需要，还可以对该流程图中的部分步骤进行添加或删减。在本实施例中，所述步骤S202具体包括：
S2020，根据所述人群信息中的人群指标条件，在所述用户样本中圈选所述人群对应的用户。
所述人群指标条件是对需要下发所述任务的用户的特征描述。例如，在直播平台中，若需要针对各个主播下发人群任务，则所述人群指标条件可以包括开播类指标，如开播时长、有效开播天数、弹幕数量、弹幕人数等；营收类指标，如金瓜子流水等；成长类指标，如PK(挑战)次数等，主播PK是指正在直播中的主播向另一主播发起挑战，在对方接受之后，两个人会被分到同一个直播间进行分屏PK。在某些情况下，还有可能进行AB实验(对照实验)，因此所述人群指标条件还包括实验组和对照组划分。根据所述人群指标条件，可以在提交的用户样本中对所述人群进行预圈选，若用户满足某个人群的所述人群指标条件，则命中该人群。
S2022，根据所述任务信息，将已圈选的人群用户绑定至所述任务，以模拟向所述用户下发所述任务。
此时并不会向所述用户真正的下发所述任务，只是一种模拟下发任务的行为，用以预测分析所述人群任务策略真正实施时将会产生的效果，以及该效果是否符合相关预期。一般情况下，被圈选至所述人群的用户均会被绑定至所述任务，并模拟下发所述任务给所述用户。但是，由于数据错误等原因，也有可能存在部分用户绑定失败的情况。
S2024，统计所述人群任务策略对应的人群预圈选结果、任务预绑定结果、完成任务目标的奖励结果。
此步骤只是初步统计人群预圈选和任务预绑定情况，例如某个用户命中了哪个人群，某个任务下发给了哪些用户等，得到大量原始数据供数据库统计分析。
回到图2，S204，通过实时数据处理引擎对所述预执行结果数据进行格式转换。
在本实施例中，生成所述预执行结果数据后，投递至第二消息队列。所述实时数据处理引擎实时消费所述第二消息队列，获取所述预执行结果数据。
所述预执行结果数据为JSON格式数据，无法直接写入OLAP数据库，因此需要通过实时数据处理引擎对所述预执行结果数据先进行格式转换。所述格式转换包括对所述JSON格式数据进行预处理，并映射为所述OLAP数据库中各个字段的数据。所述预处理包括时间字段格式转换，字段默认值填充，整型、字符串转换，以及原始字段简单计算等，例如加减乘除。所述实时数据处理引擎是一个用于处理实时或高吞吐量数据流的引擎系统，例如Flink。
S206，将转换后的数据批量写入OLAP数据库。
经过格式转换后的数据，就可以写入OLAP数据库进行实时统计分析，但由于OLAP数据库不太适合高频次的写入，对整体性能会有影响，因此还需要先通过预聚合再批量写入，减少写入频次。
具体而言，进一步参阅图4，为上述步骤S206的一种细化流程示意图。可以理解，该流程图不用于对执行步骤的顺序进行限定。根据需要，还可以对该流程图中的部分步骤进行添加或删减。在本实施例中，所述步骤S206具体包括：
S2060，对转换后的数据按时间窗口和批处理数量进行预聚合。
所述预聚合的依据是预设的时间窗口和批处理数量，每次预聚合得到的一批数据用于一次性批量写入所述OLAP数据库。
S2062，将预聚合后的数据批量写入所述OLAP数据库。
所述OLAP数据库可以支持对大规模数据进行较为复杂的联机分析处理，更关注复杂查询和聚集分析。具体地，所述OLAP数据库可以是Clickhouse。
通过对所述转换后的数据进行上述预聚合和批量写入，使得所述OLAP数据库中的写入频次大大降低，不会影响整体性能。
回到图2，S208，实时统计所述OLAP数据库中的数据，生成对所述人群任务策略的评估结果，并进行可视化展示。
在本实施例中，由于所述OLAP数据库可以支持对大规模数据进行较为复杂的联机分析处理，包括复杂查询和聚集分析，因此可以通过SQL(Structured Query Language，结构化查询语言)实时从所述OLAP数据库中查询多维度的统计数据，从而得到对所述人群任务策略的评估结果。
具体而言，进一步参阅图5，为上述步骤S208的细化流程示意图。可以理解，该流程图不用于对执行步骤的顺序进行限定。根据需要，还可以对该流程图中的部分步骤进行添加或删减。在本实施例中，所述步骤S208具体包括：
S2080，通过SQL实时从所述OLAP数据库中查询多维度的统计数据。
所述多维度包括人群圈选维度、任务绑定维度、任务目标奖励值维度、任务目标类型维度等。例如，所述人群圈选维度的统计数据包括人群包总命中人数、每个人群包命中人数、已圈选人群的用户占比等。所述任务绑定维度的统计数据包括任务绑定总人数、每个任务绑定人数、每个任务绑定失败人数、长期对照组的绑定人数、下发任务的用户占比、未命中任何用户的人群包列表等。正常情况下一个人群任务策略对应的人群包命中人数应该和任务绑定人数一致，若不一致则表示出现绑定异常。另外，有部分人群任务策略的人群包会配置长期对照实验，这部分策略在正常情况下不会给长期对照组用户下发任务。所述任务目标奖励值维度的统计数据包括每个任务目标奖励数值异常人数等。所述任务目标类型维度的统计数据包括每个任务目标类型绑定的人数等。举例而言，所述任务目标可以包括开播时长目标、金瓜子数量目标、弹幕数量目标、连麦次数目标、PK次数目标、举办庆会次数目标等。
S2082，根据所述多维度的统计数据生成对所述人群任务策略的评估结果。
所述评估结果包括所述人群任务策略对应的所述多维度的统计数据，以及每种统计数据是否符合预期等。例如，已圈选人群的用户占比是否符合预期(在预定期间内，不能太多也不能太少)、下发任务的用户占比是否符合预期(同上)、任务目标值和奖励值是否符合预期(目标值或奖励值是否超出阈值，或者目标奖励占比是否合理)、任务下发是否准确(应该下发任务的用户是否未下发，不该下发任务的用户是否下发)等。
S2084，在可视化平台通过多种形式的图表实时展示所述评估结果。
为了让用户更加直观、高效地看到各个人群任务策略的评估结果，本实施例可以采用多种形式的图表来对所述评估结果进行展示，例如饼图、数据表格、矩形树图等。
本实施例只是对各个人群任务策略进行收益效果的预测分析和结果展示，如果符合预期，则表示所述人群任务策略可以真正实施；如果不符合预期，则表示所述人群任务策略还存在问题，需要进一步根据所述评估结果分析问题原因，修正后才可真正实施。
本实施例提出的人群任务处理方法，可以提供一种基于大数据的人群任务预分析方案，分布式预执行多个人群任务策略并进行结果分析，通过实时数据处理引擎实时消费转换消息队列数据，批量写入OLAP数据库，实时查询OLAP数据库中的数据，以多维度统计数据、多图表形式呈现人群任务策略的预分析效果，实现了对人群任务策略效果的提前预测，同时可以提前发现人群任务策略的配置中存在的问题。
实施例二
如图6所示，为本申请第二实施例提出一种电子装置20的硬件架构示意图。本实施例中，所述电子装置20可包括，但不仅限于，可通过系统总线相互通信连接的存储器21、处理器22、网络接口23。需要指出的是，图6仅示出了具有组件21-23的电子装置20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。在本实施例中，所述电子装置20可以是所述服务端。
所述存储器21至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21可以是所述电子装置20的内部存储单元，例如该电子装置20的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述电子装置20的外部存储设备，例如该电子装置20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器21还可以既包括所述电子装置20的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述电子装置20的操作系统和各类应用软件，例如人群任务处理系统60的程序代码等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述电子装置20的总体操作。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行所述人群任务处理系统60等。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述电子装置20与其他电子设备之间建立通信连接。
实施例三
如图7所示，为本申请第三实施例提出一种人群任务处理系统60的模块示意图。所述人群任务处理系统60可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例各程序模块的功能。
在本实施例中，所述人群任务处理系统60包括：
获取模块600，用于获取待分析的人群任务策略。
用户可以在后台页面提交待分析的人群任务策略，所述人群任务策略投递至第一消息队列。所述获取模块600从第一消息队列中获取待分析的人群任务策略，所述第一消息队列中包括多个人群任务策略，所述人群任务策略包括已配置好的任务信息、人群信息和用户样本。在本实施例中，通过分布式方式预执行人群任务，因此一次可以处理多个人群任务策略。所述第一消息队列可以是Kafka消息队列。
执行模块602，用于根据所述人群任务策略预执行相应人群任务，生成预执行结果数据。
所述预执行是指在正式根据所述人群任务策略下发人群任务之前，也就是所述人群任务策略上线之前，先模拟执行所述人群任务，以提前评估所述人群任务策略的收益效果。所述根据所述人群任务策略预执行相应人群任务包括人群预圈选、任务预绑定和人群任务预执行结果统计。其中，所述人群预圈选是指根据所述人群信息中的人群指标条件，在所述用户样本中圈选所述人群对应的用户。所述任务预绑定是指根据所述任务信息，将已圈选的人群用户绑定至所述任务，以模拟向所述用户下发所述任务。所述人群任务预执行结果统计是指统计所述人群任务策略对应的人群预圈选结果、任务预绑定结果、完成任务目标的奖励结果。
转换模块604，用于通过实时数据处理引擎对所述预执行结果数据进行格式转换。
所述执行模块602得到将所述预执行结果数据后，投递至第二消息队列。所述转换模块604通过所述实时数据处理引擎实时消费所述第二消息队列，获取所述预执行结果数据。所述预执行结果数据为JSON格式数据，无法直接写入OLAP数据库，所述格式转换包括对所述JSON格式数据进行预处理，并映射为所述联机分析处理数据库中各个字段的数据。所述预处理包括时间字段格式转换，字段默认值填充，整型、字符串转换，以及原始字段简单计算等。所述实时数据处理引擎可以是Flink。
写入模块606，用于将转换后的数据批量写入OLAP数据库。
由于OLAP数据库不太适合高频次的写入，对整体性能会有影响，因此还需要先通过预聚合再批量写入，减少写入频次。所述写入模块606先对转换后的数据按时间窗口和批处理数量进行预聚合，然后将预聚合后的数据批量写入所述OLAP数据库。所述OLAP数据库可以是Clickhouse。
分析模块608，用于实时统计所述OLAP数据库中的数据，生成对所述人群任务策略的评估结果，并进行可视化展示。
由于所述OLAP数据库可以支持对大规模数据进行较为复杂的联机分析处理，包括复杂查询和聚集分析，因此所述分析模块608可以通过SQL实时从所述OLAP数据库中查询多维度的统计数据，包括人群圈选维度、任务绑定维度、任务目标奖励值维度、任务目标类型维度。然后根据所述多维度的统计数据生成对所述人群任务策略的评估结果。所述评估结果包括所述人群任务策略对应的所述多维度的统计数据，以及每种统计数据是否符合预期等。
为了让用户更加直观、高效地看到各个人群任务策略的评估结果，本实施例可以采用多种形式的图表来对所述评估结果进行展示，例如饼图、数据表格、矩形树图等。
以上各个模块的具体功能可以参见前述第一实施例中的说明，在此不再赘述。
本实施例提出的人群任务处理系统，可以提供一种基于大数据的人群任务预分析方案，分布式预执行多个人群任务策略并进行结果分析，通过实时数据处理引擎实时消费转换消息队列数据，批量写入OLAP数据库，实时查询OLAP数据库中的数据，以多维度统计数据、多图表形式呈现人群任务策略的预分析效果，实现了对人群任务策略效果的提前预测，同时可以提前发现人群任务策略的配置中存在的问题。
实施例四
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有人群任务处理程序，所述人群任务处理程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的人群任务处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请实施例的优选实施例，并非因此限制本申请实施例的专利范围，凡是利用本申请实施例说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请实施例的专利保护范围内。
Claims (14)
1.一种人群任务处理方法，其特征在于，所述方法包括：
获取待分析的人群任务策略；
根据所述人群任务策略预执行相应人群任务，生成预执行结果数据；
通过实时数据处理引擎对所述预执行结果数据进行格式转换；
将转换后的数据批量写入联机分析处理数据库；
实时统计所述联机分析处理数据库中的数据，生成对所述人群任务策略的评估结果，并进行可视化展示。
2.根据权利要求1所述的人群任务处理方法，其特征在于，所述获取待分析的人群任务包括：
从第一消息队列中获取待分析的人群任务策略，所述第一消息队列中包括多个人群任务策略，所述人群任务策略包括已配置好的任务信息、人群信息和用户样本。
3.根据权利要求2所述的人群任务处理方法，其特征在于，所述根据所述人群任务策略预执行相应人群任务包括人群预圈选、任务预绑定和人群任务预执行结果统计。
4.根据权利要求3所述的人群任务处理方法，其特征在于，所述人群预圈选包括：
根据所述人群信息中的人群指标条件，在所述用户样本中圈选所述人群对应的用户。
5.根据权利要求3所述的人群任务处理方法，其特征在于，所述任务预绑定包括：
根据所述任务信息，将已圈选的人群用户绑定至所述任务，以模拟向所述用户下发所述任务。
6.根据权利要求3所述的人群任务处理方法，其特征在于，所述人群任务预执行结果统计包括：
统计所述人群任务策略对应的人群预圈选结果、任务预绑定结果、完成任务目标的奖励结果。
7.根据权利要求1所述的人群任务处理方法，其特征在于，所述方法在所述通过实时数据处理引擎对所述预执行结果数据进行格式转换之前，还包括：
将所述预执行结果数据投递至第二消息队列；
所述实时数据处理引擎实时消费所述第二消息队列，获取所述预执行结果数据。
8.根据权利要求1所述的人群任务处理方法，其特征在于，所述预执行结果数据为JSON格式数据，所述通过实时数据处理引擎对所述预执行结果数据进行格式转换包括：
对所述JSON格式数据进行预处理，并映射为所述联机分析处理数据库中各个字段的数据。
9.根据权利要求1所述的人群任务处理方法，其特征在于，所述将转换后的数据批量写入联机分析处理数据库包括：
对转换后的数据按时间窗口和批处理数量进行预聚合；
将预聚合后的数据批量写入所述联机分析处理数据库。
10.根据权利要求1所述的人群任务处理方法，其特征在于，所述实时统计所述联机分析处理数据库中的数据，生成对所述人群任务策略的评估结果包括：
通过结构化查询语言实时从所述联机分析处理数据库中查询多维度的统计数据，包括人群圈选维度、任务绑定维度、任务目标奖励值维度、任务目标类型维度；
根据所述多维度的统计数据生成对所述人群任务策略的评估结果。
11.根据权利要求1所述的人群任务处理方法，其特征在于，所述进行可视化展示包括：
在可视化平台通过多种形式的图表实时展示所述评估结果。
12.一种人群任务处理系统，其特征在于，所述系统包括：
获取模块，用于获取待分析的人群任务策略；
执行模块，用于根据所述人群任务策略预执行相应人群任务，生成预执行结果数据；
转换模块，用于通过实时数据处理引擎对所述预执行结果数据进行格式转换；
写入模块，用于将转换后的数据批量写入联机分析处理数据库；
分析模块，用于实时统计所述联机分析处理数据库中的数据，生成对所述人群任务策略的评估结果，并进行可视化展示。
13.一种电子装置，其特征在于，所述电子装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人群任务处理程序，所述人群任务处理程序被所述处理器执行时实现如权利要求1至11中任一项所述的人群任务处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人群任务处理程序，所述人群任务处理程序被处理器执行时实现如权利要求1至11中任一项所述的人群任务处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096318.XA CN117076155A (zh) | 2023-08-28 | 2023-08-28 | 人群任务处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096318.XA CN117076155A (zh) | 2023-08-28 | 2023-08-28 | 人群任务处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076155A true CN117076155A (zh) | 2023-11-17 |
Family
ID=88716880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311096318.XA Pending CN117076155A (zh) | 2023-08-28 | 2023-08-28 | 人群任务处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076155A (zh) |
-
2023
- 2023-08-28 CN CN202311096318.XA patent/CN117076155A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763200B2 (en) | Method and system for creating a predictive model for targeting web-page to a surfer | |
| Kilpatrick et al. | Species interactions can explain Taylor's power law for ecological time series | |
| CN107463641B (zh) | 用于改进对搜索结果的访问的系统和方法 | |
| CN110781372B (zh) | 一种优化网站的方法、装置、计算机设备及存储介质 | |
| CN112765499A (zh) | 一种排行榜处理方法、装置、设备及存储介质 | |
| CN113869931A (zh) | 广告投放策略确定方法、装置、计算机设备和存储介质 | |
| CN110619006A (zh) | 基于物联网的统计数据管理方法、装置、平台和存储介质 | |
| Tomanová et al. | Clustering of arrivals in queueing systems: autoregressive conditional duration approach | |
| CN113850416A (zh) | 广告推广合作对象确定方法和装置 | |
| CN117312657A (zh) | 金融应用的异常功能定位方法、装置、计算机设备和介质 | |
| CN117076155A (zh) | 人群任务处理方法及系统 | |
| CN116155597A (zh) | 访问请求的处理方法、装置及计算机设备 | |
| CN110619541A (zh) | 应用程序管理方法、装置、计算机设备及存储介质 | |
| Ourbih-Tari et al. | Variance reduction in the simulation of a stationary M/G/1 queuing system using refined descriptive sampling | |
| Maria Caporale et al. | Long range dependence in daily stock returns | |
| CN110737691A (zh) | 用于处理访问行为数据的方法和装置 | |
| CN115422448A (zh) | 一种消息推送方法、装置、电子设备及存储介质 | |
| Bdair et al. | Sharp upper bounds for the mean residual waiting time of records | |
| CN114168624A (zh) | 数据分析方法、计算设备及存储介质 | |
| Jia et al. | M/PH/C queue under a congestion-based staffing policy with applications in steel industry operations | |
| Moreno* | A discrete-time single-server queue with a modified N-policy | |
| Stanford et al. | Erlangized fluid queues with application to uncontrolled fire perimeter | |
| CN112800089A (zh) | 一种中间数据存储级别调整方法、存储介质及计算机设备 | |
| CN113076317B (zh) | 基于大数据的数据处理方法、装置、设备及可读存储介质 | |
| CN112989195B (zh) | 基于大数据的全过程咨询方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |