CN113592342A - 基于大数据的任务处理方法、装置、设备及存储介质 - Google Patents
基于大数据的任务处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113592342A CN113592342A CN202110913154.XA CN202110913154A CN113592342A CN 113592342 A CN113592342 A CN 113592342A CN 202110913154 A CN202110913154 A CN 202110913154A CN 113592342 A CN113592342 A CN 113592342A
- Authority
- CN
- China
- Prior art keywords
- task
- configuration information
- user
- user group
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ZBMRKNMTMPPMMK-UHFFFAOYSA-N 2-amino-4-[hydroxy(methyl)phosphoryl]butanoic acid;azane Chemical compound [NH4+].CP(O)(=O)CCC(N)C([O-])=O ZBMRKNMTMPPMMK-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063112—Skill-based matching of a person or a group to a task
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Economics (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理领域，提供了一种基于大数据的任务处理方法、装置、设备及存储介质。所述方法包括：获取用户提交的任务配置信息并存储至等待队列中，利用任务调度器每隔预设时间段从等待队列中读取任务配置信息并存储至任务调度表，当接收到对任务调度表中用于表示任务作执行处理的指令时，利用任务执行器将任务配置信息存储至任务执行表，从预设的标签平台读取任务对应的原始用户群，从原始用户群中拆分出满足任务配置信息的初始用户群，并执行去重操作得到请求对应的目标用户群。本发明可以根据已有的客群数据实现调度并快速地完成大数据量的拆分。本发明还涉及区块链技术领域，上述配置信息可以存储于一区块链的节点中。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种基于大数据的任务处理方法、装置、设备及存储介质。
背景技术
目前，企业在开展线上营销活动时需要根据不同的活动选取不同的用户群，而现有的用户群拆分需要经过大数据的标签化，拉取到营销中台入库，并自行根据自身活动的特性进行客群拆分，在目标客群中进行二次打标，形成活动层面的可营销的客群。这样的过程往往需要经过几天才能交给运营人员进行活动营销。
因此，提供一种基于已有的标签客群实现调度，并快速完成大数据量的拆分任务的方案已成为本领域技术人员亟需解决的技术问题。
发明内容
鉴于以上内容，本发明提供一种基于大数据的任务处理方法、装置、设备及存储介质，其目的在于实现基于已有标签客群实现调度并快速地完成大数据量的拆分。
为实现上述目的，本发明提供一种基于大数据的任务处理方法，该方法包括：
响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息；
获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表；
当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表；
基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
优选的，在利用预设的任务执行器将所述任务配置信息存储至任务执行表之后，所述方法还包括：
定期检测所述任务配置信息的黑名单信息是否存在更新数据，当检测到所述任务配置信息的黑名单信息存在更新数据时，将所述任务配置信息的黑名单更新信息同步至预设存储路径，并实时监测所述任务配置信息中的黑名单信息是否完成同步。
优选的，所述从预设的标签平台读取所述任务对应的原始用户群，包括：
依次根据所述标签平台的页数顺序读取所述任务对应的用户数据，当所述用户数据均被读取成功时，将读取的用户数据存储至预设存储路径；
当存在读取失败的用户数据时，再次读取失败的用户数据，直至所述标签平台所有页数的用户均被成功读取。
优选的，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
基于所述原始用户群中各用户的标识号利用预设的哈希算法计算得到各用户的哈希值，将哈希值相同的用户放入同一个用户桶；
根据所述任务配置信息获取所述任务中各子任务所需比例的用户数，随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群。
优选的，所述随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群，包括：
根据所述任务配置信息中的黑名单信息及参照组信息，从所述比例的用户桶对应的用户群中筛除黑名单用户及参照组用户。
优选的，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
实时发送拆分进度及拆分的统计信息至所述任务调度器，当拆分出满足所述任务配置信息的所有初始用户群之后，向预设终端反馈提示消息，其中，所述统计信息包括：每个子任务对应的用户数量、每个子任务对应的参照组用户数量及每个子任务对应的黑名单用户数量。
优选的，所述对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群，包括：
基于所述初始用户群各用户的标识号对各用户执行排序操作，根据排序结果保留相同标识号的任意一个用户。
为实现上述目的，本发明还提供一种基于大数据的任务处理装置，该基于大数据的任务处理装置包括：
响应模块：用于响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息；
获取模块：用于获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表；
接收模块：用于当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表；
处理模块：用于基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
为实现上述目的，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于大数据的任务处理方法的任意步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于大数据的任务处理程序，所述基于大数据的任务处理程序被处理器执行时，实现如上所述基于大数据的任务处理方法的任意步骤。
本发明提出的基于大数据的任务处理方法、装置、设备及存储介质，通过每隔预设时间段从等待队列中读取任务配置信息可以降低服务器压力；通过任务执行表中的任务配置信息，从标签平台读取任务对应的原始用户群，从原始用户群中拆分出满足任务配置信息的初始用户群，对初始用户群执行去重操作得到任务处理请求对应的目标用户群，可以基于已有的标签客群自行实现调度，并快速完成大数据量的实时拆分。
附图说明
图1为本发明基于大数据的任务处理方法较佳实施例的流程图示意图；
图2为本发明基于大数据的任务处理装置较佳实施例的模块示意图；
图3为本发明电子设备较佳实施例的示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于大数据的任务处理方法。参照图1所示，为本发明基于大数据的任务处理方法的实施例的方法流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。基于大数据的任务处理方法包括：
步骤S10：响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息。
在本实施例中，当运营人员需要进行任务处理时，用户可以开启终端上用于任务处理的应用程序并发起任务处理的请求，任务处理在本实施例中可以是指针对不同营销活动的用户群拆分处理，终端在接收到运营人员发出的任务处理请求之后，响应该任务处理请求，并提供预设配置界面供用户配置任务的配置信息，一个任务至少包括一个子任务，预设配置界面还包括营销活动的发布按钮和审核按钮，其中，配置信息包括：拆分类型、选择的原始用户群(待拆分的用户群)、参照组信息、黑名单信息等。
活动可以是指短期或长期的营销活动，例如，7月大促信用卡为老用户进行一些达标类营销，拆分出满足门槛(例如，每月存钱超过1万或10万)的用户作为原始用户群，之后将原始用户群再拆分到不同的营销活动中，针对相同规则在不同的活动场景下来进行营销，以便后期进行分析对比。
拆分类型包括两类：只进不出和可进可出。例如，某营销活动有A，B两个子活动，某个客户即在A的客群范围内，也在B的客群范围内，可进可出是指客群在每次拆分的时候只采用最新的一份客群数据，如果之前某客户是能参加子活动A，现在重新拆分后在子活动B中，那么该客户还能参加子活动B。只进不出是指只要这个客群已经落库了，就不能再参加其它子活动，例如，之前某客户参加过子活动A，在重新拆分后，该客户只能参加子活动A，不能参加子活动B。
步骤S20：获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表。
在本实施例中，当运营人员在预设终端界面内完成任务的信息配置并提交审核后，获取用户在预设界面提交的任务的配置信息，将任务的配置信息存储至等待队列中，等待队列用于收集待处理的任务。
由于配置界面可以给不同的运营人员进行配置及进行用户群拆分，为了保证整个调度逻辑的简单、高效并且有序，会按照先进先出的排队机制处理相关任务对应的配置信息，因此，每隔预设时间段(例如，五分钟)利用预设的任务调度器，从等待队列中读取任务的配置信息并存储至任务调度表中。调度表为真实执行的任务的面板，只有进入调度表中的任务，才能被触发调度。运营人员可能每次创建或修改任务配置时会触发多次任务执行，如果在同一个调度周期(五分钟)内，则只需要执行一次的，大大降低了执行(拆分客群)核心服务器的压力。
步骤S30：当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表。
在本实施例中，任务从等待队列中取出进入任务调度表之后，任务处理程序会将任务的配置信息下发到预设的拆分执行器服务中，拆分执行器接收到对任务执行处理的指令时，会将该任务信息存入任务执行表中，并在任务执行表中等待内部的调度执行器执行拆分任务。
在一个实施例中，在利用预设的任务执行器将所述任务配置信息存储至任务执行表之后，所述方法还包括：
定期检测所述任务配置信息的黑名单信息是否存在更新数据，当检测到所述任务配置信息的黑名单信息存在更新数据时，将所述任务配置信息的黑名单更新信息同步至预设存储路径，并实时监测所述任务配置信息中的黑名单信息是否完成同步。
由于任务配置信息在等待队列等待时，实际的配置信息可能会随着时间变化出现产生不一致的情况，例如，短时间内黑名单新增了用户。因此需要保持信息一致。具体可以定期对比本地的数据与外部存储的黑名单信息是否一致，不一致则拉取回来覆盖本地数据。
在执行拆分任务之前，可以将配置信息进行同步更新，如黑名单列表信息从其它服务中拉入本地进行实时同步从而实现加快查询，由于配置信息的数据量较小，可以将配置信息同步到本地缓存中。通过配置信息的同步和数据更新，保证任务所需的准备工作都已经完成才开始执行任务。数据更新包括每天黑名单的增量数据以及调度节点下发到工作节点的配置信息数据。
步骤S40：基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
在本实施例中，根据任务执行表中的任务配置信息，从预设数据库读取任务对应的原始用户群，原始用户群是所有用户中满足配置信息中预设条件的用户，标签平台存储有所有用户的标签信息，每个用户有预先设置的至少一个标签，标签可以是根据用户基本信息的基础上进一步分析用户偏好、用户习惯、订单、行为、行为等确定的。之后从原始用户群中拆分出满足任务配置信息的初始用户群，对初始用户群执行去重后得到任务处理请求对应的目标用户群。
在一个实施例中，所述从预设的标签平台读取所述任务对应的原始用户群，包括：
依次根据所述标签平台的页数顺序读取所述任务对应的用户数据，当所述用户数据均被读取成功时，将读取的用户数据存储至预设存储路径；
当存在读取失败的用户数据时，再次读取失败的用户数据，直至所述标签平台所有页数的用户均被成功读取。
根据标签平台的页数顺序依次读取任务对应的用户可以通过请求标签平台的接口读取用户，例如，该接口支持每次一页读取1万条数据，标签平台有1000万条数据，每请求一次能读取1万条数据，并将页数加1，继续请求第2页的数据，直到接口返回读取完成为止。其中，读取的用户是当前任务的客群，读取的时候需要指定标签平台指定的人群标识名称，例如，性别为男性的银行客户。若读取成功，则缓存其读取结果，若读取失败，则重试3次进行读取，若失败超过3次则直接上报读取失败的信息给调度平台，由调度平台根据状态来决定调度是否继续。
在一个实施例中，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
基于所述原始用户群中各用户的标识号利用预设的哈希算法计算得到各用户的哈希值，将哈希值相同的用户放入同一个用户桶；
根据所述任务配置信息获取所述任务中各子任务所需比例的用户数，随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群。
预设的哈希算法可以是数字分析法或平方取中法等，例如，计算得到用户标识号为60011110111的哈希值为12，用户标识号为60011140111的哈希值为12，那么这两个用户会被划分到同一个用户桶中，如果存在两个子任务，根据配置信息得知其中一个子任务M用到了原始用户群中的40％，假设总共有100个用户桶，则需要从100个用户桶中随机选取40个用户桶划分得到的用户作为子任务M的用户群。
进一步地，所述随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群，包括：
根据所述任务配置信息中的黑名单信息及参照组信息，从所述比例的用户桶对应的用户群中筛除黑名单用户及参照组用户。
由于不同的子任务由于会配置相关的黑名单和参照组，因此可以对每个客户进行打标处理(即标记为正常用户、黑名单用户或参照组用户)，若当前用户是否为黑名单用户和参照组用户，则筛除该用户。参照组是指在同一个子任务中划分出的小部分客群进行活动效果对比参与的用户群组。例如，拿出子任务中10％的用户作为参照组，营销活动结束后，对比活动中正常的用户的参与率，留存率，转化率等与参照组中用户的活动效果。
在一个实施例中，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
实时发送拆分进度及拆分的统计信息至所述任务调度器，当拆分出满足所述任务配置信息的所有初始用户群之后，向预设终端反馈提示消息，其中，所述统计信息包括：每个子任务对应的用户数量、每个子任务对应的参照组用户数量及每个子任务对应的黑名单用户数量。
在拆分到过程中可以实时上报拆分进度及上报拆分统计信息给调度器，并在完成拆分时反馈预设提示消息(例如，“拆分已完成”)。统计信息包括：每个子任务对应的用户数量、每个子任务对应的参照组用户数量及每个子任务对应的黑名单用户数量。
在一个实施例中，所述对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群，包括：
基于所述初始用户群各用户的标识号对各用户执行排序操作，根据排序结果保留相同标识号的任意一个用户。
由于同一个营销活动下存在用户重叠的可能，因此需要将同一个营销活动下的所有用户都合并在一起，进行去重操作。为了实现快速的去重操作，可以使用linux中的sortunique命令来完成，其去重效率在大数据情况下能达到较高的速度。按照用户标识号顺序对用户进行排序，相同标识号且参与不同子活动的用户数据排在一起，只需要保留相同标识号的任意一个用户，去掉其它相同标识号的用户数据，可保证该用户只参加一个子活动。
参照图2所示，为本发明基于大数据的任务处理装置100的功能模块示意图。
本发明所述基于大数据的任务处理装置100可以安装于电子设备中。根据实现的功能，所述基于大数据的任务处理装置100可以包括响应模块110、获取模块120、接收模块130及处理模块140。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
响应模块110，用于响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息。
获取模块120，用于获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表。
接收模块130：用于当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表。
处理模块140，用于基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
在一个实施例中，接收模块130还用于：
定期检测所述任务配置信息的黑名单信息是否存在更新数据，当检测到所述任务配置信息的黑名单信息存在更新数据时，将所述任务配置信息的黑名单更新信息同步至预设存储路径，并实时监测所述任务配置信息中的黑名单信息是否完成同步。
在一个实施例中，所述从预设的标签平台读取所述任务对应的原始用户群，包括：
依次根据所述标签平台的页数顺序读取所述任务对应的用户数据，当所述用户数据均被读取成功时，将读取的用户数据存储至预设存储路径；
当存在读取失败的用户数据时，再次读取失败的用户数据，直至所述标签平台所有页数的用户均被成功读取。
在一个实施例中，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
基于所述原始用户群中各用户的标识号利用预设的哈希算法计算得到各用户的哈希值，将哈希值相同的用户放入同一个用户桶；
根据所述任务配置信息获取所述任务中各子任务所需比例的用户数，随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群。
在一个实施例中，所述随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群，包括：
根据所述任务配置信息中的黑名单信息及参照组信息，从所述比例的用户桶对应的用户群中筛除黑名单用户及参照组用户。
在一个实施例中，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
实时发送拆分进度及拆分的统计信息至所述任务调度器，当拆分出满足所述任务配置信息的所有初始用户群之后，向预设终端反馈提示消息，其中，所述统计信息包括：每个子任务对应的用户数量、每个子任务对应的参照组用户数量及每个子任务对应的黑名单用户数量。
在一个实施例中，所述对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群，包括：
基于所述初始用户群各用户的标识号对各用户执行排序操作，根据排序结果保留相同标识号的任意一个用户。
参照图3所示，为本发明电子设备1较佳实施例的示意图。
该电子设备1包括但不限于：存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络，获取原始数据。其中，所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子设备1的外部存储设备，例如该电子设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件，例如基于大数据的任务处理程序10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行基于大数据的任务处理程序10的程序代码等。
显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode，OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面，例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
图3仅示出了具有组件11-14以及基于大数据的任务处理程序10的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
该电子设备1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。
在上述实施例中，处理器12执行存储器11中存储的基于大数据的任务处理程序10时可以实现如下步骤：
响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息；
获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表；
当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表；
基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
所述存储设备可以为电子设备1的存储器11，也可以为与电子设备1通讯连接的其它存储设备。
关于上述步骤的详细介绍，请参照上述图2关于基于大数据的任务处理装置100实施例的功能模块图以及图1关于基于大数据的任务处理方法实施例的流程图的说明。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性的，也可以是易失性的。该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有基于大数据的任务处理程序10，所述基于大数据的任务处理程序10被处理器执行时实现如下操作：
响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息；
获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表；
当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表；
基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
本发明之计算机可读存储介质的具体实施方式与上述基于大数据的任务处理方法的具体实施方式大致相同，在此不再赘述。
在另一个实施例中，本发明所提供的基于大数据的任务处理方法，为进一步保证上述所有出现的数据的私密和安全性，上述所有数据还可以存储于一区块链的节点中。例如任务配置信息及目标用户群等，这些数据均可存储在区块链节点中。
需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，电子装置，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于大数据的任务处理方法，其特征在于，所述方法包括：
响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息；
获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表；
当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表；
基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
2.如权利要求1所述的基于大数据的任务处理方法，其特征在于，在利用预设的任务执行器将所述任务配置信息存储至任务执行表之后，所述方法还包括：
定期检测所述任务配置信息的黑名单信息是否存在更新数据，当检测到所述任务配置信息的黑名单信息存在更新数据时，将所述任务配置信息的黑名单更新信息同步至预设存储路径，并实时监测所述任务配置信息中的黑名单信息是否完成同步。
3.如权利要求1所述的基于大数据的任务处理方法，其特征在于，所述从预设的标签平台读取所述任务对应的原始用户群，包括：
依次根据所述标签平台的页数顺序读取所述任务对应的用户数据，当所述用户数据均被读取成功时，将读取的用户数据存储至预设存储路径；
当存在读取失败的用户数据时，再次读取失败的用户数据，直至所述标签平台所有页数的用户均被成功读取。
4.如权利要求1所述的基于大数据的任务处理方法，其特征在于，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
基于所述原始用户群中各用户的标识号利用预设的哈希算法计算得到各用户的哈希值，将哈希值相同的用户放入同一个用户桶；
根据所述任务配置信息获取所述任务中各子任务所需比例的用户数，随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群。
5.如权利要求4所述的基于大数据的任务处理方法，其特征在于，所述随机选取所述比例的用户桶对应的用户群作为各所述子任务的初始用户群，包括：
根据所述任务配置信息中的黑名单信息及参照组信息，从所述比例的用户桶对应的用户群中筛除黑名单用户及参照组用户。
6.如权利要求4所述的基于大数据的任务处理方法，其特征在于，所述从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，包括：
实时发送拆分进度及拆分的统计信息至所述任务调度器，当拆分出满足所述任务配置信息的所有初始用户群之后，向预设终端反馈提示消息，其中，所述统计信息包括：每个子任务对应的用户数量、每个子任务对应的参照组用户数量及每个子任务对应的黑名单用户数量。
7.如权利要求1至6中任意一项所述的基于大数据的任务处理方法，其特征在于，所述对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群，包括：
基于所述初始用户群各用户的标识号对各用户执行排序操作，根据排序结果保留相同标识号的任意一个用户。
8.一种基于大数据的任务处理装置，其特征在于，所述装置包括：
响应模块：用于响应用户发出的任务处理请求，提供预设配置界面供用户配置该任务的配置信息；
获取模块：用于获取所述用户在预设界面提交的任务配置信息，将所述任务配置信息存储至等待队列中，利用预设的任务调度器每隔预设时间段从所述等待队列中读取所述任务配置信息并存储至任务调度表；
接收模块：用于当接收到对所述任务调度表中用于表示任务作执行处理的指令时，利用预设的任务执行器将所述任务配置信息存储至任务执行表；
处理模块：用于基于任务执行表中的任务配置信息，从预设的标签平台读取所述任务对应的原始用户群，从所述原始用户群中拆分出满足所述任务配置信息的初始用户群，对所述初始用户群执行去重操作得到所述任务处理请求对应的目标用户群。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于大数据的任务处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于大数据的任务处理程序，所述基于大数据的任务处理程序被处理器执行时，实现如权利要求1至7中任一项所述基于大数据的任务处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913154.XA CN113592342A (zh) | 2021-08-10 | 2021-08-10 | 基于大数据的任务处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913154.XA CN113592342A (zh) | 2021-08-10 | 2021-08-10 | 基于大数据的任务处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113592342A true CN113592342A (zh) | 2021-11-02 |
Family
ID=78256762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110913154.XA Pending CN113592342A (zh) | 2021-08-10 | 2021-08-10 | 基于大数据的任务处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592342A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977411A (zh) * | 2017-11-21 | 2018-05-01 | 腾讯科技(成都)有限公司 | 群组推荐方法、装置、存储介质以及服务器 |
| CN110083775A (zh) * | 2019-05-13 | 2019-08-02 | 北京顺丰同城科技有限公司 | 一种推荐资源的配置方法及配置装置 |
| CN111859132A (zh) * | 2020-07-21 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及智能设备、存储介质 |
-
2021
- 2021-08-10 CN CN202110913154.XA patent/CN113592342A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977411A (zh) * | 2017-11-21 | 2018-05-01 | 腾讯科技(成都)有限公司 | 群组推荐方法、装置、存储介质以及服务器 |
| CN110083775A (zh) * | 2019-05-13 | 2019-08-02 | 北京顺丰同城科技有限公司 | 一种推荐资源的配置方法及配置装置 |
| CN111859132A (zh) * | 2020-07-21 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及智能设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11023533B2 (en) | Node task data display method and apparatus, storage medium and computer equipment | |
| CN109450771B (zh) | 添加好友的方法、装置、计算机设备及存储介质 | |
| CN107203866B (zh) | 订单的处理方法以及装置 | |
| CN111782943A (zh) | 基于历史数据记录的信息推荐方法、装置、设备及介质 | |
| CN111176963B (zh) | 一种服务评价信息的处理方法及装置 | |
| CN108492005B (zh) | 项目数据处理方法、装置、计算机设备和存储介质 | |
| CN112613917A (zh) | 基于用户画像的信息推送方法、装置、设备及存储介质 | |
| CN110163683B (zh) | 价值用户关键指标确定方法、广告投放方法及装置 | |
| CN104811461B (zh) | 数据推送方法和装置 | |
| CN112017007A (zh) | 用户行为数据的处理方法及装置、计算机设备、存储介质 | |
| CN111666298A (zh) | 基于flink的用户服务类别检测方法、装置、计算机设备 | |
| CN112348348A (zh) | 一种任务数据处理方法及系统 | |
| CN111861418A (zh) | 一种任务生成方法、装置及电子设备 | |
| CN113986730A (zh) | 邀约文件测试方法、装置、设备及存储介质 | |
| CN111884823B (zh) | 任务提示方法和装置、存储介质及电子装置 | |
| CN113592342A (zh) | 基于大数据的任务处理方法、装置、设备及存储介质 | |
| CN108898482B (zh) | 多产品的签约方法及装置 | |
| CN116797345A (zh) | 任务处理方法、装置、计算机设备及存储介质 | |
| CN110618990A (zh) | 清单报表设置方法、系统及清单报表获取方法 | |
| CN110221952B (zh) | 业务数据的处理方法及装置、业务数据处理系统 | |
| CN114037269A (zh) | 基于云平台的染色排程处理系统、方法和计算机设备 | |
| CN114257871A (zh) | 一种直播预约信息处理方法、系统及介质 | |
| CN112598377A (zh) | 事项提醒方法、系统、装置、设备及存储介质 | |
| CN113867715A (zh) | 页面底部栏配置方法、装置、设备及存储介质 | |
| CN112181662A (zh) | 任务调度方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |