CN113626175A - 数据处理的方法和装置 - Google Patents
数据处理的方法和装置 Download PDFInfo
- Publication number
- CN113626175A CN113626175A CN202010381663.8A CN202010381663A CN113626175A CN 113626175 A CN113626175 A CN 113626175A CN 202010381663 A CN202010381663 A CN 202010381663A CN 113626175 A CN113626175 A CN 113626175A
- Authority
- CN
- China
- Prior art keywords
- data processing
- data
- request
- processing request
- fragmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 196
- 238000013467 fragmentation Methods 0.000 claims abstract description 63
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 17
- 239000012634 fragment Substances 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 20
- 230000002787 reinforcement Effects 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012821 model calculation Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
Abstract
本发明公开了数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据处理请求的状态特征；根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。该实施方式能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和装置。
背景技术
在数据处理过程中，一个数据处理请求往往包含大量的待处理数据，为了提高数据处理效率、降低数据处理请求的处理耗时，一般会对数据处理请求进行分片，采用并发计算的方式使各个计算节点进行同步计算。
现有技术中，计算集群中每个计算节点的计算容量通常是人工配置的，且在系统服务的过程中不会动态改变，配置的效率、科学性和实时性较低。
发明内容
有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：
获取数据处理请求的状态特征；
根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；
根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
可选地，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：
将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。
可选地，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
可选地，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。
可选地，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。
可选地，所述奖励函数的奖励值与所述计算集群的系统负载和/或计算集群处理所述待处理请求的处理耗时负相关。
根据本发明实施例的第二方面，提供一种数据处理的装置，包括：
特征获取模块，获取数据处理请求的状态特征；
模型计算模块，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；
强化学习模块，根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
可选地，所述模型计算模块根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：
将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。
可选地，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
可选地，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。
可选地，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。
可选地，所述奖励函数的奖励值与所述计算集群的系统负载和/或计算集群处理所述待处理请求的处理耗时负相关。
根据本发明实施例的第三方面，提供一种数据处理的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
上述发明中的一个实施例具有如下优点或有益效果：利用通过强化学习训练的数据分片模型对分片处理策略进行实时动态规划，能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。通过使奖励函数的奖励值与计算集群的系统负载和计算集群处理待处理请求的处理耗时负相关，能够达到计算集群的系统负载和数据处理请求的处理耗时之间的平衡。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的数据处理的方法的主要流程的示意图；
图2是本发明实施例的数据处理的方法的原理示意图；
图3是现有技术中数据处理的原理示意图；
图4是不同分片策略的示意图；
图5是本发明实施例的数据处理的装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据本发明实施例的一个方面，提供了一种数据处理的方法。
图1是本发明实施例的数据处理的方法的主要流程的示意图，如图1所示，数据处理的方法，包括：步骤S101、步骤S102和步骤S103。
步骤S101、获取数据处理请求的状态特征。
状态特征是指接收到数据处理请求时的环境特征，包括数据处理请求对应的请求内容、用于处理该数据处理请求的计算集群的状态等。可选地，状态特征包括以下至少之一：数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
数据处理请求对应的待处理数据是指在处理该数据处理请求时需要计算的数据资源。例如，数据处理请求为产品信息查询请求，接收到该请求时，对所有产品进行计算以确定其与该请求的相关度，按照相关度从高到低的顺序对所有产品进行排序并返回。该示例中，所有产品即为与产品信息查询请求对应的待处理数据，产品的数量即为与产品信息查询请求对应的待处理数据数。再例如，数据处理请求为广告请求，接收到该广告请求时，对所有广告候选素材进行计算以确定其与该广告请求的相关度，按照相关度从高到低的顺序对所有广告候选素材进行筛选和排序，并返回排序后的广告候选素材。该示例中，所有广告候选素材即为与该广告请求对应的待处理数据，广告候选素材的数量即为与该广告请求对应的待处理数据数。
待处理数据特征数为处理待处理请求时依据的预设指标特征的个数。预设指标特征的数量和具体内容可以根据实际情况进行选择性设定，以产品查询请求为例，预设指标特征可以包括产品名称、产品所属类别、产品编码、产品型号、产品颜色等。以广告请求为例，预设指标特征可以包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。
计算集群的系统负载是指反映计算集群的数据处理能力的指标值。本领域技术人员可以根据实际情况选择性设定用于衡量计算集群的系统负载的指标以及计算方式。可选地，计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU(CentralProcessing Unit/Processor，中央处理器)占用率、内存占用比例、系统负载数值。此处提及的系统负载数值是指计算节点的运行队列的平均长度值，用于反映该计算节点最近一段时间(如最近1分钟、最近5分钟、最近15分钟)处于运行状态或者不间断睡眠状态的进程数。例如，负载为0.5表示CPU有平均一半的时间是空闲的，负载为1表示CPU被充分利用，负载为2表示负载过大、有一半的任务在等待CPU执行。
步骤S102、根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值。
数据分片模型是预先训练的模型，用于根据数据处理请求的状态特征确定计算集群中每个计算节点的计算容量或者所需的分片数量。
可选地，数据分片用于根据数据处理请求的状态特征确定计算集群中每个计算节点的计算容量，采用数据分片模型对所述数据处理请求进行分片处理，包括：将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。例如，数据处理请求对应的待处理数据数为2000，每个计算节点的计算容量为200，则所需的分片数量为10。再例如，某个时间点到来了5个广告请求，这5个广告请求对应的广告候选素材数分别为：220、100、300、15、29。在进行分片计算时(假如每个分片的最小计算容量为50)，则这5个广告请求对应的分片数量分别为：5、2、6、1、1。
数据分片模型的模型结构可以根据实际情况进行选择性确定，本发明实施例对此不作具体限定。示例性地，每次接收到新请求时，数据分片模型可以通过对几种可能的分片策略进行预算，确定出对应的分片策略。
比如：广告请求A一共对应1000个广告候选素材，此时系统负载较高，单机计算较多的广告难度较大。
A策略：增加每个计算节点的计算容量(从40增加至50，需要的分片数量从25个降至20个，对应的奖励值为：1659)；
B策略，增加每个计算节点的计算容量(从40增加至60，需要的分片数量从25个降至17，对应的奖励值为：1230)；
C策略，降低分片内每个计算节点的计算容量(从40降低至35，导致分片总数目增加，从25个增加至29个，对应的奖励值为：1710)。
此时，对于此广告请求A而言，选择策略C降低每个计算节点的计算容量，降低单个分片的计算负载和处理耗时，增加总分片数量，降低针对广告请求A的处理耗时。对于计算集群整体而言，也在向着奖励值最大化的方向变化。
再比如：广告请求B一共对应1000个广告候选素材，此时系统负载相对空闲，单机有足够的资源计算较多广告。
A策略：增加每个计算节点的计算容量(从40增加至50，需要的分片数量从25个降至20个，对应的奖励值为：1659)；
B策略，增加每个计算节点的计算容量(从40增加至60，需要的分片数量从25个降至17，对应的奖励值为：2110)；
C策略，降低每个计算节点的计算容量(从40降低至35，导致分片数量增加，从25个增加至29个，对应的奖励值为：1022)。
此时，对于此广告请求B而言，选择策略B增加每个计算节点的计算容量，单个分片的处理耗时不会有较高增长，针对广告请求B的处理耗时不会变太高，但单个分片负载会变高。
对于计算集群整体而言，选择策略A，因为在计算远期收益时选择策略A带来的长期收益较大(既能够满足当前阶段增加每个计算节点的计算容量的策略，又不会对下一个广告请求造成“资源过度预支”，导致后续广告请求无法正常满足)，向着整体奖励值最大化的方向变化。
步骤S103、根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
强化学习(Reinforcement learning，简称RL)是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化训练是为了达到模型强化学习的一种学习方法。
图2是本发明实施例的数据处理的方法的原理示意图。如图2所示，采用马尔可夫决策过程(Markov Decision Process，MDP)进行强化学习。一般地，MDP可以由一个四元组<S,A,R,T>表示。数据分片模型(Agent)和环境(Environment)之间的交互过程包括：Agent感知当前环境状态state st，从动作空间中选择动作action at执行；环境接收Agent所选择的动作之后，给以Agent相应的奖赏信号反馈rt+1，并转移到新的环境状态st+1，等待Agent做出新的决策。在与环境交互过程中，Agent的目标是找到一个最优策略，以获得最大的累计奖赏。计算集群可以视为响应数据分片模型分片策略的环境Environment，数据分片模型需要感知计算集群的系统状态进行决策。本发明利用通过强化学习训练的数据分片模型对分片处理策略进行实时动态规划，能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。
奖励函数可以根据实际情况进行选择性设定，奖励函数的期望值与数据处理过程中拟达到的目标有关，如降低系统负载率、降低处理待处理请求的处理耗时、提高计算集群的吞吐量等。可选地，奖励函数的奖励值与计算集群的系统负载和/或计算集群处理待处理请求的处理耗时负相关。
示例性地，奖励函数为：
式中，R代表整个计算集群对应的奖励函数的奖励值，Rcosti代表第i个计算节点对应的耗时奖励，loadi代表第i个计算节点对应的系统负载奖励，n代表待处理请求对应的分片数量，也即计算集群中处理该待处理请求的计算节点的数量。
上述奖励函数中采用乘法的形式表达整个计算集群对应的奖励函数的奖励值与两个指标对应的奖励值之间的关系，实际应用过程中中也可以采用其他形式表达上述关系，例如带权重的加法、指数函数等。采用乘法的方式表达，方便实现和计算。
通过使奖励函数的奖励值与计算集群的系统负载和计算集群处理待处理请求的处理耗时负相关，能够达到计算集群的系统负载和数据处理请求的处理耗时之间的平衡。
以下以广告请求为例，对本发明实施例的数据处理方法进行示例性说明。互联网场景中，一次请求往往包含上百个待打分广告，甚至更多，而为了保证用户体验，需要在极短的时间内完成计算打分。为了降低一次请求的计算等待时间，一般会对请求进行分片，采用并发计算。图3示出了一种现有技术中处理广告请求的拓扑结构。在图3示出的示例中，根据历史时段内各个广告请求对应的分片数量以及分片之后的计算集群状态训练模型，利用训练出的模型确定分片数量。模型一旦训练完成便不会动态改动，根据模型确定出的分片数量通常也不会动态改变。这种数据处理方式的配置效率、科学性和实时性较低。另外，一个分片请求中除了包含广告特征外，还需要包含一些基础特征，比如用户年龄、消费能力等，图4是不同分片策略的示意图，如图4所示，分片数过多必然会造成计算集群中需要处理的总计算量增加，计算集群的系统负载。而分片数过少，则分片的分散处理能力将下降，针对数据处理请求的处理耗时得不到保证。因此，这种固定分片数的策略，很难达到计算集群的负载和请求耗时之间的平衡。
本发明利用通过强化学习训练的数据分片模型对分片处理策略进行实时动态规划。基于第一时刻接收到的广告请求的状态特征，采用数据分片模型对该广告请求进行分片处理，基于预设的奖励函数确定整个计算集群对应的奖励值。将该奖励值拼接至该广告请求的状态特征中后输入数据分片模型，通过强化学习训练数据分片模型。在接收到下一个广告请求时，获取该下一个广告请求的状态特征，然后采用强化学习后的数据分片模型对该下一个广告请求进行分片处理。如此往复执行。
本发明能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。通过使奖励函数的奖励值与计算集群的系统负载和计算集群处理待处理请求的处理耗时负相关，能够达到计算集群的系统负载和数据处理请求的处理耗时之间的平衡。
根据本发明实施例的第二方面，提供一种实现上述方法的装置。
图5是本发明实施例的数据处理的装置的主要模块的示意图，如图5所示，数据处理的装置500包括：
特征获取模块501，获取数据处理请求的状态特征；
模型计算模块502，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；
强化学习模块503，根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
可选地，所述模型计算模块根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：
将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。
可选地，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
可选地，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。
可选地，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。
可选地，所述奖励函数的奖励值与所述计算集群的系统负载和/或计算集群处理所述待处理请求的处理耗时负相关。
根据本发明实施例的第三方面，提供一种数据处理的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
图6示出了可以应用本发明实施例的数据处理的方法或数据处理的装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的数据处理的方法一般由服务器605执行，相应地，数据处理的装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括：特征获取模块，获取数据处理请求的状态特征；模型计算模块，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；强化学习模块，根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，特征获取模块还可以被描述为“根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取数据处理请求的状态特征；根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
根据本发明实施例的技术方案，利用通过强化学习训练的数据分片模型对分片处理策略进行实时动态规划，能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。通过使奖励函数的奖励值与计算集群的系统负载和计算集群处理待处理请求的处理耗时负相关，能够达到计算集群的系统负载和数据处理请求的处理耗时之间的平衡。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种数据处理的方法，其特征在于，包括：
获取数据处理请求的状态特征；
根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；
根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
2.如权利要求1所述的方法，其特征在于，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：
将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。
3.如权利要求1所述的方法，其特征在于，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
4.如权利要求3所述的方法，其特征在于，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。
5.如权利要求3所述的方法，其特征在于，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。
6.如权利要求1所述的方法，其特征在于，所述奖励函数的奖励值与所述计算集群的系统负载和/或计算集群处理所述待处理请求的处理耗时负相关。
7.一种数据处理的装置，其特征在于，包括：
特征获取模块，获取数据处理请求的状态特征；
模型计算模块，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；
强化学习模块，根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
8.如权利要求7所述的装置，其特征在于，所述模型计算模块根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：
将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。
9.一种数据处理的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010381663.8A CN113626175B (zh) | 2020-05-08 | 2020-05-08 | 数据处理的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010381663.8A CN113626175B (zh) | 2020-05-08 | 2020-05-08 | 数据处理的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113626175A true CN113626175A (zh) | 2021-11-09 |
| CN113626175B CN113626175B (zh) | 2024-04-05 |
Family
ID=78377310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010381663.8A Active CN113626175B (zh) | 2020-05-08 | 2020-05-08 | 数据处理的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113626175B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115148029A (zh) * | 2022-06-29 | 2022-10-04 | 交通运输部公路科学研究所 | 一种用于预测行人交通事故的方法、介质以及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109710507A (zh) * | 2017-10-26 | 2019-05-03 | 北京京东尚科信息技术有限公司 | 一种自动化测试的方法和装置 |
| EP3629165A1 (en) * | 2018-09-27 | 2020-04-01 | INTEL Corporation | Accelerated resource allocation techniques |
-
2020
- 2020-05-08 CN CN202010381663.8A patent/CN113626175B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109710507A (zh) * | 2017-10-26 | 2019-05-03 | 北京京东尚科信息技术有限公司 | 一种自动化测试的方法和装置 |
| EP3629165A1 (en) * | 2018-09-27 | 2020-04-01 | INTEL Corporation | Accelerated resource allocation techniques |
Non-Patent Citations (2)
| Title |
|---|
| HUAN CHEN等: "SSChain: A full sharding protocol for public blockchain without data migration overhead", 《PERVASIVE AND MOBILE COMPUTING》 * |
| 朴松昊;孙立宁;钟秋波;黄庆成;: "动态环境下的多智能体机器人协作模型", 华中科技大学学报(自然科学版), no. 1 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115148029A (zh) * | 2022-06-29 | 2022-10-04 | 交通运输部公路科学研究所 | 一种用于预测行人交通事故的方法、介质以及电子设备 |
| CN115148029B (zh) * | 2022-06-29 | 2023-09-19 | 交通运输部公路科学研究所 | 一种用于预测行人交通事故的方法、介质以及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113626175B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111786895A (zh) | 动态全局限流的方法和装置 | |
| CN110545246A (zh) | 一种基于令牌桶的限流方法和装置 | |
| BRPI1101520A2 (pt) | Vistas e medidas para uma central de contato sem fila | |
| CN112016794B (zh) | 资源配额管理方法、装置和电子设备 | |
| CN111044062B (zh) | 路径规划、推荐方法和装置 | |
| CN113495779A (zh) | 一种任务调度方法和装置、任务执行系统 | |
| CN113626175B (zh) | 数据处理的方法和装置 | |
| CN113765969A (zh) | 一种流量控制方法和装置 | |
| CN112667368A (zh) | 一种任务数据处理方法和装置 | |
| CN115858147A (zh) | 成本建模方法和装置 | |
| CN115619142A (zh) | 匹配数据的方法、装置、设备和计算机可读介质 | |
| CN110766488A (zh) | 一种自动确定主题场景的方法和装置 | |
| CN113034188B (zh) | 一种多媒体内容投放方法、装置及电子设备 | |
| CN112231299B (zh) | 一种特征库动态调整的方法和装置 | |
| CN115099865A (zh) | 一种数据处理方法和装置 | |
| CN114217933A (zh) | 多任务调度方法、装置、设备以及存储介质 | |
| CN113760484A (zh) | 数据处理的方法和装置 | |
| CN112633536A (zh) | 一种调度配送时间的方法和装置 | |
| CN113343147B (zh) | 信息处理方法、装置、设备、介质及程序产品 | |
| CN113760972B (zh) | 一种数据查找方法和装置 | |
| CN112667627B (zh) | 一种数据处理方法及装置 | |
| CN115801791A (zh) | 一种实现负载均衡的方法和负载均衡器 | |
| CN113762691A (zh) | 一种业务分配方法和装置 | |
| CN113342903A (zh) | 一种数据仓库中模型的管理方法及装置 | |
| CN113448715A (zh) | 一种资源调度方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |