CN110750693A - 数据处理方法、装置、设备和介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、装置、设备和介质，涉及数据处理领域，尤其涉及搜索和推荐领域。具体实现方案为：通过控制系统根据待生效数据状态，确定生效控制信息；通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；通过所述生效系统对所述目标生效数据进行生效处理。本申请实施例提供了一种数据处理方法、装置、设备和介质，提高了数据的生效速度。

Description

数据处理方法、装置、设备和介质

技术领域

本申请实施例涉及数据处理领域，尤其涉及搜索和推荐领域。具体地，本实施例提供了一种数据处理方法、装置、设备和介质。

背景技术

目前搜索和推荐场景下，高时效性的内容越来越多，比如热门赛事新闻、小说连载更新、股票实时价格和曲线、体育和游戏直播，这些高时效性内容需要及时(秒级或者分钟级)生效到线上系统，使得用户可以第一时间通过搜索和推荐获取时效性内容。高时效性的内容在上线之前需要经过内容的加工、融合和计算等多个处理逻辑的处理。

目前普遍采用如下方法进行内容生效：

直接将各个处理逻辑串联起来，内容达到系统后顺序经过这些处理逻辑，直到生效到线上。

然而，上述方案存在如下缺点：

在大数据量下，极容易导致拥塞，从而使得无法及时生效。

发明内容

本申请实施例提供一种数据处理方法、装置、设备和介质，以提高数据的生效速度。

本申请实施例提供了一种数据处理方法，该方法包括：

通过控制系统根据待生效数据状态，确定生效控制信息；

通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；

通过所述生效系统对所述目标生效数据进行生效处理。

本申请实施例可以实现如下技术效果:通过将串联的生效逻辑拆分由生效系统和控制系统实现，从而实现对生效处理逻辑的解耦，解决在大数据量下，串联处理逻辑极容易导致拥塞的问题，进而提高数据的生效速度。

进一步地，所述控制系统和所述生效系统并发执行。

基于该技术特征，本申请实施例可以实现如下技术效果:通过对所述控制系统和所述生效系统并发执行，以进一步提高数据的生效速度。

进一步地，所述通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据，包括：

所述生效系统从控制队列中获取所述目标生效控制信息，并根据所述目标生效控制信息从数据队列中选择所述目标生效数据；

其中，所述控制系统将确定的生效控制信息经数据总线，推送至所述控制队列，平台系统将待生效数据经数据总线，推送至所述数据队列。

基于该技术特征，本申请实施例可以实现如下技术效果：通过从控制队列中获取目标数据种类和所述目标数据种类的生效数据量，从数据队列中获取目标生效数据，相比轮询数据库的数据访问方式，因为本实施例的技术方案无需基于索引对数据进行查询，所以本实施例可以减轻数据总线的压力，进而提高数据处理速度。

进一步地，所述目标生效控制信息包括目标数据种类和所述目标数据种类的生效数据量。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据目标数据种类和所述目标数据种类的生效数据量，确定目标生效数据，从而实现将大数据量的不同种类的数据进行区分，将高时效种类的数据优先生效到线上。

进一步地，所述根据待生效数据状态，确定生效控制信息，包括：

根据所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量；

将所述目标数据种类和所述目标数据种类的生效数据量，作为所述生效控制信息。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量，从而实现将生效时效要求较高的数据及时生效到线上。

进一步地，所述根据当前带宽的生效容量、所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量，包括：

按照生效时效由高到低的顺序，对所述待生效数据进行数量累计；

若累计数量等于或大于设定阈值，则停止累计；

将累计的待生效数据的数据种类作为所述目标数据种类，将累计的所述目标数据种类的数据量，作为所述生效数据量。

基于该技术特征，本申请实施例可以实现如下技术效果：通过按照生效时效由高到低的顺序，确定目标数据种类，从而实现对高时效数据的优先生效。

进一步地，所述对所述目标生效数据进行生效处理，包括：

采用初始生效逻辑，对所述目标生效数据进行生效处理，将处理结果写入下一生效逻辑关联的下一队列中，用于所述下一生效逻辑对所述下一队列中的数据进行生效处理。

基于该技术特征，本申请实施例可以实现如下技术效果：通过采用初始生效逻辑，对所述目标生效数据进行生效处理，将处理结果写入下一生效逻辑关联的下一队列中，用于所述下一生效逻辑对所述下一队列中的数据进行生效处理，从而实现生效逻辑直接从关联的队列中获取处理数据，也即利用队列对生效逻辑需要处理的数据进行缓存，从而有效解决在大数据量下容易拥塞的问题。

进一步地，所述对所述目标生效数据进行生效处理，包括：

根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度；

根据所述生效速度，对所述目标限速数据进行生效处理。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据所述控制队列中的目标限速信息，从所述目标生效数据中确定目标限速数据以及所述目标限速数据的生效速度；根据所述生效速度，对所述目标限速数据进行生效处理，从而实现对待处理数据的生效处理速度的限制。据此，可以限制低时效数据的生效处理速度，以保证高时效数据的生效处理速度。

进一步地，所述根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度之前，所述方法还包括：

所述控制系统对当前带宽的生效容量进行检测；

若当前带宽的生效容量小于所述目标生效数据的数据量，则所述控制系统确定所述目标限速信息。

基于该技术特征，本申请实施例可以实现如下技术效果：通过控制系统对当前带宽的生效容量进行检测；若当前带宽的生效容量小于所述目标生效数据的数据量，则确定所述目标限速信息，从而实现在当前带宽的生效容量不能满足对全部目标生效数据进行生效时，触发对低时效数据的生效处理速度的限制，保证高时效数据的生效处理速度，进而实现对高时效数据的优先生效。

进一步地，所述目标限速信息的确定包括：

根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息。

基于该技术特征，本实施例可以实现如下效果:通过根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息。因为考虑到了数据种类的生效时效，以及当前带宽的生效容量与所述目标生效数据的数据量差值的影响，所以本实施例可以实现对超出当前带宽生效容量的低时效数据的生效速度限制，保证高时效数据的生效处理速度。

进一步地，所述根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息，包括：

按照生效时效由低到高的顺序，对所述目标生效数据进行数量累计；

若累计数量等于或大于所述数据量差值，则停止累计；

将累计的目标生效数据的数据种类作为目标限速种类，将累计的所述目标限速种类的数据量，作为所述目标限速种类的数据量；

将所述目标限速种类和所述目标限速种类的数据量，作为所述目标限速信息。

基于该技术特征，本申请实施例可以实现如下技术效果：通过按照生效时效由低到高的顺序，确定目标限速种类，从而实现对低时效数据的限速。通过根据当前带宽的生效容量与所述目标生效数据的数据量差值，确定目标限速种类的数据量，从而保证对高时效数据的优先生效。

进一步地，通过所述生效系统对所述目标生效数据进行生效处理之前，所述方法还包括：

所述生效系统根据所述目标生效控制信息中的异常数据信息，对所述待生效数据进行异常过滤，其中，所述异常数据信息由所述控制系统根据所述生效系统生效处理结果确定。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据生效处理结果确定异常数据信息，并在对待处理数据进行生效处理前，基于确定的异常数据信息对候选生效数据进行过滤，从而避免对异常数据的生效处理，提高数据的生效处理效率。

进一步地，所述待生效数据从平台系统中实时获取得到。

基于该技术特征，本申请实施例可以实现对待生效数据的实时生效处理。

本申请实施例还提供了一种数据处理装置，该装置包括：

信息确定模块，用于通过控制系统根据待生效数据状态，确定生效控制信息；

数据选择模块，用于通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；

数据生效模块，用于通过所述生效系统对所述目标生效数据进行生效处理。

进一步地，所述控制系统和所述生效系统并发执行。

进一步地，所述数据选择模块，包括：

数据选择单元，用于所述生效系统从控制队列中获取所述目标生效控制信息，并根据所述目标生效控制信息从数据队列中选择所述目标生效数据；

其中，所述控制系统将确定的生效控制信息经数据总线，推送至所述控制队列，平台系统将待生效数据经数据总线，推送至所述数据队列。

进一步地，所述目标生效控制信息包括目标数据种类和所述目标数据种类的生效数据量。

进一步地，所述信息确定模块，包括：

数据种类确定单元，用于根据所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量。

进一步地，所述数据种类确定单元具体用于：

按照生效时效由高到低的顺序，对所述待生效数据进行数量累计；

若累计数量等于或大于设定阈值，则停止累计；

将累计的待生效数据的数据种类作为所述目标数据种类，将累计的所述目标数据种类的数据量，作为所述生效数据量。

进一步地，所述数据生效模块，包括：

数据生效单元，用于采用初始生效逻辑，对所述目标生效数据进行生效处理，将处理结果写入下一生效逻辑关联的下一队列中，用于所述下一生效逻辑对所述下一队列中的数据进行生效处理。

进一步地，所述数据生效模块，包括：

生效速度确定单元，用于根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度；

数据生效单元，用于根据所述生效速度，对所述目标限速数据进行生效处理。

进一步地，所述装置还包括：

带宽检测模块，用于所述根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度之前，所述控制系统对当前带宽的生效容量进行检测；

限速信息确定模块，用于若当前带宽的生效容量小于所述目标生效数据的数据量，则所述控制系统确定所述目标限速信息。

进一步地，所述装置还包括：

信息确定模块，用于根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息。

进一步地，所述信息确定模块，包括：

数量累计单元，用于按照生效时效由低到高的顺序，对所述目标生效数据进行数量累计；

停止累计单元，用于若累计数量等于或大于所述数据量差值，则停止累计；

限速种类确定单元，用于将累计的目标生效数据的数据种类作为目标限速种类，将累计的所述目标限速种类的数据量，作为所述目标限速种类的数据量；

限速信息确定单元，用于将所述目标限速种类和所述目标限速种类的数据量，作为所述目标限速信息。

进一步地，所述装置还包括：

异常过滤模块，用于通过所述生效系统对所述目标生效数据进行生效处理之前，所述生效系统根据所述目标生效控制信息中的异常数据信息，对所述待生效数据进行异常过滤，其中，所述异常数据信息由所述控制系统根据所述生效系统生效处理结果确定。

进一步地，所述待生效数据从平台系统中实时获取得到。

本申请实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。

本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请第一实施例提供的一种数据处理方法的流程图；

图2是本申请第二实施例提供的一种数据处理方法的流程图；

图3是本申请第三实施例提供的一种数据处理方法的流程图；

图4是本申请第四实施例提供的一种数据处理方法的系统交互示意图；

图5是本申请第四实施例提供的一种基于数据总线的交互示意图；

图6是本申请第四实施例提供的一种控制逻辑管理生效逻辑的示意图；

图7是本申请第五实施例提供的一种数据处理装置的结构示意图；

图8是根据本申请实施例提供的数据处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

第一实施例

图1是本申请第一实施例提供的一种数据处理方法的流程图。本实施例可适用于将待展示数据展示在显示界面的情况。典型地，本实施例可以适用于在搜索场景和/或推荐场景下，将搜索结果和/或推荐内容生效到线上，以展示给用户的情况。该方法可以由一种数据处理装置来执行，该装置可以由软件和/或硬件的方式实现。本申请实施例提供的数据处理方法包括：

S110、通过控制系统根据待生效数据状态，确定生效控制信息。

其中，控制系统是指生成生效控制信息，以控制生效系统中生效处理的逻辑单元。

待生效数据状态是指待生效数据的生效状态信息，具体可以包括待生效数据的数据种类以及所述数据种类的生效时效。

生效时效是指，数据生效到线上的时效性要求。生效时效越高，要求数据生效到线上的时间越短。

生效控制信息是指控制生效系统中生效处理的信息，具体可以包括即将生效的数据种类和生效该数据种类的数据量。

具体地，根据待生效数据状态，确定生效控制信息，包括：

根据待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量。

根据所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量，包括：

按照生效时效由高到低的顺序，对所述待生效数据进行数量累计；

若累计数量等于或大于设定阈值，则停止累计；

将累计的待生效数据的数据种类作为所述目标数据种类，将累计的所述目标数据种类的数据量，作为所述生效数据量。上述方法存在如下问题：确定的生效数据量大于或小于当前带宽的可生效数据量。如果确定的生效数据量大于当前带宽的可生效数据量，那么存在生效拥塞问题。如果确定的生效数据量小于当前带宽的可生效数据量，那么存在无法充分利用当前带宽资源的问题。

为解决上述问题，所述根据待生效数据状态，确定生效控制信息，包括：

根据当前带宽的生效容量、所述待生效数据的数据种类以及所述数据种类的生效时效，确定目标数据种类和目标数据种类的生效数据量；

将所述目标数据种类和所述目标数据种类的生效数据量，作为所述生效控制信息。

其中，当前带宽的生效容量是指，当前带宽的可生效数据量。

目标数据种类是指即将生效到线上的数据种类。

具体地，该数据种类可以根据数据内容确定。例如，该数据种类可以是股票价格、直播信息、娱乐信息等。

典型地，上述数据种类可以依据数据生效时效确定。其中生效时效是指生效的时效性。例如，该数据种类可以是高时效数据种类和低时效数据种类等。

目标数据种类的生效数据量是指，即将生效到线上的目标数据种类的数据量。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据当前带宽的生效容量、所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量，从而实现结合当前带宽的实际生效容量，将生效时效要求较高的数据及时生效到线上。

具体地，所述根据当前带宽的生效容量、所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量，包括：

按照生效时效由高到低的顺序，对所述待生效数据进行数量累计；

若累计数量等于或大于设定阈值，则停止累计，其中所述设定阈值小于或等于所述当前带宽的生效容量；

将累计的待生效数据的数据种类作为所述目标数据种类，将累计的所述目标数据种类的数据量，作为所述生效数据量。

示例性地，若当前带宽的生效容量为10万比特，候选生效数据包括高时效数据有2万比特，低时效数据10万比特，则确定目标数据种类和所述目标数据种类的生效数据量分别为：高时效数据2万比特，低时效数据8万比特。

其中低时效数据的剩余2万比特缓存在数据队列中等待下次生效处理。

基于该技术特征，本申请实施例可以实现如下技术效果：通过按照生效时效由高到低的顺序，确定目标数据种类，从而实现对高时效数据的优先生效。通过根据当前带宽的生效容量，确定目标数据种类的生效数据量，从而实现充分利用当前带宽对数据的生效，提高对待生效数据的生效效率。

S120、通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据。

其中，生效系统是指对数据进行生效处理的逻辑单元。

目标生效控制信息是指待执行的生效控制信息。

目标生效数据是指即将进行生效处理的数据。

具体地，根据所述目标生效控制信息从待生效数据中选择目标生效数据，包括：

根据所述目标生效控制信息中目标数据种类和目标数据种类的生效数据量，从待生效数据中选择目标生效数据。

根据所述目标生效控制信息中目标数据种类和目标数据种类的生效数据量，从待生效数据中选择目标生效数据，包括：

从数据队列中确定候选生效数据；

将所述候选生效数据的候选数据种类，与所述目标数据种类进行匹配；

若匹配成功，且匹配成功的累计数据量小于所述生效数据量，则将匹配成功的候选生效数据作为所述目标生效数据。

其中，所述候选生效数据是指存储在数据队列中等待生效的数据。

匹配成功的累计数据量是指，与所述目标数据种类匹配成功的候选生效数据的累计数量。

为实现对数据的顺序生效，所述从数据队列中确定候选生效数据包括：

按照候选生效数据的添加顺序，从数据队列中依次确定候选生效数据。

S130、通过所述生效系统对所述目标生效数据进行生效处理。

具体地，可以基于轮循数据库的数据访问方式，对所述目标生效数据进行生效处理。

为提高数据处理效率，所述对所述目标生效数据进行生效处理，包括：

采用初始生效逻辑，对所述目标生效数据进行生效处理，将处理结果写入下一生效逻辑关联的下一队列中，用于所述下一生效逻辑对所述下一队列中的数据进行生效处理。

基于该技术特征，本申请实施例可以实现如下技术效果：通过采用初始生效逻辑，对所述目标生效数据进行生效处理，将处理结果写入下一生效逻辑关联的下一队列中，用于所述下一生效逻辑对所述下一队列中的数据进行生效处理，从而实现生效逻辑直接从关联的队列中获取处理数据，也即利用队列对生效逻辑需要处理的数据进行缓存，从而有效解决在大数据量下容易拥塞的问题。

本申请实施例的技术方案，通过将串联的生效逻辑拆分由生效系统和控制系统实现，从实现对生效处理逻辑的解耦，解决在大数据量下，串联处理逻辑极容易导致拥塞的问题，进而提高数据的生效速度。

为进一步提高数据处理效率，所述控制系统和所述生效系统并发执行。

进一步地，通过所述生效系统对所述目标生效数据进行生效处理之前，所述方法还包括：

所述生效系统根据所述目标生效控制信息中的异常数据信息，对所述待生效数据进行异常过滤，其中，所述异常数据信息由所述控制系统根据所述生效系统生效处理结果确定。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据生效处理结果确定异常数据信息，并在对待处理数据进行生效处理前，基于确定的异常数据信息对候选生效数据进行过滤，从而避免对异常数据的生效处理，提高数据的生效处理效率。

进一步地，所述待生效数据从平台系统中实时获取得到。

基于该技术特征，本申请实施例可以实现对待生效数据的实时生效处理。

第二实施例

图2是本申请第二实施例提供的一种数据处理方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2，本实施例提供的数据处理方法包括：

S210、通过控制系统根据待生效数据状态，确定生效控制信息。

S220、通过生效系统从控制队列中获取目标生效控制信息，并根据所述目标生效控制信息从数据队列中选择目标生效数据。

其中，所述控制系统将确定的生效控制信息经数据总线，推送至所述控制队列，平台系统将待生效数据经数据总线，推送至所述数据队列。

控制队列是缓存生效控制信息的数据结构。

数据队列是缓存待生效数据的数据结构。

控制队列和数据队列均可以存储在生效系统中。

平台系统是负责前端数据交互的逻辑单元。

具体地，所述目标生效控制信息可以是目标生效数据的数据标识；

根据所述目标生效控制信息从数据队列中选择所述目标生效数据，包括：

将目标生效数据的数据标识与数据队列中候选生效数据的数据标识匹配；

将匹配一致的候选生效数据作为目标生效数据。

典型地，所述目标生效控制信息包括目标数据种类和所述目标数据种类的生效数据量；

所述生效系统根据所述目标生效控制信息从数据队列中选择所述目标生效数据，包括：

从所述数据队列中确定候选生效数据；

将所述候选生效数据的种类，与所述目标数据种类进行匹配；

若匹配成功，且匹配成功的累计数据量小于所述生效数据量，则将匹配成功的候选生效数据作为所述目标生效数据。

其中，所述目标数据种类是指目标生效数据的种类。

生效数据量是指即将生效的数据量。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据目标数据种类和所述目标数据种类的生效数据量，确定目标生效数据，从而实现将大数据量的不同种类的数据进行区分，将高时效种类的数据优先生效到线上。

通过将数据队列中候选生效数据的候选数据种类，与所述目标数据种类进行匹配；根据匹配结果和匹配成功的累计数据量，从所述候选生效数据中确定目标生效数据，从而实现对目标数据种类的目标生效数据的确定。

S230、通过所述生效系统对所述目标生效数据进行生效处理。

本申请实施例的技术方案，通过从控制队列中获取目标数据种类和所述目标数据种类的生效数据量，从数据队列中获取目标生效数据，相比轮询数据库的数据访问方式，因为本实施例的技术方案无需基于索引对数据进行查询，所以本实施例可以减轻数据总线的压力，进而提高数据处理速度。

第三实施例

图3是本申请第三实施例提供的一种数据处理方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3，本实施例提供的数据处理方法包括：

S310、通过控制系统根据待生效数据状态，确定生效控制信息。

S320、通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据。

S330、通过所述生效系统根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度。

其中，目标限速信息是指待限制生效速度的信息。

具体地，目标限速信息可以包括：待限速的数据种类、数据量和限速值。

目标限速数据是指待限制生效速度的数据。

典型地，目标限速信息的确定包括：

所述控制系统根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息。

所述根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息，包括：

按照生效时效由低到高的顺序，对所述目标生效数据进行数量累计；

若累计数量等于或大于所述数据量差值，则停止累计；

将累计的目标生效数据的数据种类作为目标限速种类，将累计的所述目标限速种类的数据量，作为所述目标限速种类的数据量；

将所述目标限速种类和所述目标限速种类的数据量，作为所述目标限速信息。

其中，目标限速种类是指待限速的数据种类。

目标限速种类的数据量是指待限速的目标限速种类的数据数量。

基于该技术特征，本申请实施例可以实现如下技术效果：通过按照生效时效由低到高的顺序，确定目标限速种类，从而实现对低时效数据的限速。通过根据当前带宽的生效容量与所述目标生效数据的数据量差值，确定目标限速种类的数据量，从而保证对高时效数据的优先生效。

具体地，根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度，包括：

根据目标限速信息中的目标限速种类和目标限速种类的数据量，从目标生效数据中确定目标限速数据；

根据目标限速信息中的限速值，确定目标限速数据的生效速度。

S340、通过所述生效系统根据所述生效速度，对所述目标限速数据进行生效处理。

本申请实施例的技术方案，通过根据所述控制队列中的目标限速信息，从所述目标生效数据中确定目标限速数据以及所述目标限速数据的生效速度；根据所述生效速度，对所述目标限速数据进行生效处理，从而实现对待处理数据的生效处理速度的限制。据此，可以限制低时效数据的生效处理速度，以保证高时效数据的生效处理速度。

进一步地，所述根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度之前，所述方法还包括：

所述控制系统对当前带宽的生效容量进行检测；

若当前带宽的生效容量小于所述目标生效数据的数据量，则确定所述目标限速信息。

基于该技术特征，本申请实施例可以实现如下技术效果：通过控制系统对当前带宽的生效容量进行检测；若当前带宽的生效容量小于所述目标生效数据的数据量，则确定所述目标限速信息，从而实现在当前带宽的生效容量不能满足对全部目标生效数据进行生效时，触发对低时效数据的生效处理速度的限制，保证高时效数据的生效处理速度，进而实现对高时效数据的优先生效。

第四实施例

图4是本申请第四实施例提供的一种数据处理方法的系统交互示意图。本实施例是在上述实施例的基础上提供的一种可选方案，其中系统间基于数据总线进行通信。

其中，生效系统是内容生效的主通路，包括数据从引入到线上生效的全流程。

控制系统是管理生效模块的逻辑，基于该逻辑可以实现系统的高可用、高吞吐进而实现内容实时生效。

平台系统用于结果可视化，问题追查自助化，及平台化(含管理)。

数据总线是待生效数据和控制信号的存储和传输介质。典型地，数据总线可以是开源的系统kakfa。

参见图5，具体地，本申请实施例提供过的数据处理方法可以描述如下：

平台系统通过数据总线将待生效数据推送至生效系统的数据队列；

控制系统根据当前带宽的生效容量、数据队列中候选生效数据的数据种类、数据种类关联候选生效数据的数量以及数据种类的生效时效，确定目标数据种类和目标数据种类的生效数据量，并将确定的目标数据种类和目标数据种类的生效数据量，经数据总线推送至生效系统的控制队列。

生效系统从控制队列获取目标数据种类和目标数据种类的生效数据量，并根据目标数据种类和目标数据种类的生效数据量，从数据队列中选择目标生效数据。

生效系统启动至少一个工作线程，基于生效系统，对目标生效数据进行生效处理。

为进一步提高数据生效的效率，控制系统根据生效处理结果确定异常数据信息，并将确定的异常数据信息经数据总线推送至控制队列，由生效模块根据异常数据信息，对数据队列中的待生效数据进行异常过滤。

为避免对异常数据错误过滤的发生，可以利用降低数据队列中异常数据的生效处理优先级操作，替换对数据队列中的待生效数据进行异常过滤的操作。

控制系统对生效系统中的过期数据进行分析，并将分析得到的过期数据推送至控制队列，由生效系统执行对过期数据进行丢弃的操作。

为实现对低时效数据的生效处理速度的限制，保证对高时效数据的高生效处理速度，在对目标生效数据进行生效处理的过程中，若控制系统检测到当前带宽的生效容量小于所述目标生效数据的数据量，则控制系统根据当前带宽的生效容量与目标生效数据的数据量的差值，以及目标生效数据的数据种类，确定目标限速信息，并将确定的目标限速信息添加至控制队列中，供生效模块根据控制队列中的目标限速信息，从目标生效数据中确定目标限速数据以及所述目标限速数据的生效速度；根据生效速度，对目标限速数据进行生效处理。

参见图6，控制系统根据生效处理结果确定异常数据信息，并根据异常数据信息生成控制信息，生成的控制信息经数据总线推送至控制队列。由生效系统根据控制队列中的控制信息，管理数据队列中的待生效数据的生效处理，最终将待生效数据生效到线上。

从上述描述可知，控制系统需要实时分析生效系统的状态，包括过滤掉异常数据、发现异常数据并进行拦截、丢弃过期数据、合法数据的自动回放等，并根据分析结果生成控制信息，以实现对生效系统的管理。

此外，用户也可以通过在平台上进行干预，生成控制命令直接通过控制系统来管理生效系统。

本申请实施例通过控制模块的精确控制，生效模块可以将大数据量的不同类型的数据进行区分，从而将高时效性内容生效到线上。

通过从轮询数据库改为从数据总线订阅，这样数据总线会主动推送数据给订阅者，从而减小数据总线压力。

第五实施例

图7是本申请第五实施例提供的一种数据处理装置的结构示意图。参见图7，本申请实施例提供的数据处理装置700包括：信息确定模块701、数据选择模块702和数据生效模块703。

其中，信息确定模块701，用于通过控制系统根据待生效数据状态，确定生效控制信息；

数据选择模块702，用于通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；

数据生效模块703，用于通过所述生效系统对所述目标生效数据进行生效处理。

本申请实施例的技术方案，通过将串联的生效逻辑拆分由生效系统和控制系统实现，从实现对生效处理逻辑的解耦，解决在大数据量下，串联处理逻辑极容易导致拥塞的问题，进而提高数据的生效速度。

进一步地，所述控制系统和所述生效系统并发执行。

进一步地，所述数据选择模块，包括：

数据选择单元，用于所述生效系统从控制队列中获取所述目标生效控制信息，并根据所述目标生效控制信息从数据队列中选择所述目标生效数据；

其中，所述控制系统将确定的生效控制信息经数据总线，推送至所述控制队列，平台系统将待生效数据经数据总线，推送至所述数据队列。

进一步地，所述目标生效控制信息包括目标数据种类和所述目标数据种类的生效数据量。

进一步地，所述信息确定模块，包括：

数据种类确定单元，用于根据所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量。

进一步地，所述数据种类确定单元具体用于：

按照生效时效由高到低的顺序，对所述待生效数据进行数量累计；

若累计数量等于或大于设定阈值，则停止累计；

将累计的待生效数据的数据种类作为所述目标数据种类，将累计的所述目标数据种类的数据量，作为所述生效数据量。

进一步地，所述数据生效模块，包括：

数据生效单元，用于采用初始生效逻辑，对所述目标生效数据进行生效处理，将处理结果写入下一生效逻辑关联的下一队列中，用于所述下一生效逻辑对所述下一队列中的数据进行生效处理。

进一步地，所述数据生效模块，包括：

生效速度确定单元，用于根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度；

数据生效单元，用于根据所述生效速度，对所述目标限速数据进行生效处理。

进一步地，所述装置还包括：

带宽检测模块，用于所述根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度之前，所述控制系统对当前带宽的生效容量进行检测；

限速信息确定模块，用于若当前带宽的生效容量小于所述目标生效数据的数据量，则所述控制系统确定所述目标限速信息。

进一步地，所述装置还包括：

信息确定模块，用于根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息。

进一步地，所述信息确定模块，包括：

数量累计单元，用于按照生效时效由低到高的顺序，对所述目标生效数据进行数量累计；

停止累计单元，用于若累计数量等于或大于所述数据量差值，则停止累计；

限速种类确定单元，用于将累计的目标生效数据的数据种类作为目标限速种类，将累计的所述目标限速种类的数据量，作为所述目标限速种类的数据量；

限速信息确定单元，用于将所述目标限速种类和所述目标限速种类的数据量，作为所述目标限速信息。

进一步地，所述装置还包括：

异常过滤模块，用于通过所述生效系统对所述目标生效数据进行生效处理之前，所述生效系统根据所述目标生效控制信息中的异常数据信息，对所述待生效数据进行异常过滤，其中，所述异常数据信息由所述控制系统根据所述生效系统生效处理结果确定。

进一步地，所述待生效数据从平台系统中实时获取得到。

第六实施例

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是根据本申请实施例的数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据处理方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/模块(例如，附图7所示的信息确定模块701、数据选择模块702和数据生效模块703)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据处理方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据处理电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至数据处理电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

数据处理方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与数据处理电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (15)

1.一种数据处理方法，其特征在于，该方法包括：

通过控制系统根据待生效数据状态，确定生效控制信息；

通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；

通过所述生效系统对所述目标生效数据进行生效处理。

2.根据权利要求1所述的方法，其特征在于，所述通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据，包括：

所述生效系统从控制队列中获取所述目标生效控制信息，并根据所述目标生效控制信息从数据队列中选择所述目标生效数据；

其中，所述控制系统将确定的生效控制信息经数据总线，推送至所述控制队列，平台系统将待生效数据经数据总线，推送至所述数据队列。

3.根据权利要求2所述的方法，其特征在于，所述目标生效控制信息包括目标数据种类和所述目标数据种类的生效数据量；

所述根据待生效数据状态，确定生效控制信息，包括：

根据所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待生效数据的数据种类以及所述数据种类的生效时效，确定所述目标数据种类和所述目标数据种类的生效数据量，包括：

按照生效时效由高到低的顺序，对所述待生效数据进行数量累计；

若累计数量等于或大于设定阈值，则停止累计；

将累计的待生效数据的数据种类作为所述目标数据种类，将累计的所述目标数据种类的数据量，作为所述生效数据量。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标生效数据进行生效处理，包括：

采用初始生效逻辑，对所述目标生效数据进行生效处理，将处理结果写入下一生效逻辑关联的下一队列中，用于所述下一生效逻辑对所述下一队列中的数据进行生效处理。

6.根据权利要求1所述的方法，其特征在于，所述对所述目标生效数据进行生效处理，包括：

根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度；

根据所述生效速度，对所述目标限速数据进行生效处理。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标生效控制信息中的目标限速信息，确定目标限速数据以及所述目标限速数据的生效速度之前，所述方法还包括：

所述控制系统对当前带宽的生效容量进行检测；

若当前带宽的生效容量小于所述目标生效数据的数据量，则所述控制系统确定所述目标限速信息。

8.根据权利要求6或7所述的方法，其特征在于，所述目标限速信息的确定包括：

根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息。

9.根据权利要求8所述的方法，其特征在于，所述根据当前带宽的生效容量与所述目标生效数据的数据量差值、所述目标生效数据的数据种类，以及所述数据种类的生效时效，确定所述目标限速信息，包括：

按照生效时效由低到高的顺序，对所述目标生效数据进行数量累计；

若累计数量等于或大于所述数据量差值，则停止累计；

将累计的目标生效数据的数据种类作为目标限速种类，将累计的所述目标限速种类的数据量，作为所述目标限速种类的数据量；

将所述目标限速种类和所述目标限速种类的数据量，作为所述目标限速信息。

10.根据权利要求1所述的方法，其特征在于，通过所述生效系统对所述目标生效数据进行生效处理之前，所述方法还包括：

所述生效系统根据所述目标生效控制信息中的异常数据信息，对所述待生效数据进行异常过滤，其中，所述异常数据信息由所述控制系统根据所述生效系统生效处理结果确定。

11.根据权利要求1所述的方法，其特征在于，所述待生效数据从平台系统中实时获取得到。

12.一种数据处理装置，其特征在于，该装置包括：

信息确定模块，用于通过控制系统根据待生效数据状态，确定生效控制信息；

数据选择模块，用于通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；

数据生效模块，用于通过所述生效系统对所述目标生效数据进行生效处理。

13.根据权利要求12所述的装置，其特征在于，所述数据选择模块，包括：

数据选择单元，用于所述生效系统从控制队列中获取所述目标生效控制信息，并根据所述目标生效控制信息从数据队列中选择所述目标生效数据；

其中，所述控制系统将确定的生效控制信息经数据总线，推送至所述控制队列，平台系统将待生效数据经数据总线，推送至所述数据队列。

14.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。

Images