CN113032383A - 数据实时处理方法、设备、系统以及存储介质 - Google Patents

Abstract

本申请提供一种数据实时处理方法、设备、系统以及存储介质，该方法包括：接收管理服务器发送的分析任务，其中，分析任务是管理服务器根据多个业务场景的用户数据和需求信息获得的多个分析任务中的一个；接收至少一个其他任务服务器发送的第一分析结果，其中，第一分析结果是其他任务服务器对多个分析任务中的另一个分析任务进行处理获得；根据第一分析结果执行分析任务获得第二分析结果；向管理服务器发送第二分析结果。本方案可针对有庞大数据量的用户数据进行实时分析，为制定策略提供实时有效的数据基础。

Description

数据实时处理方法、设备、系统以及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据实时处理方法、设备、系统以及存储介质。

背景技术

随着计算机网络的快速发展，服务于各中业务场景的业务系统被广泛使用，各个业务系统的用户量也快速增长。

用户在使用业务系统时会产生大量的用户数据。从整体上，这些用户数据能够反映用户需求。通过对大量用户数据进行分析，可以基于分析结果指定发展策略。为提高决策准确性，对数据分析提出实时性要求，随时根据当前客户行为而调整策略变得越来越常见。

因此，亟待一种对有庞大数据量的用户数据进行实时处理的实时数据处理方案。

发明内容

本申请提供一种数据实时处理方法、设备、系统以及存储介质，用以提供一种针对有庞大数据量的用户数据进行实时分析的方案。

第一方面，本申请提供一种数据实时处理方法，方法应用于任务服务器，方法包括：

接收管理服务器发送的分析任务，其中，分析任务是管理服务器根据多个业务场景的用户数据和需求信息获得的多个分析任务中的一个；

接收至少一个其他任务服务器发送的第一分析结果，其中，第一分析结果是其他任务服务器对多个分析任务中的另一个分析任务进行处理获得；

根据第一分析结果执行分析任务获得第二分析结果；

向管理服务器发送第二分析结果。

可选地，根据第一分析结果执行分析任务获得第二分析结果，具体包括：

对分析任务进行解析，获得任务数据和需求信息；

对任务数据进行数据清洗，获得清洗后的任务数据；

对第一分析结果、清洗后的任务数据以及需求信息进行处理，获得第二分析结果。

在上述技术方案中，在对多个业务场景的用户数据进行分析前，对多个业务场景的用户数据进行数据清洗，对用户数据的数据结构进行统一化处理，以便进行数据分析，提高数据实时处理效率。

可选地，对任务数据进行数据清洗，获得清洗后的任务数据，具体包括：

对任务数据进行格式转换，获得中间数据；

对中间数据进行来源标记，获得清洗后的任务数据。

可选地，对任务数据进行格式转换，获得中间数据，具体包括：

根据任务数据的数据结构和目标数据结构，获得转换模型；

根据转换模型对任务数据进行格式转换，获得中间数据。

在上述技术方案中，在对多个业务场景的用户数据进行数据清洗时，标记各个用户数据的来源，实现用户数据格式统一化，且保留各个用户数据的数据来源，以便于对用户数据筛选后进行分析处理。

可选地，对第一分析结果、清洗后的任务数据以及需求信息进行处理，获得第二分析结果，具体包括：

根据需求信息对清洗后的任务数据进行统计处理，获得第三分析结果；

对第三分析结果和第一分析结果进行融合，获得第二分析结果。

可选地，对第一分析结果、清洗后的任务数据以及需求信息进行处理，获得第二分析结果，具体包括：

获取清洗后的任务数据对应的历史数据；

根据需求信息对清洗后的任务数据和历史数据进行处理，获得第四分析结果；

对第四分析结果和第一分析结果进行融合，获得第二分析结果。

可选地，对第一分析结果、清洗后的任务数据以及需求信息进行处理，获得第二分析结果，具体包括：

根据需求信息对清洗后的任务数据进行筛选，获得目标数据；

对目标数据进行处理获得第五分析结果，并对第五分析结果和第一分析结果进行融合获得第二分析结果。

在上述技术方案中，针对不同的分析需求进行相应的分析处理，可以适应制定各种发展策略。

第二方面，本申请提供一种数据实时处理方法，其特征在于，方法应用于管理服务器，方法包括：

实时获取需求信息和多个业务场景的用户数据；

对多个业务场景的用户数据和需求信息进行重组，获得多个分析任务；

向多个任务服务器发送分析任务，以使任务服务器根据从其他任务服务器接收的第一分析结果执行从管理服务器接收的分析任务，获得第二分析结果；

接收多个任务服务器发送的第二分析结果。

可选地，对多个业务场景的用户数据和需求信息进行重组，获得多个分析任务，具体包括：

根据拆分后的需求信息从多个业务场景的用户数据中选择任务数据；

根据拆分后的需求信息和任务数据生成多个分析任务。

可选地，实时获取用户数据，具体包括：

接收各个业务服务器发送的用户数据；

并将用户数据实时存储至消息队列中。

第三方面，本申请提供一种管理服务器，包括存储器，处理器；

存储器；用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行如第一方面及可选方案所涉及的数据处理方法。

第四方面，本申请提供一种任务服务器，包括：包括存储器，处理器；

存储器；用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行如第二方面及可选方案所涉及的数据处理方法。

第五方面，本申请提供一种数据实时处理系统，包括如第三方面所涉及的管理服务器、如第四方面所涉及的任务服务器、业务客户端以及业务服务器。

第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面及可选方案所涉及，或者第二方面及可选方案所涉及的数据处理方法。

第七方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面及可选方案所涉及，或者第二方面及可选方案所涉及的数据处理方法。

本申请提供的数据实时处理方法、设备、系统以及存储介质，管理服务器实时获取用户数据和需求信息，并根据用户数据和需求信息生成多个分析任务，并将多个分析任务分配至各个任务服务器，各个任务服务器在执行分析任务时，将得到分析结果实时传输至其他任务服务器，以便其他任务服务器结合该分析结果执行相应分析任务，实现多个任务服务器实时协同对有庞大数据量的用户数据进行处理，用于使用多个任务服务器对用户数据进行处理，可以提高数据处理效率，可用于对有庞大数据量的用户数据的实时分析处理，可为制定决策提供实时有效的数据分析结果。本申请提供数据实时计算方案中，数据计算延迟优化到秒级，单个服务器作业吞吐量可达到百万级别，单集群规模达到数千台。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请一实施例提供的数据实时处理系统的结构示意图；

图2为本申请另一实施例提供的数据实时处理系统的数据流示意图；

图3为本申请另一实施例提供的数据实时处理方法的流程示意图；

图4为本申请另一实施例提供的数据实时处理方法数据流图；

图5为本申请另一实施例提供的数据实时处理装置的结果示意图；

图6为本申请另一实施例提供的数据实时处理装置的结果示意图；

图7为本申请另一实施例提供的服务器的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

针对庞大数据量的用户数据的实时处理需求，本申请提供一种数据实时处理方法、设备、系统以及存储介质。本申请的技术构思是：由管理服务器实时收集用户数据和分析需求，并将分析需求和用户数据进行拆分重组处理获得多个分析任务，并将多个分析任务分配至各个任务服务器，各个任务服务器之间相互传输分析结果，以实现各个任务服务器之间协同完成分析任务，本方案可以适用于对庞大数据量的用户数据的实时处理。

如图1所示，本申请一实施例提供的数据实时处理系统100包括多个业务系统10、管理服务器101、多个任务服务器102以及管理客户端105。

其中，每个业务系统10包括业务服务器103和业务客户端104，业务服务器103和业务客户端104之间通信连接。管理服务器101和每个业务服务器103之间通信连接，管理服务器101和每个任务服务器102之间通信连接，各个任务服务器103之间相互通信。管理服务器101和管理客户端105之间通信连接。

如图2所示，用户通过业务客户端104产生用户数据，通过在客户端配置埋点程序，在用户产生用户数据时，实时上报该用户数据至业务服务器103。

业务服务器103在收集到用户数据后，将用户数据实时上报至管理服务器101。管理服务器101将用户数据存储在消息队列中，并根据所存储的用户数据和需求信息生成多个分析任务，再将分析任务分发至各个任务服务器，由各个任务服务器执行对应分析任务。

在各个任务服务器执行分析任务时，各个任务服务器之间相互传输分析结果，以结合其他任务服务器生成的分析结果执行对应分析任务。

上述数据实时处理系统用于执行如下数据实时处理方法，具体过程可参考下面描述，此处不再赘述。

如图3所示，本申请另一实施例提供一种数据实时处理方法，方法应用于上述数据实时处理系统，该数据实时处理方法具体包括如下步骤：

S201、管理服务器实时获取需求信息和多个业务场景的用户数据。

其中，管理客户端接收一级用户输入的需求信息，并将需求信息发送至管理服务器。例如：一级用户需要获得当日交易额。某公司通过管理客户端输入获取该公司当天交易额的请求，由管理客户端将该请求转发至管理服务器。

业务客户端和业务服务器是一级用户拥有的业务系统中的设备，二级用户通过业务客户端访问业务服务器，并产生相应业务场景下的用户数据。例如：某二级用户通过金融业务客户端发起借款请求，二级用户和一级用户之间形成债务关系，上述债务关系构成二级用户的用户数据，也就是二级用户的负债数据。

S202、管理服务器对多个业务场景的用户数据和需求信息进行重组，获得多个分析任务。

其中，管理服务器通过对需求信息和用户数据进行拆分，再基于拆分结果进行重组获得多个分析任务。

S203、管理服务器向多个任务服务器发送分析任务。

其中，管理服务器获取各个任务服务器的剩余资源量，并根据剩余资源量向各个任务服务器分发分析任务。

S204、任务服务器接收其他任务服务器发送的第一分析结果。

其中，各个任务服务器之间相互通信，以及时将执行分析任务过程中的第一分析结果发送其他任务服务器，以供其他任务服务器执行数据分析任务。

S205、任务服务器根据第一分析结果执行分析任务获得第二分析结果。

其中，任务服务器对分析任务进行解析获得任务数据和分析项目信息，再结合其他任务服务器发送的第一分析结果、任务数据和分析项目信息进行分析，例如：进行统计分析等，获得相应的分析结果。

S206、管理服务器接收多个任务服务器发送的分析结果。

其中，在任务服务器执行相应的分析任务后，将获得分析结果返回至管理服务器，管理服务器将上述分析结果返回至管理客户端，管理客户端显示该分析结果，以供一级用户查阅。

在上述技术方案中，管理服务器在接收到需求信息后，实时获取用户数据，通过对需求信息和用户数据进行重组后，生成多个分析任务，并将分析任务分发至多个任务服务器，由多个任务服务器并行执行分析任务，以便实时向管理服务器返回分析结果，进而实现用户数据实时处理，由于数据处理的实时性，一级用户可以根据分析结果精准指定策略。

本申请另一实施例提供一种数据实时处理方法，方法应用于上述数据实时处理系统，该数据实时处理方法具体包括如下步骤：

S301、管理服务器实时获取需求信息和多个业务场景的用户数据。

其中，需求信息和用户数据已经在上述实施例中详细说明，此处不再赘述。

下面描述获取用户数据的实时获取过程：管理服务器和各个业务服务器之间通信连接，在二级用户通过业务客户端访问业务服务器时，生成二级用户的用户数据。由于管理服务器收集多个业务场景的用户数据，用户数据的数据量级比较大。在管理服务器接收到各个业务服务器发送的用户数据后，将用户数据实时存储至消息队列中。

S302、管理服务器对用户数据和需求信息进行重组获得多个分析任务。

其中，为加快任务执行效率，对用户数据和需求信息进行重组获得多个分析任务，由多个任务服务器并行执行分析任务。

对用户数据和需求信息进行重组获得多个分析任务，具体包括：对需求信息进行拆分获得多个分析项目信息，再根据分析项目信息从用户数据中选择任务数据，根据分析项目信息和任务数据生成多个分析任务。

在对需求信息进行拆分时，可以根据需求信息确定数据分析流程，再基于数据分析流程进行拆解获得多个分析项目信息。

S303、管理服务器向多个任务服务器发送分析任务。

其中，该步骤已经在上述实施例中详细说明，此处不再赘述。

S304、任务服务器接收其他任务服务器发送的第一分析结果。

其中，每个任务服务器在接收到分析任务后，对分析任务进行解析获得分析项目信息和任务数据，并依据分析项目信息对任务数据进行分析。

由于各个业务场景的用户数据的数据结构不同，需要对当前分析任务中任务数据进行数据清洗，统一用户数据的数据结构。在对任务数据进行数据清洗时，先对任务数据进行格式转换获得中间数据，再对中间数据进行来源标记获得清洗后的任务数据。

对任务数据进行格式转换获得中间数据具体包括：根据任务数据的数据结构和目标数据结构获得转换模型，根据转换模型对任务数据进行格式转换获得中间数据。

通过对任务数据进行格式转换，实现任务数据的格式统一，以便管理服务器生成分析任务以及任务服务器执行相应分析任务。在进行数据格式转换后，对数据进行来源标记，以便在执行分析任务时对任务数据进行筛选。

在任务服务器对任务数据进行分析生成的第一分析结果发送至其他任务服务器，以便其他任务服务器结合第一分析结果执行相应的分析任务，该任务服务器也接收其他任务服务器发送的相应的分析结果，并结合接收得到的分析结果执行对应的分析任务。

S305、任务服务器根据第一分析结果和分析任务进行数据分析，获得分析结果。

其中，任务服务器在接收到分析任务后，对分析任务进行解析获得分析项目信息和任务数据，再对任务数据进行数据清洗，数据清洗过程已经在S304中详细说明，此处不再赘述。

任务服务器在完成数据清洗后，结合其他任务服务器发送的分析结果和分析项目信息对数据清洗后的任务数据进行处理获得第二分析结果。

在另一实施例中，任务服务器根据分析项目信息对清洗后的任务数据进行统计处理获得第三分析结果，对第三分析结果和第一分析结果进行融合获得第二分析结果。

例如：一级用户通过管理客户端发起统计当日交易额的请求，管理服务器获取当日交易数据，并将当日交易数据按照交易时间段进行拆分，获得多个分析任务，每个分析任务用于统计一个时间段内交易数据。

任务服务器在接收到分析任务后，统计对应时间段内交易数据，并将统计的第一分析结果发送至其他任务服务器，其他任务服务器在接收到第一分析结果后，统计对应时间段内交易数据，并将自身获得第一分析结果和其他任务服务器获得第一分析结果融合，获得第二分析结果。

在另一实施例中，任务服务器获取清洗后的任务数据对应的历史数据，根据分析项目信息对清洗后的任务数据和历史数据进行处理获得第四分析结果，对第四分析结果和第一分析结果进行融合获得第二分析结果。

例如：一级用户通过管理客户端发起统本月交易额的请求，管理服务器获取当日交易数据，并将当日交易数据按照交易时间段进行拆分，获得多个分析任务，每个分析任务用于统计一个时间段内交易数据。

任务服务器在接收到分析任务后，统计对应时间段内交易数据，获取该时间段内的历史数据，再在基于历史数据和对应时间段内交易数据的统计结果，获得本月该时间段内的交易额，并将本月该时间段内的交易额发送至其他任务服务器，其他任务服务器也执行相应的处理过程获得本月在其他时间段内的交易额，并将本月所有时间段的交易额进行融合，获得本月的交易额，将该交易额返回至管理服务器。

在另一实施例中，任务服务器根据分析项目信息对清洗后的任务数据进行筛选获得目标数据，对目标数据进行处理获得第五分析结果，并对第五分析结果和第一分析结果进行融合获得第二分析结果。

例如：一级用户通过管理客户端发起统计当日贷款额的请求，管理服务器获取当日交易数据，并将当日交易数据按照交易时间段进行拆分，获得多个分析任务，每个分析任务用于统计一个时间段内交易数据。

任务服务器在接收到分析任务后，从对应时间段内交易数据中筛选出住房贷款额，并统计对应时间段内住房贷款额。并将当日该时间段内的贷款额发送至其他任务服务器，其他任务服务器也执行相应的处理过程获得当日在其他时间段内的贷款额，将当日所有时间段的贷款额进行融合，获得当日的贷款额，将该贷款额返回至管理服务器。

S306、管理服务器接收多个任务服务器发送的分析结果。

在上述技术方案中，在实时获取用户数据和需求信息后，对用户数据和需求信息进行拆分获得多个分析任务，并将多个分析任务分发每个任务服务器，由于用户数据来自于不同的应用场景，在每个任务服务器执行分析时，对任务数据进行数据清洗，以便对任务数据进行数据分析，并且在任务服务器执行分析任务时，接收其他任务服务器返回的分析结果，以实现多个任务服务器实时协同完成任务。

本申请另一实施例提供一种数据实时处理方法，方法应用于上述数据实时处理系统，该数据实时处理方法具体包括如下步骤：

S401、管理服务器实时获取需求信息和多个应用场景的用户数据。

其中，如图4所示，用户数据的来源有：用户行为日志，例如：用户在应用程序上的操作会产生一系列日志，包括点击、跳转、浏览、停留时长、机型、IP等信息。数据库中相关信息：用户下单等业务类行为会被记录到数据库中。

在数据采集时，数仓的数据主要来源于业务客户端内应用程序的埋点信息，数据被实时采集至运行在管理服务器内的DATAHUB，并存储在消息队列中，使整条数据链路流动起来。

比如，日志中的数据，可通过日志采集等工具被实时上报到消息队列中。而数据库的数据，可通过数据集成系统、DTS产品或者其他开源组件被实时采集到消息队列中。

S402、管理服务器对用户数据和需求信息进行重组获得多个分析任务。

其中，管理服务器对需求信息进行拆分获得多个分析项目信息，再根据分析项目信息从用户数据选出任务数据，再结合任务数据和分析项目信息生成分析任务。

S403、管理服务器向多个任务服务器发送分析任务。

S404、任务服务器接收其他任务服务器发送的第一分析结果。

其中，其他任务服务器在接收到分析任务后，对分析任务进行解析获得分析项目信息和任务数据，并依据分析项目信息和从另外任务服务器处获得的分析结果对任物数据进行分析，获得分析结果。

S405、任务服务器根据第一分析结果和分析任务进行数据分析，获得分析结果。

其中，每个任务服务器在接收到分析任务后，对分析任务进行解析获得分析项目信息和任务数据，并依据分析项目信息对任务数据进行分析。

消息队列的用户数据往往在格式不齐、内容不全，需要经过数据清洗之后才能进一步分析。而数据清洗过程，是数据实时处理系统非常重要的一环。该环节要做到延时小、成本低、可扩展性好、业务指标计算准确。

经过处理后的任务数据可以直接进行数据，例如：需求信息为应用程序的当日激活量、应用程序的当日浏览量等。在其他实施例中，经过处理后的任务数据需要经过多维分析才能被业务方使用，这就需要用到联机分析处理(Online Analytical Processing，简称：OLAP)系统，将数据写入OLAP系统后，通过与历史数据的合并查询，即可得到分析结果。在其他实施例中，可对任务数据进行数据挖掘，更具体地，使用机器学习对历史数据分析，并根据分析结果为决策提供数据基础，使数据发挥最大的价值。

在任务处理器根据需求信息对任务数据进行分析时，还需要结合其他任务服务器返回的分析结果分析。分析结果可直接服务于相关业务方，如运营、决策者、相关应用等，如运营人员可通过实时报表中的数据及时调整运营策略，提高活动转化率，利用实时风控系统，实时预警风险事件，可避免业务损失等。

S406、管理服务器接收多个任务服务器发送的分析结果。

在上述技术方案中，用户数据的数据清洗过程和数据分析过程在任务服务器上完成。管理服务器实时读取消息队列中的用户数据，并根据实时获得的用户数据和需求信息生成多个分析任务，多个任务服务器协同对用户数据进行处理，并与历史数据融合，所获得实时统计的结果为一级用户的决策提供数据基础。

如图5所示，本申请另一实施例提供一种数据实时处理装置500，该数据实时处理装置500具体包括：

第一接收模块501，用于接收管理服务器发送的分析任务，其中，分析任务是管理服务器根据多个业务场景的用户数据和需求信息获得的多个分析任务中的一个；

第一接收模块501还用于接收至少一个其他任务服务器发送的第一分析结果，其中，第一分析结果是其他任务服务器对多个分析任务中的另一个分析任务进行处理获得；

第一处理模块502，用于根据第一分析结果执行分析任务获得第二分析结果；

第一发送模块503，用于向管理服务器发送第二分析结果。

可选地，第一处理模块502，具体用于：

对分析任务进行解析，获得任务数据和需求信息；

对任务数据进行数据清洗，获得清洗后的任务数据；

对第一分析结果、清洗后的任务数据以及需求信息进行处理，获得第二分析结果。

可选地，第一处理模块502，具体用于：

对任务数据进行格式转换，获得中间数据；

对中间数据进行来源标记，获得清洗后的任务数据。

可选地，第一处理模块502，具体用于：

根据任务数据的数据结构和目标数据结构，获得转换模型；

根据转换模型对任务数据进行格式转换，获得中间数据。

可选地，第一处理模块502，具体用于：

根据需求信息对清洗后的任务数据进行统计处理，获得第三分析结果；

对第三分析结果和第一分析结果进行融合，获得第二分析结果。

可选地，第一处理模块502，具体用于：

获取清洗后的任务数据对应的历史数据；

根据需求信息对清洗后的任务数据和历史数据进行处理，获得第四分析结果；

对第四分析结果和第一分析结果进行融合，获得第二分析结果。

可选地，第一处理模块502，具体用于：

根据需求信息对清洗后的任务数据进行筛选，获得目标数据；

对目标数据进行处理获得第五分析结果，并对第五分析结果和第一分析结果进行融合获得第二分析结果。

如图6所示，本申请另一实施例提供一种数据实时处理装置600，该数据实时处理装置600具体包括：

获取模块601，用于实时获取需求信息和多个业务场景的用户数据；

第二处理模块602，用于对多个业务场景的用户数据和需求信息进行重组，获得多个分析任务；

第二发送模块603，用于向多个任务服务器发送分析任务，以使任务服务器根据从其他任务服务器接收的第一分析结果执行从管理服务器接收的分析任务，获得第二分析结果；

第二接收模块603，用于接收多个任务服务器发送的第二分析结果。

可选地，第二处理模块602，具体用于：

根据拆分后的需求信息从多个业务场景的用户数据中选择任务数据；

根据拆分后的需求信息和任务数据生成多个分析任务。

可选地，获取模块601，具体用于：

接收各个业务服务器发送的用户数据；

并将用户数据实时存储至消息队列中。

如图7所示，本申请另一实施例提供的服务器700包括：发送器701、接收器702、存储器703、及处理器704。

其中，发送器701用于发送指令和数据，接收器702用于接收指令和数据，存储器703用于存储计算机执行指令，处理器704，用于执行存储器存储的计算机执行指令，以实现上述实施例中数据处理方法所执行的各个步骤。具体可以参见前述数据处理方法实施例中的相关描述。

可选地，上述存储器703既可以是独立的，也可以跟处理器704集成在一起。当存储器703独立设置时，该处理设备还包括总线，用于连接存储器703和处理器704。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上处理设备所执行的数据处理方法。

本申请实施例还提供一种计算机程序产品，包括指令，指令被处理器执行时实现如上处理设备所执行的数据处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (15)

1.一种数据实时处理方法，其特征在于，方法应用于任务服务器，所述方法包括：

接收管理服务器发送的分析任务，其中，所述分析任务是所述管理服务器根据多个业务场景的用户数据和需求信息获得的多个分析任务中的一个；

接收至少一个其他任务服务器发送的第一分析结果，其中，所述第一分析结果是其他任务服务器对所述多个分析任务中的另一个分析任务进行处理获得；

根据所述第一分析结果执行所述分析任务获得第二分析结果；

向所述管理服务器发送所述第二分析结果。

2.根据权利要求1所述的方法，其特征在于，根据所述第一分析结果执行所述分析任务获得第二分析结果，具体包括：

对所述分析任务进行解析，获得任务数据和需求信息；

对所述任务数据进行数据清洗，获得清洗后的任务数据；

对所述第一分析结果、所述清洗后的任务数据以及所述需求信息进行处理，获得所述第二分析结果。

3.根据权利要求2所述的方法，其特征在于，对所述任务数据进行数据清洗，获得清洗后的任务数据，具体包括：

对任务数据进行格式转换，获得中间数据；

对所述中间数据进行来源标记，获得所述清洗后的任务数据。

4.根据权利要求3所述的方法，其特征在于，对任务数据进行格式转换，获得中间数据，具体包括：

根据任务数据的数据结构和目标数据结构，获得转换模型；

根据所述转换模型对所述任务数据进行格式转换，获得所述中间数据。

5.根据权利要求2至4中任意一项所述的方法，其特征在于，对所述第一分析结果、所述清洗后的任务数据以及所述需求信息进行处理，获得所述第二分析结果，具体包括：

根据所述需求信息对所述清洗后的任务数据进行统计处理，获得第三分析结果；

对所述第三分析结果和所述第一分析结果进行融合，获得所述第二分析结果。

6.根据权利要求2至4中任意一项所述的方法，其特征在于，对所述第一分析结果、所述清洗后的任务数据以及所述需求信息进行处理，获得所述第二分析结果，具体包括：

获取所述清洗后的任务数据对应的历史数据；

根据所述需求信息对所述清洗后的任务数据和所述历史数据进行处理，获得第四分析结果；

对所述第四分析结果和所述第一分析结果进行融合，获得所述第二分析结果。

7.根据权利要求2至4中任意一项所述的方法，其特征在于，对所述第一分析结果、所述清洗后的任务数据以及所述需求信息进行处理，获得所述第二分析结果，具体包括：

根据所述需求信息对所述清洗后的任务数据进行筛选，获得目标数据；

对所述目标数据进行处理获得第五分析结果，并对所述第五分析结果和所述第一分析结果进行融合获得所述第二分析结果。

8.一种数据实时处理方法，其特征在于，所述方法应用于管理服务器，所述方法包括：

实时获取需求信息和多个业务场景的用户数据；

对所述多个业务场景的用户数据和所述需求信息进行重组，获得多个分析任务；

向多个任务服务器发送所述分析任务，以使任务服务器根据从其他任务服务器接收的第一分析结果执行从所述管理服务器接收的所述分析任务，获得第二分析结果；

接收所述多个任务服务器发送的第二分析结果。

9.根据权利要求8所述的方法，其特征在于，对所述多个业务场景的用户数据和所述需求信息进行重组，获得多个分析任务，具体包括：

根据拆分后的需求信息从所述多个业务场景的用户数据中选择任务数据；

根据所述拆分后的需求信息和所述任务数据生成多个分析任务。

10.根据权利要求8或9所述的方法，其特征在于，所述实时获取用户数据，具体包括：

接收各个业务服务器发送的用户数据；

并将所述用户数据实时存储至消息队列中。

11.一种管理服务器，其特征在于，包括存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1至6中任意一项所述的数据处理方法。

12.一种任务服务器，其特征在于，包括：包括存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求7至10中任意一项所述的数据处理方法。

13.一种数据实时处理系统，其特征在于，包括如权利要求11所述的管理服务器、如权利要求12所述的任务服务器、业务客户端以及业务服务器。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任意一项，或8至10中任意一项所述的数据处理方法。

15.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至7中任意一项，或8至10中任意一项所述的数据处理方法。

Images