CN109460345A - 实时数据的计算方法及系统 - Google Patents

Abstract

本发明公开了一种实时数据的计算方法及系统，通过获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；将所述计算任务下发至对应的计算节点进行执行；通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果；达到了为不同计算节点合理配置对应计算任务的目的，提高了数据处理的稳定性和时效性。

Description

实时数据的计算方法及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种实时数据的计算方法及系统。

背景技术

实时数据处理平台中搭载的算法平台，通常会利用平台中集成的消息中间件，通过采集业务系统产生的日志文件，来收集原始的业务数据，并将收集到的原始的业务数据回传至实时数据处理平台。而现有的实时数据处理平台，原始的业务数据从采集到回传至实时数据处理平台，需要较长的延迟，且原始的业务数据经过算法的计算处理后，再将计算结果回写到实时数据处理平台，由对接的下游业务系统调用，这种处理方式也会导致处理延时的增加；因此，现有的实时数据处理平台的业务稳定性和时效性难以保障。

发明内容

本发明提供一种实时数据的计算方法及系统，用以对历史数据和在线数据进行实时计算，以便为不同计算节点合理配置对应的计算任务，提高数据处理的稳定性和时效性。

本发明提供了一种实时数据的计算方法，所述实时数据的计算方法包括：

获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

将所述计算任务下发至对应的计算节点进行执行；

通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果。

优选地，所述历史数据对应的执行记录信息包括：所述历史数据对应的历史任务的执行状态、执行所述历史任务的计算节点的节点等级、所述历史任务之间的依赖关系、各历史任务分别对应的任务片段的参数优化和进度管控信息，以及所述计算任务被执行时所占用的系统资源和使用时间。

优选地，所述根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点，包括：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。

优选地，所述通过可视化界面输出对应的计算结果，包括：

监控所述计算节点执行对应计算任务的运行状况；

根据监控到的运行状况，生成对应的监控记录文件；

解析所述监控记录文件，对所述监控记录文件进行异常分析；

若分析出所述监控记录文件存在异常时，向系统管理员发送对应的告警提示信息。

优选地，所述实时数据的计算方法还包括：

采集所述计算节点执行对应的计算任务所发送的心跳数据；

若在预设时长内未采集到所述计算节点发送的心跳数据，则将该计算节点上的计算任务切换至其他计算节点；其中，切换的其他计算节点包括：备用计算节点、当前空闲的计算节点；

根据切换结果，生成与所述计算任务切换相关的切换记录文件，并向系统管理员发送存在计算任务切换的告警提示信息；

其中，所述切换记录文件包括：与本次切换事件相关联的计算任务和计算节点。

对应于上述实施例所提供的一种实时数据的计算方法，本发明实施例还提供了一种实时数据的计算系统，所述实时数据的计算系统包括：

任务生成模块，用于获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

节点分配模块，用于提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

任务下发模块，用于将所述计算任务下发至对应的计算节点进行执行；

结果输出模块，用于通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果。

优选地，所述历史数据对应的执行记录信息包括：所述历史数据对应的历史任务的执行状态、执行所述历史任务的计算节点的节点等级、所述历史任务之间的依赖关系、各历史任务分别对应的任务片段的参数优化和进度管控信息，以及所述计算任务被执行时所占用的系统资源和使用时间。

优选地，所述节点分配模块用于：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。

优选地，所述结果输出模块用于：

监控所述计算节点执行对应计算任务的运行状况；

根据监控到的运行状况，生成对应的监控记录文件；

解析所述监控记录文件，对所述监控记录文件进行异常分析；

若分析出所述监控记录文件存在异常时，向系统管理员发送对应的告警提示信息。

优选地，所述实时数据的计算系统还包括节点监控模块，所述节点监控模块用于：

采集所述计算节点执行对应的计算任务所发送的心跳数据；

若在预设时长内未采集到所述计算节点发送的心跳数据，则将该计算节点上的计算任务切换至其他计算节点；其中，切换的其他计算节点包括：备用计算节点、当前空闲的计算节点；

根据切换结果，生成与所述计算任务切换相关的切换记录文件，并向系统管理员发送存在计算任务切换的告警提示信息；

其中，所述切换记录文件包括：与本次切换事件相关联的计算任务和计算节点。

本发明一种实时数据的计算方法及系统可以达到如下有益效果：

通过获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；将所述计算任务下发至对应的计算节点进行执行；通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果；达到了为不同计算节点合理配置对应计算任务的目的，提高了数据处理的稳定性和时效性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所指出的内容来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实时数据的计算方法的一种实施方式的流程示意图；

图2是本发明实时数据的计算系统的一种实施方式的功能模块示意图；

图3是本发明实时数据的计算系统的另一种实施方式的功能模块示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供了一种针对资管产品的跨平台的估值表解析方法、存储介质及应用服务器，用以将不同平台的资管产品估值表进行分类解析并生成可供分析的估值数据。

如图1所示，图1是本发明实时数据的计算方法的一种实施方式的流程示意图；本发明一种实时数据的计算方法可以实施为如下描述的步骤S10-S40：

步骤S10、获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

本发明实施例中，实时数据的计算系统(以下简称“计算系统”)获取某一业务平台内的实时业务所对应的在线数据，利用预设算法库中的目标算法，为获取的上述在线数据生成对应的计算任务。

其中，计算系统获取的在线数据包括该业务平台内运行时对应的所有在线数据。

步骤S20、提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

计算系统提取历史数据对应的执行记录信息时，可以根据该业务平台的运行特点，以及实时业务对应的在线数据的数据特征，提取一定时长内的历史数据对应的执行记录信息，并根据执行记录信息，按照该业务平台的特征和/或具体应用场景的需求所对应的调度策略，为上述生成的计算任务分配对应的计算节点。

在本发明一优选的实施例中，计算系统提取的历史数据对应的执行记录信息包括：

所述历史数据对应的历史任务的执行状态、执行所述历史任务的计算节点的节点等级、所述历史任务之间的依赖关系、各历史任务分别对应的任务片段的参数优化和进度管控信息，以及所述计算任务被执行时所占用的系统资源和使用时间。

步骤S30、将所述计算任务下发至对应的计算节点进行执行；

步骤S40、通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果。

根据上述计算任务所对应分配的计算节点，将计算任务对应下发至各计算节点进行执行，计算节点执行计算任务的同时，返回计算结果，并将执行结果通过可视化界面输出给系统管理员，供系统管理员及时了解实时数据的计算情况。

在本发明一优选的实施例中，所述历史数据，存储于云存储系统，所述云存储系统包括：主控服务器、存储服务器集群和客户端，它们通过内部交换机进行数据交换；主控服务器用于对云存储客户端提供目录信息和元数据信息，并对存储服务器集群进行监控，所述目录信息包括该目录的路径、创建日期、目录属性；元数据信息包括该文件的路径、创建/修改日期、文件属性、文件大小、所在主存储服务器和备份存储服务器的IP地址、端口号和对应的GUID；存储服务器集群包括多台用于数据存储的存储服务器，它设有AC-RU缓存，保存最近打开的若干个文件句柄；客户端用于对云存储客户机提供虚拟磁盘服务，将云存储客户机对虚拟磁盘的操作请求提交给主控服务器，并从存储服务器读取/写入文件数据，所述的客户端模块被部署在云存储客户机上，它设有调节可控缓存即AC-RU缓存，保存最近访问的目录信息和文件的元数据信息。

所述历史数据的存储方法为：

采用多台存储服务器建立存储服务器集群，各存储服务器启动后周期性地向主控服务器发送心跳报文，心跳报文中包含该存储服务器当前的状态；主控服务器的内存中设有一对应于多个存储服务器的逻辑节点列表，当主控服务器接收到各存储服务器的心跳报文后，更新列表中对应于各存储服务器的逻辑节点；

当客户端访问虚拟磁盘下任意目录时，云存储客户端对主控服务器发起请求，获取所请求目录下子目录信息与文件元数据信息，并将所获得的子目录信息与文件元数据信息保存在客户端AC-RU缓存中；

云存储客户端请求创建文件或目录的操作，其中；当云存储客户端有创建文件的请求时，客户端将该请求提交给主控服务器，主控服务器检查创建文件所在的目录是否存在，若不存在，则返回目录不存在的回复；若存在，则为该文件分配GUID，从在线存储服务器中挑选负载较轻的两台作为该文件的主存储服务器和备份存储服务器，并通知这两台存储服务器创建名为GUID的文件，两台存储服务器都创建成功则向客户端返回创建成功的回复；当云存储客户端有创建目录的请求时，客户端将该请求提交给主控服务器，主控服务器检查新建目录的父目录是否存在，若不存在，则返回父目录不存在的回复；若存在，则建立新目录节点，并添加到父目录节点的子目录列表中，并向客户端返回创建成功的回复；

云存储客户端请求读文件、写文件、删除文件、复制/移动文件或重命名文件操作，其中：云存储客户端请求读文件时，首先从云存储客户端的AC-RU缓存中查找该文件的元数据信息，若缓存中元数据信息存在，则通过文件的元数据信息找到对应的主存储服务器，并对主存储服务器请求读取该文件的具体某一段的数据；若缓存中元数据信息不存在，则首先向主控服务器发送元数据请求，并将从主控服务器获得的元数据信息加入客户端AC-RU缓存中；云存储客户端请求写文件时，首先从云存储客户端的AC-RU缓存中查找该文件的元数据信息，若缓存中元数据信息存在，则云存储客户端通过文件的元数据信息找到对应的主存储服务器和备份存储服务器，并向它们请求写入该文件的具体某一段的数据，等主存储服务器和备份存储服务器都返回写成功的响应后，该次写操作成功，否则认为写失败；若缓存中元数据信息不存在，则首先向主控服务器发送元数据请求，并将从主控服务器获得的元数据信息加入客户端AC-RU缓存中；云存储客户端请求删除文件时，首先向主控服务器发送文件删除请求，主控服务器根据该文件的元数据信息找到具体保存该文件的主文件存储服务器和备份文件存储服务器，并将该元数据信息从目录结构中删除，同时向云存储客户端返回删除成功的响应，然后主控服务器将通知该文件的主存储服务器和备份存储服务器删除该文件，两台存储服务器在收到主控服务器的文件删除指令后执行文件删除操作；云存储客户端请求复制/移动文件操作是创建/读/写/删除文件操作的组合；重命名文件是在主控服务器中修改目录结构下文件元数据信息；

云存储客户端请求删除目录操作，其中：云存储客户端请求删除目录时，首先查看客户端AC-RU缓存中是否存在被删目录的信息，如果存在则将其从缓存中删除，然后向主控服务器发送目录删除请求；如果不存在，则直接向主控服务器发送目录删除请求，主控服务器收到目录删除请求后遍历其子目录列表和文件列表，递归地删除该目录下所有子目录和文件，最终将该目录删除；递归删除过程中，当某子目录是目录结构中的叶节点，则直接删除，否则发生递归删除过程；

所述历史数据的读取方法为：

从原始数据库中获取原始数据，并根据预设规则对所述原始数据进行分区；

根据分区规则建立B树索引；

根据存入数据分区中的数据列类型、数据分区的时间范围以及数据列存入的先后顺序建立列索引；

将所述数据分区中的数据块拆分成多个数据子块，对所述数据子块进行编号，每个数据子块对应1个数据主键，并将所述数据主键的列数据根据所述列索引存入对应的数据子块中；

在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B树索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置和偏移结束位置，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键的起始位置；

根据数据主键的起始位置、数据子块的起始位置、数据分区列内的偏移开始位置和偏移结束位置提取数据；

在根据预设规则对所述原始数据进行分区之前，对获取的所述原始数据进行填充处理，以使得填充处理后的数据与时间点对齐。在本发明一优选的实施例中，计算系统根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点，可以按照如下方式实施：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。

计算系统根据历史数据对应的执行记录信息，比如对应的计算任务被执行时所占用的系统资源、使用时间、节点等级等信息，预估生成的至少一个计算任务被执行时可能占用的系统资源、执行时间、以及所需的计算节点的节点等级。在一具体的应用场景中，为了节约系统资源，可以将被执行时可能占用的系统资源大于预设比例阈值的计算任务，分配至高节点等级对应的计算节点；其中，节点等级越高，其运算效率和执行效率越高，相对应地，其执行时间越短。

根据对应的预估结果，按照资源最优化的调度策略，将不同类型的计算任务对应分配至不同的计算节点，从而提高资源利用率和计算任务的执行效率；由于计算任务的类型不同，因此，计算节点在执行对应的计算任务时，其执行逻辑也相互隔离。

在本发明一优选的实施例中，计算系统通过可视化界面输出对应的计算结果，可以按照如下方式实施：

计算系统根据系统资源的实际占用情况和/或计算任务的重要程度，实时或者按照预设周期，监控所述计算节点执行对应计算任务的运行状况；例如，监控计算任务当前的执行情况，比如正在运行、已完成、待执行等；监控硬件设备的内核使用情况、内存使用情况、当前存活的计算节点的情况、计算节点执行对应的计算任务时所占用的系统资源和执行效率等。

计算系统根据监控到上述各计算节点的运行状况，生成针对各计算节点以及计算节点执行对应的计算任务所分别对应的监控记录文件；同时，计算系统解析生成的所述监控记录文件，对所述监控记录文件进行异常分析；若分析出所述监控记录文件存在异常时，则计算系统直接向系统管理员发送对应的告警提示信息；发送的告警发提示信息中可以包含：异常原因、异常计算节点、计算节点执行计算任务产生的异常位置和异常片段等。

在本发明一优选的实施例中，计算系统生成的监控记录文件中包含了在线数据的真实数据指标，将生成的真实数据指标与根据历史数据对应的执行记录信息中预估数据指标，进行关联输出，并在可视化界面中对上述真实数据指标和预估数据指标进行比对显示。

在本发明一优选的实施例中，计算系统针对各计算节点执行对应的计算任务时，对各计算节点的运行情况进行监控；例如，计算系统可以按照如下方式实施：

计算系统根据计算节点执行计算任务所占用的具体系统资源和/或计算任务被执行的重要程度，实时或者按照预设周期采集所述计算节点执行对应的计算任务所发送的心跳数据；若在预设时长内未采集到所述计算节点发送的心跳数据，则将该计算节点上需执行的计算任务切换至其他计算节点；由其他计算节点继续执行对应的计算任务；根据切换结果，计算系统生成与所述计算任务切换相关的切换记录文件，并向系统管理员发送存在计算任务切换的告警提示信息；发送的告警发提示信息中可以包含：存在异常的计算节点、该计算节点产生异常的可能原因等。

其中，本发明实施例中，计算系统切换的其他计算节点包括：备用计算节点、当前空闲的计算节点；所述切换记录文件包括：与本次切换事件相关联的计算任务和所有计算节点，比如切换前执行该计算任务的计算节点和切换后执行该计算任务的计算节点；该切换记录文件还记录了该计算任务的所有信息以及与该计算任务相关联的所有信息。

或者，在本发明一优选的实施例中，为了避免误判，影响正常的计算节点执行对应的计算任务的执行，当计算系统在预设时长内未采集到所述计算节点发送的心跳数据，则直接发送告警提示信息至系统管理员，由系统管理员授权确定是否执行对应的计算节点的切换。

本发明实时数据的计算方法通过获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；将所述计算任务下发至对应的计算节点进行执行；通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果；达到了为不同计算节点合理配置对应计算任务的目的，提高了数据处理的稳定性和时效性。

对应于上述实施例所描述的一种实时数据的计算方法，本发明实施例还提供了一种实时数据的计算系统，所述实时数据的计算系统可以执行以上所描述的一种实时数据的计算方法，且该实时数据的计算系统具备上述计算系统的所有功能；如图2所示，图2是本发明实时数据的计算系统的一种实施方式的功能模块示意图；本发明实时数据的计算系统包括：

任务生成模块110，用于获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

节点分配模块120，用于提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

任务下发模块130，用于将所述计算任务下发至对应的计算节点进行执行；

结果输出模块140，用于通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果。

在本发明一优选的实施例中，所述历史数据对应的执行记录信息包括：所述历史数据对应的历史任务的执行状态、执行所述历史任务的计算节点的节点等级、所述历史任务之间的依赖关系、各历史任务分别对应的任务片段的参数优化和进度管控信息，以及所述计算任务被执行时所占用的系统资源和使用时间。

在本发明一优选的实施例中，所述节点分配模块120用于：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。

在本发明一优选的实施例中，所述结果输出模块140用于：

监控所述计算节点执行对应计算任务的运行状况；

根据监控到的运行状况，生成对应的监控记录文件；

解析所述监控记录文件，对所述监控记录文件进行异常分析；

若分析出所述监控记录文件存在异常时，向系统管理员发送对应的告警提示信息。

在本发明一优选的实施例中，如图3所示，图3是本发明实时数据的计算系统的另一种实施方式的功能模块示意图；其中，本发明实时数据的计算系统还包括：

节点监控模块150，所述节点监控模块150用于：

采集所述计算节点执行对应的计算任务所发送的心跳数据；

若在预设时长内未采集到所述计算节点发送的心跳数据，则将该计算节点上的计算任务切换至其他计算节点；其中，切换的其他计算节点包括：备用计算节点、当前空闲的计算节点；

根据切换结果，生成与所述计算任务切换相关的切换记录文件，并向系统管理员发送存在计算任务切换的告警提示信息；

其中，所述切换记录文件包括：与本次切换事件相关联的计算任务和计算节点。

本发明实时数据的计算系统通过获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；将所述计算任务下发至对应的计算节点进行执行；通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果；达到了为不同计算节点合理配置对应计算任务的目的，提高了数据处理的稳定性和时效性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种实时数据的计算方法，其特征在于，所述实时数据的计算方法包括：

获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

将所述计算任务下发至对应的计算节点进行执行；

通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果。

2.如权利要求1所述的实时数据的计算方法，其特征在于，所述历史数据对应的执行记录信息包括：所述历史数据对应的历史任务的执行状态、执行所述历史任务的计算节点的节点等级、所述历史任务之间的依赖关系、各历史任务分别对应的任务片段的参数优化和进度管控信息，以及所述计算任务被执行时所占用的系统资源和使用时间。

3.如权利要求1或2所述的实时数据的计算方法，其特征在于，所述根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点，包括：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。

4.如权利要求1或2所述的实时数据的计算方法，其特征在于，所述通过可视化界面输出对应的计算结果，包括：

监控所述计算节点执行对应计算任务的运行状况；

根据监控到的运行状况，生成对应的监控记录文件；

解析所述监控记录文件，对所述监控记录文件进行异常分析；

若分析出所述监控记录文件存在异常时，向系统管理员发送对应的告警提示信息。

5.如权利要求1或2所述的实时数据的计算方法，其特征在于，所述实时数据的计算方法还包括：

采集所述计算节点执行对应的计算任务所发送的心跳数据；

若在预设时长内未采集到所述计算节点发送的心跳数据，则将该计算节点上的计算任务切换至其他计算节点；其中，切换的其他计算节点包括：备用计算节点、当前空闲的计算节点；

根据切换结果，生成与所述计算任务切换相关的切换记录文件，并向系统管理员发送存在计算任务切换的告警提示信息；

其中，所述切换记录文件包括：与本次切换事件相关联的计算任务和计算节点。

6.一种实时数据的计算系统，其特征在于，所述实时数据的计算系统包括：

任务生成模块，用于获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

节点分配模块，用于提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

任务下发模块，用于将所述计算任务下发至对应的计算节点进行执行；

结果输出模块，用于通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果。

7.如权利要求6所述的实时数据的计算系统，其特征在于，所述历史数据对应的执行记录信息包括：所述历史数据对应的历史任务的执行状态、执行所述历史任务的计算节点的节点等级、所述历史任务之间的依赖关系、各历史任务分别对应的任务片段的参数优化和进度管控信息，以及所述计算任务被执行时所占用的系统资源和使用时间。

8.如权利要求6或7所述的实时数据的计算系统，其特征在于，所述节点分配模块用于：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。

9.如权利要求6或7所述的实时数据的计算系统，其特征在于，所述结果输出模块用于：

监控所述计算节点执行对应计算任务的运行状况；

根据监控到的运行状况，生成对应的监控记录文件；

解析所述监控记录文件，对所述监控记录文件进行异常分析；

若分析出所述监控记录文件存在异常时，向系统管理员发送对应的告警提示信息。

10.如权利要求6或7所述的实时数据的计算系统，其特征在于，所述实时数据的计算系统还包括节点监控模块，所述节点监控模块用于：

采集所述计算节点执行对应的计算任务所发送的心跳数据；

若在预设时长内未采集到所述计算节点发送的心跳数据，则将该计算节点上的计算任务切换至其他计算节点；其中，切换的其他计算节点包括：备用计算节点、当前空闲的计算节点；

根据切换结果，生成与所述计算任务切换相关的切换记录文件，并向系统管理员发送存在计算任务切换的告警提示信息；

其中，所述切换记录文件包括：与本次切换事件相关联的计算任务和计算节点。