CN113687945B - 机车数据智能分析算法的管理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及一种机车数据智能分析算法的管理方法、装置、设备及存储介质，该方法包括获取待处理任务的任务信息，任务信息包括待处理任务的任务类型；确定与任务类型对应的分析算法；分配与分析算法对应的计算资源；采用计算资源执行分析算法，得到待处理任务对应的任务结果。通过确定待处理任务所需的算法分析以及资源计算，并由计算资源执行分析算法实现了对车载数据分析算法的智能管理与处理。

Description

机车数据智能分析算法的管理方法、装置、设备及存储介质

技术领域

本申请涉及轨道交通、智能运维、计算机领域，尤其涉及一种机车数据智能分析算法的管理方法、装置、设备及存储介质。

背景技术

目前铁路机务部门为了确保机车调度、运用、检修、整备的安全与高效，要对机车的车载数据进行智能分析。车载数据业务种类多、智能分析软件各成系统，存在信息孤岛，不能综合利用，需要进行整合与信息共享，形成综合的管理平台。不同的业务需求采用不同的分析算法，不同的分析算法对软硬件配置或者运行环境要求存在差异，需要管理平台智能调用算法和分配计算资源，确保各项业务正常运行、即时业务优先运行，提升QOS，实现资源利用最大化。

发明内容

本申请提供了一种机车数据智能分析算法的管理方法、装置、设备及存储介质，对算法采用容器化管理，解决运行环境存在差异的问题；根据任务类型自动调用相关分析算法；根据任务的优先级高低把系统内的计算资源合理分配给相应的分析算法；监控排队任务的数量和创建天数，若任务数量大于预设值或创建时间大于预设天数，表明当前系统计算资源紧张，返回提示消息。

第一方面.提供一种数据分析算法的管理方法，包括：

获取待处理任务的任务信息，所述任务信息包括所述待处理任务的任务类型；

确定与所述任务类型对应的分析算法；

分配与所述分析算法对应的计算资源；

采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果。

可选地，确定与所述任务类型对应的分析算法，包括：

确定与所述任务类型对应的容器；

将所述容器中封装的分析算法确定为与任务类型对应的分析算法。

可选地，采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果，包括：

从所述任务信息中获取用于指示执行所述待处理任务所需数据的任务参数；

基于所述任务参数，获取所述执行所述待处理任务所需数据；

所述所需数据包括不限于：任务标识、任务类型、分析人员标识、输入数据、存储地址、任务优先级以及容器的预设数量；

启动与所述任务类型对应的容器，以由所述容器中的分析算法对所述执行所述待处理任务所需数据进行处理，得到所述任务结果。

可选地，分配与所述分析算法对应的计算资源，包括：

获取当前的空闲计算资源；

判断当前的空闲计算资源是否能满足所述待处理任务的执行需要；

若满足所述执行需要，立即执行所述待处理任务；

若不满足所述执行需要，从所述任务信息中获取所述待处理任务的待处理任务优先级；

获取当前执行的容器所对应的任务；

从所述前当执行的容器所对应的任务中，判断是否存在优先级低于所述待处理任务优先级的低优先级任务；

若存在所述低优先级任务，释放所述低优先级任务对应的容器所占用的计算资源，并将其对应的计算资源和所述空闲计算资源，重新分配为所述待处理任务的计算资源，确定所述待处理任务对应的计算资源为所述分析算法对应的计算资源；

若不存在所述低优先级任务，计算资源仍不满足所述待处理任务的执行需要，将所述待处理任务的标识放置于处于待处理队列中；

监控待处理队列中的待处理任务的数量和创建天数，若数量大于预设值或创建时间大于预设天数，返回一条报警消息。

可选地，采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果之前，还包括：

监测与所述任务类型对应的容器的执行数量是否小于数量阈值；

若是，确定所述执行数量与所述数量阈值的数量差；

启动与所述数量差对应的容器，与所述数量差对应的容器与所述任务类型相对应；

采用所述计算资源执行与所述数量差对应的容器中的分析算法，得到所述任务结果。

可选地，得到所述待处理任务对应的任务结果之后，还包括：

释放所述计算资源。

第二方面.提供一种数据分析算法的管理装置，包括：

获取单元，用于获取待处理任务的任务信息，所述任务信息包括所述待处理任务的任务类型；

确定单元，用于确定与所述任务类型对应的分析算法；

分配单元，用于分配与所述分析算法对应的计算资源；

分析单元，用于采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果。

可选地，所述分配单元具体用于：

获取当前的空闲计算资源；

判断当前的空闲计算资源是否能满足所述待处理任务的执行需要；

若满足所述执行需要，立即执行所述待处理任务；

若不满足所述执行需要，从所述任务信息中获取所述待处理任务的待处理任务优先级；

获取当前执行的容器所对应的任务；

从所述前当执行的容器所对应的任务中，判断是否存在优先级低于所述待处理任务优先级的低优先级任务；

若存在所述低优先级任务，释放所述低优先级任务对应的容器所占用的计算资源，并将其对应的计算资源和所述空闲计算资源，重新分配为所述待处理任务的计算资源，确定所述待处理任务对应的计算资源为所述分析算法对应的计算资源；

若不存在所述低优先级任务，计算资源仍不满足所述待处理任务的执行需要，将所述待处理任务的标识放置于处于待处理队列中；

监控待处理队列中的待处理任务的数量和创建天数，若数量大于预设值或创建时间大于预设天数，返回一条报警消息。

第三方面.提供一种电子设备，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的数据分析方法。

第四方面.提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的数据分析方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的技术方案，获取待处理任务的任务信息，任务信息包括待处理任务的任务类型；确定与任务类型对应的分析算法；分配与分析算法对应的计算资源；采用计算资源执行分析算法，得到待处理任务对应的任务结果。通过确定待处理任务所需的分析算法以及计算资源，并由计算资源执行分析算法实现了对车载数据的智能分析。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1(a)为本申请实施例中机车数据智能分析方法中智能分析服务器的架构示意图；

图1(b)为本申请实施例中机车数据智能分析方法中智能分析服务器的组成结构示意图；

图2为本申请实施例中机车数据智能分析方法的系统架构示意图；

图3为本申请实施例中机车数据智能分析方法中任务执行的一种流程示意图；

图4为本申请实施例中机车数据智能分析方法中重新分配计算资源的一种流程示意图；

图5为本申请实施例中机车数据智能分析方法中监控容器运行状态的一种流程示意图；

图6为本申请实施例中机车数据智能分析装置的结构示意图；

图7为本申请实施例中机车数据智能分析系统电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合图1(a)对本申请实施例中的一种机车数据智能分析方法中智能分析服务器的架构进行说明，图1(a)为本申请实施例提供的一种机车数据智能分析方法的系统架构示意图，该系统架构包括智能分析服务器101和部署有综合信息管理平台的电子设备102。

其中，智能分析服务器101和电子设备102之间通过有线或无线的网络进行通信，网络可以是虚拟专用网、局域网、广域网或城域网等，具体通信传输协议不作限定。

智能分析服务器101，用于获取待处理任务的任务信息，确定与任务类型对应的分析算法，分配与分析算法对应的计算资源，采用计算资源执行分析算法，得到待处理任务对应的任务结果。

应用中，如图1(b)所示，智能分析服务器包括算法管理模块、智能分析模块和计算模块。

算法管理模块用于获取待处理任务的任务信息；通过Kubernete(K8S)等集群管理平台管理智能分析模块，确定与任务信息中的任务类型对应的分析算法，向智能分析模块中包含该分析算法的容器发送启动指令；监控计算模块，实时获取计算模块中当前时刻下计算资源的占用和空闲情况，基于所监测到的资源的占用和空闲情况，分配与分析算法对应的计算资源，并向计算模块发送资源占用指令。

算法管理模块负责任务管理以及计算资源调度。具体功能包括但不限于展示常规任务和临时任务的执行状态和占用计算资源情况；执行状态包括运行、停止、排队。对于等级高、优先执行的分析任务要保证充足的计算资源；对于常规任务要定时检测其是否正常运行。

智能分析模块包括多种智能分析算法，包括但不限于司机驾驶行为分析、驾驶疲劳分析、客车安防监控分析，机械间烟火预警等。

每一种智能分析算法被封装在容器中方便维护和更新。

智能分析模块包括多个容器并支持容器的导入、导出、查询等管理功能，每个容器包含一种分析算法和与该分析算法对应的依赖库，每个分析算法对应一类分析任务。当智能分析服务器接收到综合信息管理平台发送的分析任务时，智能分析模块启动与该分析任务对应的容器，以由该容器中的分析算法分析处理数据，得到分析结果，智能分析模块按json格式将该分析结果返回综合信息管理平台。

计算模块，用于获取算法管理模块的资源占用指令，并基于该算法占用指令启动对应的计算资源。

应用中，资源占用指令中可以携带计算资源的大小，例如，当计算资源为GPU或NUP时，资源占用指令中所携带的计算资源的大小可以为GPU或NUP的个数。

应用中，当计算模块当前时刻的计算资源不满足待处理任务的需要时，获取待处理任务的优先级，确定比待处理任务的优先级低的任务所对应的容器，释放该容器所占用的计算资源，并将该计算资源分配给待处理任务，在待处理任务运行结束后，再释放该资源并对资源重新分配；如果当前执行的所有容器对应的任务的优先级均不低于当前任务的优先级或当前执行的所有容器的优先级一致，设置当前任务处于排队中，此时，由算法管理模块向综合信息管理平台发送提示消息。

电子设备102中的综合信息管理平台用于获取用户的任务指示，并基于任务指示向智能分析服务器101发送任务信息。

应用中，用户的任务指示包括但不限于对乘务员驾驶行为分析、机车状态信息分析、机车安全信息分析、机车安防监控视频分析的任务指示和对机械间烟火预警的任务指示。

其中，任务信息中包括任务类型，任务类型用于指示智能分析服务器101中的分析算法所能处理的任务，具体地，任务类型包括但不限于乘务员驾驶行为分析、机车状态信息分析、机车安全信息分析、机车安防监控和/或机械间烟火预警等，以对应的英文作为任务类型名，按字符串格式记录。

应用中，任务信息还可以包括任务标识、任务参数、任务优先级和分析人员标识。

其中，任务标识用于区分不同的任务。任务标识可以基于任务类型以及电子设备生成任务信息的时间戳确定。例如，设置任务标识以任务类型缩写+时间戳的方式命名。

其中，任务参数用于指示智能分析服务器101执行任务时所需的数据，如任务参数可以为数据的存储地址。

其中，任务优先级用于定义任务执行的优先级。应用中，任务优先级可以分为高、中、低三个级别，当任务优先级为高优先级时，表示该任务为紧急任务，需要立即执行，调用当前所有计算资源，尽快返回结果；当任务优先级为中优先级时，表示该任务为较紧急任务，可以调用空闲计算资源，尽快返回结果；当任务优先级为低优先级时，表示该任务为一般任务，调用固定计算资源返回结果。

其中，分析人员标识用于对不同人员进行区分，方便检索查询。应用中，分析人员标识可以为分析人员ID。

综合信息管理平台还能获取车辆运行中的各类行车数据。具体地，请参见图2，图2为本申请实施例提供的一种机车数据智能分析方法的系统架构示意图，该系统架构包括机车装置201、车载网关202、车载5G终端203、轨旁5G基站204、高速缓冲服务器205、部署有综合信息管理平台的电子设备206以及智能分析服务器207；

其中该系统架构通过有线或无线的网络进行通信，包括但不限于5G技术，网络可以是虚拟专用网、局域网、广域网或城域网等，具体通信传输协议不作限定。

应理解，此处的电子设备206与电子设备102实际为同一电子设备。此处的智能分析服务器207与智能分析服务器101实际为同一电子设备。

应用中，机车装置201包括但不限于列车运行状态监控记录装置、6A系统以及其他安全信息监控装置，相应地，各类行车数据包括但不限于LKJ数据、6A数据、TCMS数据和/或CMD数据。

应用中，机车进站低速行驶或到站停车时，通过5G传输技术实现波束赋形、波束跟踪、自动对准、自动连接、自动认证等，实现利用5G通信实现车载信息高速下载至高速缓冲服务器205，具体地先将各类行车数据通过车载网关202发送至车载5G终端203，车载5G终端203经由轨旁5G基站204将各类行车数据下载至高速缓冲服务器205。

其中，在高速缓冲服务器205中，每列车每次缓冲数据的存储目录以时间和车次统一命名，该目录下，按数据类型(如LKJ、6A、CMD等)命名不同的目录分别存储对应数据类型的数据。

高速缓冲服务器205接收数据之后，向电子设备206中的综合信息管理平台发送消息，告知数据存储地址、数据下载进度等信息。

综合信息管理平台，弹出提醒消息，并在“数据管理”界面，展示当前缓冲数据的车次、缓冲时间、存储地址、缓冲数据种类、缓冲进度等信息。

基于上述系统架构，本申请实施例提供一种机车数据智能分析方法的任务执行示意图，该方法可以应用于图1所示的智能分析服务器，如图3所示，该方法可以包括以下步骤：

步骤301、获取待处理任务的任务信息，任务信息包括待处理任务的任务类型；

步骤302、确定与任务类型对应的分析算法；

本实施例中，为了对不同的分析算法进行隔离，采用容器对分析算法进行封装，因此在确定与任务类型对应的分析算法时，先确定与任务类型对应的容器，然后将容器中封装的分析算法确定为与任务类型对应的分析算法。

本实施例中，可以预先设置任务类型与容器的对应关系，因此当获取任务信息后，基于预先设置的对应关系，确定与任务信息中的任务类型所对应的容器，进而将容器中所封装的分析算法确定为与任务类型对应的分析算法。

任务类型与容器的对应关系，可以是一一对应，也可以是一对多，本专利对此不做限定。

容器包含了分析算法的运行环境以及相关依赖库，未执行的容器或任务处于排队中的容器，不占用计算资源。

步骤303、分配与分析算法对应的计算资源；

为了不影响当前正在执行的其它分析算法，在为待处理任务所对应的分析算法分配计算资源时，优先从当前的空闲计算资源中为分析算法分配计算资源的，若当前的空闲计算资源无法满足该分析算法的需要时，按照待处理任务的优先级为该分析算法分配计算资源。

步骤304、采用计算资源执行分析算法，得到待处理任务对应的任务结果。

一个可选实施例中，可以从任务信息中获取用于指示执行待处理任务所需数据的任务参数；基于任务参数，获取执行待处理任务所需数据；启动与任务类型对应的容器，以由容器中的分析算法对执行待处理任务所需数据进行处理，得到任务结果。

其中，任务参数包括但不限于执行待处理任务所需数据的存储地址、数据类型。

其中，待处理任务所需数据包括但不限于机车的各类行车数据。

具体地，如图4所示，步骤303可以包括以下步骤：

步骤401、获取当前的空闲计算资源；

步骤402、判断当前的空闲计算资源是否能满足待处理任务的执行需要，若满足，执行步骤409，否则执行步骤403；

步骤403、从任务信息中获取待处理任务的优先级；

步骤404、获取当前执行的容器所对应的任务；

步骤405、从当前执行的容器所对应的任务中，判断是否存在优先级低于待处理任务优先级的低优先级任务，若存在执行步骤406，否则执行步骤407；

应用中，任务的执行顺序以新任务优先，即优先执行最新创建的任务，优先执行待处理任务；对于待处理队列中的排队任务，优先执行创建时间短、日期近的任务，在创建时间相同的情况下，若存在多个任务，再按任务的优先级高低决定执行顺序

步骤406、判断释放部分低优先级执行容器所占用的计算资源后，系统的空闲计算资源是否满足待处理任务的执行需要。若是，执行步骤407，否则执行步骤408；

步骤407、释放低优先级任务对应的容器所占用的计算资源，并将其对应的计算资源和空闲计算资源，重新分配为待处理任务的计算资源，确定待处理任务对应的计算资源为分析算法对应的计算资源；然后执行步骤409；

应用中，在释放低优先级任务对应的容器所占用的计算资源之前，还可以基于当前的空闲计算资源的大小和执行待处理任务所需的计算资源的大小，确定计算资源的差额，进而依据该计算资源的差额去释放低优先级任务对应的容器所占用的计算资源。

步骤408、计算资源仍不满足待处理任务的执行需要，将待处理任务的标识放置于处于待处理队列中，执行步骤405；

应用中，若当前执行的容器所对应的优先级均高于待处理任务的优先级或者释放的计算资源不满足待处理任务的执行需要时，待处理任务处于排队中，不执行待处理任务。对于排队中任务在满足执行需要的情况下，即待处理任务的优先级高于当前其他执行容器的优先级，且释放部分低优先级执行容器所占用的计算资源后，系统的空闲计算资源满足待处理任务的执行需要，则按照任务优先级的高低和任务生成时间的先后顺序执行。

处于的排队中的所有任务，不占用计算资源。

步骤409、立即执行待处理任务。

应用中，为了避免在长时间执行待处理任务的过程中，容器出现故障导致的待处理任务执行失败的问题，在对待处理任务执行的过程中，或在得到待处理任务对应的任务结果之前，如图5所示，还可以包括以下步骤：

步骤501、监测与任务类型对应的容器的执行数量是否小于数量阈值，若是执行步骤502，否则不作处理；

步骤502、确定执行数量与数量阈值的数量差；

步骤503、启动与数量差对应的容器，与数量差对应的容器与任务类型相对应；

步骤504、采用计算资源执行与数量差对应的容器中的分析算法，得到任务结果。

应用中，设计专门的存活探针(livenessProbe)监控容器内的算法是否正常运行。具体方法是模拟发送相关数据，测试容器内算法是否能正确返回结果。如果不能正确返回结果，就重启新容器。

应用中，为了使其它任务执行的更流畅，在执行完待处理任务后，还可以释放执行待处理任务所需的计算资源。

本申请实施例提供的技术方案，获取待处理任务的任务信息，任务信息包括待处理任务的任务类型；确定与任务类型对应的分析算法；分配与分析算法对应的计算资源；采用计算资源执行分析算法，得到待处理任务对应的任务结果。通过确定待处理任务所需的分析算法以及计算资源，并由计算资源执行分析算法实现了对车载数据的智能分析。

基于同一构思，本申请实施例中提供了一种机车数据智能分析装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图6所示，该装置主要包括：

获取单元601，用于获取待处理任务的任务信息，任务信息包括待处理任务的任务类型；

确定单元602，用于确定与任务类型对应的分析算法；

分配单元603，用于分配与分析算法对应的计算资源；

分析单元604，用于采用计算资源执行分析算法，得到待处理任务对应的任务结果。

可选地，确定单元602用于：

确定与任务类型对应的容器；

将容器中封装的分析算法确定为与任务类型对应的分析算法。

可选地，分析单元604用于：

从任务信息中获取用于指示执行待处理任务所需数据的任务参数；

基于任务参数，获取执行待处理任务所需数据；

所需数据包括不限于：任务标识、任务类型、分析人员标识、输入数据、存储地址、任务优先级以及容器的预设数量；

启动与任务类型对应的容器，以由容器中的分析算法对执行待处理任务所需数据进行处理，得到任务结果。

可选的，分配单元603用于：

获取当前的空闲计算资源；

判断当前的空闲计算资源是否能满足待处理任务的执行需要；

若满足执行需要，立即执行待处理任务；

若不满足执行需要，从任务信息中获取待处理任务的待处理任务优先级；

获取当前执行的容器所对应的任务；

从前当执行的容器所对应的任务中，判断是否存在优先级低于待处理任务优先级的低优先级任务；

若存在低优先级任务，释放低优先级任务对应的容器所占用的计算资源，并将其对应的计算资源和空闲计算资源，重新分配为待处理任务的计算资源，确定待处理任务对应的计算资源为分析算法对应的计算资源；

若不存在低优先级任务，计算资源仍不满足待处理任务的执行需要，将待处理任务的标识放置于处于待处理队列中。

可选地，该装置还用于：

释放低优先级任务对应的容器所占用的计算资源之前，确定当前执行容器所对应的任务的优先级不完全相同。

可选地，该装置还用于：

得到待处理任务对应的任务结果之前，监测与任务类型对应的容器的执行数量是否小于数量阈值；

若是，确定执行数量与数量阈值的数量差；

启动与数量差对应的容器，与数量差对应的容器与任务类型相对应；

采用计算资源执行与数量差对应的容器中的分析算法，得到任务结果。

可选地，该装置还用于：

得到待处理任务对应的任务结果之后，释放计算资源。

基于同一构思，本申请实施例中还提供了一种电子设备，如图7所示，该电子设备主要包括：处理器701、存储器702和通信总线703，其中，处理器701和存储器702通过通信总线703完成相互间的通信。其中，存储器702中存储有可被处理器701执行的程序，处理器701执行存储器702中存储的程序，实现如下步骤：

获取待处理任务的任务信息，任务信息包括待处理任务的任务类型；

确定与任务类型对应的分析算法；

分配与分析算法对应的计算资源；

采用计算资源执行分析算法，得到待处理任务对应的任务结果。

上述电子设备中提到的通信总线703可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线703可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器702可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器701的存储装置。

上述的处理器701可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述地数据分析方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据分析算法的管理方法，其特征在于，包括：

获取待处理任务的任务信息，所述任务信息包括所述待处理任务的任务类型；

确定与所述任务类型对应的分析算法；

分配与所述分析算法对应的计算资源；

采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果；

在采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果之前，还包括：

监测与所述任务类型对应的容器的执行数量是否小于数量阈值；

若是，确定所述执行数量与所述数量阈值的数量差；

启动与所述数量差对应的容器，与所述数量差对应的容器与所述任务类型相对应；

采用所述计算资源执行与所述数量差对应的容器中的分析算法，得到所述任务结果；

所述方法还包括：监控容器内的算法是否正常运行；若容器内的算法无法正常运行，则重启新容器。

2.根据权利要求1所述的方法，其特征在于，确定与所述任务类型对应的分析算法，包括：

确定与所述任务类型对应的容器；

将所述容器中封装的分析算法确定为与任务类型对应的分析算法。

3.根据权利要求2所述的方法，其特征在于，采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果，包括：

从所述任务信息中获取用于指示执行所述待处理任务所需数据的任务参数；

基于所述任务参数，获取所述执行所述待处理任务所需数据；

所述所需数据包括不限于：任务标识、任务类型、分析人员标识、输入数据、存储地址、任务优先级以及容器的预设数量；

启动与所述任务类型对应的容器，以由所述容器中的分析算法对所述执行所述待处理任务所需数据进行处理，得到所述任务结果。

4.根据权利要求2所述的方法，其特征在于，分配与所述分析算法对应的计算资源，包括：

获取当前的空闲计算资源；

判断当前的空闲计算资源是否能满足所述待处理任务的执行需要；

若满足所述执行需要，立即执行所述待处理任务；

若不满足所述执行需要，从所述任务信息中获取所述待处理任务的待处理任务优先级；

获取当前执行的容器所对应的任务；

从所述当前执行的容器所对应的任务中，判断是否存在优先级低于所述待处理任务优先级的低优先级任务；

若存在所述低优先级任务，释放所述低优先级任务对应的容器所占用的计算资源，并将其对应的计算资源和所述空闲计算资源，重新分配为所述待处理任务的计算资源，确定所述待处理任务对应的计算资源为所述分析算法对应的计算资源；

若不存在所述低优先级任务，计算资源仍不满足所述待处理任务的执行需要，将所述待处理任务的标识放置于处于待处理队列中；

监控待处理队列中的待处理任务的数量和创建天数，若数量大于预设值或创建时间大于预设天数，返回一条报警消息。

5.根据权利要求1所述的方法，其特征在于，得到所述待处理任务对应的任务结果之后，还包括：

释放所述计算资源。

6.一种数据分析算法的管理装置，其特征在于，包括：

获取单元，用于获取待处理任务的任务信息，所述任务信息包括所述待处理任务的任务类型；

确定单元，用于确定与所述任务类型对应的分析算法；

分配单元，用于计算与分配与所述分析算法对应的计算资源；

分析单元，用于采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果；

监测单元，用于在采用所述计算资源执行所述分析算法，得到所述待处理任务对应的任务结果之前，监测与所述任务类型对应的容器的执行数量是否小于数量阈值；若是，确定所述执行数量与所述数量阈值的数量差；启动与所述数量差对应的容器，与所述数量差对应的容器与所述任务类型相对应；采用所述计算资源执行与所述数量差对应的容器中的分析算法，得到所述任务结果；

监控单元，用于监控容器内的算法是否正常运行；若容器内的算法无法正常运行，则重启新容器。

7.根据权利要求6所述的装置，其特征在于，所述分配单元具体用于：

获取当前的空闲计算资源；

判断当前的空闲计算资源是否能满足所述待处理任务的执行需要；

若满足所述执行需要，立即执行所述待处理任务；

若不满足所述执行需要，从所述任务信息中获取所述待处理任务的待处理任务优先级；

获取当前执行的容器所对应的任务；

从所述当前执行的容器所对应的任务中，判断是否存在优先级低于所述待处理任务优先级的低优先级任务；

若存在所述低优先级任务，释放所述低优先级任务对应的容器所占用的计算资源，并将其对应的计算资源和所述空闲计算资源，重新分配为所述待处理任务的计算资源，确定所述待处理任务对应的计算资源为所述分析算法对应的计算资源；

若不存在所述低优先级任务，计算资源仍不满足所述待处理任务的执行需要，将所述待处理任务的标识放置于处于待处理队列中；

监控待处理队列中的待处理任务的数量和创建天数，若数量大于预设值或创建时间大于预设天数，返回一条报警消息。

8.一种电子设备，其特征在于，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1-5任一项所述的数据分析算法的管理方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的数据分析算法的管理方法。