CN107885762A - 智能大数据系统、提供智能大数据服务的方法和设备 - Google Patents

智能大数据系统、提供智能大数据服务的方法和设备 Download PDF

Info

Publication number
CN107885762A
CN107885762A CN201710851941.XA CN201710851941A CN107885762A CN 107885762 A CN107885762 A CN 107885762A CN 201710851941 A CN201710851941 A CN 201710851941A CN 107885762 A CN107885762 A CN 107885762A
Authority
CN
China
Prior art keywords
data
task
prediction
component
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710851941.XA
Other languages
English (en)
Other versions
CN107885762B (zh
Inventor
周恺
王倩
张发恩
刘昆
肖远昊
徐东泽
许天涵
孙家元
刘岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710851941.XA priority Critical patent/CN107885762B/zh
Publication of CN107885762A publication Critical patent/CN107885762A/zh
Priority to US16/118,197 priority patent/US11315034B2/en
Application granted granted Critical
Publication of CN107885762B publication Critical patent/CN107885762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种智能大数据系统、提供智能大数据服务的方法和设备，该系统包括：数据仓库、存储设备以及包含多个计算节点的集群；数据仓库，用于存储从用户获取的任务数据；集群中的至少一个计算节点上包括资源调度组件，用于为任务进行资源调度，确定执行任务的计算节点；执行任务的计算节点上包括模型训练组件和/或预测组件；模型训练组件，用于依据任务数据，从存储设备中调用对应类型的学习模型；利用任务数据包括的样本数据和训练目标，对学习模型进行训练，得到任务对应的预测模型并存储于存储设备；预测组件，用于依据任务数据，从存储设备中调用对应类型的预测模型；将任务数据包括的预测数据输入预测模型，得到预测模型输出的预测结果。

Description

智能大数据系统、提供智能大数据服务的方法和设备
【技术领域】
本发明涉及计算机应用技术领域，特别涉及一种智能大数据系统、提供智能大数据服务的方法和设备。
【背景技术】
大数据和人工智能技术近年来迅速发展，无论在新兴行业还是传统行业，已经有越来越多的企业借助大数据和人工智能技术帮助自己做出更好的商业分析与决策，“大数据+训练+预测”的应用模式越来越普遍。
对于智能大数据的应用者来说，大多具有提供一定样本数据的提供能力，但如果自己搭建软硬件平台来进行模型训练和预测，一方面需要对深度学习算法和软硬件架构都非常了解，对应用者的知识水平要求很高；另一方面带来的开发成本也非常高。
【发明内容】
有鉴于此，本发明提供了一种智能大数据系统、提供智能大数据服务的方法和设备，以降低对智能大数据应用者的知识水平要求和开发成本。
具体技术方案如下：
本发明提供了一种智能大数据系统，该系统包括：数据仓库、存储设备以及包含多个计算节点的集群；
所述数据仓库，用于存储从用户获取的任务数据；
集群中的至少一个计算节点上包括资源调度组件，用于为所述任务进行资源调度，确定执行所述任务的计算节点；
执行所述任务的计算节点包括模型训练组件和/或预测组件；
所述模型训练组件，用于依据所述任务数据，从存储设备中调用对应类型的学习模型；利用所述任务数据包括的样本数据和训练目标，对所述学习模型进行训练，得到所述任务对应的预测模型并存储于存储设备；
所述预测组件，用于依据所述任务数据，从存储设备中调用对应类型的预测模型；将所述任务数据包括的预测数据输入所述预测模型，得到所述预测模型输出的预测结果。
根据本发明一具体实施方式，所述存储设备包括：分布式存储系统。
根据本发明一具体实施方式，所述集群中的计算节点包括：主节点和从节点；
所述资源调度组件位于所述主节点；
所述模型训练组件和/或预测组件位于所述从节点。
根据本发明一具体实施方式，所述从节点还包括：代理组件，用于将所在从节点的信息注册至所述主节点。
根据本发明一具体实施方式，所述计算节点包括：CPU、图形处理器GPU、现场可编程门阵列FPGA中的一种或任意组合。
根据本发明一具体实施方式，所述计算节点上运行Linux操作系统并提供Python接口库。
本发明还提供了一种提供智能大数据服务的方法，该方法包括：
获取用户的任务数据；
在由多个计算节点构成的集群中为所述任务进行资源调度，确定执行所述任务的计算节点；
在计算节点上执行所述任务包括：
依据所述任务数据，从存储设备中调用对应类型的学习模型；利用所述任务数据包括的样本数据和训练目标，对所述学习模型进行训练，得到所述任务对应的预测模型并存储于存储设备；和/或，
依据所述任务数据，从存储设备中调用对应类型的预测模型；将所述任务数据包括的预测数据输入所述预测模型，得到所述预测模型输出的预测结果。
根据本发明一具体实施方式，所述集群中的主节点在所述用户登录后，启动ambari服务，并通过REST API对集群组件执行：
等待集群中从节点上的代理Agent组件将所在从节点的信息注册至所述主节点；
安装并启动分布式文件系统HDFS组件和资源调度组件。
根据本发明一具体实施方式，所述获取用户的任务数据包括：通过REST API从用户的业务系统获取任务数据；
该方法还包括：通过REST API将所述预测结果返回给用户的业务系统。
根据本发明一具体实施方式，依据所述任务数据，从存储设备中调用对应类型的学习模型包括：
从存储设备中调用所述任务数据所指定类型的深度学习模型；或者，
依据预先配置的应用与深度学习模型类型的对应关系，从存储系统中调用所述任务数据所包含应用信息对应类型的深度学习模型。
根据本发明一具体实施方式，在计算节点中的CPU或FPGA资源上执行对所述学习模型进行训练。
本发明还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。
本发明还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述的方法。
由以上技术方案可以看出，本发明面向用户提供了整体的、统一的智能大数据平台，用户只需要提供自己的样本数据，就可以在智能大数据平台实现模型训练和预测，降低了对智能大数据应用者的知识水平要求和开发成本，很好地满足智能大数据应用的需求。
【附图说明】
图1为本发明实施例提供的智能大数据系统的实体结构图；
图2为本发明实施例提供的智能大数据系统的架构示意图；
图3为本发明实施例提供的方法流程图；
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器012的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明提供的智能大数据系统如图1中所示，从实体上主要包括：数据仓库、存储设备以及包含多个计算节点的集群。
数据仓库负责存储从用户获取的任务数据，其中任务数据中可以包括样本数据和训练目标，和/或，任务数据中可以包括预测数据。其中，样本数据和训练目标用于进行模型训练，预测数据用于进行预测。另外，任务数据中还可以包括其他数据，后续将会涉及。
存储设备可以是分布式存储，也可以是其他存储类型。用于存储学习模型、训练得到的预测模型。
集群中包括多个计算节点。计算节点负责执行模型训练和预测的处理。
集群中的至少一个计算节点上包括资源调度组件，负责为任务进行资源调度，确定执行该任务的计算节点。
执行任务的计算节点上可以包括模型训练组件和/或预测组件。
其中，模型训练组件负责依据任务数据，从存储设备中调用对应类型的学习模型；利用所述任务数据包括的样本数据和训练目标，对学习模型进行训练，得到上述任务对应的预测模型并存储于存储设备；
预测组件负责依据任务数据，从存储设备中调用对应类型的预测模型；将任务数据包括的预测数据输入预测模型，得到预测模型输出的预测结果。
作为一种优选的实施方式，在上述集群中可以包括主节点和从节点。上述资源调度组件位于主节点上，主节点将任务在各从节点的资源上进行调度。执行任务具体处理的是从节点，主节点也可以执行具体的处理任务。
本发明实施例提供的上述系统如图2中所示，可以从以下几部分构成进行详细描述：
第一部分：物理机硬件。
在本发明实施例中，可以根据智能大数据应用对计算节点进行硬件选型，包括但不限于CPU、GPU、FPGA等异构硬件，即一个计算节点可以配置有CPU、GPU、FPGA中的一种资源或任意组合。还包括内存、电源、机架、机柜等其他硬件的选型。对应用者的数据规模进行预估，进而确定硬件数量。例如，在其中一个计算节点上配置2个12核心CPU、192GB内存、8块GPU卡、8块6TB大小的HDD硬盘。电源、机柜、机架等可以根据机房要求进行配置。
第二部分：操作系统和软件环境。
在硬件基础上部署定制的操作系统、硬件驱动和必要的软件环境。由于常用的深度学习框架通常运行在Linux系统上，因此计算节点上可以运行Linux操作系统并提供Python接口库。例如，可以安装CentOS 7.2版本操作系统，配置python 2.7和JDK(Java语言的软件开发工具包)1.7环境。
第三部分：大数据环境。
本发明实施例中大数据环境主要包括分布式存储、资源调度组件以及数据仓库等。
数据仓库用于存储通过REST(REpresentational State Transfer，表现状态转换)API从用户获取到的训练数据。数据仓库用于存储各类学习模型以及利用训练数据训练学习模型后得到的预测模型。
资源调度组件可以位于集群中的主节点上，负责对任务进行分配和资源调度。即根据各计算节点的资源占用状况，分配合适的计算节点用以执行该任务。其中资源调度组件需要能够识别和分配CPU、GPU、FPGA等异构计算资源。
本发明实施例中，大数据环境可以通过远程控制来管理集群组件的配置和运行。具体地，用户可以远程登录智能大数据系统。集群中的主节点在用户登录后，启动ambari服务(ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控，Ambari目前已支持大多数Hadoop组件)。并通过REST API对集群组件执行以下操作：
1)等待集群中从节点上的Agent(代理)组件将从节点的信息注册至主节点。其中注册的从节点的信息可以包括诸如从节点标识、从节点资源类型、从节点资源占用状况等等。
2)安装并启动HDFS(分布式文件系统)组件和资源调度组件，其中资源调度组件可以采用YARN(Yet Another Resource Negotiator，另一种资源协调者)组件。YARN是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
应用者(用户)启动集群，即可使用智能大数据服务，达到开箱即用的效果。
上述大数据环境能够在不中断集群中已运行任务的情况下，增加从节点，从而提高集群的计算能力和存储能力。
第四部分：深度学习平台。
资源调度组件可以将深度学习程序运行于CPU、GPU或FPGA等资源上，优选GPU或FPGA，其运行效率通常比CPU要高出几十倍甚至上百倍。
其中深度学习程序可以由用户提供，也可以采用预先配置于智能大数据系统的深度学习程序，用户提供训练目标。
模型训练组件从数据仓库获取任务数据，该任务数据中用户已经指定有特定类型的深度学习模型，那么模型训练组件可以从存储设备中直接调用任务数据所指定类型的深度学习模型。
还存在另外一种实现方式，智能大数据系统预先已经配置有各应用与深度学习类型的对应关系，也就是说，已经针对各种常用应用配置了对应的优选深度学习类型。那么用户可以仅仅在训练数据中包含应用信息，模型训练组件依据预先配置的应用与深度学习模型类型的对应关系，从存储系统中调用任务数据所包含应用信息对应类型的深度学习模型。
模型训练组件加载深度学习模型后，利用样本数据训练深度学习模型，得到预测模型并存储于分布式存储中供后续预测使用。另外，模型训练组件还能够利用用户提供的新的训练数据，持续进行模型训练，即更新已经训练的预测模型，从而提高预测效果。
第五部分：预测服务。
预测组件可以提供REST API，由用户通过该REST API提供预测任务数据，例如预测数据、预测程序、预测模型类型等等，该REST API方便用户将自己的业务系统与智能大数据平台进行对接。
同样，预测程序可以由用户提供，也可以采用预先配置于智能大数据系统的预测程序。
预测组件依据任务数据，从存储设备中调用已经训练好的预测模型，然后将任务数据中包括的预测数据输入预测模型后，就能够得到预测模型输出的预测结果。该预测结果可以通过REST API返回至用户的业务系统。
基于上述智能大数据系统实现的提供智能大数据服务的方法流程可以如图3中所示，包括以下步骤：
在301中，获取用户的任务数据。
用户在登录智能大数据平台时，首先智能大数据平台针对该用户执行初始化过程。其中，集群中的主节点在用户登录后，可以启动ambari服务，并通过REST API对集群组件执行：
1)等待集群中从节点上的代理Agent组件将所在从节点的信息注册至主节点。其中注册的从节点的信息可以包括诸如从节点标识、从节点资源类型、从节点资源占用状况等等。
2)安装并启动HDFS组件和资源调度组件。其中资源调度组件可以采用YARN(YetAnother Resource Negotiator，另一种资源协调者)组件。YARN是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
用户启动集群，即可使用智能大数据服务，达到开箱即用的效果。本步骤中智能大数据系统可以通过REST API获取用户的任务数据。获取的任务数据可以存储于智能大数据系统的数据仓库中，以供后续模型训练和/或预测服务使用。
在302中，在由多个计算节点构成的集群中为所述任务进行资源调度，确定执行所述任务的计算节点。
本步骤可以由资源调度组件执行，该资源调度组件可以位于集群中的主节点上，负责对任务进行分配和资源调度。即根据各计算节点的资源占用状况，分配合适的计算节点用以执行该任务。其中资源调度组件需要能够识别和分配CPU、GPU、FPGA等异构计算资源。本发明对资源调度的具体策略并不加以限制。
在303中，由各任务节点执行上述任务，具体包括：
依据任务数据，从存储设备中调用对应类型的学习模型；利用该任务数据包括的样本数据和训练目标，对所述学习模型进行训练，得到该任务对应的预测模型并存储于存储设备；和/或，
依据任务数据，从存储设备中调用对应类型的预测模型；将该任务数据包括的预测数据输入预测模型，得到预测模型输出的预测结果。
深度学习程序可以运行于CPU、GPU或FPGA等资源上，优选GPU或FPGA，其运行效率通常比CPU要高出几十倍甚至上百倍。
其中深度学习程序可以由用户提供，也可以采用预先配置于智能大数据系统的深度学习程序，用户提供训练目标。
训练过程可以参考图2中虚线箭头所示。模型训练组件从数据仓库获取任务数据，该任务数据中用户已经指定有特定类型的深度学习模型，那么模型训练组件可以从存储设备中直接调用任务数据所指定类型的深度学习模型。
还存在另外一种实现方式，智能大数据系统预先已经配置有各应用与深度学习类型的对应关系，也就是说，已经针对各种常用应用配置了对应的优选深度学习类型。那么用户可以仅仅在训练数据中包含应用信息，模型训练组件依据预先配置的应用与深度学习模型类型的对应关系，从存储系统中调用任务数据所包含应用信息对应类型的深度学习模型。
模型训练组件加载深度学习模型后，利用样本数据训练深度学习模型，得到预测模型并存储于分布式存储中供后续预测使用。另外，模型训练组件还能够利用用户提供的新的训练数据，持续进行模型训练，即更新已经训练的预测模型，从而提高预测效果。
预测过程继续参考图2中虚线箭头所示，预测组件可以从数据仓库获取任务数据，例如预测数据、预测程序、预测模型类型等等。
同样，预测程序可以由用户提供，也可以采用预先配置于智能大数据系统的预测程序。
预测组件依据任务数据，从存储设备中调用已经训练好的预测模型，然后将任务数据中包括的预测数据输入预测模型后，就能够得到预测模型输出的预测结果。该预测结果可以通过预测服务(向用户提供REST API)返回至用户的业务系统。
另外，用户的初始样本数据和后期持续新增的样本数据都保存在智能大数据系统的数据仓库中，随着用户对训练样本的更新，训练得到的预测模型及时得到更新并保存在分布式存储中，预测组件能够在触发下或定期地加载最新的预测模型进行预测。
举一个例子，假设用户需要针对手写体识别应用构建预测模型，用户在登录智能大数据系统后，将采集到的手写体图片并对其标注文本结果作为样本数据，向智能大数据系统提供包含该样本数据以及应用信息的任务数据后，由智能大数据系统将该任务数据存储于数据仓库中。在智能大数据系统中预先针对各种应用配置有对应的深度学习模型，由于图片识别通常采用卷积神经网络，因此训练组件依据其中的应用信息，从分布式存储加载卷积神经网络，并调用数据仓库中的样本数据对卷积神经网络进行训练，得到手写体识别的预测模型并存储于分布式存储中。
当用户需要对特定手写体图片进行识别时，将待识别的手写体图片作为预测数据提供给智能大数据系统，由智能大数据系统存储于数据仓库中，预测组件从分布式存储中加载已经训练得到的预测模型，将预测数据输入预测模型，得到识别结果返回给用户的业务系统。
本发明实施例提供的上述计算节点可以体现为计算机系统或服务器。图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器012的框图。图4显示的计算机系统/服务器012仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统/服务器012以通用计算设备的形式表现。计算机系统/服务器012的组件可以包括但不限于：一个或者多个处理器或者处理单元016，系统存储器028，连接不同系统组件(包括系统存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器012访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器028可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机系统/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统034可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040，可以存储在例如存储器028中，这样的程序模块042包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信，在本发明中，计算机系统/服务器012与外部雷达设备进行通信，还可与一个或者多个使得用户能与该计算机系统/服务器012交互的设备通信，和/或与使得该计算机系统/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且，计算机系统/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器020通过总线018与计算机系统/服务器012的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机系统/服务器012使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元016通过运行存储在系统存储器028中的程序，从而执行各种功能应用以及数据处理，例如图3所示实施例所示方法流程。本发明实施例中处理单元016可以是CPU、GPU和FPGA中的一种或任意组合。
上述的计算机程序可以设置于计算机存储介质中，即该计算机存储介质被编码有计算机程序，该程序在被一个或多个计算机执行时，使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。例如，被上述一个或多个处理器执行的方法流程，可以执行图3所示实施例所示方法流程。
随着时间、技术的发展，介质含义越来越广泛，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
由以上技术方案可以看出，本发明提供的系统、方法和设备可以具备以下优点：
1)本申请提供的智能大数据系统直接帮助使用者建立一个面向最终应用的服务，用户只需要提供自己的样本数据，就可以在智能大数据平台实现模型训练和预测，无需自己搭建软硬件平台，降低了开发成本。
2)本申请提供的技术方案无需用用户对深度学习算法和架构有深入了解，智能大数据系统从硬件到软件再到服务，是作为一个整体平台来使用的，降低了智能大数据应用者的知识门槛。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种智能大数据系统，其特征在于，该系统包括：数据仓库、存储设备以及包含多个计算节点的集群；
所述数据仓库，用于存储从用户获取的任务数据；
集群中的至少一个计算节点上包括资源调度组件，用于为所述任务进行资源调度，确定执行所述任务的计算节点；
执行所述任务的计算节点包括模型训练组件和/或预测组件；
所述模型训练组件，用于依据所述任务数据，从存储设备中调用对应类型的学习模型；利用所述任务数据包括的样本数据和训练目标，对所述学习模型进行训练，得到所述任务对应的预测模型并存储于存储设备；
所述预测组件，用于依据所述任务数据，从存储设备中调用对应类型的预测模型；将所述任务数据包括的预测数据输入所述预测模型，得到所述预测模型输出的预测结果。
2.根据权利要求1所述的系统，其特征在于，所述存储设备包括：分布式存储系统。
3.根据权利要求1所述的系统，其特征在于，所述集群中的计算节点包括：主节点和从节点；
所述资源调度组件位于所述主节点；
所述模型训练组件和/或预测组件位于所述从节点。
4.根据权利要求3所述的方法，其特征在于，所述从节点还包括：代理组件，用于将所在从节点的信息注册至所述主节点。
5.根据权利要求1所述的系统，其特征在于，所述计算节点包括：CPU、图形处理器GPU、现场可编程门阵列FPGA中的一种或任意组合。
6.根据权利要求1所述的系统，其特征在于，所述计算节点上运行Linux操作系统并提供Python接口库。
7.一种提供智能大数据服务的方法，其特征在于，该方法包括：
获取用户的任务数据；
在由多个计算节点构成的集群中为所述任务进行资源调度，确定执行所述任务的计算节点；
在计算节点上执行所述任务包括：
依据所述任务数据，从存储设备中调用对应类型的学习模型；利用所述任务数据包括的样本数据和训练目标，对所述学习模型进行训练，得到所述任务对应的预测模型并存储于存储设备；和/或，
依据所述任务数据，从存储设备中调用对应类型的预测模型；将所述任务数据包括的预测数据输入所述预测模型，得到所述预测模型输出的预测结果。
8.根据权利要求7所述的方法，其特征在于，所述集群中的主节点在所述用户登录后，启动ambari服务，并通过REST API对集群组件执行：
等待集群中从节点上的代理Agent组件将所在从节点的信息注册至所述主节点；
安装并启动分布式文件系统HDFS组件和资源调度组件。
9.根据权利要求7所述的方法，其特征在于，所述获取用户的任务数据包括：通过RESTAPI从用户的业务系统获取任务数据；
该方法还包括：通过REST API将所述预测结果返回给用户的业务系统。
10.根据权利要求7所述的方法，其特征在于，依据所述任务数据，从存储设备中调用对应类型的学习模型包括：
从存储设备中调用所述任务数据所指定类型的深度学习模型；或者，
依据预先配置的应用与深度学习模型类型的对应关系，从存储系统中调用所述任务数据所包含应用信息对应类型的深度学习模型。
11.根据权利要求7所述的方法，其特征在于，在计算节点中的CPU或FPGA资源上执行对所述学习模型进行训练。
12.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求7-11中任一所述的方法。
13.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求7-11中任一所述的方法。
CN201710851941.XA 2017-09-19 2017-09-19 智能大数据系统、提供智能大数据服务的方法和设备 Active CN107885762B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710851941.XA CN107885762B (zh) 2017-09-19 2017-09-19 智能大数据系统、提供智能大数据服务的方法和设备
US16/118,197 US11315034B2 (en) 2017-09-19 2018-08-30 Intelligent big data system, and method and apparatus for providing intelligent big data service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710851941.XA CN107885762B (zh) 2017-09-19 2017-09-19 智能大数据系统、提供智能大数据服务的方法和设备

Publications (2)

Publication Number Publication Date
CN107885762A true CN107885762A (zh) 2018-04-06
CN107885762B CN107885762B (zh) 2021-06-11

Family

ID=61780737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710851941.XA Active CN107885762B (zh) 2017-09-19 2017-09-19 智能大数据系统、提供智能大数据服务的方法和设备

Country Status (2)

Country Link
US (1) US11315034B2 (zh)
CN (1) CN107885762B (zh)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254851A (zh) * 2018-09-30 2019-01-22 武汉斗鱼网络科技有限公司 一种调度gpu的方法及相关装置
CN109445933A (zh) * 2018-09-19 2019-03-08 中国科学院电子学研究所 一种信息处理系统及其实现方法
CN109492771A (zh) * 2018-11-12 2019-03-19 北京百度网讯科技有限公司 交互方法、装置和系统
CN109522129A (zh) * 2018-11-23 2019-03-26 快云信息科技有限公司 一种资源动态均衡方法、装置及相关设备
CN109559734A (zh) * 2018-12-18 2019-04-02 百度在线网络技术（北京）有限公司 声学模型训练的加速方法和装置
CN109857550A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 基于机器学习的资源配置方法、装置、设备及存储介质
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统
CN110389763A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质
CN110401700A (zh) * 2019-07-03 2019-11-01 阿里巴巴集团控股有限公司 模型加载方法及系统、控制节点及执行节点
CN110414187A (zh) * 2019-07-03 2019-11-05 北京百度网讯科技有限公司 模型安全交付自动化的系统及其方法
CN110502213A (zh) * 2019-05-24 2019-11-26 网思科技股份有限公司 一种人工智能能力开发平台
CN110516714A (zh) * 2019-08-05 2019-11-29 网宿科技股份有限公司 一种特征预测方法、系统及引擎
WO2019227707A1 (zh) * 2018-06-01 2019-12-05 平安科技（深圳）有限公司 服务器、预测系统调用量的方法及存储介质
CN110750342A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN110795217A (zh) * 2019-09-27 2020-02-14 广东浪潮大数据研究有限公司 一种基于资源管理平台的任务分配方法及系统
CN110826799A (zh) * 2019-11-05 2020-02-21 广州虎牙科技有限公司 业务预测方法、装置、服务器及可读存储介质
CN110866605A (zh) * 2018-08-27 2020-03-06 北京京东尚科信息技术有限公司 数据模型训练方法、装置、电子设备及可读介质
CN110895485A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 任务调度系统
CN110908994A (zh) * 2018-09-14 2020-03-24 北京京东金融科技控股有限公司 数据模型处理方法、系统、电子设备及可读介质
CN111027713A (zh) * 2019-12-10 2020-04-17 支付宝(杭州)信息技术有限公司 共享机器学习系统及方法
CN111105006A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种深度学习网络训练系统及方法
CN111124634A (zh) * 2019-12-06 2020-05-08 广东浪潮大数据研究有限公司 一种训练方法、装置及电子设备和存储介质
CN111176818A (zh) * 2019-12-31 2020-05-19 北京金山云网络技术有限公司 分布式预测的方法、装置、系统、电子设备及存储介质
CN111309479A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种任务并行处理的实现方法、装置、设备和介质
CN111444309A (zh) * 2019-01-16 2020-07-24 阿里巴巴集团控股有限公司 用于对图进行学习的系统
CN111723147A (zh) * 2019-03-21 2020-09-29 杭州海康威视数字技术股份有限公司 基于区块链的数据训练方法、装置及设备、存储介质
WO2020199143A1 (zh) * 2019-04-03 2020-10-08 华为技术有限公司 Ai训练网络及方法
CN111753997A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 分布式训练方法、系统、设备及存储介质
CN111984711A (zh) * 2019-05-23 2020-11-24 北京京东尚科信息技术有限公司 抽取数据的方法、装置、设备和计算机可读介质
CN112052027A (zh) * 2019-06-06 2020-12-08 阿里巴巴集团控股有限公司 一种处理ai任务的方法及装置
CN112100920A (zh) * 2020-09-15 2020-12-18 东南大学 一种配电网三相电压计算方法、装置、设备及存储介质
CN112202899A (zh) * 2020-09-30 2021-01-08 北京百度网讯科技有限公司 用于工作流的处理方法、装置、智能工作站和电子设备
US10929191B2 (en) 2019-07-03 2021-02-23 Advanced New Technologies Co., Ltd. Loading models on nodes having multiple model service frameworks
WO2021068247A1 (zh) * 2019-10-12 2021-04-15 深圳鲲云信息科技有限公司 神经网络调度方法、装置、计算机设备及可读存储介质
CN112799782A (zh) * 2021-01-20 2021-05-14 北京迈格威科技有限公司 模型生成系统、方法、电子设备及存储介质
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质
CN112997138A (zh) * 2018-10-30 2021-06-18 马维尔国际贸易有限公司 对存储介质访问的支持人工智能的管理
CN113170592A (zh) * 2018-11-19 2021-07-23 阿里巴巴集团控股有限公司 基于监测/控制机制的热控制优化
CN113228064A (zh) * 2018-12-14 2021-08-06 三星电子株式会社 用于个性化的机器学习模型的分布式训练
CN113472550A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 分布式管理方法及系统、以及管理系统
CN113626179A (zh) * 2020-05-09 2021-11-09 烽火通信科技股份有限公司 一种通用的人工智能模型训练方法及系统
CN113707289A (zh) * 2021-07-16 2021-11-26 联影智能医疗科技(北京)有限公司 医学人工智能平台及其搭建方法
CN114091029A (zh) * 2022-01-24 2022-02-25 深信服科技股份有限公司 恶意文件检测模型的训练系统、方法、设备、介质及平台
CN114860424A (zh) * 2022-04-02 2022-08-05 北京航天晨信科技有限责任公司 基于云端中台架构的业务处理方法、装置、设备及介质
CN114936085A (zh) * 2022-07-21 2022-08-23 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法及装置
CN115048216A (zh) * 2022-05-31 2022-09-13 苏州浪潮智能科技有限公司 一种人工智能集群的资源管理调度方法、装置和设备

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114959B (zh) * 2019-06-21 2024-05-31 上海哔哩哔哩科技有限公司 资源调度方法、分布式系统、计算机设备和存储介质
TWI773907B (zh) * 2019-07-11 2022-08-11 緯創資通股份有限公司 資料擷取裝置與資料運算系統及方法
CN112579579A (zh) * 2019-09-30 2021-03-30 北京国双科技有限公司 一种物料移动数据审核方法、装置、存储介质及电子设备
CN112257733B (zh) * 2019-10-25 2024-04-09 北京沃东天骏信息技术有限公司 一种模型迭代方法、第二电子设备及存储介质
CN111027765A (zh) * 2019-12-06 2020-04-17 新奥数能科技有限公司 一种供能设备的调度方法、装置、可读介质及电子设备
CN111104222B (zh) * 2019-12-16 2023-06-30 上海众源网络有限公司 任务处理方法、装置、计算机设备和存储介质
CN113127182A (zh) * 2019-12-30 2021-07-16 中国移动通信集团上海有限公司 深度学习调度配置系统及方法
CN111190741B (zh) * 2020-01-03 2023-05-12 深圳鲲云信息科技有限公司 基于深度学习节点计算的调度方法、设备及存储介质
CN113138847B (zh) * 2020-01-19 2024-06-18 京东科技控股股份有限公司 基于联邦学习的计算机资源分配调度方法和装置
CN111367643B (zh) * 2020-03-09 2024-07-09 北京易华录信息技术股份有限公司 一种算法调度系统、方法及装置
CN113296870B (zh) * 2020-04-07 2024-03-08 阿里巴巴集团控股有限公司 预测Kubernetes集群配置的方法以及装置
CN111708774B (zh) * 2020-04-16 2023-03-10 上海华东电信研究院 一种基于大数据的产业分析系统
CN113570063B (zh) * 2020-04-28 2024-04-30 大唐移动通信设备有限公司 机器学习模型参数传递方法及装置
CN111258589A (zh) * 2020-05-06 2020-06-09 成都四方伟业软件股份有限公司 一种大数据运维监控的多平台适配方法
CN111641521B (zh) * 2020-05-11 2023-05-09 紫光云技术有限公司 一种基于Ambari的云上部署大数据集群的方法
CN113806624B (zh) * 2020-06-15 2024-03-08 阿里巴巴集团控股有限公司 数据处理方法以及装置
CN111736920A (zh) * 2020-06-24 2020-10-02 深圳壹账通智能科技有限公司 基于人工智能的图像处理方法、装置、设备及存储介质
CN111930469B (zh) * 2020-07-20 2024-04-09 武汉美和易思数字科技有限公司 一种基于云计算的高校大数据竞赛管理系统及方法
CN113157426B (zh) * 2020-10-26 2024-04-02 微医云(杭州)控股有限公司 一种任务调度方法、系统、设备及存储介质
CN112416585B (zh) * 2020-11-20 2024-03-15 南京大学 面向深度学习的gpu资源管理与智能化调度方法
CN112636979B (zh) * 2020-12-24 2022-08-12 北京浪潮数据技术有限公司 一种集群告警方法及相关装置
CN113554171B (zh) * 2021-06-30 2023-07-25 北京百度网讯科技有限公司 模型定制系统和方法
CN113419837A (zh) * 2021-07-09 2021-09-21 支付宝(杭州)信息技术有限公司 调度机器学习任务的方法及装置
CN113516251B (zh) * 2021-08-05 2023-06-06 上海高德威智能交通系统有限公司 一种机器学习系统及模型训练方法
CN113742065A (zh) * 2021-08-07 2021-12-03 中国航空工业集团公司沈阳飞机设计研究所 一种基于kubernetes容器集群的分布式强化学习方法及装置
CN113868302A (zh) * 2021-09-02 2021-12-31 美视(杭州)人工智能科技有限公司 一种基于人工智能的角膜塑形镜智能验配整体解决方案
CN114726713B (zh) * 2022-03-02 2024-01-12 阿里巴巴（中国）有限公司 节点故障模型训练方法、检测方法、设备、介质及产品
CN114721804B (zh) * 2022-04-15 2024-08-13 支付宝(杭州)信息技术有限公司 任务调度方法、装置和电子设备
CN114741175B (zh) * 2022-04-15 2024-10-18 支付宝(杭州)信息技术有限公司 任务执行方法、装置、中心节点和下游节点设备
CN116719806A (zh) * 2023-08-11 2023-09-08 尚特杰电力科技有限公司 大数据计算分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7640145B2 (en) * 2005-04-25 2009-12-29 Smartsignal Corporation Automated model configuration and deployment system for equipment health monitoring
CN103502899A (zh) * 2011-01-26 2014-01-08 谷歌公司 动态预测建模平台
CN104123182A (zh) * 2014-07-18 2014-10-29 西安交通大学 基于主从架构的MapReduce任务跨数据中心调度系统及方法
CN105808500A (zh) * 2016-02-26 2016-07-27 山西牡丹深度智能科技有限公司 深度学习的实现方法、装置
CN106961359A (zh) * 2017-05-22 2017-07-18 郑州云海信息技术有限公司 一种Solr服务的自动部署和监控方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8438122B1 (en) * 2010-05-14 2013-05-07 Google Inc. Predictive analytic modeling platform
AU2013207551B2 (en) * 2012-07-20 2015-12-17 Tata Consultancy Services Limited Method and system for adaptive forecast of wind resources
US20180367480A1 (en) * 2017-06-18 2018-12-20 Rapportboost.Ai, Inc. Optimizing chat-based communications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7640145B2 (en) * 2005-04-25 2009-12-29 Smartsignal Corporation Automated model configuration and deployment system for equipment health monitoring
CN103502899A (zh) * 2011-01-26 2014-01-08 谷歌公司 动态预测建模平台
CN104123182A (zh) * 2014-07-18 2014-10-29 西安交通大学 基于主从架构的MapReduce任务跨数据中心调度系统及方法
CN105808500A (zh) * 2016-02-26 2016-07-27 山西牡丹深度智能科技有限公司 深度学习的实现方法、装置
CN106961359A (zh) * 2017-05-22 2017-07-18 郑州云海信息技术有限公司 一种Solr服务的自动部署和监控方法及装置

Cited By (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389763A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质
CN110389763B (zh) * 2018-04-20 2023-06-16 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质
WO2019227707A1 (zh) * 2018-06-01 2019-12-05 平安科技（深圳）有限公司 服务器、预测系统调用量的方法及存储介质
CN110866605A (zh) * 2018-08-27 2020-03-06 北京京东尚科信息技术有限公司 数据模型训练方法、装置、电子设备及可读介质
CN110895485A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 任务调度系统
CN110908994B (zh) * 2018-09-14 2024-06-14 京东科技控股股份有限公司 数据模型处理方法、系统、电子设备及可读介质
CN110908994A (zh) * 2018-09-14 2020-03-24 北京京东金融科技控股有限公司 数据模型处理方法、系统、电子设备及可读介质
CN109445933A (zh) * 2018-09-19 2019-03-08 中国科学院电子学研究所 一种信息处理系统及其实现方法
CN109254851A (zh) * 2018-09-30 2019-01-22 武汉斗鱼网络科技有限公司 一种调度gpu的方法及相关装置
CN111105006B (zh) * 2018-10-26 2023-08-04 杭州海康威视数字技术股份有限公司 一种深度学习网络训练系统及方法
CN111105006A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种深度学习网络训练系统及方法
CN112997138A (zh) * 2018-10-30 2021-06-18 马维尔国际贸易有限公司 对存储介质访问的支持人工智能的管理
CN109492771A (zh) * 2018-11-12 2019-03-19 北京百度网讯科技有限公司 交互方法、装置和系统
CN113170592A (zh) * 2018-11-19 2021-07-23 阿里巴巴集团控股有限公司 基于监测/控制机制的热控制优化
CN113170592B (zh) * 2018-11-19 2023-11-10 阿里云计算有限公司 基于监测/控制机制的热控制优化
CN109522129A (zh) * 2018-11-23 2019-03-26 快云信息科技有限公司 一种资源动态均衡方法、装置及相关设备
CN113228064A (zh) * 2018-12-14 2021-08-06 三星电子株式会社 用于个性化的机器学习模型的分布式训练
CN109559734B (zh) * 2018-12-18 2022-02-18 百度在线网络技术（北京）有限公司 声学模型训练的加速方法和装置
CN109559734A (zh) * 2018-12-18 2019-04-02 百度在线网络技术（北京）有限公司 声学模型训练的加速方法和装置
US11302303B2 (en) 2018-12-18 2022-04-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for training an acoustic model
CN109857550A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 基于机器学习的资源配置方法、装置、设备及存储介质
CN111444309B (zh) * 2019-01-16 2023-04-14 阿里巴巴集团控股有限公司 用于对图进行学习的系统
CN111444309A (zh) * 2019-01-16 2020-07-24 阿里巴巴集团控股有限公司 用于对图进行学习的系统
CN111723147B (zh) * 2019-03-21 2023-07-25 杭州海康威视数字技术股份有限公司 基于区块链的数据训练方法、装置及设备、存储介质
CN111723147A (zh) * 2019-03-21 2020-09-29 杭州海康威视数字技术股份有限公司 基于区块链的数据训练方法、装置及设备、存储介质
WO2020199143A1 (zh) * 2019-04-03 2020-10-08 华为技术有限公司 Ai训练网络及方法
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统
CN110750342B (zh) * 2019-05-23 2020-10-09 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN110750342A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN111984711A (zh) * 2019-05-23 2020-11-24 北京京东尚科信息技术有限公司 抽取数据的方法、装置、设备和计算机可读介质
CN110502213A (zh) * 2019-05-24 2019-11-26 网思科技股份有限公司 一种人工智能能力开发平台
CN112052027A (zh) * 2019-06-06 2020-12-08 阿里巴巴集团控股有限公司 一种处理ai任务的方法及装置
CN110401700B (zh) * 2019-07-03 2020-10-16 阿里巴巴集团控股有限公司 模型加载方法及系统、控制节点及执行节点
CN110414187B (zh) * 2019-07-03 2021-09-17 北京百度网讯科技有限公司 模型安全交付自动化的系统及其方法
WO2021000570A1 (zh) * 2019-07-03 2021-01-07 创新先进技术有限公司 模型加载方法及系统、控制节点及执行节点
CN110401700A (zh) * 2019-07-03 2019-11-01 阿里巴巴集团控股有限公司 模型加载方法及系统、控制节点及执行节点
CN110414187A (zh) * 2019-07-03 2019-11-05 北京百度网讯科技有限公司 模型安全交付自动化的系统及其方法
US10929191B2 (en) 2019-07-03 2021-02-23 Advanced New Technologies Co., Ltd. Loading models on nodes having multiple model service frameworks
US11003501B2 (en) 2019-07-03 2021-05-11 Advanced New Technologies Co., Ltd. Loading models on nodes having multiple model service frameworks
WO2021022660A1 (zh) * 2019-08-05 2021-02-11 网宿科技股份有限公司 一种特征预测方法、系统及引擎
CN110516714A (zh) * 2019-08-05 2019-11-29 网宿科技股份有限公司 一种特征预测方法、系统及引擎
US11822969B2 (en) 2019-09-27 2023-11-21 Guangdong Inspur Smart Computing Technology Co., Ltd. Resource management platform-based task allocation method and system
CN110795217A (zh) * 2019-09-27 2020-02-14 广东浪潮大数据研究有限公司 一种基于资源管理平台的任务分配方法及系统
WO2021068247A1 (zh) * 2019-10-12 2021-04-15 深圳鲲云信息科技有限公司 神经网络调度方法、装置、计算机设备及可读存储介质
CN113196232A (zh) * 2019-10-12 2021-07-30 深圳鲲云信息科技有限公司 神经网络调度方法、装置、计算机设备及可读存储介质
CN110826799A (zh) * 2019-11-05 2020-02-21 广州虎牙科技有限公司 业务预测方法、装置、服务器及可读存储介质
CN110826799B (zh) * 2019-11-05 2022-07-08 广州虎牙科技有限公司 业务预测方法、装置、服务器及可读存储介质
CN111124634A (zh) * 2019-12-06 2020-05-08 广东浪潮大数据研究有限公司 一种训练方法、装置及电子设备和存储介质
CN111027713A (zh) * 2019-12-10 2020-04-17 支付宝(杭州)信息技术有限公司 共享机器学习系统及方法
CN111176818B (zh) * 2019-12-31 2023-08-25 北京金山云网络技术有限公司 分布式预测的方法、装置、系统、电子设备及存储介质
CN111176818A (zh) * 2019-12-31 2020-05-19 北京金山云网络技术有限公司 分布式预测的方法、装置、系统、电子设备及存储介质
US11954522B2 (en) 2020-02-14 2024-04-09 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for processing tasks in parallel, device and storage medium
CN111309479A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种任务并行处理的实现方法、装置、设备和介质
CN113472550A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 分布式管理方法及系统、以及管理系统
WO2021227293A1 (zh) * 2020-05-09 2021-11-18 烽火通信科技股份有限公司 一种通用的人工智能模型训练方法及系统
CN113626179A (zh) * 2020-05-09 2021-11-09 烽火通信科技股份有限公司 一种通用的人工智能模型训练方法及系统
CN113626179B (zh) * 2020-05-09 2023-08-22 烽火通信科技股份有限公司 一种通用的人工智能模型训练方法及系统
CN111753997A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 分布式训练方法、系统、设备及存储介质
CN112100920A (zh) * 2020-09-15 2020-12-18 东南大学 一种配电网三相电压计算方法、装置、设备及存储介质
CN112202899B (zh) * 2020-09-30 2022-10-25 北京百度网讯科技有限公司 用于工作流的处理方法、装置、智能工作站和电子设备
CN112202899A (zh) * 2020-09-30 2021-01-08 北京百度网讯科技有限公司 用于工作流的处理方法、装置、智能工作站和电子设备
CN112799782A (zh) * 2021-01-20 2021-05-14 北京迈格威科技有限公司 模型生成系统、方法、电子设备及存储介质
CN112799782B (zh) * 2021-01-20 2024-04-12 北京迈格威科技有限公司 模型生成系统、方法、电子设备及存储介质
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质
CN113707289A (zh) * 2021-07-16 2021-11-26 联影智能医疗科技(北京)有限公司 医学人工智能平台及其搭建方法
CN113707289B (zh) * 2021-07-16 2023-11-10 联影智能医疗科技(北京)有限公司 医学人工智能平台及其搭建方法
CN114091029B (zh) * 2022-01-24 2022-06-21 深信服科技股份有限公司 恶意文件检测模型的训练系统、方法、设备、介质及平台
CN114091029A (zh) * 2022-01-24 2022-02-25 深信服科技股份有限公司 恶意文件检测模型的训练系统、方法、设备、介质及平台
CN114860424A (zh) * 2022-04-02 2022-08-05 北京航天晨信科技有限责任公司 基于云端中台架构的业务处理方法、装置、设备及介质
CN115048216A (zh) * 2022-05-31 2022-09-13 苏州浪潮智能科技有限公司 一种人工智能集群的资源管理调度方法、装置和设备
CN115048216B (zh) * 2022-05-31 2024-06-04 苏州浪潮智能科技有限公司 一种人工智能集群的资源管理调度方法、装置和设备
CN114936085A (zh) * 2022-07-21 2022-08-23 联通沃音乐文化有限公司 基于深度学习算法的etl调度方法及装置

Also Published As

Publication number Publication date
US20190087383A1 (en) 2019-03-21
CN107885762B (zh) 2021-06-11
US11315034B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
CN107885762B (zh) 智能大数据系统、提供智能大数据服务的方法和设备
US11488064B2 (en) Machine learning model for micro-service compliance requirements
US10713073B2 (en) Systems and methods for identifying cloud configurations
EP3913545A2 (en) Method and apparatus for updating parameter of multi-task model, and electronic device
US11128668B2 (en) Hybrid network infrastructure management
US11429434B2 (en) Elastic execution of machine learning workloads using application based profiling
US10977076B2 (en) Method and apparatus for processing a heterogeneous cluster-oriented task
CN109783490B (zh) 数据融合方法、装置、计算机设备及存储介质
US20180331927A1 (en) Resource Coordinate System for Data Centers
US11568242B2 (en) Optimization framework for real-time rendering of media using machine learning techniques
CN111145076A (zh) 数据并行化处理方法、系统、设备及存储介质
CN113127050B (zh) 一种应用资源打包过程监控方法、装置、设备和介质
CN111291882A (zh) 一种模型转换的方法、装置、设备和计算机存储介质
US20200027032A1 (en) Reducing computational costs to perform machine learning tasks
US20220391253A1 (en) Method of resource management of virtualized system, electronic device and computer program product
CN116467061B (zh) 一种任务执行的方法、装置、存储介质及电子设备
Boovaraghavan et al. MLIoT: An end-to-end machine learning system for the Internet-of-Things
US20220100558A1 (en) Machine learning based runtime optimization
CN113407343A (zh) 一种基于资源分配的业务处理方法、装置及设备
CN113139381A (zh) 不均衡样本分类方法、装置、电子设备及存储介质
US20230236922A1 (en) Failure Prediction Using Informational Logs and Golden Signals
CN110659312B (zh) 数据处理的方法、装置、设备和计算机存储介质
CN115390992A (zh) 一种虚拟机创建方法、装置、设备和存储介质
US11269625B1 (en) Method and system to identify and prioritize re-factoring to improve micro-service identification
CN111913812B (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant