CN112948353A - 一种应用于DAstudio的数据分析方法、系统及存储介质 - Google Patents

一种应用于DAstudio的数据分析方法、系统及存储介质 Download PDF

Info

Publication number
CN112948353A
CN112948353A CN202110223343.4A CN202110223343A CN112948353A CN 112948353 A CN112948353 A CN 112948353A CN 202110223343 A CN202110223343 A CN 202110223343A CN 112948353 A CN112948353 A CN 112948353A
Authority
CN
China
Prior art keywords
data analysis
data
dastudios
analyzed
dastudio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110223343.4A
Other languages
English (en)
Other versions
CN112948353B (zh
Inventor
崔必如
时培昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Neucloud Dingcheng Technology Co ltd
Original Assignee
Beijing Neucloud Dingcheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Neucloud Dingcheng Technology Co ltd filed Critical Beijing Neucloud Dingcheng Technology Co ltd
Priority to CN202110223343.4A priority Critical patent/CN112948353B/zh
Publication of CN112948353A publication Critical patent/CN112948353A/zh
Application granted granted Critical
Publication of CN112948353B publication Critical patent/CN112948353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请的实施例公开了一种应用于DAstudio的数据分析方法、系统以及存储介质，该方法包括：形成数据分析环，所述数据分析环包括至少一个DAstudio；响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型；响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果。本实施例根据待分析任务和各DAstudio的资源情况建立并训练数据分析模型以完成数据分析。

Description

一种应用于DAstudio的数据分析方法、系统及存储介质
技术领域
本申请涉及数据分析技术领域，特别是涉及一种应用于DAstudio的数据分析方法、系统、存储介质和计算机设备。
背景技术
通用的数据建模分析平台将所有计算和数据放在一个(云)平台上处理，例如，在中国专利文件中，一名为《一种微服务资源调度系统及方法》申请号为CN201810840458.6，介绍了一种微服务资源调度系统及方法，该微服务资源调度系统包括监控服务模块，用于收集微服务产生的资源需求的系统指标；应用控制器服务模块，用于通过调度监控服务、机器学习模型的训练和预测，管理这些微服务的生命周期；云存储服务模块，用于存储监控数据，将从监控服务中收集的监控数据作为机器学习的训练样本；机器学习服务模块，用于将训练请求发送至独立的算法模型，其中每个算法都是并行和独立训练的；交叉验证服务模块，用于评估每个算法的结果以进行实时预测，每个算法模型的训练参数保存到模型存储器；预测服务模块，用于通过应用控制器按预设时间间隔触发预测服务，执行实时负载的预测服务。该申请虽然通过将建模分析的过程拆解为多个微服务，根据对计算和存储资源的监控，在同一个云平台上，实现了对微服务进行资源调配，但是存在成本高以及使用效率相对较低的问题。
在中国专利文件中，一名为《一种应用于企业知识共享平台》申请号为CN201910938441.9，介绍了一种应用于企业知识共享平台，包括资源整合模块，知识存储模块，知识分析挖掘模块，知识应用服务模块，知识搜索模块，知识展示模块及知识管理模块。通过对知识及知识管理理论的综述，并结合企业知识管理现状，提出企业知识管理与知识共享的框架模型，对知识进行分类、数据挖掘及关联分析建立较为健全的企业员工知识共享框架模型。该申请同时为企业各级人士提供专属的知识管理平台，使得知识管理系统使用更加规范，方便快捷，为公司员工提供交流互动的平台，有助于工作人员的工作交流和知识的积累，通过知识共享与交流，运用集体智慧提高组织的应变能力和创新能力，提高企业的核心竞争力，存在资源整合、知识共享和挖掘，但是无法应用于工业生产，尤其无法解决工业生产数据的实时分析问题。
在实际的工业生产中，包括参数、配方、指标在内的工业生产数据是工厂的核心机密，需要在一个私有的环境下进行处理。另外，尽管厂区与厂区之间存在地域和管理上的隔离，厂区之间仍然需要在数据分析上进行协同。
发明内容
为了解决上述问题中的至少之一，本申请提供一种应用于DAstudio的数据分析方法、系统及存储介质。
为达到上述目的，本申请采用以下方案：
第一方面，本申请提出了一种应用于DAstudio的数据分析方法，该方法包括：
形成数据分析环，所述数据分析环包括至少一个DAstudio；
响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型；
响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果。
在一个具体实施例中，所述形成数据分析环进一步包括：响应于用户的第一操作配置为主节点或子节点，其中：
配置为主节点时，建立数据分析环，接收加入所述数据分析环的作为子节点的各DAstudio的资源信息并形成环信息，按照第一预设周期向各
子节点发送所述环信息；
配置为子节点时，加入已构建的数据分析环并发送本地DAstudio资源信息，接收主节点发送的环信息，根据所述环信息向主节点更新本地DAstudio的资源信息；
所述数据方法还包括：按照第二预设周期检测本地DAstudio的资源信息。
在一个具体实施例中，所述DAstudio包括数据功能单元、建模功能单元和执行功能单元，所述数据功能单元包括：多个实时采集各生产数据的数据库、多个预设置的数据子模型、以及数据对象生成组件，所述建模功能单元包括：多个预设置的第一分析组件、模型生成组件、训练数据集、以及模型训练组件，所述执行功能单元包括：用于下载数据分析模型的模型下载组件、获取待分析生产数据的数据导入组件、以及执行组件；
所述按照第二预设周期检测本地DAstudio资源信息进一步包括：按照第二预设周期检测所述数据功能单元、建模功能单元和执行功能单元的资源占比以获取本地DAstudio资源信息；
所述响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio进一步包括：响应于接收的待分析任务计算所需的任务资源量，根据各DAstudio的资源信息和所述任务资源量确定所述第一目标DAstudio。
在一个具体实施例中，所述响应于接收的待分析任务计算所需的任务资源量进一步包括：根据所述任务资源量判断本地DAstudio是否可以配置为第一目标DAstudio；
若是则所述使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型进一步包括：
根据所述待分析物理实体、所述数据功能单元的数据库和数据子模型，响应于用户的第二操作利用所述数据对象生成组件建立对应的数据对象；
根据所述数据对象和所述建模功能单元的第一分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型；
根据所述建模功能单元的训练数据集，利用所述模型训练组件训练所述数据分析模型，并发布至接收所述待分析任务的DAstudio。
在一个具体实施例中，所述方法还包括：接收外部输入的第二分析组件，所述根据所述数据对象和所述建模功能单元的第一分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型进一步包括：
根据所述数据对象、所述建模功能单元的第一分析组件、以及第二分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型。
在一个具体实施例中，所述根据各DAstudio的资源信息和所述任务资源量确定所述第一目标DAstudio进一步包括：
根据各DAstudio的资源信息进行排序，并根据排序结果和所述任务资源量确定所述第一目标DAstudio；或者
根据各DAstudio的资源信息、各DAstudio所处地理位置信息和各DAstudio的数据库进行综合排序，并根据排序结果和所述任务资源量确定所述第一目标DAstudio。
在一个具体实施例中，所述响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果进一步包括：
根据接收的待分析任务利用所述执行功能单元的模型下载组件下载所述数据分析模型、响应于用户的第四操作利用执行功能单元的数据导入组件从所述数据功能单元的数据库获取对应的待分析生产数据，根据所述待分析生产数据响应于用户的第五操作利用所述执行组件执行所述数据分析模型并输出数据分析结果。
在一个具体实施例中，在所述根据所述待分析生产数据响应于用户的第五操作利用所述执行组件执行所述数据分析模型并输出数据分析结果之后，所述方法还包括：
判断所述数据分析结果是否满足预设分析阈值，若不满足则根据各DAstudio的资源信息和所述任务资源量确定第二目标DAstudio，所述第二目标DAstudio为所述第一目标DAstudio之外的DAstudio。
在一个具体实施例中，所述方法还包括：对下载的数据分析模型进行分类，并根据分类结果存储所述数据分析模型。
在一个具体实施例中，所述DAstudio还包括报表单元，在所述响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果之后，所述方法还包括：
根据所述数据分析结果，响应于用户的第六操作利用所述报表单元生成并输出所述数据对象的分析报表。
第二方面，本申请提出了一种数据分析系统，该系统包括：
多个DAstudio，每个DAstudio包括控制单元、数据功能单元、建模功能单元和执行功能单元，其中，所述控制单元被配置为：
形成数据分析环，所述数据分析环包括至少一个DAstudio；
响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体利用所述数据功能单元建立对应的数据对象、并利用所述建模功能单元建立对应的数据分析模型、训练并发布所述数据分析模型；
响应于发布的所述数据分析模型，根据接收的待分析任务利用所述执行功能单元执行所述数据分析模型并输出数据分析结果。
在一个具体实施例中，所述控制单元包括节点选择组件，用于根据用户的第一操作配置为主节点或子节点，其中
所述节点选择组件被配置为主节点时，所述控制单元被配置为：建立数据分析环，接收加入所述数据分析环的作为子节点的各DAstudio的资源信息并形成环信息，按照第一预设周期向各子节点发送所述环信息；
所述节点选择组件被配置为子节点时，所述控制单元被配置为：加入已构建的数据分析环并发送本地DAstudio资源信息，接收主节点发送的环信息，根据所述环信息向主节点更新本地DAstudio的资源信息；
所述控制单元还被配置为：按照第二预设周期检测本地DAstudio的资源信息。
在一个具体实施例中，所述DAstudio还包括用于接收外部输入的第二分析组件的模型扩展单元，所述控制单元被配置为：根据所述数据对象、所述建模功能单元的第一分析组件、以及第二分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型；
和/或
所述DAstudio还包括模型管理单元，所述控制单元被配置为：对下载的数据分析模型进行分类，并根据分类结果存储所述数据分析模型；
和/或
所述DAstudio还包括报表单元，所述控制单元被配置为：在响应于发布的所述数据分析模型，根据接收的待分析任务利用所述执行功能单元执行所述数据分析模型并输出数据分析结果之后，根据所述数据分析结果，响应于用户的第六操作利用所述报表单元生成并输出所述数据对象的分析报表。
第三方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述的方法。
第四方面，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面所述的方法。
本申请的有益效果如下：
本申请针对目前现有的问题，制定一种应用于DAstudio的数据分析方法、系统及存储介质，并通过形成成环的分布式DAstudio，使得用户可以查看环路内各节点的资源情况，以实现根据各节点的资源分配任务、建立和训练数据分析模型，从而完成数据分析，弥补了现有技术中存在的问题，有效提高了工作效率，解决了多地或多厂区协同工作的需求，具有广泛的应用前景。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本申请的一个实施例的应用于DAstudio的数据分析方法的流程图；
图2示出根据本申请的一个实施例的DAstudio数据分析环的示意图；
图3示出根据本申请的一个实施例的DAstudio数据分析环各节点的交互示意图；
图4示出根据本申请的一个实施例的DAstudio数据建模系统的结构示意图；
图5示出根据本申请的一个实施例的通过DAStudio进行建模分析的流程图；
图6示出根据本申请的一个实施例的生成数据对象的界面示意图；
图7示出根据本申请的一个实施例的生成数据分析模型的界面示意图；
图8示出根据本申请的一个实施例的将训练好的结果发布成模型实例的界面示意图；
图9示出根据本申请的一个实施例的发布分析任务的界面示意图；
图10示出根据本申请的又一个实施例的数据分析系统的结构示意图；
图11示出根据本申请的又一个实施例的DAstudio单元的构成示意图；
图12示出本申请的另一个实施例所述的一种计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本申请，下面结合优选实施例和附图对本申请做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本申请的保护范围。
对于包括有多个设置在不同地理位置的工厂的集团，集团或不同工厂具有数据分析需求，通用的数据建模分析平台将所有计算和数据放在一个(云)平台上处理，在工业生产中，包括参数、配方、指标在内工业生产数据是工厂的核心机密，需要在一个私有的环境下进行处理。另外，尽管厂区与厂区之间存在地域和管理上的隔离，厂区之间仍然需要在数据分析上进行协同。
为此本申请提出了基于DAStudio的分布式部署执行的数据分析方法，如图1所示，包括：形成数据分析环，所述数据分析环包括至少一个DAstudio；响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型；响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果。
本实施例通过形成成环的分布式DAstudio，使得用户可以查看环路内各节点的资源情况，以实现根据各节点的资源分配任务、建立和训练数据分析模型，从而完成数据分析，弥补了现有技术中存在的问题，有效提高了工作效率，解决了多地或多厂区协同工作的需求，具有广泛的应用前景。
在一个具体的示例中，如图1所示，包括以下步骤：
S101、形成数据分析环，所述数据分析环包括至少一个DAstudio。
DAStudio数据分析环可以用于解决多地或多厂区协同工作的需求，在一个具体示例中，A集团包括多个工厂，A集团和各工厂均设置有DAStudio，各DAStudio的地位相同，但各DAstudio配置有不同的资源。如图2所示，在某省能源集团的项目中，为了满足其集团集中模型训练分析，厂区端实时模型分析的需求，部署多个DAstudio并形成环。其中，在集团侧部署的DAStudio-A含有最大的计算资源，包括有较大规模的计算引擎和数据查询引擎，例如有多个物理机，能够执行大计算量数量的分析任务，在厂区1和厂区2部署的DAStudio-B和DAStudio-C，含有相对较少的资源，例如只有一个物理机，仅能执行较少数量的分析计算。
需要说明的是，DAStudio的所有计算和查询依托于其中的计算引擎和数据查询引擎，这两个引擎都是以集群的方式进行工作，可以进行扩展。此外，DAstudio的资源包括计算资源和数据资源，其中，计算资源体现在DAstudio的计算能力，数据资源体现在DAstudio可获取的源数据，即数据资源用于表征DAstudio的数据访问权限。
例如，A集团可以获取A集团旗下的所有工厂的生产数据，但各工厂可获取的源数据不同；A集团还可以按照地理位置划分为不同大区，如华北区、华南区以及华中区，各大区的区级工厂可以获取本大区的所有工厂的生产数据，以华北区为例，华北区包括10个工厂，其中的B工厂被定义为区级工厂，则B工厂可以获取华北区内10个工厂的生产数据，华北区内除B工厂以外的其他工厂仅获取本厂区的生产数据；此外，A集团还可以按照行业或产品进行划分，对A集团旗下的所有工厂划分出不同等级，等级高的工厂可以获取等级低的工厂的生产数据。
在一个具体示例中，每个DAstudio有自己的专用ID，用于区分存储有不同资源的DAstudio，各DAstudio需要形成闭合环。当DAstudio启动之后，响应于用户的第一操作将DAstudio配置为主节点或子节点，其中，当没有闭合环时，DAstudio需要创建一个数据分析环，创建成功后返回该环的ID，该DAstudio被配置为主节点，并接收加入所述数据分析环的作为子节点的各DAstudio的资源信息并形成环信息，按照第一预设周期向各子节点发送所述环信息；
当DAstudio选择加入一个已有的数据分析环时，该DAstudio被配置为子节点，加入已构建的数据分析环并发送本地DAstudio资源信息，接收主节点发送的环信息，根据所述环信息向主节点更新本地DAstudio的资源信息；
所述数据方法还包括：按照第二预设周期检测本地DAstudio的资源信息。
在一个具体示例中，如图3所示，DA节点1被配置为主节点，DA节点2和DA节点3被配置为从节点，DA节点1作为主节点，需要维护当前环的所有DAstudio的资源信息，例如，DA节点1、DA节点2和DA节点3上的DAstudio的ID、资源、已使用资源和运行的任务情况等；并定期向所有DAstudio发送当前环中所有节点的信息，例如，DA节点1将环信息[1,2,3]定期发送至DA节点2和DA节点3，发送环信息的周期依据实际情况而定，本申请在此不做限定。
DA节点2和DA节点3作为从节点加入由DA节点1创建的数据分析环，并将本地DAstudio资源信息发送至DA节点1进行维护，进一步，接收来自由DA节点1发送的环信息，并定期检测本地DAstudio资源信息与接收到的DA节点1环信息是否相同，若不同，将本地DAstudio信息发送至主节点。例如，如图所示，DA节点3接收到环信息[1,2,3]后，检测到DA节点3上的本地DAstudio信息与环信息[1,2,3]中记载的信息不同，DA节点3将本地信息[3’]发送至DA节点1对环信息进行更新。需要说明的是，对本地DAstudio资源信息定期检测的周期依据实际情况而定，本申请在此不做限定。
值得注意的是，如果主节点失去连接，其他节点可以竞争成为新的主节点，ID最大的节点成为下一个主节点。若前主节点重新上线能够恢复连接时，仍然保持当前环不变，直到当前主节点失去连接。
在一个具体示例中，DAstudio包括数据功能单元、建模功能单元和执行功能单元，其中，所述数据功能单元包括多个实时采集生产数据的数据库、多个预设置的数据子模型以及数据对象生成组件；所述建模功能单元包括：多个预设置的第一分析组件、模型生成组件、训练数据集以及模型训练组件；所述执行功能单元包括：用于下载数据分析模型的模型下载组件、获取待分析生产数据的数据导入组件以及执行组件。
本申请中通过定期检测所述数据功能单元、建模功能单元和执行功能单元的资源占比来获取本地DAstudio资源信息，并实现上述对本地DAstudio资源信息的定期检测。
S103、响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型；
需要说明的是，本申请中将工业实际生产中的物理实体数字化形成数据对象，针对数据对象建立数据分析模型，DAStudio中数据对象的好处在于可以将待分析的工业上的物理实体数字化，实例化好的数据对象可以在多个的分析中进行使用。
以图2所示的数据分析环为例进行说明，用户可以查看环路内各节点的资源情况并可以登录环路内的任一节点，如DAStudio-A、DAStudio-B以及DAStudio-C，当登录本地DAStudio-B时，估算本地产品数据分析时所需的模型在训练过程中需要的任务资源量，根据所述任务资源量判断本地DAstudio，即DAStudio-B是否可以被配置为第一目标DAstudio，其中，
若是，DAStudio-B能够被配置为第一目标DAstudio，则在DAStudio-B节点系统上建立数据对象和数据分析模型，并对该数据分析模型进行训练以及发布；
若否，DAStudio-B不能够被配置为第一目标DAstudio根据各DAstudio的资源信息进行排序，并根据排序结果和所述任务资源量确定所述第一目标DAstudio；或者根据各DAstudio的资源信息、各DAstudio所处地理位置信息和各DAstudio的数据库进行综合排序，并根据排序结果和所述任务资源量确定所述第一目标DAstudio。
也就是说，当本地节点的DAstudio不能满足待分析任务的任务资源量时，需要从DAstudio环中选择能够匹配所述任务资源量的DAstudio，如DAstudio-A，在DAstudio-A上进行模型训练和发布，本地DAStudio-B下载在DAstudio-A训练好的数据分析模型，执行数据分析并输出分析结果。
在实际应用中，对于一个DAStudio环，DASutdio环中有多个节点，如果只有某个特定的节点可以访问待分析的数据，则必须使用该节点模型训练；如果同时有多个DAStudio节点可以访问该数据，可以根据这些节点所剩余的资源选择资源丰富的节点作为第一目标DAstudio。
确定好第一目标DAstudio后，在第一目标DAstudio系统上进行数据分析模型的建立、训练和发布，具体如图5所示，
S1031、根据所述待分析物理实体、所述数据功能单元的数据库和数据子模型，响应于用户的第二操作利用所述数据对象生成组件建立对应的数据对象；
在一个具体示例中，如图6所示，响应于用户的点击，在第一目标DAstudio上添加数据对象。
S1033、根据所述数据对象和所述建模功能单元的第一分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型；
在一个具体示例中，如图7所示，用户通过拖拉拽的方式将数据对象、分析组件通过数据流的方式构建成模型，并执行训练。
需要说明的是，除了使用DAStudio自带的分析组件以外，用户可以上传符合接口标准的自定义组件用于扩展。自定义分析组件可以和其他标准的分析组件进行连接，一起工作。每个建模工程可以发布成一个模型实例，即训练后的数据分析模型，模型管理模块对其进行统一的管理。因此，分析组件还可以是外部输入的，进一步将第一分析组件与第二分析组件、数据对象组合成数据分析模型。
S1035、根据所述建模功能单元的训练数据集，利用所述模型训练组件训练所述数据分析模型，并发布至接收所述待分析任务的DAstudio。
在一个具体示例中，如图8所示，将训练好的结果发布成模型实例在第一目标DAstudio的节点上。
在模型训练完成后，如图9所示，根据最后所要发布的分析任务的需要，将模型实例发布到对应的DAstudio，供本地DAstudio接收，即将训练后的模型发布到本地节点，使得本地节点应用所述模型完成产品分析，例如，DAstudio-A将分析任务发布至DAstudio-B。
DAStudio可以将分析任务发布在处于同一个环中的另一个DAStudio上。此外，待分析的实时数据的访问方式和权限，可能决定了该分析任务必须是在某个特定的厂区进行，并在该DAStudio上通过模型实例发布成分析任务。
S105、响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果。
所述S105进一步包括：
S1051、根据接收的待分析任务利用所述执行功能单元的模型下载组件下载所述数据分析模型、响应于用户的第四操作利用执行功能单元的数据导入组件从所述数据功能单元的数据库获取对应的待分析生产数据，根据所述待分析生产数据响应于用户的第五操作利用所述执行组件执行所述数据分析模型并输出数据分析结果。
S1053、在输出数据分析结果后，判断所述数据分析结果是否满足预设分析阈值，若不满足则根据各DAstudio的资源信息和所述任务资源量确定第二目标DAstudio，所述第二目标DAstudio为所述第一目标DAstudio之外的DAstudio。
也就是说，当数据分析结果不满足预期要求时，用户可以根据各DAstudio的资源信息和所述任务资源量确定第二目标DAstudio，在第二目标DAstudio重新进行模型的建立、训练以及发布，本地DAstudio下载新训练好的模型实例以及分析任务重新进行数据分析，直至数据分析结果满足用户的预设分析阈值，所述第二目标DAstudio为所述第一目标DAstudio之外的DAstudio。
在一个具体示例中，所述方法还包括：对下载的数据分析模型进行分类，并根据分类结果存储所述数据分析模型。
S107、根据所述数据分析结果，响应于用户的第六操作利用所述报表单元生成并输出所述数据对象的分析报表。
DAstudio系统中包括报表单元，报表单元包含一系列交叉表和图的功能。对于每一个数据对象，可以将其转换成数据表，每一个数据表可以生成多个交叉表或者图。交叉表支持自定义上表头和左表头，支持包括折线图，散点图，柱状图等在内的多种常见图。支持对数据表中的数据进行包括平均，计数，极值等即时汇聚操作，并即时更新到交叉表和图中。
因此，本申请中根据所述数据分析结果，响应于用户的第六操作利用所述报表单元生成并输出所述数据对象的分析报表，使得用户更直观的观察数据分析结果。
与申请号为CN109144724A、名称为《一种微服务资源调度系统及方法》的专利方案相比，本申请侧重于多个平台的协同工作，每个DAStudio建模分析系统是一个独立的私有云，建模的过程仍然是在某一个DAStudio节点完成。因为数据的访问权限和数据私有化的原因，各个DAStudio可能仅对自己所属的数据可见，各个DAStudio通过环的方式进行连接。
在实际应用中，由于DAStudio环的特性，如图2所示的集团侧的DAStudio-A承担了大部分的模型训练的任务，同时环中任何一个节点都可以了解其他环中的节点的运行情况。集团侧的DAStudio-A可以根据待处理的实时数据产生的位置，将模型实例发布到其对应的厂区的DAStudio，由该厂区的DAstudio将模型实例发布成实时的分析任务。
在一个具体的示例中，如图4所示，每个DAStudio包括：数据功能单元、建模功能单元、执行功能单元、模型管理以及报表单元五个主要的功能模块，将用户的操作转化成一系列计算和数据查询任务，然后交由计算引擎和数据引擎进行处理。其中计算引擎和数据引擎皆为集群，可根据资源情况进行扩展。用户通过交互式的人机界面在DAStudio系统上实现模型的建立以及分析等功能。
本申请制定一种应用于DAstudio的数据分析方法，通过形成成环的分布式DAstudio，使得用户可以查看环路内各节点的资源情况，以实现根据各节点的资源分配任务、建立和训练数据分析模型，从而完成数据分析，并且集团侧和厂区都可以独立使用完整的DAStudio的功能；进一步，集团侧可以依靠资源优势训练更完整精确的模型(模型训练的过程占用最多的资源)，而厂区侧仍然可以使用集团DAStudio的训练结果，并应用到自己的实时数据的分析；此外，除了发布训练好的模型实例，处于同一个环的DAStudio之间可以实现分析工程的拷贝和复制。本申请所述技术方案弥补了现有技术中存在的问题，有效提高了工作效率，解决了多地或多厂区协同工作的需求，具有广泛的应用前景。
如图10所示，与上述实施例提供的应用于DAstudio的数据分析方法相对应，本申请的一个实施例还提供一种数据分析系统，该系统包括：
包括多个DAstudio，如图11所示，每个DAstudio包括控制单元500、数据功能单元502、建模功能单元504和执行功能单元506，其中，所述控制单元500被配置为：
形成数据分析环，所述数据分析环包括至少一个DAstudio；
响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体利用所述数据功能单元建立对应的数据对象、并利用所述建模功能单元建立对应的数据分析模型、训练并发布所述数据分析模型；
响应于发布的所述数据分析模型，根据接收的待分析任务利用所述执行功能单元执行所述数据分析模型并输出数据分析结果。
在一个具体示例中，所述控制单元500包括节点选择组件，用于根据用户的第一操作配置为主节点或子节点，其中
所述节点选择组件被配置为主节点时，所述控制单元500被配置为：建立数据分析环，接收加入所述数据分析环的作为子节点的各DAstudio的资源信息并形成环信息，按照第一预设周期向各子节点发送所述环信息；
所述节点选择组件被配置为子节点时，所述控制单元500被配置为：加入已构建的数据分析环并发送本地DAstudio资源信息，接收主节点发送的环信息，根据所述环信息向主节点更新本地DAstudio的资源信息；
所述控制单元500还被配置为：按照第二预设周期检测本地DAstudio的资源信息。
在一个可选的实施例中，所述DAstudio还包括用于接收外部输入的第二分析组件的模型扩展单元(图11中未示出)，所述控制单元500被配置为：根据所述数据对象、所述建模功能单元的第一分析组件、以及第二分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型。
在一个可选的实施例中，所述DAstudio还包括模型管理单元(图11中未示出)，所述控制单元被配置为：对下载的数据分析模型进行分类，并根据分类结果存储所述数据分析模型。
在一个可选的实施例中，所述DAstudio还包括报表单元(图11中未示出)，所述控制单元被配置为：在响应于发布的所述数据分析模型，根据接收的待分析任务利用所述执行功能单元执行所述数据分析模型并输出数据分析结果之后，根据所述数据分析结果，响应于用户的第六操作利用所述报表单元生成并输出所述数据对象的分析报表。
值得说明的是，上述实施例可以单独使用，也可以组合使用，本领域技术人员应当根据实际应用需求选择适当的组合，在此不再赘述。
由于本申请实施例提供的数据分析系统与上述几种实施例提供一种应用于DAstudio的数据分析方法相对应，因此在前实施方式也适用于本实施例提供的一种数据分析系统，在本实施例中不再详细描述。
本领域技术人员可以理解，上述数据分析系统还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图11中未示出。
本申请制定一种数据分析系统，通过形成成环的分布式DAstudio，使得用户可以查看环路内各节点的资源情况，以实现根据各节点的资源分配任务、建立和训练数据分析模型，从而完成数据分析，弥补了现有技术中存在的问题，有效提高了工作效率，解决了多地或多厂区协同工作的需求，具有广泛的应用前景。
本申请的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：形成数据分析环，所述数据分析环包括至少一个DAstudio；响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型；响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果。
在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本申请所述技术方案提出了一种存储有应用DAstudio的数据分析方法的存储介质，通过形成成环的分布式DAstudio，使得用户可以查看环路内各节点的资源情况，以实现各节点的资源分配和数据分析模型的建立从而完成数据分析，解决了多地或多厂区协同工作的需求。
如图12所示，本申请的另一个实施例提供的一种计算机设备的结构示意图。图显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图12未显示，通常称为“硬盘驱动器”)。尽管图12中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图12所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图12中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的一种应用于DAstudio的数据分析方法方法。
本申请针对目前现有问题，制定应用一种基于DAstudio的数据分析方法的计算设备，通过形成成环的分布式DAstudio，使得用户可以查看环路内各节点的资源情况，以实现根据各节点的资源分配任务、建立和训练数据分析模型，从而完成数据分析，解决了多地或多厂区协同工作的需求。
需要说明的是，在本申请的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然，本申请的上述实施例仅仅是为清楚地说明本申请所作的举例，而并非是对本申请的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本申请的技术方案所引伸出的显而易见的变化或变动仍处于本申请的保护范围之列。

Claims (15)

1.一种应用于DAstudio的数据分析方法，其特征在于，包括：
形成数据分析环，所述数据分析环包括至少一个DAstudio；
响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型；
响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果。
2.根据权利要求1所述的数据分析方法，其特征在于，
所述形成数据分析环进一步包括：响应于用户的第一操作配置为主节点或子节点，其中：
配置为主节点时，建立数据分析环，接收加入所述数据分析环的作为子节点的各DAstudio的资源信息并形成环信息，按照第一预设周期向各子节点发送所述环信息；
配置为子节点时，加入已构建的数据分析环并发送本地DAstudio资源信息，接收主节点发送的环信息，根据所述环信息向主节点更新本地DAstudio的资源信息；
所述数据方法还包括：按照第二预设周期检测本地DAstudio的资源信息。
3.根据权利要求2所述的数据分析方法，其特征在于，
所述DAstudio包括数据功能单元、建模功能单元和执行功能单元，所述数据功能单元包括：多个实时采集各生产数据的数据库、多个预设置的数据子模型、以及数据对象生成组件，所述建模功能单元包括：多个预设置的第一分析组件、模型生成组件、训练数据集、以及模型训练组件，所述执行功能单元包括：用于下载数据分析模型的模型下载组件、获取待分析生产数据的数据导入组件、以及执行组件；
所述按照第二预设周期检测本地DAstudio资源信息进一步包括：按照第二预设周期检测所述数据功能单元、建模功能单元和执行功能单元的资源占比以获取本地DAstudio资源信息；
所述响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio进一步包括：响应于接收的待分析任务计算所需的任务资源量，根据各DAstudio的资源信息和所述任务资源量确定所述第一目标DAstudio。
4.根据权利要求3所述的数据分析方法，其特征在于，
所述响应于接收的待分析任务计算所需的任务资源量进一步包括：根据所述任务资源量判断本地DAstudio是否可以配置为第一目标DAstudio；
若是则所述使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体建立对应的数据对象和数据分析模型、训练并发布所述数据分析模型进一步包括：
根据所述待分析物理实体、所述数据功能单元的数据库和数据子模型，响应于用户的第二操作利用所述数据对象生成组件建立对应的数据对象；
根据所述数据对象和所述建模功能单元的第一分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型；
根据所述建模功能单元的训练数据集，利用所述模型训练组件训练所述数据分析模型，并发布至接收所述待分析任务的DAstudio。
5.根据权利要求4所述的数据分析方法，其特征在于，所述方法还包括：接收外部输入的第二分析组件，所述根据所述数据对象和所述建模功能单元的第一分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型进一步包括：
根据所述数据对象、所述建模功能单元的第一分析组件、以及第二分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型。
6.根据权利要求3所述的数据分析方法，其特征在于，所述根据各DAstudio的资源信息和所述任务资源量确定所述第一目标DAstudio进一步包括：
根据各DAstudio的资源信息进行排序，并根据排序结果和所述任务资源量确定所述第一目标DAstudio；
或者
根据各DAstudio的资源信息、各DAstudio所处地理位置信息和各DAstudio的数据库进行综合排序，并根据排序结果和所述任务资源量确定所述第一目标DAstudio。
7.根据权利要求3所述的数据分析方法，其特征在于，所述响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果进一步包括：
根据接收的待分析任务利用所述执行功能单元的模型下载组件下载所述数据分析模型、响应于用户的第四操作利用执行功能单元的数据导入组件从所述数据功能单元的数据库获取对应的待分析生产数据，根据所述待分析生产数据响应于用户的第五操作利用所述执行组件执行所述数据分析模型并输出数据分析结果。
8.根据权利要求7所述的数据分析方法，其特征在于，在所述根据所述待分析生产数据响应于用户的第五操作利用所述执行组件执行所述数据分析模型并输出数据分析结果之后，所述方法还包括：
判断所述数据分析结果是否满足预设分析阈值，若不满足则根据各DAstudio的资源信息和所述任务资源量确定第二目标DAstudio，所述第二目标DAstudio为所述第一目标DAstudio之外的DAstudio。
9.根据权利要求3所述的数据分析方法，其特征在于，所述方法还包括：对下载的数据分析模型进行分类，并根据分类结果存储所述数据分析模型。
10.根据权利要求1所述的数据分析方法，其特征在于，所述DAstudio还包括报表单元，在所述响应于发布的所述数据分析模型，根据接收的待分析任务执行所述数据分析模型并输出数据分析结果之后，所述方法还包括：
根据所述数据分析结果，响应于用户的第六操作利用所述报表单元生成并输出所述数据对象的分析报表。
11.一种数据分析系统，其特征在于，包括多个DAstudio，每个DAstudio包括控制单元、数据功能单元、建模功能单元和执行功能单元，其中，所述控制单元被配置为：
形成数据分析环，所述数据分析环包括至少一个DAstudio；
响应于接收的待分析任务，根据所述数据分析环中各DAstudio的资源信息确定用于构建所述待分析任务的数据分析模型的第一目标DAstudio，使得所述第一目标DAstudio根据所述待分析任务的待分析物理实体利用所述数据功能单元建立对应的数据对象、并利用所述建模功能单元建立对应的数据分析模型、训练并发布所述数据分析模型；
响应于发布的所述数据分析模型，根据接收的待分析任务利用所述执行功能单元执行所述数据分析模型并输出数据分析结果。
12.根据权利要求11所述的数据分析系统，其特征在于，所述控制单元包括节点选择组件，用于根据用户的第一操作配置为主节点或子节点，其中
所述节点选择组件被配置为主节点时，所述控制单元被配置为：建立数据分析环，接收加入所述数据分析环的作为子节点的各DAstudio的资源信息并形成环信息，按照第一预设周期向各子节点发送所述环信息；
所述节点选择组件被配置为子节点时，所述控制单元被配置为：加入已构建的数据分析环并发送本地DAstudio资源信息，接收主节点发送的环信息，根据所述环信息向主节点更新本地DAstudio的资源信息；
所述控制单元还被配置为：按照第二预设周期检测本地DAstudio的资源信息。
13.根据权利要求11所述的数据分析系统，其特征在于，
所述DAstudio还包括用于接收外部输入的第二分析组件的模型扩展单元，所述控制单元被配置为：根据所述数据对象、所述建模功能单元的第一分析组件、以及第二分析组件，响应于用户的第三操作利用所述模型生成组件建立与所述数据对象对应的数据分析模型；
和/或
所述DAstudio还包括模型管理单元，所述控制单元被配置为：对下载的数据分析模型进行分类，并根据分类结果存储所述数据分析模型；
和/或
所述DAstudio还包括报表单元，所述控制单元被配置为：在响应于发布的所述数据分析模型，根据接收的待分析任务利用所述执行功能单元执行所述数据分析模型并输出数据分析结果之后，根据所述数据分析结果，响应于用户的第六操作利用所述报表单元生成并输出所述数据对象的分析报表。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一项所述的方法。
CN202110223343.4A 2021-03-01 2021-03-01 一种应用于DAstudio的数据分析方法、系统及存储介质 Active CN112948353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110223343.4A CN112948353B (zh) 2021-03-01 2021-03-01 一种应用于DAstudio的数据分析方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110223343.4A CN112948353B (zh) 2021-03-01 2021-03-01 一种应用于DAstudio的数据分析方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112948353A true CN112948353A (zh) 2021-06-11
CN112948353B CN112948353B (zh) 2023-02-03

Family

ID=76246847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110223343.4A Active CN112948353B (zh) 2021-03-01 2021-03-01 一种应用于DAstudio的数据分析方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112948353B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546365A (zh) * 2022-04-27 2022-05-27 北京寄云鼎城科技有限公司 一种流程可视化的建模方法、服务器、计算机系统及介质
CN115292279A (zh) * 2022-07-27 2022-11-04 深圳安巽科技有限公司 一种用于数据的模型处理方法、系统及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550268A (zh) * 2015-12-10 2016-05-04 江苏曙光信息技术有限公司 大数据流程建模分析引擎
CN107885762A (zh) * 2017-09-19 2018-04-06 北京百度网讯科技有限公司 智能大数据系统、提供智能大数据服务的方法和设备
US20190019079A1 (en) * 2017-07-12 2019-01-17 Wipro Limited Method and system for unbiased execution of tasks using neural response analysis of users
CN109445935A (zh) * 2018-10-10 2019-03-08 杭州电子科技大学 云计算环境下一种高性能大数据分析系统自适应配置方法
CN109492834A (zh) * 2018-12-26 2019-03-19 航天恒星科技有限公司 基于遗传优化的敏捷卫星任务规划与调度建模方法
CN109615265A (zh) * 2018-12-26 2019-04-12 北京寄云鼎城科技有限公司 基于集成开发系统的工业数据分析方法、装置与电子设备
US10262271B1 (en) * 2018-02-14 2019-04-16 DataTron Technologies Inc. Systems and methods for modeling machine learning and data analytics
US20190196933A1 (en) * 2017-12-21 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd . Data visual analysis method, system and terminal and computer readable storage medium
CN110069335A (zh) * 2019-05-07 2019-07-30 江苏满运软件科技有限公司 任务处理系统、方法、计算机设备和存储介质
US20200128051A1 (en) * 2018-10-19 2020-04-23 Oracle International Corporation Machine-learning processing at native-location storage system to generate collections action plan
CN112070107A (zh) * 2020-07-15 2020-12-11 上海大学 一种电子口岸船舶进港控制方法
AU2020103205A4 (en) * 2020-10-20 2021-01-14 Agricultural Information Institute, Chinese Academy of Agricultural Sciences Biological information deep mining and analysis system infrastructure construction method
US10909136B1 (en) * 2017-02-08 2021-02-02 Veritas Technologies Llc Systems and methods for automatically linking data analytics to storage
CN112366817A (zh) * 2020-09-24 2021-02-12 国网天津市电力公司电力科学研究院 一种基于虚拟电厂的智能配电调度平台

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550268A (zh) * 2015-12-10 2016-05-04 江苏曙光信息技术有限公司 大数据流程建模分析引擎
US10909136B1 (en) * 2017-02-08 2021-02-02 Veritas Technologies Llc Systems and methods for automatically linking data analytics to storage
US20190019079A1 (en) * 2017-07-12 2019-01-17 Wipro Limited Method and system for unbiased execution of tasks using neural response analysis of users
CN107885762A (zh) * 2017-09-19 2018-04-06 北京百度网讯科技有限公司 智能大数据系统、提供智能大数据服务的方法和设备
US20190087383A1 (en) * 2017-09-19 2019-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent big data system, and method and apparatus for providing intelligent big data service
US20190196933A1 (en) * 2017-12-21 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd . Data visual analysis method, system and terminal and computer readable storage medium
US10262271B1 (en) * 2018-02-14 2019-04-16 DataTron Technologies Inc. Systems and methods for modeling machine learning and data analytics
CN109445935A (zh) * 2018-10-10 2019-03-08 杭州电子科技大学 云计算环境下一种高性能大数据分析系统自适应配置方法
US20200128051A1 (en) * 2018-10-19 2020-04-23 Oracle International Corporation Machine-learning processing at native-location storage system to generate collections action plan
CN109615265A (zh) * 2018-12-26 2019-04-12 北京寄云鼎城科技有限公司 基于集成开发系统的工业数据分析方法、装置与电子设备
CN109492834A (zh) * 2018-12-26 2019-03-19 航天恒星科技有限公司 基于遗传优化的敏捷卫星任务规划与调度建模方法
CN110069335A (zh) * 2019-05-07 2019-07-30 江苏满运软件科技有限公司 任务处理系统、方法、计算机设备和存储介质
CN112070107A (zh) * 2020-07-15 2020-12-11 上海大学 一种电子口岸船舶进港控制方法
CN112366817A (zh) * 2020-09-24 2021-02-12 国网天津市电力公司电力科学研究院 一种基于虚拟电厂的智能配电调度平台
AU2020103205A4 (en) * 2020-10-20 2021-01-14 Agricultural Information Institute, Chinese Academy of Agricultural Sciences Biological information deep mining and analysis system infrastructure construction method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546365A (zh) * 2022-04-27 2022-05-27 北京寄云鼎城科技有限公司 一种流程可视化的建模方法、服务器、计算机系统及介质
CN115292279A (zh) * 2022-07-27 2022-11-04 深圳安巽科技有限公司 一种用于数据的模型处理方法、系统及存储介质

Also Published As

Publication number Publication date
CN112948353B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN102882969B (zh) 一种工矿企业的安全生产云服务平台
CN102932419B (zh) 一种用于面向工矿企业的安全生产云服务平台的数据存储系统
CN104268695B (zh) 一种多中心流域水环境分布式集群管理系统及方法
CN108039959B (zh) 一种数据的态势感知方法、系统及相关装置
CN102917032B (zh) 一种工矿企业的安全生产云服务平台
CN101408769B (zh) 一种基于乘积arima模型的在线能源预测系统及方法
CN102880802B (zh) 一种用于面向工矿企业安全生产云服务平台系统的重大危险源的分析评价方法
CN112948353B (zh) 一种应用于DAstudio的数据分析方法、系统及存储介质
CN105843182A (zh) 一种基于oms的电力调度事故预案系统及方法
CN102903011A (zh) 一种用于面向工矿企业的安全生产云服务平台的海量数据处理系统
CN102194018B (zh) 基于云计算的建筑物能耗预测分析系统及方法
CN102903010A (zh) 一种用于面向工矿企业的安全生产云服务平台的基于支持向量机的异常判断方法
CN102929827A (zh) 一种用于面向工矿企业的安全生产云服务平台的无线传感器数据采集集群
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN102930372A (zh) 一种用于面向工矿企业安全生产云服务平台系统的关联规则的数据分析方法
CN108777637A (zh) 一种支持服务器异构的数据中心综合管理系统和方法
CN105184886A (zh) 一种云数据中心智能巡检系统及方法
CN102917031A (zh) 一种用于面向工矿企业的安全生产云服务平台的数据计算系统
JP2006048702A (ja) トランザクションベースの性能モデルの自動構成
Parygin et al. A convergent model for distributed processing of Big Sensor Data in urban engineering networks
CN113516331A (zh) 一种建筑数据处理方法及装置
CN102903009A (zh) 一种用于面向工矿企业的安全生产云服务平台的基于广义规则推理的异常诊断方法
CN102915482A (zh) 一种用于面向工矿企业云服务平台安全生产过程控制与管理方法
CN115439015B (zh) 基于数据中台的局域电网数据管理方法、装置及设备
Yang et al. On construction of the air pollution monitoring service with a hybrid database converter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant