CN111724028A - 一种基于大数据技术的机器设备运行分析与挖掘系统 - Google Patents

一种基于大数据技术的机器设备运行分析与挖掘系统 Download PDF

Info

Publication number
CN111724028A
CN111724028A CN202010381828.1A CN202010381828A CN111724028A CN 111724028 A CN111724028 A CN 111724028A CN 202010381828 A CN202010381828 A CN 202010381828A CN 111724028 A CN111724028 A CN 111724028A
Authority
CN
China
Prior art keywords
model
data
service
layer
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010381828.1A
Other languages
English (en)
Inventor
陈东清
林泽生
黄章树
刘绍清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Haichuang Technology Fujian Group Co Ltd
Original Assignee
China Haichuang Technology Fujian Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Haichuang Technology Fujian Group Co Ltd filed Critical China Haichuang Technology Fujian Group Co Ltd
Priority to CN202010381828.1A priority Critical patent/CN111724028A/zh
Publication of CN111724028A publication Critical patent/CN111724028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于大数据技术的机器设备运行分析与挖掘系统，包括：数据层、调度层、模型层、界面层以及设备层；系统以评价理论为指导，依靠模型自动评价与自动筛选技术，实现自动构建分析模型体系；依据模型业务评价方法及标准，得到可用于自动评价的指标体系、指标权重确定机制、评价方法、标准应用形式，实现模型自动评价和自动筛选，提高建模效率。

Description

一种基于大数据技术的机器设备运行分析与挖掘系统
技术领域
本发明涉及计算机技术领域，特别涉及一种基于大数据技术的机器设备运行分析与挖掘系统。
背景技术
机器设备运行产生了大量的数据，这些数据对于指导企业的生产、经营活动具有极高的价值，但是企业对这些数据的利用率较低。当前对于机器设备数据的利用开发存在以下难点：(1)由于大多数的机器设备具有种类多、数据量大、分布广特点，设备运行数据难于采集(2)数据多源异构，需要处理，模型需要人工调整的参数多，所采集设备数据建模难度大，导致数据价值开发难度较大。
发明内容
本发明要解决的技术问题，在于提供一种基于大数据技术的机器设备运行分析与挖掘系统，基于本方案设计的数据采集方案，能够方便、稳定、安全采集机器设备运行数据。
第一方面，本发明提供了一种基于大数据技术的机器设备运行分析与挖掘系统，包括：包括：数据层、调度层、模型层、界面层以及设备层；
所述设备层用于接入不同种类的设备，并通过数据采集器实现多源异构设备数据的采集，并通过数据采集中间件，按照建模业务逻辑存入数据库；
所述数据层包括模型库和业务主题数据库；所述模型库用于存放数据分析模型体系相关信息；所述业务主题数据库用于存放业务有关的各种业务数据；
所述调度层包括调度模块，用于负责对数据库进行操作，以接口的形式为模型层提供相关的模型信息和业务数据；
所述模型层包括模型参数配置模块、建模管理模块以及模型运行管理模块；所述模型参数配置模块用于配置参数，包括：业务参数探索范围；模型精度阈值；模型数据源：存放建模用业务数据的表名、各种指标变量和字段的对应关系；
所述建模管理模块用于内置多种数据挖掘算法以及每种算法模型的评价公式，通过所述调度模块获得业务数据和算法检验的精度阈值，调用设定的算法按照设定的参数范围，对业务数据构建分析模型，应用设定的评价公式和精度阈值对构建的模型进行评价，筛选出精度最好的n个模型，并计算模型权重，对业务信息进行组合分析预测；
所述模型运行管理模块通过所述调度模块获得已经构建并存放在模型库中的模型信息以及对应的主题业务数据，按照构建的模型参数，调用对应算法，对主题业务数据进行分析，得到分析结果，并将分析结果交给调度模块保存；
所述界面层包括界面管理模块，用于以可视化的形式提供业务参数配置、模型构建和维护、业务主题预测分析三个方面的功能。
进一步地，所述调度模块包括模型服务接口单元和数据服务接口单元；所述模型服务接口单元用于负责对模型库中的模型进行管理，包括：模型增删改查方面的功能、模型探索参数范围维护和查询功能以及模型精度设置；所述数据服务接口单元用于根据上层提供的数据需求，对主题数据库中的数据进行处理，包括：从主题数据库中抽取指定的建模用数据、将分析结果保存到主题数据库中。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
(1)基于本方案设计的数据采集方案，能够方便、稳定、安全采集机器设备运行数据；(2)通过托拉拽的方式，能够方便用户进行机器设备数据建模、获取模型运行结果，指导生产经营决策；(3)可视化的数据建模方式，方便用户对平台的使用。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明系统的框架示意图。
具体实施方式
本申请实施例通过提供一种基于大数据技术的机器设备运行分析与挖掘系统解决(1)由于大多数的机器设备具有种类多、数据量大、分布广特点，设备运行数据难于采集(2)数据多源异构，需要处理，模型需要人工调整的参数多，所采集设备数据建模难度大，导致数据价值开发难度较大的问题，采用提供管理模型的方式为企业提供分析、挖掘与预测服务，辅助管理者及业务人员解决管理中碰到问题。将复杂的数据挖掘应用简单化，大幅度降低使用者数据分析算法方面的专业知识要求，帮助相关人员轻松使用并理解数据挖掘结果；系统以评价理论为指导，依靠模型自动评价与自动筛选技术，实现自动构建分析模型体系；依据模型业务评价方法及标准，得到可用于自动评价的指标体系、指标权重确定机制、评价方法、标准应用形式，实现模型自动评价和自动筛选，提高建模效率。
本申请实施例中的技术方案，总体思路如下：
在介绍具体实施例之前，先介绍本申请实施例方法所对应的系统框架，如图1所示，
整个架构分为设备层、数据层、调度层、模型层、界面层五个层级。
设备层主要接入不同种类的设备，并通过数据采集器(可内置多重协议)实现多源异构设备数据的采集，并通过数据采集中间件，按照建模业务逻辑(例如，数据与处理节点与分析模型之间的关联性)存入数据库。
数据层主要包括模型库和业务主题数据库。模型库主要存放数据分析模型体系相关信息，如模型精确度阈值、模型定义信息、应用的算法参数的探索范围、业务主题数据库的元数据；业务主题数据库主要存放业务有关的各种业务数据。
调度层主要包括调度模块，负责对数据库进行操作，以接口的形式为模型层提供相关的模型信息和业务数据，根据其所处理数据性质的不同，内部包含模型服务接口单元和数据服务接口单元两个子单元。模型服务接口单元主要负责对模型库中的模型进行管理，包括：模型增删改查方面的功能、模型探索参数范围维护和查询功能、模型精度设置等。数据服务接口单元主要根据上层提供的数据需求，对主题数据库中的数据进行处理，具体包括：从主题数据库中抽取指定的建模用数据、将分析结果(例如：比如分类结果，聚类结果，预测结果等；会通过模型运算得到)保存到主题数据库中。
模型层包括三个模块：模型参数配置模块、建模管理模块、模型运行管理模块，分别支持模型体系构建的三个阶段：模型体系参数配置阶段、模型体系构建阶段、应用模型体系分析预测过程。模型参数配置模块可以配置参数包括：①业务参数探索范围；②模型精度阈值；③模型数据源：存放建模用业务数据的表名、各种指标变量和字段的对应关系等。建模管理模块内置多种常用数据挖掘算法以及每种算法模型的评价公式，通过“调度模块”获得业务数据和算法检验的精度阈值，自动调用适用的算法按照事先设定的参数范围，对业务数据构建分析模型，应用事先设定的评价公式和精度阈值对构建的模型进行评价，筛选出精度最好的3个模型，并计算模型权重(计算方式为：以误差平方和最小为准则计算模型 权重)，对业务信息进行组合分析预测。模型运行管理模块通过“调度模块”获得已经构建并存放在模型库中的模型信息以及对应的主题业务数据，按照构建的模型参数，调用相关算法，对主题业务数据进行分析，得到分析结果，并将分析结果交给“调度模块”保存。
界面层主要包括界面管理模块，以可视化的形式提供业务参数配置、模型构建和维护、业务主题预测分析三个方面的功能，支持模型体系的自动构建。
实施例一
本实施例提供一种系统，如图1所示，包括；数据层、调度层、模型层、界面层以及设备层；
所述设备层用于接入不同种类的设备，并通过数据采集器实现多源异构设备数据的采集，并通过数据采集中间件，按照建模业务逻辑存入数据库；
所述数据层包括模型库和业务主题数据库；所述模型库用于存放数据分析模型体系相关信息；所述业务主题数据库用于存放业务有关的各种业务数据；
所述调度层包括调度模块，用于负责对数据库进行操作，以接口的形式为模型层提供相关的模型信息和业务数据，，所述调度模块包括模型服务接口单元和数据服务接口单元；所述模型服务接口单元用于负责对模型库中的模型进行管理，包括：模型增删改查方面的功能、模型探索参数范围维护和查询功能以及模型精度设置；所述数据服务接口单元用于根据上层提供的数据需求，对主题数据库中的数据进行处理，包括：从主题数据库中抽取指定的建模用数据、将分析结果保存到主题数据库中；
所述模型层包括模型参数配置模块、建模管理模块以及模型运行管理模块；所述模型参数配置模块用于配置参数，包括：业务参数探索范围；模型精度阈值；模型数据源：存放建模用业务数据的表名、各种指标变量和字段的对应关系；
所述建模管理模块用于内置多种数据挖掘算法以及每种算法模型的评价公式，通过所述调度模块获得业务数据和算法检验的精度阈值，调用设定的算法按照设定的参数范围，对业务数据构建分析模型，应用设定的评价公式和精度阈值对构建的模型进行评价，筛选出精度最好的n个模型，并计算模型权重，对业务信息进行组合分析预测；
所述模型运行管理模块通过所述调度模块获得已经构建并存放在模型库中的模型信息以及对应的主题业务数据，按照构建的模型参数，调用对应算法，对主题业务数据进行分析，得到分析结果，并将分析结果交给调度模块保存；
所述界面层包括界面管理模块，用于以可视化的形式提供业务参数配置、模型构建和维护、业务主题预测分析三个方面的功能。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (2)

1.一种基于大数据技术的机器设备运行分析与挖掘系统，其特征在于：包括：数据层、调度层、模型层、界面层以及设备层；
所述设备层用于接入不同种类的设备，并通过数据采集器实现多源异构设备数据的采集，并通过数据采集中间件，按照建模业务逻辑存入数据库；
所述数据层包括模型库和业务主题数据库；所述模型库用于存放数据分析模型体系相关信息；所述业务主题数据库用于存放业务有关的各种业务数据；
所述调度层包括调度模块，用于负责对数据库进行操作，以接口的形式为模型层提供相关的模型信息和业务数据；
所述模型层包括模型参数配置模块、建模管理模块以及模型运行管理模块；所述模型参数配置模块用于配置参数，包括：业务参数探索范围；模型精度阈值；模型数据源：存放建模用业务数据的表名、各种指标变量和字段的对应关系；
所述建模管理模块用于内置多种数据挖掘算法以及每种算法模型的评价公式，通过所述调度模块获得业务数据和算法检验的精度阈值，调用设定的算法按照设定的参数范围，对业务数据构建分析模型，应用设定的评价公式和精度阈值对构建的模型进行评价，筛选出精度最好的n个模型，并计算模型权重，对业务信息进行组合分析预测；
所述模型运行管理模块通过所述调度模块获得已经构建并存放在模型库中的模型信息以及对应的主题业务数据，按照构建的模型参数，调用对应算法，对主题业务数据进行分析，得到分析结果，并将分析结果交给调度模块保存；
所述界面层包括界面管理模块，用于以可视化的形式提供业务参数配置、模型构建和维护、业务主题预测分析三个方面的功能。
2.根据权利要求1所述的一种基于大数据技术的机器设备运行分析与挖掘系统，其特征在于：所述调度模块包括模型服务接口单元和数据服务接口单元；所述模型服务接口单元用于负责对模型库中的模型进行管理，包括：模型增删改查方面的功能、模型探索参数范围维护和查询功能以及模型精度设置；所述数据服务接口单元用于根据上层提供的数据需求，对主题数据库中的数据进行处理，包括：从主题数据库中抽取指定的建模用数据、将分析结果保存到主题数据库中。
CN202010381828.1A 2020-05-08 2020-05-08 一种基于大数据技术的机器设备运行分析与挖掘系统 Pending CN111724028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010381828.1A CN111724028A (zh) 2020-05-08 2020-05-08 一种基于大数据技术的机器设备运行分析与挖掘系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010381828.1A CN111724028A (zh) 2020-05-08 2020-05-08 一种基于大数据技术的机器设备运行分析与挖掘系统

Publications (1)

Publication Number Publication Date
CN111724028A true CN111724028A (zh) 2020-09-29

Family

ID=72564235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010381828.1A Pending CN111724028A (zh) 2020-05-08 2020-05-08 一种基于大数据技术的机器设备运行分析与挖掘系统

Country Status (1)

Country Link
CN (1) CN111724028A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651520A (zh) * 2021-01-08 2021-04-13 中国科学院自动化研究所 基于数据和知识驱动的工业物联网设备协同管控系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5692107A (en) * 1994-03-15 1997-11-25 Lockheed Missiles & Space Company, Inc. Method for generating predictive models in a computer system
US20020147599A1 (en) * 2001-04-05 2002-10-10 International Business Machines Corporation Method and system for simplifying the use of data mining in domain-specific analytic applications by packaging predefined data mining models
CN101110089A (zh) * 2007-09-04 2008-01-23 华为技术有限公司 一种数据挖掘和建模的方法及系统
CN107038167A (zh) * 2016-02-03 2017-08-11 普华诚信信息技术有限公司 基于模型评估的大数据挖掘分析系统及其分析方法
CN109033497A (zh) * 2018-06-04 2018-12-18 南瑞集团有限公司 一种面向高并发的多阶段数据挖掘算法智能选择方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5692107A (en) * 1994-03-15 1997-11-25 Lockheed Missiles & Space Company, Inc. Method for generating predictive models in a computer system
US20020147599A1 (en) * 2001-04-05 2002-10-10 International Business Machines Corporation Method and system for simplifying the use of data mining in domain-specific analytic applications by packaging predefined data mining models
CN101110089A (zh) * 2007-09-04 2008-01-23 华为技术有限公司 一种数据挖掘和建模的方法及系统
CN107038167A (zh) * 2016-02-03 2017-08-11 普华诚信信息技术有限公司 基于模型评估的大数据挖掘分析系统及其分析方法
CN109033497A (zh) * 2018-06-04 2018-12-18 南瑞集团有限公司 一种面向高并发的多阶段数据挖掘算法智能选择方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651520A (zh) * 2021-01-08 2021-04-13 中国科学院自动化研究所 基于数据和知识驱动的工业物联网设备协同管控系统
CN112651520B (zh) * 2021-01-08 2023-11-17 中国科学院自动化研究所 基于数据和知识驱动的工业物联网设备协同管控系统

Similar Documents

Publication Publication Date Title
CN107315776B (zh) 一种基于云计算的数据管理系统
CN103455540B (zh) 从数据仓库模型生成内存模型的系统和方法
CN112199433A (zh) 一种用于城市级数据中台的数据治理系统
CN101894058B (zh) 针对自动测试系统的测试覆盖性自动分析方法及其装置
CN106341257B (zh) 一种自定义日志解析规则并自动解析日志的装置
CN111241129B (zh) 一种工业生产企业指标数据采集与计算的系统
CN110851499A (zh) 基于知识的装配工艺设计方法、系统及介质
CN115713161B (zh) 一种基于bim技术的建筑信息管理系统
CN114118224A (zh) 一种基于神经网络的全系统遥测参数异常检测系统
CN115271369A (zh) 一种基于知识图谱的装备信息管理方法、系统及存储介质
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN109376153A (zh) 一种基于NiFi的数据写入图数据库的系统及方法
CN114398442B (zh) 一种基于数据驱动的情报处理系统
CN108664509A (zh) 一种即席查询的方法、装置及服务器
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN111427865A (zh) 一种管理数据库的对象的方法和装置
CN115564071A (zh) 一种电力物联网设备数据标签生成方法及系统
Taleghani Executive information systems development lifecycle
CN111724028A (zh) 一种基于大数据技术的机器设备运行分析与挖掘系统
CN114117134A (zh) 一种异常特征检测方法、装置、设备和计算机可读介质
CN113506098A (zh) 基于多源数据的电厂元数据管理系统及方法
CN111784192A (zh) 一种基于动态演化的工业园区应急预案可执行化系统
CN112416918A (zh) 数据治理系统及其工作方法
CN103793519A (zh) 一种支持海量数据导出的自动化工具
CN112445867A (zh) 一种数据关系智能分析方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200929