CN111324635A - 工业大数据云平台数据处理方法及系统 - Google Patents

工业大数据云平台数据处理方法及系统 Download PDF

Info

Publication number
CN111324635A
CN111324635A CN202010068561.0A CN202010068561A CN111324635A CN 111324635 A CN111324635 A CN 111324635A CN 202010068561 A CN202010068561 A CN 202010068561A CN 111324635 A CN111324635 A CN 111324635A
Authority
CN
China
Prior art keywords
data
industrial
analysis
database
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010068561.0A
Other languages
English (en)
Inventor
沈航
林诗美
陈超
庞观士
刘志永
胡钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EVOC Intelligent Technology Co Ltd
Original Assignee
EVOC Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EVOC Intelligent Technology Co Ltd filed Critical EVOC Intelligent Technology Co Ltd
Priority to CN202010068561.0A priority Critical patent/CN111324635A/zh
Publication of CN111324635A publication Critical patent/CN111324635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明提供一种工业大数据云平台数据处理方法，包括：接收若干种数据源的工业数据；将所述工业数据转换为数据库原语并进行存储；将所述数据库原语进行计算处理形成分析样本数据；将所述分析样本数据进行数据分析挖掘形成结果数据并进行存储；将所述分析结果数据进行可视化。本发明的工业大数据云平台数据处理方法通过收集多种工业数据，并多种工业数据转换为数据库原语进行存储，随后通过计算和分析，挖掘工业大数据的价值和信息，改善了工业大数据底层设备和技术不统一，数据孤岛现象和数据质量问题。

Description

工业大数据云平台数据处理方法及系统
技术领域
本发明涉及工业大数据技术领域，尤其涉及一种工业大数据云平台数据处理方法及系统。
背景技术
我国目前的工业生产过程中积累了体量非常庞大的数据，这些数据往往潜藏着许多非常具有价值的知识信息，被视成一种重要的战略资源，为工业企业创造了巨大财富。如何应用好这些工业大数据成为一个关键性的问题，其对于企业未来的发展至关重要。对于工业大数据技术的应用在数据的采集环节、预处理环节以及数据挖掘分析环节依然存在问题，对于大多数企业而言，大数据技术不明确，底层设备和技术不统一，存在比较严重的数据孤岛现象和数据质量问题。
发明内容
本发明提供的工业大数据云平台数据处理方法及系统，能够将工业数据统一处理并进行挖掘。
本发明提供一种工业大数据云平台数据处理方法，包括：
接收若干种数据源的工业数据；
将所述工业数据转换为数据库原语并进行存储；
将所述数据库原语进行计算处理形成分析样本数据；
将所述分析样本数据进行数据分析挖掘形成结果数据并进行存储；
将所述分析结果数据进行可视化。
可选地，将所述工业数据转换为数据库原语进行存储包括：
将多种格式的所述工业数据的文件转换为大数据Hadoop可识别的数据格式的文件；
将所述大数据Hadoop可识别的数据格式的文件构建数据库转换为数据库原语。
可选地，将所述工业数据转换为数据库原语进行存储包括：
将多种格式的所述工业数据的文件存储在大数据Hadoop平台；
将所述多种格式的所述工业数据的文件转换为对应的计算任务；
采用编程语言编写用于执行所述计算任务语言指令形成数据库原语。
可选地，将所述分析样本数据进行数据分析挖掘包括：
从所述分析样本数据中选取训练数据并进行预处理形成训练样本集；
将所述训练样本集输入待训练分析模型对所述待训练分析模型进行训练形成待测试分析模型；训练过程在Spark的核心引擎执行；
从所述分析样本数据中选取测试数据测试样本集；
将所述测试样本集输入所述待测试分析模型并获取测试结果，当所述测试结果不符合要求时，将当前待测试分析模型作为待训练分析模型进行训练；当所述测试结果符合要求时，将所述待测试分析模型保存为最终分析模型；
采用最终分析模型对所述分析样本数据进行分析并获取分析结果。
可选地，对所述待训练分析模型进行训练包括：
建立神经网络模型；
对所述神经网络模型进行初始化，并指定训练过程中的误差阈值及误差率函数；
将所述训练样本集输入所述神经元网络模型并获得输出值；
计算输出值与实际值的误差，并求出所述神经网络模型各层级间的偏导数；
依据所述偏导数依次更新所述神经网络模型各层级的权重；
判断当前的训练次数是否达到最大训练次数，若当前训练次数达到最大训练次数时，将当前的神经网络模型输出为待测试分析模型；若当前训练次数未达到最大训练次数时，执行下一步；
判断当前的计算结果是否发散，若当前的计算结果发散时，调整所述神经网络模型的学习率并返回对所述神经网络模型进行初始化步骤；若当前的计算结果不发散时返回执行将所述训练样本集输入所述神经元网络模型并获得输出值的步骤。
可选地，接收若干种数据源的工业数据包括：接收文本类型的数据、数据库数据、工业现场设备数据或互联网络上传数据。
本发明的工业大数据云平台数据处理方法通过收集多种工业数据，并多种工业数据转换为数据库原语进行存储，随后通过计算和分析，挖掘工业大数据的价值和信息，改善了工业大数据底层设备和技术不统一，数据孤岛现象和数据质量问题。由于本发明的工业大数据云平台数据处理方法能够对多种工业数据进行转换，具有高可用性、高扩展性和并且对数据分析方法具有良好的兼容性和支持性。
第二方面，本发明提供一种工业大数据云平台数据处理系统，包括：
数据层，用于接收数据源的工业数据；
存储层，用于接收数据层发送的数据并进行存储；
计算层，用于响应分析层数据查询指令从所述存储层查询数据并发送给分析层；
分析层，用于接收计算层发送的数据并对数据进行分析和挖掘；
数据转换模块，用于将数据层或存储层的数据转换为数据库原语。
可选地，所述数据转换模块设置在所述数据层，所述数据转换模块用于将所述数据层接收的数据转换为大数据Hadoop可识别的数据格式的文件并构建数据库形成数据库原语。
可选地，所述数据转换模块设置在所述存储层，所述数据转换模块用于将所述存储层中的数据转换为计算任务，并接收采用编程语言编写的用于执行所述计算任务语言指令，形成数据库原语。
可选地，数据源接收的工业数据包括：接收文本类型的数据、数据库数据、工业现场设备数据或互联网络上传数据。
本发明的工业大数据云平台数据处理系统通过收集多种工业数据，并多种工业数据转换为数据库原语进行存储，随后通过计算和分析，挖掘工业大数据的价值和信息，改善了工业大数据底层设备和技术不统一，数据孤岛现象和数据质量问题。由于本发明的工业大数据云平台数据处理系统能够对多种工业数据进行转换，具有高可用性、高扩展性和并且对数据分析方法具有良好的兼容性和支持性。
附图说明
图1为本发明工业大数据云平台数据处理方法及系统一实施例的总体流程图；
图2为本发明工业大数据云平台数据处理方法及系统一实施例架构图；
图3为本发明工业大数据云平台数据处理方法及系统一实施例的数据分过程的数据流程图；
图4为本发明工业大数据云平台数据处理方法及系统一实施例的一种数据转换流程图；
图5为本发明工业大数据云平台数据处理方法及系统一实施例的另一种数据转换流程图；
图6为本发明工业大数据云平台数据处理方法及系统一实施例模型训练流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供一种工业大数据云平台数据处理方法，整体流程如图1所示：首先，在数据采集阶段将多种数据源数据采集进入本文构建的工业大数据平台，根据不同数据的特性及实际需求，将其以不同的存储方式存储；接着，在数据分析阶段，通过相关的数据分析工具组件对数据进行分析挖掘，可对结果进行进一步的存储。上一步的分析结果进行可视化处理用于最终的决策管理环节。其采用的整体架构如图2所示。
本实施例提供的工业大数据云平台数据处理方法包括：
S1接收若干种数据源的工业数据；
考虑到数据源类型的多样性以及未来云平台的可扩展性，在设计中将数据源分为文本类型的数据、数据库数据、工业现场设备数据以及来自互联网络的其他类型的接入数据。根据不同数据源的数据，数据层提供数据实时获取服务以及数据订阅获取服务，其中订阅获取服务是从数据源中选择感兴趣的数据，包括数据源新增的数据、数据源变动较大的数据等；
S2将所述工业数据转换为数据库原语并进行存储；
作为本步骤可选的实施方式，将所述工业数据转换为数据库原语进行存储包括：
将多种格式的所述工业数据的文件转换为大数据Hadoop可识别的数据格式的文件；
将所述大数据Hadoop可识别的数据格式的文件构建数据库转换为数据库原语。
具体如图4所示，本实施方式是将多种数据文件格式如JSON、CSV、EXCEL和PKL通过数据录入和转换模块转换成统一的大数据Hadoop可识别的数据源格式如HDFS、HBASE或ES等，构建数据库形成统一的专家分析原语。
作为本步骤另一可选的实施方式，将所述工业数据转换为数据库原语进行存储包括：
将多种格式的所述工业数据的文件存储在大数据Hadoop平台；
将所述多种格式的所述工业数据的文件转换为对应的计算任务；
采用编程语言编写用于执行所述计算任务语言指令形成数据库原语。
具体如图5所示，本实施方式是将多种数据文件格式如JSON、CSV、EXCEL和PKL直接存储到大数据Hadoop平台中，统一的专家原语通过转换功能转化成各种计算任务，各种分析任务通过编程语言如Python等处理不同格式的数据文件格式。
S3将所述数据库原语进行计算处理形成分析样本数据；
S4将所述分析样本数据进行数据分析挖掘形成结果数据并进行存储；
为了挖掘潜藏在数据中的信息，云平台以数据分析模块为核心，提供针对于工业大数据的预测分析功能。数据分析模块以人工神经网络等相关算法为核心实现对于工业数据的预测功能。另外，该数据分析模块构建于Spark分布式计算平台之上，本身提供了基于Spark MLlib的机器学习算法库，这使得本发明中的工业大数据云平台在未来的开发中能够很好对其他机器学习算法进行支持和拓展。作为本步骤的可选实施方式，具体如图3所示：
第一步：从数据存储层输入待训练数据，并对数据进行相应的数据预处理操作，以降低数据质量问题对模型造成的不良影响；
第二步：经过数据预处理操作后，进行模型的训练操作。此部分构建于Spark CoreEngine即Spark的核心引擎之上，以保证云平台对于模型的快速构建能力；
第三步：对初步训练好的模型进行测试，获取其测试信息。在达到预期模型效果的情况下进入下一步操作；否则重复本步骤操作；
第四步：将训练好的模型存储至云端模型仓库；
第五步：将等待预测的数据从其他模块输入数据分析模块，进行相应的模型调用操作，最终生成该预测数据的预测数值，完成数据的预测分析。
为了使本发明构建的工业大数据云平台在大量数据环境下具有很高的可靠性和可用性，以及在高强度环境下该云平台依然能够实现对于模型的高效准确构建，本发明中的数据分析模块将数据挖掘算法构建于Spark核心引擎的基础上，依据Apache Spark基于内存的分布式计算的特点，以及本身能够与Hadoop生态圈的其他组件无缝集成的优势，很好地解决了计算机在面对大量数据计算时面临的严重的单机性能的瓶颈问题。根据以上对于数据分析模块的数据处理流程的分析，结合云平台整体需求，对该子系统的架构进行设计，其具体设计如下：
1)考虑到工业大数据云平台整体的高可靠性以及高可扩展性，将数据分析模块设计为独立的中间件，为云平台提供数据分析服务。
2)数据分析模块为工业大数据云平台整体提供模型的训练以及数据的预测分析功能。因此该数据分析模块提供模型的训练以及云端预留模型库两个核心功能。
3)从工业大数据云平台整体的性能角度考虑，当面对计算量庞大、计算负责的数据分析场景，传统单机计算模式无法满足实际生产需求，本部分将数据分析模块构建于Spark集群之上，以Spark作为核心计算引擎。这种设计可以使数据的分析任务能够充分利用Spark分布式并行计算的特点，以及基于内存的计算优势，在很大程度上提高了云平台预测分析的计算效率。
作为优选的方式，可以采用神经网络进行分析，神经网络模型的训练过程如图6所示：
第一步：将待训练的时间序列数据进行归一化等数据预处理，根据指定的隐含层神经元数量生成相应的神经网络单元；第二步：对网络中的权重、训练次数等参数进行初始化，指定当前训练过程中的误差阈值以及误差率函数等，其中，权重随机初始化范围设定在(-1～1)之间；第三步：根据输入的时间序列数据计算神经网络中各个隐藏层单元的输出值，并将所有隐藏层的输出数据进行加权并计算总和，得到当前数据输入数据的预测输出值；第四步：计算上一步中输出层计算得到的输出结果并计算其与实际值的误差，并依次求出各个层级间的偏导；第五步：根据上一步中的偏导依次更新网络中每一层的权重参数；第六步：判断当前训练次数是否达到预设最大训练次数。如果是，则对模型进行评估和保存操作，完成模型训练。否则执行下一步；第七步：判断当前计算结果是否发散。如果发散，则调整学习率等参数，执行第二步；否则，执行第三步操作。
S5将所述分析结果数据进行可视化。
本实施例工业大数据云平台数据处理方法具有以下优势：1)高可用性：将人工神经网络、机器学习等算法在Spark Core Engine即Spark核心引擎的基础上进行构建，在多机同时并行计算的同时，充分发挥Spark本身基于内存计算的特性，使得算法在大量数据的环境下依然具有很高的可用性；2)高可扩展性：数据分析模块底层以Spark分布式计算框架为基础，能够与Hadoop生态圈的其他组件相互集成使用，这保证了云平台在未来的应用开发中具有很高的可扩展性；3)云平台未来对于其它算法的支持性：在数据分析算法方面，本云端分布式数据分析子系统本身基于Spark分布式计算平台的设计，可以对SparkMLlib机器学习算法库中相关机器学习算法进行支持，同时该子系统支持未来开发应用中对于其他多种类型数据挖掘算法的拓展。
本实施例的工业大数据云平台数据处理方法通过收集多种工业数据，并多种工业数据转换为数据库原语进行存储，随后通过计算和分析，挖掘工业大数据的价值和信息，改善了工业大数据底层设备和技术不统一，数据孤岛现象和数据质量问题。由于本实施例的工业大数据云平台数据处理方法能够对多种工业数据进行转换，具有高可用性、高扩展性和并且对数据分析方法具有良好的兼容性和支持性。
实施例2
本实施例提供一种工业大数据云平台数据处理系统，如图2所示，包括：
数据层，用于接收数据源的工业数据；考虑到数据源类型的多样性以及未来云平台的可扩展性，在设计中将数据源分为文本类型的数据、数据库数据、工业现场设备数据以及来自互联网络的其他类型的接入数据。根据不同数据源的数据，数据层提供数据实时获取服务以及数据订阅获取服务，其中订阅获取服务是从数据源中选择感兴趣的数据，包括数据源新增的数据、数据源变动较大的数据等；
存储层，用于接收数据层发送的数据并进行存储；对于数据层获取到的数据，在存储层提供多种类型的存储方式。根据数据类型的特性，选择将数据以文件的形式存入分布式文件系统，或者将数据以数据库的方式存储。在数据库存储的设计上，考虑到不同类型数据库的优势以及实际生产中的需求，存储系统同时提供传统关系型数据库、NoSQL非传统关系型数据库以及数据的高速缓存服务；
计算层，用于响应分析层数据查询指令从所述存储层查询数据并发送给分析层；位于存储层的上一层，提供大量数据的分布式并行计算能力。考虑到Spark平台的优秀计算能力，该层选择构建于Spark核心引擎之上；
分析层，用于接收计算层发送的数据并对数据进行分析和挖掘；在数据的分析层，提供人工神经网络算法、基于Spark MLlib的常用机器学习算法以及其他常用统计学算法，同时支持未来对于其他算法的拓展；
分析层的结果用来提供给管理服务层，管理服务层提供用户基于云端的监控、分析、查看、管理等较多管理层服务。
数据转换模块，用于将数据层或存储层的数据转换为数据库原语。作为可选的实施方式，所述数据转换模块设置在所述数据层，所述数据转换模块用于将所述数据层接收的数据转换为大数据Hadoop可识别的数据格式的文件并构建数据库形成数据库原语。
作为另一种可选的实施方式，所述数据转换模块设置在所述存储层，所述数据转换模块用于将所述存储层中的数据转换为计算任务，并接收采用编程语言编写的用于执行所述计算任务语言指令，形成数据库原语。
本实施例的工业大数据云平台数据处理系统通过收集多种工业数据，并多种工业数据转换为数据库原语进行存储，随后通过计算和分析，挖掘工业大数据的价值和信息，改善了工业大数据底层设备和技术不统一，数据孤岛现象和数据质量问题。由于本发明的工业大数据云平台数据处理系统能够对多种工业数据进行转换，具有高可用性、高扩展性和并且对数据分析方法具有良好的兼容性和支持性。
本实施例数据分析系统具有以下优势：1)高可用性：将人工神经网络、机器学习等算法在Spark Core Engine即Spark核心引擎的基础上进行构建，在多机同时并行计算的同时，充分发挥Spark本身基于内存计算的特性，使得算法在大量数据的环境下依然具有很高的可用性；2)高可扩展性：数据分析模块底层以Spark分布式计算框架为基础，能够与Hadoop生态圈的其他组件相互集成使用，这保证了云平台在未来的应用开发中具有很高的可扩展性；3)云平台未来对于其它算法的支持性：在数据分析算法方面，本云端分布式数据分析子系统本身基于Spark分布式计算平台的设计，可以对SparkMLlib机器学习算法库中相关机器学习算法进行支持，同时该子系统支持未来开发应用中对于其他多种类型数据挖掘算法的拓展。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种工业大数据云平台数据处理方法，其特征在于：包括：
接收若干种数据源的工业数据；
将所述工业数据转换为数据库原语并进行存储；
将所述数据库原语进行计算处理形成分析样本数据；
将所述分析样本数据进行数据分析挖掘形成结果数据并进行存储；
将所述分析结果数据进行可视化。
2.如权利要求1所述工业大数据云平台数据处理方法，其特征在于：将所述工业数据转换为数据库原语进行存储包括：
将多种格式的所述工业数据的文件转换为大数据Hadoop可识别的数据格式的文件；
将所述大数据Hadoop可识别的数据格式的文件构建数据库转换为数据库原语。
3.如权利要求1所述工业大数据云平台数据处理方法，其特征在于：将所述工业数据转换为数据库原语进行存储包括：
将多种格式的所述工业数据的文件存储在大数据Hadoop平台；
将所述多种格式的所述工业数据的文件转换为对应的计算任务；
采用编程语言编写用于执行所述计算任务语言指令形成数据库原语。
4.如权利要求1所述工业大数据云平台数据处理方法，其特征在于：将所述分析样本数据进行数据分析挖掘包括：
从所述分析样本数据中选取训练数据并进行预处理形成训练样本集；
将所述训练样本集输入待训练分析模型对所述待训练分析模型进行训练形成待测试分析模型；训练过程在Spark的核心引擎执行；
从所述分析样本数据中选取测试数据测试样本集；
将所述测试样本集输入所述待测试分析模型并获取测试结果，当所述测试结果不符合要求时，将当前待测试分析模型作为待训练分析模型进行训练；当所述测试结果符合要求时，将所述待测试分析模型保存为最终分析模型；
采用最终分析模型对所述分析样本数据进行分析并获取分析结果。
5.如权利要求4所述工业大数据云平台数据处理方法，其特征在于：对所述待训练分析模型进行训练包括：
建立神经网络模型；
对所述神经网络模型进行初始化，并指定训练过程中的误差阈值及误差率函数；
将所述训练样本集输入所述神经元网络模型并获得输出值；
计算输出值与实际值的误差，并求出所述神经网络模型各层级间的偏导数；
依据所述偏导数依次更新所述神经网络模型各层级的权重；
判断当前的训练次数是否达到最大训练次数，若当前训练次数达到最大训练次数时，将当前的神经网络模型输出为待测试分析模型；若当前训练次数未达到最大训练次数时，执行下一步；
判断当前的计算结果是否发散，若当前的计算结果发散时，调整所述神经网络模型的学习率并返回对所述神经网络模型进行初始化步骤；若当前的计算结果不发散时返回执行将所述训练样本集输入所述神经元网络模型并获得输出值的步骤。
6.如权利要求1所述工业大数据云平台数据处理方法，其特征在于：接收若干种数据源的工业数据包括：接收文本类型的数据、数据库数据、工业现场设备数据或互联网络上传数据。
7.一种工业大数据云平台数据处理系统，其特征在于：包括：
数据层，用于接收数据源的工业数据；
存储层，用于接收数据层发送的数据并进行存储；
计算层，用于响应分析层数据查询指令从所述存储层查询数据并发送给分析层；
分析层，用于接收计算层发送的数据并对数据进行分析和挖掘；
数据转换模块，用于将数据层或存储层的数据转换为数据库原语。
8.如权利要求7所述工业大数据云平台数据处理系统，其特征在于：所述数据转换模块设置在所述数据层，所述数据转换模块用于将所述数据层接收的数据转换为大数据Hadoop可识别的数据格式的文件并构建数据库形成数据库原语。
9.如权利要求7所述工业大数据云平台数据处理系统，其特征在于：所述数据转换模块设置在所述存储层，所述数据转换模块用于将所述存储层中的数据转换为计算任务，并接收采用编程语言编写的用于执行所述计算任务语言指令，形成数据库原语。
10.如权利要求7所述工业大数据云平台数据处理系统，其特征在于：数据源接收的工业数据包括：接收文本类型的数据、数据库数据、工业现场设备数据或互联网络上传数据。
CN202010068561.0A 2020-01-19 2020-01-19 工业大数据云平台数据处理方法及系统 Pending CN111324635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010068561.0A CN111324635A (zh) 2020-01-19 2020-01-19 工业大数据云平台数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010068561.0A CN111324635A (zh) 2020-01-19 2020-01-19 工业大数据云平台数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN111324635A true CN111324635A (zh) 2020-06-23

Family

ID=71171256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010068561.0A Pending CN111324635A (zh) 2020-01-19 2020-01-19 工业大数据云平台数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN111324635A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814864A (zh) * 2020-07-03 2020-10-23 北京中计新科仪器有限公司 一种质谱分析数据人工智能云平台系统及数据分析方法
CN112016828A (zh) * 2020-08-26 2020-12-01 中国特种设备检测研究院 基于流式大数据的工业设备健康管理云平台架构
CN112069220A (zh) * 2020-08-04 2020-12-11 扬州制汇互联信息技术有限公司 一种工业大数据平台快速查询方法
CN114743631A (zh) * 2022-04-19 2022-07-12 北京安智因生物技术有限公司 一种基于面向对象的基因检测报告的自动化系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092524A1 (en) * 2014-09-26 2016-03-31 Oracle International Corporation System and method for data transfer from jdbc to a data warehouse layer in a massively parallel or distributed database environment
GB201617023D0 (en) * 2015-10-09 2016-11-23 Fisher Rosemount Systems Inc Data analytic services for distributed industrial performance monitoring
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
CN107864222A (zh) * 2017-12-14 2018-03-30 北京航天测控技术有限公司 一种基于PaaS平台的工业大数据计算架构
US20180136617A1 (en) * 2016-11-11 2018-05-17 General Electric Company Systems and methods for continuously modeling industrial asset performance
WO2018234741A1 (en) * 2017-06-23 2018-12-27 Qio Technologies Ltd SYSTEMS AND METHODS FOR INTELLIGENCE OF INDUSTRIAL ASSETS BY DISTRIBUTED SYSTEMIC ANTICIPATION
CN109739922A (zh) * 2019-01-10 2019-05-10 江苏徐工信息技术股份有限公司 一种工业数据智能分析系统
CN110275868A (zh) * 2019-06-21 2019-09-24 厦门嵘拓物联科技有限公司 一种智能工厂中多模态制造数据预处理的方法
US20200004891A1 (en) * 2018-06-28 2020-01-02 Business Objects Software Ltd. Prediction integration for data management platforms

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092524A1 (en) * 2014-09-26 2016-03-31 Oracle International Corporation System and method for data transfer from jdbc to a data warehouse layer in a massively parallel or distributed database environment
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
GB201617023D0 (en) * 2015-10-09 2016-11-23 Fisher Rosemount Systems Inc Data analytic services for distributed industrial performance monitoring
US20180136617A1 (en) * 2016-11-11 2018-05-17 General Electric Company Systems and methods for continuously modeling industrial asset performance
WO2018234741A1 (en) * 2017-06-23 2018-12-27 Qio Technologies Ltd SYSTEMS AND METHODS FOR INTELLIGENCE OF INDUSTRIAL ASSETS BY DISTRIBUTED SYSTEMIC ANTICIPATION
CN107864222A (zh) * 2017-12-14 2018-03-30 北京航天测控技术有限公司 一种基于PaaS平台的工业大数据计算架构
US20200004891A1 (en) * 2018-06-28 2020-01-02 Business Objects Software Ltd. Prediction integration for data management platforms
CN109739922A (zh) * 2019-01-10 2019-05-10 江苏徐工信息技术股份有限公司 一种工业数据智能分析系统
CN110275868A (zh) * 2019-06-21 2019-09-24 厦门嵘拓物联科技有限公司 一种智能工厂中多模态制造数据预处理的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814864A (zh) * 2020-07-03 2020-10-23 北京中计新科仪器有限公司 一种质谱分析数据人工智能云平台系统及数据分析方法
CN112069220A (zh) * 2020-08-04 2020-12-11 扬州制汇互联信息技术有限公司 一种工业大数据平台快速查询方法
CN112069220B (zh) * 2020-08-04 2023-11-10 扬州制汇互联信息技术有限公司 一种工业大数据平台快速查询方法
CN112016828A (zh) * 2020-08-26 2020-12-01 中国特种设备检测研究院 基于流式大数据的工业设备健康管理云平台架构
CN112016828B (zh) * 2020-08-26 2024-03-12 中国特种设备检测研究院 基于流式大数据的工业设备健康管理云平台架构
CN114743631A (zh) * 2022-04-19 2022-07-12 北京安智因生物技术有限公司 一种基于面向对象的基因检测报告的自动化系统

Similar Documents

Publication Publication Date Title
CN111324635A (zh) 工业大数据云平台数据处理方法及系统
CN105550268B (zh) 大数据流程建模分析引擎
CN111652380A (zh) 针对机器学习算法进行算法参数调优的方法及系统
WO2016018947A1 (en) Systems and methods for a query optimization engine
CN106980906B (zh) 一种基于spark的Ftrl电压预测方法
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN111837141A (zh) 信息处理装置、信息处理方法以及存储介质
CN110740079A (zh) 一种面向分布式调度系统的全链路基准测试系统
CN111753034A (zh) 一种一站式地理大数据平台
CN114546365B (zh) 一种流程可视化的建模方法、服务器、计算机系统及介质
CN116897356A (zh) 算子的调度运行时间比较方法、装置及存储介质
Wang et al. Distributed big data mining platform for smart grid
CN111984418B (zh) 稀疏矩阵向量乘并行任务粒度参数自动调优方法和装置
CN114254762A (zh) 可解释性机器学习模型构建方法、装置和计算机设备
Kumari et al. MetaAnalyser-a concept and toolkit for enablement of digital twin
CN114818460A (zh) 基于自动机器学习的实验室设备剩余使用寿命预测方法
CN113779116A (zh) 对象排序方法、相关设备及介质
Ntaliakouras et al. An apache spark methodology for forecasting tourism demand in greece
CN113610225A (zh) 质量评估模型训练方法、装置、电子设备及存储介质
Wu et al. A distributed real-time data prediction framework for large-scale time-series data using stream processing
CN117435901B (zh) 一种工业互联网数据获取方法、系统、终端及储存介质
US20230367303A1 (en) Automated intelligence facilitation of routing operations
Pan et al. Sequential design command prediction using BIM event logs
CN114626546A (zh) 一种大气污染源数据分析方法、装置、设备及存储介质
Lei et al. Application of distributed machine learning model in fault diagnosis of air preheater

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200623

RJ01 Rejection of invention patent application after publication