CN113111261A - 一种云平台的数据处理方法、云平台及全景分析系统 - Google Patents

一种云平台的数据处理方法、云平台及全景分析系统 Download PDF

Info

Publication number
CN113111261A
CN113111261A CN202110425253.3A CN202110425253A CN113111261A CN 113111261 A CN113111261 A CN 113111261A CN 202110425253 A CN202110425253 A CN 202110425253A CN 113111261 A CN113111261 A CN 113111261A
Authority
CN
China
Prior art keywords
data
industrial equipment
application
cloud platform
working condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110425253.3A
Other languages
English (en)
Inventor
魏吉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rootcloud Technology Co Ltd
Original Assignee
Rootcloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rootcloud Technology Co Ltd filed Critical Rootcloud Technology Co Ltd
Priority to CN202110425253.3A priority Critical patent/CN113111261A/zh
Publication of CN113111261A publication Critical patent/CN113111261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种云平台的数据处理方法、云平台及全景分析系统,数据处理方法包括采集各类工业设备的工况数据,对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据,对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据,基于温数据,确定各类工业设备的决策指标数据,将决策指标数据、冷数据和热数据发送给应用系统,以使应用系统调用决策指标数据、冷数据和热数据。这样一来,能够通过本申请云平台的数据处理方法解决现有技术中存在的不同设备、不同采集方式采集到的异构数据无法实现整合,以及数据没有做到深度整合分析的问题,达到提高数据处理效率以及方便操作的效果。

Description

一种云平台的数据处理方法、云平台及全景分析系统
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种云平台的数据处理方法、云平台及全景分析系统。
背景技术
随着工业进程的加深,工业生产的自动化程度越来越高,工业设备的高效能运转是生产运营的关键。
目前我国面临工业设备品类众多、采集方式各不相同、分析内容差异大等问题,这样存在如下问题:工业设备遵循不同的通信协议,存在严重的“语言障碍”,导致不同设备、不同采集方式采集到的异构数据无法实现整合,采集的数据分散在各地,同时采集的数据只是进行展示,没有做到深度的整合分析,数据的价值没有得到发挥。
发明内容
有鉴于此,本申请的目的在于提供一种云平台的数据处理方法、云平台及全景分析系统,能够通过本申请云平台的数据处理方法解决现有技术中存在的不同设备、不同采集方式采集到的异构数据无法实现整合,以及数据没有做到深度整合分析的问题,达到提高数据处理效率以及方便操作的效果。
第一方面,本申请提供了一种云平台的数据处理方法,所述数据处理方法包括:
采集各类工业设备的工况数据;
对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据;
对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;
基于所述温数据,确定各类工业设备的决策指标数据;
将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。
优选地,在所述采集各类工业设备经过初步数据处理后的工况数据之前,所述数据处理方法还包括:
获取各类工业设备的身份验证标识;
将获取到的工业设备的身份验证标识与预先保存的该工业设备的身份标识进行比对;
若比对一致,则确定该工业设备的权限验证通过。
优选地,在所述采集各类工业设备经过初步数据处理后的工况数据之后,所述数据处理方法还包括:
过滤所述工况数据中不完整的数据、错误的数据和重复的数据。
优选地,所述对采集到的工况数据进行模型分析处理,得到不同类型设备对应的应用数据,包括:
预先建立各类工业设备的工况数据与应用数据之间的关系对应模型,所述应用数据为具有工业设备应用含义的数据;
将采集到的工况数据输入至所述关系对应模型中,得到不同类型设备对应的应用数据。
优选地,所述数据处理方法还包括:利用分布式发布订阅消息系统对所述温数据进行缓存,利用远程字典服务或时序数据库对所述热数据进行存储,利用数据仓库工具对所述冷数据进行存储。
优选地,所述决策指标数据包括开机率、作业率、负载率和能耗比中的一种或多种。
优选地,当所述决策指标数据包括开机率、作业率、负载率和能耗比时,所述基于所述温数据,确定各类工业设备的决策指标数据,包括:
预先保存各类工业设备的预设开机时长、预设作业时长、额定容量,以及预设能耗时长;
从所述温数据中聚合出对应工业设备的实际开机时长、实际作业时长、实际负载功率和实际能耗时长;
分别确定所述实际开机时长与所述预设开机时长之间的比值,所述实际作业时长与所述预设作业时长之间的比值,所述实际负载功率与所述额定容量之间的比值,以及所述实际能耗时长与所述预设能耗时长之间的比值为开机率、作业率、负载率和能耗比。
第二方面,本申请提供一种云平台,应用如上所述的云平台的数据处理方法;
所述云平台包括消息服务器、规则引擎、数据处理模块和数据发送模块;
所述消息服务器用于采集各类工业设备的工况数据;对采集到的工况数据进行模型分析处理,得到不同类型设备对应的应用数据;
所述规则引擎用于对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;
所述数据处理模块用于基于所述温数据,确定各类工业设备的决策指标数据;
所述数据发送模块用于将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。
优选地,所述云平台还包括分布式发布订阅消息系统、数据仓库工具,以及远程字典服务或时序数据库;
所述分布式发布订阅消息系统用于对所述温数据进行缓存;
所述远程字典服务或所述时序数据库用于对所述热数据进行存储;
所述数据仓库工具用于对所述冷数据进行存储。
第三方面,本申请提供了一种工业设备的全景分析系统,所述全景分析系统包括:边缘侧的各类工业设备、应用系统和如上所述的云平台;
所述边缘侧的各类工业设备,用于在协议解析后生成各类工业设备的工况数据;将所述各类工业设备的工况数据发送给所述云平台;
所述云平台,用于采集各类工业设备的工况数据;对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据;对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;基于所述温数据,确定各类工业设备的决策指标数据;将所述决策指标数据、所述冷数据和所述热数据发送给应用系统;
所述应用系统,用于接收所述云平台上的决策指标数据、冷数据和热数据,并将所述决策指标数据、冷数据和热数据显示在所述应用系统的展示界面上。
第四方面,本申请提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如上所述云平台的数据处理方法的步骤。
第五方面,本申请提供了一种计算机可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上所述云平台的数据处理方法的步骤。
本申请提供了一种云平台的数据处理方法、云平台及全景分析系统,其中,数据处理方法包括采集各类工业设备的工况数据,对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据,对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据,基于所述温数据,确定各类工业设备的决策指标数据,将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。这样一来,能够通过本申请云平台的数据处理方法解决现有技术中存在的不同设备、不同采集方式采集到的异构数据无法实现整合,以及数据没有做到深度整合分析的问题,达到提高数据处理效率以及方便操作的效果。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种工业设备的全景分析系统的结构示意图;
图2为本申请实施例所提供的一种工业设备的全景分析系统的界面配置示意图;
图3为本申请实施例所提供的一种工业设备的全景分析系统的原理示意图;
图4为本申请实施例所提供的一种工业设备的全景分析系统的构架图;
图5为本申请实施例所提供的一种云平台的数据处理方法的流程图;
图6为本申请实施例所提供的一种云平台的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
首先,对本申请可适用的应用场景进行介绍。本申请可应用于云平台的数据处理领域。随着工业进程的加深,工业生产的自动化程度越来越高,设备的高效能运转是生产运营的关键。目前我国面临工业设备品类众多、采集方式各不相同、分析内容差异大等问题,如何实现数据驱动的生产运营是企业关注的核心问题。
现有系统对实时数据的利用有限,更多的还是依靠数据填报,数据实时性不够,并且存在采集难、信息孤立、缺乏深度分析和投资维护成本高的问题。具体地,工业设备遵循不同的通信协议,存在严重的“语言障碍”,为实现不同品类设备的数据采集,企业需要寻找多个采集供应商进行采集;不同设备、不同采集方式采集到的异构数据无法实现整合,采集的数据分散在各地;采集数据更多的只是进行展示,没有做到深度的整合分析,数据的价值没有得到发挥;不同用户不同设备的管理诉求不同,每个场景需要定制化设计,时间周期长。
基于此,本申请实施例提供了一种云平台的数据处理方法、云平台及全景分析系统,能够通过本申请云平台的数据处理方法解决现有技术中存在的不同设备、不同采集方式采集到的异构数据无法实现整合,以及数据没有做到深度整合分析的问题,达到提高数据处理效率以及方便操作的效果。
请参阅图1,图1为本申请实施例所提供的一种工业设备的全景分析系统的结构示意图,所述全景分析系统100包括:边缘侧的各类工业设备110、应用系统120和云平台130;
边缘侧的各类工业设备110,用于在协议解析后生成各类工业设备的工况数据;然后将边缘侧的各类工业设备110的工况数据发送给云平台130。
这里,边缘侧的各类工业设备110表示工业设备遵循不同的通信协议,彼此之间存在严重的“语言障碍”,使得不同设备、不同采集方式采集到的异构数据无法实现整合。
具体地,边缘侧的各类工业设备110进行协议解析,然后在边缘侧进行初步的数据处理得到工况数据,将工况数据通过消息队列遥测传输(Message Queuing TelemetryTransport,MQTT)协议传到云平台130。
云平台130,用于采集边缘侧的各类工业设备110的工况数据;对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据;对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;基于所述温数据,确定各类工业设备的决策指标数据;将所述决策指标数据、所述冷数据和所述热数据发送给应用系统120。
这里,应用数据是具有一定应用含义的数据。举例说明,从边缘侧的各类工业设备110上采集到了很多工况数据,由于直接采集上来的工况数据是没有应用含义的,所以要把这个具有应用含义的应用数据与工况数据之间建好模型,这样根据采集到的工况数据以及建好的模型,就可以得到工况数据对应的应用数据。如,根据采集到的工况数据确定哪个工况数据表示电流,哪个工况数据表示电压,进而可以去做计算,去做更深层次的分析。
这里,冷数据是较长时间之前的状态数据,冷数据不需要实时访问到离线数据;温数据是非即时的状态和行为数据,即把热数据和冷数据混在一起就成了温数据。比如用户近期对某一类型的话题特别感兴趣(热数据),与以往的行为(冷数据)形成鲜明对比,这说明该用户正处于新用户的成长期(温数据),运营人员就可以考虑用相应的策略去拉动活跃度并促进转化。热数据指即时的位置状态、交易和浏览行为。如即时的地理位置,某一特定时间活跃的手机应用等,能够表征“正在什么位置干什么事情”。另外一些实时的记录信息,如用户刚刚打开某个软件或者网站进行了一些操作,热数据可以通过第三方平台去积累,开发者也可以根据用户使用行为积累。通过应用系统根据实际需求调用冷数据、温数据和热数据,从而实现对工业设备较深层次的分析。
进一步地,决策指标数据表示具有决策功能的数据,主要是基于温数据计算出来的,比方说开机率、作业率等业务指标,通过这些业务指标可以帮助企业做一些决策,优化管理。
除此之外,在云平台130上还有权限认证和数据清洗。
应用系统120,用于接收云平台130上的决策指标数据、冷数据和热数据,并将所述决策指标数据、冷数据和热数据显示在应用系统120的展示界面上。
这里,应用系统120提供可灵活组态的展示界面,展示界面与工业设备的模型匹配,在界面选配各种原始工况数据、热数据、冷数据、决策指标数据后自动关联模型。
应用系统120通过Historical接口、openAPI接口查询决策指标数据、冷数据和热数据,并用于系统应用。
请参阅图2,图2为本申请实施例所提供的一种工业设备的全景分析系统的界面配置示意图。如图2中所示,在配置动态界面时,需要考虑如下条件:聚焦生产管理,支持管理界面的灵活配置,不同企业用户可根据需求配置不同的业务界面,显示内容包含实时的运行参数、实时的作业状态、实时的运行指标、实时报警等。应用与数据分离,支持客户应用千人千面,帮助生产过程、运营指标的持续优化。
具体操作流程如下:为提升设备的整体效能及质量,可以管控数控机床的当前加工内容、实时工况情况、加工效率、设备用能、异常报警情况等;可以拆解要展示的内容,包含设备运行状态、设备有效作业时长、设备作业率以及当前设备的实时电流等;可以建立配置界面设备运行状态从复合物模型读取;开机时长、开机率、作业率、能耗等指标可以从指标库中选取,实时电流、主轴负载等工况参数可以从物模型选取工况变量,设备基本信息可以从系统属性中读取;选择具体设备呈现时,判断该设备关联的界面模板,可以将模板中配置的属性信息按照对应的数据源进行读取。
需要补充的是,建模的目的是为了把不同工业设备的类型区分开来,比方说焊接类的设备,切割机,或者是机器人,不同类型的设备对于现场管理来说,诉求是不一样的,采集到的数据也是不一样的,从而最终呈现出来的界面也是不一样的,这样,展示的内容也是不一样的,这里可以灵活配一些展示的界面,即每个模型对应一个不同的界面,如果知道这个工业设备对应什么模型,就可以相应的知道在什么界面进行展示,使得用户可快速定义出所需业务界面。
具体地,请参阅图3,图3为本申请实施例所提供的一种工业设备的全景分析系统的原理示意图,如图3中所示,边云结合实现底层设备数据的快速采集及标准建模,大幅简化设备接入过程,在云端进行海量数据的清洗处理,对数据按实际场景进行聚合运算形成各类决策指标,系统端将决策指标关联并可组态配置成各种界面,通过数字化界面进行系统展示,进而辅助进行决策。
本申请实施例提供的工业设备的全景分析系统,应用边云端一体化架构,即边缘侧的各类工业设备和中间侧的云平台,将大量蕴含在生产制造过程中的隐性数据采集、汇聚、加工,形成新的知识决策,这里的知识决策表示通过处理后的这些指标数据可以帮助企业做一些决策,优化管理。
请参阅图4,图4为本申请实施例所提供的一种工业设备的全景分析系统的构架图。如图4中所示,将各类工业设备(如机床、焊机、注塑机、机器人、立库和智能仪表等)通过直连或网关的方式通过MQTT协议接入到EMQ消息服务器中,此过程中进行接入权限认证(安全认证),EMQ消息服务器通过bridge将各类工业设备的工况数据搬运到kafka中进行缓存,待缓存分类存储来使用;平台ECA(业务架构与系统集成平台)消费kafka中的工况数据,进行规则计算写入kafka缓存,并可将计算结果在redis和influxDB进行实时、历史数据存储,也可以在hive进行冷数据永久存储;对IOT数据进行大数据的批处理得到复杂运算结果(如开机率、作业率、高负载率和能耗比等),通过Historical、openAPI接口查询工况及计算数据用于系统应用,具体流程如下所述的云平台的数据处理方法。
这里,EMQ消息服务器是基于Erlang/OTP平台开发的开源物联网MQTT消息服务器;kafka为分布式发布订阅消息系统,通过磁盘数据结构提供消息的持久化;Redis为远程字典服务,是一个内存数据库;influxDB为时序数据库,是一个时序数据库;Hive为数据仓库工具,用来进行数据提取、转化、加载。
请参阅图5,图5为本申请实施例所提供的一种云平台的数据处理方法的流程图。如图5中所示,本申请实施例提供的数据处理方法,包括:
S510、采集各类工业设备的工况数据。
这里,工况数据是各类工业设备经过协议解析后,通过自身的数据处理功能生成的数据。
S520、对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据。
这里,模型分析处理是通过建模的方式先得到工况数据与应用数据之间的关系对应模型,再根据采集到的工况数据与关系对应模型得到对应的应用数据。
S530、对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据。
具体地,先对应用数据按照功能需求和使用时间长度进行分类,分别得到分类完的温数据、冷数据和热数据;再对得到的冷数据、温数据和热数据进行存储,其中,由于温数据还要经过计算过程,所以将温数据放在缓存中,而冷数据和热数据需要根据应用系统调用才会使用,所以冷数据和热数据放在数据库中。
S540、基于所述温数据,确定各类工业设备的决策指标数据。
这里,决策指标数据表示具有决策功能的指标数据,这些决策指标数据可以指导企业优化管理。
S550、将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。
具体的,应用系统根据实际需求调用决策指标数据、冷数据和热数据中的一种或多种。
本申请实施例提供的云平台的数据处理方法,包括采集各类工业设备的工况数据,对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据,对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据,基于所述温数据,确定各类工业设备的决策指标数据,将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。这样一来,能够通过本申请云平台的数据处理方法解决现有技术中存在的不同设备、不同采集方式采集到的异构数据无法实现整合,以及数据没有做到深度整合分析的问题,达到提高数据处理效率以及方便操作的效果。
在本申请实施例中,作为一种优选的实施例,在步骤S510之前,所述数据处理方法还包括:
获取各类工业设备的身份验证标识;将获取到的工业设备的身份验证标识与预先保存的该工业设备的身份标识进行比对;若比对一致,则确定该工业设备的权限验证通过。
具体地,在云平台采集各类工业设备的工况数据之前,云平台先对各类工业设备进行身份验证,从而判断某一类工业设备是否具有接入云平台的权限。
这里,采用身份标识验证方式,但不仅局限于此,还可以进行公钥私钥的验证等。
需要补充的是,工业设备可以通过直连或网关的方式,通过MQTT协议接入到云平台的EMQ服务器上,在此过程中进行接入权限认证。
在本申请实施例中,作为一种优选的实施例,在步骤S510之后,所述数据处理方法还包括:
过滤所述工况数据中不完整的数据、错误的数据和重复的数据。
该过程主要是数据的清洗过程,数据清洗是对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。进而,在云平台采集各类工业设备的工况数据之后,通过数据清洗,可以过滤掉工况数据中不完整的数据、错误的数据和重复的数据,提高数据的准确性、完整性、一致性和有效性等,有利于后面的计算过程。
在本申请实施例中,作为一种优选的实施例,步骤S520包括:
预先建立各类工业设备的工况数据与应用数据之间的关系对应模型,所述应用数据为具有工业设备应用含义的数据;将采集到的工况数据输入至所述关系对应模型中,得到不同类型设备对应的应用数据。
这里,是根据采集到的工况数据和关系对应模型得到应用数据的具体实施方式,将采集到的工况数据在云平台进行建模,得到关系对应模型,利用关系对应模型将各类从工业设备采集到的异构数据可以进行统一规范处理,即得到不同类型设备对应的应用数据,这里的应用数据具有一定的应用含义和功能。
优选地,所述数据处理方法还包括:利用分布式发布订阅消息系统对所述温数据进行缓存,利用远程字典服务或时序数据库对所述热数据进行存储,利用数据仓库工具对所述冷数据进行存储。
分布式发布订阅消息系统(Kafka)通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能;即使是非常普通的硬件,Kafka也可以支持每秒数百万的消息;进而本申请实施例利用分布式发布订阅消息系统对所述温数据进行缓存。其中,Kafka缓存还应用在云平台采集各类工业设备的工况数据之后,且数据清洗之前,用于保存采集到的各类工业设备的工况数据。
远程字典服务(Remote Dictionary Server,Redis)是一个内存数据库,时序数据库(influxDB)是一个时序数据库,进而均可以对热数据进行存储,从而,redis和influxDB可以进行实时、历史数据存储。
数据仓库工具(hive)用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制,通过hive可以进行冷数据永久存储。
在本申请实施例中,作为一种优选的实施例,所述决策指标数据包括开机率、作业率、负载率和能耗比中的一种或多种。
具体地,当所述决策指标数据包括开机率、作业率、负载率和能耗比时,步骤S540具体包括:
预先保存各类工业设备的预设开机时长、预设作业时长、额定容量,以及预设能耗时长;从所述温数据中聚合出对应工业设备的实际开机时长、实际作业时长、实际负载功率和实际能耗时长;将所述实际开机时长与所述预设开机时长之间的比值确定为开机率,将所述实际作业时长与所述预设作业时长之间的比值确定为作业率,将所述实际负载功率与所述额定容量之间的比值确定为负载率,将所述实际能耗时长与所述预设能耗时长之间的比值确定为能耗比。
这里,主要描述了如何从温数据中聚合出开机率、作业率、负载率和能耗比,这是对物联网数据进行大数据的批处理后得到的复杂运算结果。
其中,这些指标通过对云平台加工后的温数据进行进一步的加工处理实现,虽然开机率、作业率、负载率和能耗比的计算公式有,但是公式的应用数据需要从温数据去聚合,即采集不到开机时长等,不过通过聚合可以算出来开机时长。
本申请实施例依托云平台可以实现异构数据的汇聚分析,对海量异构数据的提取、处理、存储和标准化奠定了数据分析的基础;能够通过本申请云平台的数据处理方法解决现有技术中存在的不同设备、不同采集方式采集到的异构数据无法实现整合,以及数据没有做到深度整合分析的问题,达到提高数据处理效率以及方便操作的效果。
基于同一发明构思,本申请实施例中还提供了与云平台的数据处理方法对应的云平台,由于本申请实施例中的装置解决问题的原理与本申请实施例上述方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
请参阅图6,图6为本申请实施例所提供的一种云平台的结构示意图。如图6中所示,本申请实施例提供了一种云平台,应用图5所述的云平台的数据处理方法,云平台包括消息服务器131、规则引擎132、数据处理模块133和数据发送模块134;
消息服务器131用于采集各类工业设备的工况数据;对采集到的工况数据进行模型分析处理,得到不同类型设备对应的应用数据;
规则引擎132用于对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;
数据处理模块133用于基于所述温数据,确定各类工业设备的决策指标数据;
数据发送模块134用于将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。
优选地,云平台130还包括分布式发布订阅消息系统、数据仓库工具,以及远程字典服务或时序数据库;
所述分布式发布订阅消息系统用于对所述温数据进行缓存;
所述远程字典服务或所述时序数据库用于对所述热数据进行存储;
所述数据仓库工具用于对所述冷数据进行存储。
优选地,消息服务器131还包括权限认证模块(图中未示出),所述权限认证模块用于:
获取各类工业设备的身份验证标识;将获取到的工业设备的身份验证标识与预先保存的该工业设备的身份标识进行比对;若比对一致,则确定该工业设备的权限验证通过。
优选地,消息服务器131还包括数据清洗模块(图中未示出),所述数据清洗模块用于:
过滤所述工况数据中不完整的数据、错误的数据和重复的数据。
优选地,消息服务器131在用于对采集到的工况数据进行模型分析处理,得到不同类型设备对应的应用数据时,消息服务器131用于:
预先建立各类工业设备的工况数据与应用数据之间的关系对应模型,所述应用数据为具有工业设备应用含义的数据;将采集到的工况数据输入至所述关系对应模型中,得到不同类型设备对应的应用数据。
优选地,所述决策指标数据包括开机率、作业率、负载率和能耗比中的一种或多种。
优选地,当所述决策指标数据包括开机率、作业率、负载率和能耗比时,数据处理模块133在用于基于所述温数据,确定各类工业设备的决策指标数据时,数据处理模块133具体用于:
预先保存各类工业设备的预设开机时长、预设作业时长、额定容量,以及预设能耗时长;从所述温数据中聚合出对应工业设备的实际开机时长、实际作业时长、实际负载功率和实际能耗时长;分别确定所述实际开机时长与所述预设开机时长之间的比值,所述实际作业时长与所述预设作业时长之间的比值,所述实际负载功率与所述额定容量之间的比值,以及所述实际能耗时长与所述预设能耗时长之间的比值为开机率、作业率、负载率和能耗比。
本申请实施例提供的云平台,包括消息服务器、规则引擎、数据处理模块和数据发送模块;其中,消息服务器用于采集各类工业设备的工况数据,对采集到的工况数据进行模型分析处理,得到不同类型设备对应的应用数据;规则引擎用于对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;数据处理模块用于基于温数据,确定各类工业设备的决策指标数据;数据发送模块用于将决策指标数据、冷数据和热数据发送给应用系统,以使应用系统调用决策指标数据、冷数据和热数据。这样一来,能够通过本申请云平台的数据处理方法解决现有技术中存在的不同设备、不同采集方式采集到的异构数据无法实现整合,以及数据没有做到深度整合分析的问题,达到提高数据处理效率以及方便操作的效果。
请参阅图7,图7为本申请实施例提供的一种电子设备的结构示意图。如图7中所示,所述电子设备700包括处理器710、存储器720和总线730。
所述存储器720存储有所述处理器710可执行的机器可读指令,当电子设备700运行时,所述处理器710与所述存储器720之间通过总线730通信,所述机器可读指令被所述处理器710执行时,可以执行如上述图5所示方法实施例中的一种云平台的数据处理方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图5所示方法实施例中的一种云平台的数据处理方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种云平台的数据处理方法,其特征在于,所述数据处理方法包括:
采集各类工业设备的工况数据;
对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据;
对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;
基于所述温数据,确定各类工业设备的决策指标数据;
将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。
2.根据权利要求1所述的数据处理方法,其特征在于,在所述采集各类工业设备经过初步数据处理后的工况数据之前,所述数据处理方法还包括:
获取各类工业设备的身份验证标识;
将获取到的工业设备的身份验证标识与预先保存的该工业设备的身份标识进行比对;
若比对一致,则确定该工业设备的权限验证通过。
3.根据权利要求1所述的数据处理方法,其特征在于,在所述采集各类工业设备经过初步数据处理后的工况数据之后,所述数据处理方法还包括:
过滤所述工况数据中不完整的数据、错误的数据和重复的数据。
4.根据权利要求1所述的数据处理方法,其特征在于,所述对采集到的工况数据进行模型分析处理,得到不同类型设备对应的应用数据,包括:
预先建立各类工业设备的工况数据与应用数据之间的关系对应模型,所述应用数据为具有工业设备应用含义的数据;
将采集到的工况数据输入至所述关系对应模型中,得到不同类型设备对应的应用数据。
5.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:利用分布式发布订阅消息系统对所述温数据进行缓存,利用远程字典服务或时序数据库对所述热数据进行存储,利用数据仓库工具对所述冷数据进行存储。
6.根据权利要求1所述的数据处理方法,其特征在于,所述决策指标数据包括开机率、作业率、负载率和能耗比中的一种或多种。
7.根据权利要求1所述的数据处理方法,其特征在于,当所述决策指标数据包括开机率、作业率、负载率和能耗比时,所述基于所述温数据,确定各类工业设备的决策指标数据,包括:
预先保存各类工业设备的预设开机时长、预设作业时长、额定容量,以及预设能耗时长;
从所述温数据中聚合出对应工业设备的实际开机时长、实际作业时长、实际负载功率和实际能耗时长;
分别确定所述实际开机时长与所述预设开机时长之间的比值,所述实际作业时长与所述预设作业时长之间的比值,所述实际负载功率与所述额定容量之间的比值,以及所述实际能耗时长与所述预设能耗时长之间的比值为开机率、作业率、负载率和能耗比。
8.一种云平台,其特征在于,应用如权利要求1至7任一项所述的云平台的数据处理方法;
所述云平台包括消息服务器、规则引擎、数据处理模块和数据发送模块;
所述消息服务器用于采集各类工业设备的工况数据;对采集到的工况数据进行模型分析处理,得到不同类型设备对应的应用数据;
所述规则引擎用于对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;
所述数据处理模块用于基于所述温数据,确定各类工业设备的决策指标数据;
所述数据发送模块用于将所述决策指标数据、所述冷数据和所述热数据发送给应用系统,以使所述应用系统调用所述决策指标数据、所述冷数据和所述热数据。
9.根据权利要求8所述的云平台,其特征在于,所述云平台还包括分布式发布订阅消息系统、数据仓库工具,以及远程字典服务或时序数据库;
所述分布式发布订阅消息系统用于对所述温数据进行缓存;
所述远程字典服务或所述时序数据库用于对所述热数据进行存储;
所述数据仓库工具用于对所述冷数据进行存储。
10.一种工业设备的全景分析系统,其特征在于,所述全景分析系统包括:边缘侧的各类工业设备、应用系统和如权利要求8或9所述的云平台;
所述边缘侧的各类工业设备,用于在协议解析后生成各类工业设备的工况数据;将所述各类工业设备的工况数据发送给所述云平台;
所述云平台,用于采集各类工业设备的工况数据;对采集到的工况数据进行模型分析处理,得到各类工业设备对应的应用数据;对得到的应用数据进行分类存储处理,分别得到冷数据、温数据和热数据;基于所述温数据,确定各类工业设备的决策指标数据;将所述决策指标数据、所述冷数据和所述热数据发送给应用系统;
所述应用系统,用于接收所述云平台上的决策指标数据、冷数据和热数据,并将所述决策指标数据、冷数据和热数据显示在所述应用系统的展示界面上。
CN202110425253.3A 2021-04-20 2021-04-20 一种云平台的数据处理方法、云平台及全景分析系统 Pending CN113111261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110425253.3A CN113111261A (zh) 2021-04-20 2021-04-20 一种云平台的数据处理方法、云平台及全景分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110425253.3A CN113111261A (zh) 2021-04-20 2021-04-20 一种云平台的数据处理方法、云平台及全景分析系统

Publications (1)

Publication Number Publication Date
CN113111261A true CN113111261A (zh) 2021-07-13

Family

ID=76719166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110425253.3A Pending CN113111261A (zh) 2021-04-20 2021-04-20 一种云平台的数据处理方法、云平台及全景分析系统

Country Status (1)

Country Link
CN (1) CN113111261A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003783A (zh) * 2021-10-12 2022-02-01 杭州畅鸿信息技术有限公司 一种基于智慧城市云平台的数据共享系统
CN114143168A (zh) * 2022-02-07 2022-03-04 树根互联股份有限公司 基于物模型的报警抑制方法及系统
CN117131094A (zh) * 2023-10-23 2023-11-28 大唐融合通信股份有限公司 用于物联网场景的规则引擎、实现方法、设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281356A1 (en) * 2014-03-26 2015-10-01 Rockwell Automation Technologies, Inc. Unified data ingestion adapter for migration of industrial data to a cloud platform
CN107294778A (zh) * 2017-06-23 2017-10-24 济南浪潮高新科技投资发展有限公司 一种基于云物联平台实现工业设备采集的方法
US20180300124A1 (en) * 2015-08-27 2018-10-18 FogHorn Systems, Inc. Edge Computing Platform
US20190064787A1 (en) * 2017-08-31 2019-02-28 Rockwell Automation Technologies, Inc. Discrete manufacturing hybrid cloud solution architecture
CN109617796A (zh) * 2018-11-15 2019-04-12 江苏东洲物联科技有限公司 一种基于规则引擎的边缘计算网关
CN109634519A (zh) * 2018-11-28 2019-04-16 平安科技(深圳)有限公司 电子装置、监控数据缓存的方法及存储介质
CN109656984A (zh) * 2018-12-21 2019-04-19 树根互联技术有限公司 数据规则管理系统、方法和装置
CN109684416A (zh) * 2018-11-13 2019-04-26 国电南京自动化股份有限公司 一种高并发实时历史数据存储系统
CN109729147A (zh) * 2018-11-28 2019-05-07 国云科技股份有限公司 一种云环境下支持多租户的审计系统及实现方法
CN109783064A (zh) * 2017-11-13 2019-05-21 华中科技大学 一种基于大数据的智能应用集成开发系统
CN110297738A (zh) * 2019-05-21 2019-10-01 深圳壹账通智能科技有限公司 系统服务的监控方法、装置、设备及存储介质
CN110336703A (zh) * 2019-07-12 2019-10-15 河海大学常州校区 基于边缘计算的工业大数据监测系统
CN110430260A (zh) * 2019-08-02 2019-11-08 哈工大机器人(合肥)国际创新研究院 一种基于大数据云计算支撑的机器人云平台及工作方法
CN110688399A (zh) * 2019-08-26 2020-01-14 远光软件股份有限公司 一种流式计算实时报表系统及方法
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置
CN111077870A (zh) * 2020-01-06 2020-04-28 浙江中烟工业有限责任公司 一种基于流计算的opc数据实时采集监控智能系统及方法
CN111993157A (zh) * 2020-08-24 2020-11-27 南京工程学院 一种基于电信号的机械加工设备生产状态监测系统及方法
CN112651520A (zh) * 2021-01-08 2021-04-13 中国科学院自动化研究所 基于数据和知识驱动的工业物联网设备协同管控系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281356A1 (en) * 2014-03-26 2015-10-01 Rockwell Automation Technologies, Inc. Unified data ingestion adapter for migration of industrial data to a cloud platform
US20180300124A1 (en) * 2015-08-27 2018-10-18 FogHorn Systems, Inc. Edge Computing Platform
CN107294778A (zh) * 2017-06-23 2017-10-24 济南浪潮高新科技投资发展有限公司 一种基于云物联平台实现工业设备采集的方法
US20190064787A1 (en) * 2017-08-31 2019-02-28 Rockwell Automation Technologies, Inc. Discrete manufacturing hybrid cloud solution architecture
CN109783064A (zh) * 2017-11-13 2019-05-21 华中科技大学 一种基于大数据的智能应用集成开发系统
CN109684416A (zh) * 2018-11-13 2019-04-26 国电南京自动化股份有限公司 一种高并发实时历史数据存储系统
CN109617796A (zh) * 2018-11-15 2019-04-12 江苏东洲物联科技有限公司 一种基于规则引擎的边缘计算网关
CN109729147A (zh) * 2018-11-28 2019-05-07 国云科技股份有限公司 一种云环境下支持多租户的审计系统及实现方法
CN109634519A (zh) * 2018-11-28 2019-04-16 平安科技(深圳)有限公司 电子装置、监控数据缓存的方法及存储介质
CN109656984A (zh) * 2018-12-21 2019-04-19 树根互联技术有限公司 数据规则管理系统、方法和装置
CN110297738A (zh) * 2019-05-21 2019-10-01 深圳壹账通智能科技有限公司 系统服务的监控方法、装置、设备及存储介质
CN110336703A (zh) * 2019-07-12 2019-10-15 河海大学常州校区 基于边缘计算的工业大数据监测系统
CN110430260A (zh) * 2019-08-02 2019-11-08 哈工大机器人(合肥)国际创新研究院 一种基于大数据云计算支撑的机器人云平台及工作方法
CN110688399A (zh) * 2019-08-26 2020-01-14 远光软件股份有限公司 一种流式计算实时报表系统及方法
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置
CN111077870A (zh) * 2020-01-06 2020-04-28 浙江中烟工业有限责任公司 一种基于流计算的opc数据实时采集监控智能系统及方法
CN111993157A (zh) * 2020-08-24 2020-11-27 南京工程学院 一种基于电信号的机械加工设备生产状态监测系统及方法
CN112651520A (zh) * 2021-01-08 2021-04-13 中国科学院自动化研究所 基于数据和知识驱动的工业物联网设备协同管控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李丙洋 等: "《中小银行运维架构 解密与实战》", 机械工业出版社, pages: 257 - 258 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003783A (zh) * 2021-10-12 2022-02-01 杭州畅鸿信息技术有限公司 一种基于智慧城市云平台的数据共享系统
CN114143168A (zh) * 2022-02-07 2022-03-04 树根互联股份有限公司 基于物模型的报警抑制方法及系统
CN114143168B (zh) * 2022-02-07 2022-05-24 树根互联股份有限公司 基于物模型的报警抑制方法及系统
CN117131094A (zh) * 2023-10-23 2023-11-28 大唐融合通信股份有限公司 用于物联网场景的规则引擎、实现方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113111261A (zh) 一种云平台的数据处理方法、云平台及全景分析系统
CN107566498A (zh) 一种基于物联网的数控机床监控方法及系统
CN105677842A (zh) 基于Hadoop大数据处理技术的日志分析系统
CN104126182A (zh) 远程通信的系统和方法
CN112132538A (zh) 一种基于NB-IoT的光伏发电管理系统
CN114090380A (zh) 一种终端监控的方法、装置、设备及存储介质
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN109164720A (zh) 基于IIoT的注塑机机群远程监控系统和方法
JP5466622B2 (ja) 運用監視装置、運用監視方法、および運用監視プログラム
CN114157563A (zh) 一种基于命令的网络设备自动化运维系统
CN115222181B (zh) 机器人运营状态监控系统及方法
Solmaz et al. ALACA: A platform for dynamic alarm collection and alert notification in network management systems
CN112016846A (zh) 一种能源数据处理平台和能源数据处理方法
WO2024164730A1 (zh) 一种混合云管的异常实时上报方法、系统、设备和介质
CN202841168U (zh) 网络资源监控系统
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN104967667A (zh) 一种基于云服务的软件稳定性测试远程监控系统
CN117205540A (zh) 游戏监控方法、装置、设备及存储介质
CN112258015A (zh) 一种基于云数据分析的实验室管理预警系统及其预警方法
US11734297B1 (en) Monitoring platform job integration in computer analytics system
CN110633191A (zh) 实时监控软件系统业务健康度的方法和系统
CN116246765A (zh) 一种医疗设备全生命周期智能维保管理方法及系统
WO2020037634A1 (zh) 一种工控设备网络的信息监控系统、方法、计算机可读存储介质及计算机设备
CN114387123B (zh) 数据采集管理方法
CN114726916A (zh) 一种基于边缘物联代理的数据传输管理系统、方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination