CN113190524A - 一种工业大数据采集方法及系统 - Google Patents

一种工业大数据采集方法及系统 Download PDF

Info

Publication number
CN113190524A
CN113190524A CN202110434203.1A CN202110434203A CN113190524A CN 113190524 A CN113190524 A CN 113190524A CN 202110434203 A CN202110434203 A CN 202110434203A CN 113190524 A CN113190524 A CN 113190524A
Authority
CN
China
Prior art keywords
data
industrial data
industrial
server
collected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110434203.1A
Other languages
English (en)
Inventor
周显敬
刘虎
高林华
杜林涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhuoer Information Technology Co ltd
Original Assignee
Wuhan Zhuoer Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhuoer Information Technology Co ltd filed Critical Wuhan Zhuoer Information Technology Co ltd
Priority to CN202110434203.1A priority Critical patent/CN113190524A/zh
Publication of CN113190524A publication Critical patent/CN113190524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种工业大数据采集方法及系统,该方法包括:多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器;基于N I O服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streami ng进行处理,并将处理结果存储至HDFS文件系统。通过该方案可以提高工业数据采集、存储等过程的处理效率,减轻服务器负载,便于工业大数据的有序可靠管理。

Description

一种工业大数据采集方法及系统
技术领域
本发明涉及大数据领域,尤其涉及一种工业大数据采集方法及系统。
背景技术
随着互联网技术的快速发展,无人化、智能化工厂将成为未来的发展趋势,通过对工业大数据的采集及分析,可以为工厂、企业提供可靠的生产指导,进而能够提高生产效率、降低成本。然而,当前的工业数据采集多是简单的将获取的原始数据发送到服务器进行存储,在面对大批量的工业数据时,采集数据的传输、存储对于服务器而言,无疑会大大增加服务器负载,严重时会大致服务器崩溃。
发明内容
有鉴于此,本发明实施例提供了一种工业大数据采集方法及系统,以解决现有服务器负载过大的问题。
在本发明实施例的第一方面,提供了一种工业大数据采集方法,包括:
多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器;
基于NIO服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streaming进行处理,并将处理结果存储至HDFS文件系统。
在本发明实施例的第二方面,提供了一种工业大数据采集系统,包括:
采集模块,用于多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器;
数据处理模块,用于基于NIO服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streaming进行处理,并将处理结果存储至HDFS文件系统。
在本发明实施例的第三方面,提供了一种电子设备,至少包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中,通过多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,发送至服务器,基于NIO服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streaming进行处理,并将处理结果存储至HDFS文件系统。从而可以大大提升服务器负载能力,同时,能够提升服务器并行处理能力,提高工业数据的采集、传输、分析、存储过程的处理效率,保障工业数据的有序管理,方便后续数据利用,基于采集数据的自相关分析,可以有效减少传输数据量。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍,显而易见地,下面描述的附图仅仅是本发明的一些实施例,对本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的一种工业大数据采集方法的流程示意图;
图2为本发明的一个实施例提供的的一种工业大数据采集系统的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述,意指覆盖不排他的包含,如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外,“第一”“第二”用于区分不同对象,并非用于描述特定顺序。
参见图1,图1为本发明实施例提供的一种工业大数据采集方法的流程示意图,包括:
S101、多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器;
根据服务器指令或采集节点处设定的采集指令,触发对工业数据的采集,通过多进程并发采集可以提高采集效率。
所述工业数据包括生成设备仪表数据、环境数据、生产状态监测数据等,具体可通过仪器仪表、工业传感器、视频监控等采集工业数据,并通过设备或传感器内部的通信模块进行数据。
对于采集的工业数据,在各采集节点进行自相关分析,以便自动丢弃去除冗余、重复或无效的数据。所述采集节点可以为设备或传感器,基于内部设定的数据发送逻辑,自动丢弃无效、冗余数据,也可以是局域网内,各生产线或作业区的数据管理系统,系统可以存储某一生产线、作业区或小型工厂的生产数据,并能转发至服务器进行存储、分析。
具体的,对同一采集节点不同时刻采集的同一类型工业数据,若数值变化在预设范围内,则对采集的对应类型的工业数据进行丢弃,若数据变化超过预设范围,则发送采集的对应类型的工业数据至服务器;
若预设时长内,服务器未接收到对应类型的工业数据,则控制采集节点发送对应的工业数据。
由于工厂或生产线在进行生产过程中,其生产参数很多保持不变,若直接将采集的生产数据上传,不仅对数据分析挖掘无用,同时,还会增加服务器或网络负担。对于一定时间内,变化细微的数据可以不用上传,一段时间后,再将所有采集的原始数据上传。
可选的,服务器对无效值或不符合一致性的数据进行清洗,对空值数据进行默认值填充。对于已上传至服务器数据,可能还存在大量无效、冗余或不具有一致性的数据,需要进行数据清洗,而对于空值数据,由于可能是自相关分析中丢弃的数据,可以采用默认值填充。
S102、基于NIO服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streaming进行处理,并将处理结果存储至HDFS文件系统。
NIO(New IO)服务器是一种非阻塞服务器,可以为传输数据提供缓存支持的数据容器,由服务集群NIO根据数据请求创建多线程的数据处理任务,基于kafka消息订阅发布系统,方便数据的快速处理。
每个任务经Spark Streaming处理后,对应的处理结果可以存储至至HDFS文件系统。或者,根据处理结果访问HBase中存储的数据,所述HBase为基于HDFS(HadoopDistributed File System)、分布式的非关系型数据库,基于HBase可以管理海量工业数据。
通过HBase数据库进行工业数据管理,并通过Zookeeper进行Master和RegionServer的协调管理。基于Zookeeper的协调管理可以实现服务器间的负载均衡,提高数据存储效率。
本实施例提供的方法,可以工业大数据的采集、传输、分析及存储效率,减轻服务器负担,方便工业数据管理。同时,减少数据传输量,筛选无用采集数据,提升数据的可靠性。
应理解,上述实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定,
图2为本发明实施例提供的一种工业大数据采集系统的结构示意图,该系统包括:
采集模块210,用于多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器;
其中,所述各采集节点对采集的工业数据自相关分析包括;
对同一采集节点不同时刻采集的同一类型工业数据,若数值变化在预设范围内,则对采集的对应类型的工业数据进行丢弃,若数据变化超过预设范围,则发送采集的对应类型的工业数据至服务器;
若预设时长内,服务器未接收到对应类型的工业数据,则控制采集节点发送对应的工业数据。
优选的,所述采集模块还包括:
清洗模块,用于服务器对无效值或不符合一致性的数据进行清洗,对空值数据进行默认值填充。
数据处理模块220,用于基于NIO服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streaming进行处理,并将处理结果存储至HDFS文件系统。
可选的,通过HBase数据库进行工业数据管理,并通过Zookeeper进行Master和RegionServer的协调管理。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
可以理解的是,在一个实施例中,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序执行如实施例一中步骤S101~S102,处理器执行所述计算机程序时实现工业大数据的采集。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括步骤S101至S102,所述的存储介质包括如ROM/RAM等。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种工业大数据采集方法,其特征在于,包括:
多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器;
基于NIO服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streaming进行处理,并将处理结果存储至HDFS文件系统。
2.根据权利要求1所述的方法,其特征在于,所述各采集节点对采集的工业数据自相关分析包括;
对同一采集节点不同时刻采集的同一类型工业数据,若数值变化在预设范围内,则对采集的对应类型的工业数据进行丢弃,若数据变化超过预设范围,则发送采集的对应类型的工业数据至服务器;
若预设时长内,服务器未接收到对应类型的工业数据,则控制采集节点发送对应的工业数据。
3.根据权利要求1所述的方法,其特征在于,所述各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器还包括:
服务器对无效值或不符合一致性的数据进行清洗,对空值数据进行默认值填充。
4.根据权利要求1所述的方法,其特征在于,所述将处理结果存储至HDFS文件系统还包括:
通过HBase数据库进行工业数据管理,并通过Zookeeper进行Master和RegionServer的协调管理。
5.一种工业大数据采集系统,其特征在于,包括:
采集模块,用于多进程并发采集工业数据,各采集节点对采集的工业数据自相关分析后,将工业数据发送至服务器;
数据处理模块,用于基于NIO服务器创建多线程工业数据处理任务,通过Kafka生成多任务消息队列,对多任务消息队列中数据利用Spark Streaming进行处理,并将处理结果存储至HDFS文件系统。
6.根据权利要求5所述的系统,其特征在于,所述各采集节点对采集的工业数据自相关分析包括;
对同一采集节点不同时刻采集的同一类型工业数据,若数值变化在预设范围内,则对采集的对应类型的工业数据进行丢弃,若数据变化超过预设范围,则发送采集的对应类型的工业数据至服务器;
若预设时长内,服务器未接收到对应类型的工业数据,则控制采集节点发送对应的工业数据。
7.根据权利要求5所述的系统,其特征在于,所述采集模块还包括:
清洗模块,用于服务器对无效值或不符合一致性的数据进行清洗,对空值数据进行默认值填充。
8.根据权利要求5所述的系统,其特征在于,所述将处理结果存储至HDFS文件系统还包括:
通过HBase数据库进行工业数据管理,并通过Zookeeper进行Master和RegionServer的协调管理。
CN202110434203.1A 2021-04-21 2021-04-21 一种工业大数据采集方法及系统 Pending CN113190524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110434203.1A CN113190524A (zh) 2021-04-21 2021-04-21 一种工业大数据采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110434203.1A CN113190524A (zh) 2021-04-21 2021-04-21 一种工业大数据采集方法及系统

Publications (1)

Publication Number Publication Date
CN113190524A true CN113190524A (zh) 2021-07-30

Family

ID=76978097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110434203.1A Pending CN113190524A (zh) 2021-04-21 2021-04-21 一种工业大数据采集方法及系统

Country Status (1)

Country Link
CN (1) CN113190524A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867287A (zh) * 2021-09-28 2021-12-31 浙江华章科技有限公司 一种工业数据采集方法及系统
CN115567557A (zh) * 2022-09-20 2023-01-03 中国联合网络通信集团有限公司 工业数据的多目标报送方法、装置及系统
CN116795066A (zh) * 2023-08-16 2023-09-22 南京德克威尔自动化有限公司 远程io模块的通信数据处理方法、系统、服务器及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737643A (zh) * 2019-09-29 2020-01-31 广州餐道信息科技有限公司 一种基于餐饮信息管理系统的大数据分析处理管理中台
WO2020038447A1 (zh) * 2018-08-23 2020-02-27 比亚迪股份有限公司 一种轨道交通系统综合网管方法、装置及系统
CN111077870A (zh) * 2020-01-06 2020-04-28 浙江中烟工业有限责任公司 一种基于流计算的opc数据实时采集监控智能系统及方法
CN111209258A (zh) * 2019-12-31 2020-05-29 航天信息股份有限公司 税务端系统日志实时分析方法、设备、介质及系统
CN111209364A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种基于众包地图更新的海量数据接入处理方法及系统
CN111640040A (zh) * 2020-04-07 2020-09-08 国网新疆电力有限公司 基于客户画像技术的供电客户价值评价方法及大数据平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038447A1 (zh) * 2018-08-23 2020-02-27 比亚迪股份有限公司 一种轨道交通系统综合网管方法、装置及系统
CN110737643A (zh) * 2019-09-29 2020-01-31 广州餐道信息科技有限公司 一种基于餐饮信息管理系统的大数据分析处理管理中台
CN111209258A (zh) * 2019-12-31 2020-05-29 航天信息股份有限公司 税务端系统日志实时分析方法、设备、介质及系统
CN111209364A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种基于众包地图更新的海量数据接入处理方法及系统
CN111077870A (zh) * 2020-01-06 2020-04-28 浙江中烟工业有限责任公司 一种基于流计算的opc数据实时采集监控智能系统及方法
CN111640040A (zh) * 2020-04-07 2020-09-08 国网新疆电力有限公司 基于客户画像技术的供电客户价值评价方法及大数据平台

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867287A (zh) * 2021-09-28 2021-12-31 浙江华章科技有限公司 一种工业数据采集方法及系统
CN113867287B (zh) * 2021-09-28 2023-12-05 浙江华章科技有限公司 一种工业数据采集方法及系统
CN115567557A (zh) * 2022-09-20 2023-01-03 中国联合网络通信集团有限公司 工业数据的多目标报送方法、装置及系统
CN115567557B (zh) * 2022-09-20 2024-04-16 中国联合网络通信集团有限公司 工业数据的多目标报送方法、装置及系统
CN116795066A (zh) * 2023-08-16 2023-09-22 南京德克威尔自动化有限公司 远程io模块的通信数据处理方法、系统、服务器及介质
CN116795066B (zh) * 2023-08-16 2023-10-27 南京德克威尔自动化有限公司 远程io模块的通信数据处理方法、系统、服务器及介质

Similar Documents

Publication Publication Date Title
CN113190524A (zh) 一种工业大数据采集方法及系统
CN107018042B (zh) 用于在线服务系统的追踪方法及追踪系统
CN109274730B (zh) 物联网系统、mqtt消息传输的优化方法及装置
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN108234149B (zh) 一种网络请求的管理方法和装置
CN113055478A (zh) 一种设备数据的处理方法、装置、设备及介质
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN114401207B (zh) 一种通讯异常终端设备定位方法、装置及电子设备
CN111198754A (zh) 一种任务调度方法及装置
CN114706675A (zh) 基于云边协同系统的任务部署方法及装置
CN112817539A (zh) 一种工业数据存储方法、系统、电子设备及存储介质
CN114095571A (zh) 数据处理方法、数据服务总线、终端和存储介质
CN115883330B (zh) 告警事件处理方法、系统、设备及存储介质
CN117194029A (zh) 任务请求处理方法、系统、计算机设备和存储介质
CN111049846A (zh) 数据处理方法和装置、电子设备及计算机可读存储介质
CA3061451A1 (en) Task based service management platform
US20190109886A1 (en) Selected data exchange
US20150081774A1 (en) System and method for implementing augmented object members for remote procedure call
CN111294553B (zh) 处理视频监控业务信令的方法、装置、设备和存储介质
CN108805741B (zh) 一种电能质量数据的融合方法、装置及系统
JP5530878B2 (ja) 分散システムにおけるデータレプリケーション管理方法
CN112055058A (zh) 数据的存储方法、装置及计算机可读存储介质
CN111049919B (zh) 一种用户请求的处理方法、装置、设备及存储介质
CN103560976B (zh) 一种控制数据发送的方法、装置及系统
US11044320B2 (en) Data distribution method for a process automation and internet of things system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210730