CN113253685A - 一种工业数据采集方法、装置、设备及介质 - Google Patents
一种工业数据采集方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113253685A CN113253685A CN202110603331.4A CN202110603331A CN113253685A CN 113253685 A CN113253685 A CN 113253685A CN 202110603331 A CN202110603331 A CN 202110603331A CN 113253685 A CN113253685 A CN 113253685A
- Authority
- CN
- China
- Prior art keywords
- data
- structured
- original industrial
- industrial data
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 97
- 238000007726 management method Methods 0.000 claims abstract description 41
- 238000013523 data management Methods 0.000 claims abstract description 9
- 238000013480 data collection Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
- G05B19/4186—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication by protocol, e.g. MAP, TOP
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Factory Administration (AREA)
Abstract
本公开涉及一种工业数据采集方法、装置、设备及介质，包括：服务端通过查询列表确定已连接的设备端；向设备端发送数据采集指令，数据采集指令中携带任务配置信息和采集路径，以使设备端根据任务配置信息，对采集路径下的文件进行检索，并当检索到采集路径下存在文件内容时，采集原始工业数据；接收设备端发送的原始工业数据，对原始工业数据执行解析操作，得到结果数据；将结果数据发送给分析管理平台，以使分析管理平台对结果数据进行存储和管理；其中，存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。本公开能够提升数据管理精细化程度，降低数据采集管理成本。
Description
技术领域
本公开涉及工业互联网技术领域，尤其涉及一种工业数据采集方法、装置、设备及介质。
背景技术
工业数据采集是工业制造业中最实际、最高频的需求，是未来工业大数据时代在全球市场竞争中发挥优势的关键。在工业制造业的各个环节，目前市面上普遍基于硬件设备实现对被监测设备的数据采集；比如：将安装有数据采集软件的设备与被监测设备连接，或在被监测设备上部署传感器，实现检测环节的环境信息、设备信息的检测；通过PLC（Programmable Logic Controller，可编程逻辑控制器）设备，在控制环节中实现对被监测设备的操控；通过连接RFID（Radio Frequency Identification，射频识别）实现各种产品、步骤的辨识等。
但是，上述基于硬件设备实现的数据采集方案，采集的数据难以及时、完整的得到处理，无法对被监测设备进行精细化管理。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种工业数据采集方法、装置、设备及介质。
本公开提供了一种工业数据采集方法，所述方法应用于服务端，所述方法包括：
通过查询列表确定已连接的设备端；其中，所述列表用于记录与所述服务端建立连接的设备端的设备信息；
向所述设备端发送数据采集指令，所述数据采集指令中携带任务配置信息和采集路径，以使所述设备端根据所述任务配置信息，对所述采集路径下的文件进行检索，并当检索到所述采集路径下存在文件内容时，采集原始工业数据；
接收所述设备端发送的所述原始工业数据；对所述原始工业数据执行解析操作，得到结果数据；其中，所述解析操作为：
针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
将所述结果数据发送给分析管理平台，以使所述分析管理平台对所述结果数据进行存储和管理；其中，所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
可选的，所述服务端与所述设备端之间采用浏览器和服务器B/S架构，所述B/S架构包括：用户工作界面、服务器组和数据管理；其中，所述服务器组是基于VUE框架和SSM框架实现的。
可选的，所述任务配置信息包括：待采集的数据内容和数据采集时间。
可选的，所述设备信息包括：所述设备端的ip地址和所述设备端下挂载的待监测的工业设备的ip地址。
本公开提供了一种工业数据采集方法，所述方法应用于设备端，所述方法包括：
当设备端开启采集服务时，建立与服务端的连接，并将设备信息发送给服务端，以在所述服务端的列表中进行注册；
接收所述服务端下发时数据采集指令；其中，所述数据采集指令中携带任务配置信息和采集路径；根据所述任务配置信息，对所述采集路径下的文件进行检索，当检索到所述采集路径下存在文件内容时，采集原始工业数据；
采用socket协议将所述原始工业数据上传至所述服务端，以使服务端对所述原始工业数据执行解析操作，得到结果数据，以及将所述结果数据发送给分析管理平台进行存储和管理；其中，通过执行解析操作对所述原始工业数据进行存储；其中，
所述解析操作为：针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
可选的，在所述采集原始工业数据之后，所述方法还包括：对所述原始工业数据进行格式化，以及，采用socket协议将格式化后的原始工业数据上传至所述服务端。
本公开提供了一种工业数据采集装置，所述装置应用于服务端，所述装置包括：
设备端确定模块，用于通过查询列表确定已连接的设备端；其中，所述列表用于记录与所述服务端建立连接的设备端的设备信息；
指令发送模块，用于向所述设备端发送数据采集指令，所述数据采集指令中携带任务配置信息和采集路径，以使所述设备端根据所述任务配置信息，对所述采集路径下的文件进行检索，并当检索到所述采集路径下存在文件内容时，采集原始工业数据；
数据接收模块，用于接收所述设备端发送的所述原始工业数据；
数据解析模块，用于对所述原始工业数据执行解析操作，得到结果数据；其中，所述解析操作为：
针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
第一数据发送模块，用于将所述结果数据发送给分析管理平台，以使所述分析管理平台对所述结果数据进行存储和管理；其中，所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
本公开提供了一种工业数据采集装置，所述装置应用于设备端，所述装置包括：
设备注册模块，用于当设备端开启采集服务时，建立与服务端的连接，并将设备信息发送给服务端，以在所述服务端的列表中进行注册；
指令接收模块，用于接收所述服务端下发时数据采集指令；其中，所述数据采集指令中携带任务配置信息和采集路径；
数据采集模块，用于根据所述任务配置信息，对所述采集路径下的文件进行检索，当检索到所述采集路径下存在文件内容时，采集原始工业数据；
第二数据发送模块，用于采用socket协议将所述原始工业数据上传至所述服务端，以使服务端对所述原始工业数据执行解析操作，得到结果数据，以及将所述结果数据发送给分析管理平台进行存储和管理；其中，通过执行解析操作对所述原始工业数据进行存储；其中，
所述解析操作为：针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
本公开提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述应用于服务端的工业数据采集方法，或者实现上述应用于设备端的工业数据采集方法。
本公开提供了一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述应用于服务端的工业数据采集方法，或者执行上述应用于设备端的工业数据采集方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供了一种工业数据采集方法、装置、设备及介质，服务端向已连接的设备端发送数据采集指令，以使设备端采集原始工业数据；而后对原始工业数据执行解析操作，得到结构化的结果数据和非结构化的结果数据，并通过分析管理平台将结构化的结果数据存储于关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。在本技术方案中，通过服务端对设备端进行数据采集的控制，自动且高效地实现工业数据的采集、存储，提升了数据管理精细化程度，降低了数据采集管理成本。同时，本方案实现的数据采集，是测试数据进行综合分析之前的关键环节，对工业应用中的优化测试方案、分析测试用例执行情况、推荐测试用例等应用起到重要的支撑作用。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例所述的B/S架构示意图；
图2为本公开实施例所述的一种工业数据采集方法流程图；
图3为本公开实施例所述的解析操作的流程示意图；
图4为本公开实施例所述的一种工业数据采集交互图；
图5为本公开实施例所述的一种工业数据采集装置的结构框图；
图6为本公开实施例所述的另一种工业数据采集装置的结构框图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
在工业大数据时代，制造业创新战略的实施基础是工业数据的搜集和特征分析；然而，目前市面上的数据采集方案普遍基于硬件设备实现，导致采集的数据难以及时、完整的得到处理，无法对被监测设备进行精细化管理。基于此，本公开实施例提供一种工业数据采集方法、装置、设备及介质，该方案通过服务端对设备端进行多种数据的采集和监控，以实现工业数据的存储与管理。以下对本公开实施例进行详细介绍。
实施例一：
为便于理解，本公开实施例首先对工业数据采集方法的应用环境进行描述。该方法可以通过服务端、设备端和分析管理平台实现。
服务端和设备端之间采用如图1所示的B/S（Browser/Server，浏览器和服务器）架构，包括用户工作界面、服务器组和数据管理三层结构。设备端上的用户工作界面通过览器实现，浏览器是设备端最主要的应用软件，可以显示该设备端下挂载的待监测的工业设备（即已连接设备）；设备端与服务端之间的连接方式可以包括：网页浏览器连接、脱机用户和内部连接。在实际应用中，少部分事务逻辑在设备端实现，主要事务逻辑在服务器组实现，该主要事务逻辑诸如业务流程、工作流程、BI（Business Intelligence，商业智能）、CTI（Computer Telecommunication Integration，计算机电话集成技术）和核心服务；其中，核心服务主要为数据库的连接、数据访问以及基于WebSphere的数据库连接管理等服务。数据管理层可分为内部和外部的数据库；其中，内部的数据库如web数据库、核心数据库；web数据库主要支持web用户的数据库访问与缓存，核心数据库是power CRM的数据中心；外部的数据库如BMS（图书管理系统数据库）、OSS（Object Storage Service，对象云存储服务）、MIS数据库。
在上述B/S架构的具体实现中，用户工作界面可以使用效果丰富、可移植性较好的JavaScript编写。中间层的服务器组是基于VUE框架和SSM框架实现的，SSM框架是由Spring、SpringMVC和Mybatis整合而成；后台使用数据库软件MySQL；SSM框架在数据管理上能够较好地解决代码耦合度高、难以扩展和维护的问题。数据管理使用数据库软件MySQL。
本实施例通过服务端和设备端实现对被监测设备的数据采集，分析管理平台用于对上述采集到的数据进行存储和管理。
根据上述设备端、服务端和分析管理平台构建的应用环境，本实施例提供一种如图2所示的工业数据采集方法流程图，该方法应用于服务端，包括如下步骤：
步骤S201，通过查询列表确定已连接的设备端；其中，列表用于记录与服务端建立连接的设备端的设备信息。
在本实施例中，当设备端开启采集服务时，设备端建立与服务端的连接，并将设备信息发送给服务端，设备信息可以包括但不限于：设备端的ip地址、该设备端下挂载的待监测的工业设备的ip地址。设备端将设备信息发送给服务端后，通过服务端在预设的列表中对设备信息进行注册，也就是说，服务端的列表中记录有与服务端建立连接的设备端以及该设备端下待监测的工业设备。
服务端启动并正常运行后，通过监听列表获取所有连接至本服务端的设备端和对应的待监测的工业设备。
步骤S202，向设备端发送数据采集指令，数据采集指令中携带任务配置信息和采集路径，以使设备端根据任务配置信息，对采集路径下的文件进行检索，并当检索到采集路径下存在文件内容时，采集原始工业数据。
服务端根据监听到的列表中的设备信息，向设备端发送数据采集指令；数据采集指令可以为至少一条，与设备端下待监测的工业设备一一对应。数据采集指令中携带的任务配置信息包括但不限于：待采集的数据内容和数据采集时间；采集路径用于表示待监测的工业设备的数据采集路径。
设备端接收到数据采集指令后，解析其中的任务配置信息和采集路径，而后根据任务配置信息，对采集路径下的文件进行检索，当检索到采集路径下存在文件内容时，采集原始工业数据。比如在一种具体示例中，任务配置信息包括：数据采集时间为从接收到数据采集指令开始，每个10分钟执行一次数据采集任务，待采集的数据内容为业务A的数据；在此情况下，按照10分钟的数据采集间隔，对采集路径下的用于记录业务A的文件进行检索，直至用于记录业务A的文件中的数据不为空，也即该文件中存在文件内容时，开始对该文件中的数据进行采集，以得到业务A对应的原始工业数据。
设备端采集到至少一个待监测的工业设备的原始工业数据后，可以采用socket协议将原始工业数据上传至服务端；通过该socket协议，设备端的用户工作界面（如H5界面）可以与服务端建立socket通道，并通过该socket通道，按照协定的私有协议来传输原始工业数据。
此外，在一种实施例中，在将原始工业数据上传至服务端之前，设备端也可以先对原始工业数据进行格式化，而后再采用socket协议将格式化后的原始工业数据上传至服务端。
步骤S203，接收设备端发送的原始工业数据。服务端通过socket通道接收设备端发送的原始工业数据。
步骤S204，对原始工业数据执行解析操作，得到结果数据；其中，解析操作为：
参照图3，针对各项原始工业数据逐一判断是否为结构化数据；结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据。
如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，使解析后的原始工业数据转换为结构化数据，进而将解析后的原始工业数据作为结构化的结果数据。如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据。
步骤S205，将结果数据发送给分析管理平台，以使分析管理平台对结果数据进行存储和管理。其中，存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中，该系统文件可以采用多值字段变长字段机制对非结构化的结果数据进行管理。管理可以是对上述结果数据进行检索、综合分析；在常见的生产应用中，可以根据对结果数据的综合分析结果，对工业设备的测试用例进行优化，或者可用于测试用例的推荐。
本公开实施例提供的工业数据采集方法，服务端向已连接的设备端发送数据采集指令，以使设备端采集原始工业数据；而后对原始工业数据执行解析操作，得到结构化的结果数据和非结构化的结果数据，并通过分析管理平台将结构化的结果数据存储于关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。在本技术方案中，通过服务端对设备端进行数据采集的控制，自动且高效地实现工业数据的采集、存储，提升了数据管理精细化程度，降低了数据采集管理成本。同时，本方案实现的数据采集，是测试数据进行综合分析之前的关键环节，对工业应用中的优化测试方案、分析测试用例执行情况、推荐测试用例等应用起到重要的支撑作用。
本公开实施例提供一种应用于设备端的工业数据采集方法，该方法由设备端执行，包括如下步骤：
步骤1，当设备端开启采集服务时，建立与服务端的连接，并将设备信息发送给服务端，以在服务端的列表中进行注册；
步骤2，接收服务端下发时数据采集指令；其中，数据采集指令中携带任务配置信息和采集路径；
步骤3，根据任务配置信息，对采集路径下的文件进行检索，当检索到采集路径下存在文件内容时，采集原始工业数据；
步骤4，采用socket协议将原始工业数据上传至服务端，以使服务端对原始工业数据执行解析操作，得到结果数据，以及将结果数据发送给分析管理平台进行存储和管理；其中，通过执行解析操作对原始工业数据进行存储；其中，
解析操作为：针对各项原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
在采集原始工业数据之后，本实施例还可以包括：对原始工业数据进行格式化，以及，采用socket协议将格式化后的原始工业数据上传至服务端。
本实施例所提供的上述应用于设备端的工业数据采集方法，其实现原理及产生的技术效果和前述应用于服务端的工业数据采集方法的实施例相同，为简要描述，本实施例部分未提及之处，可参考前述实施例中的相应内容。
结合上述多个实施例，本实施例给出了一种工业数据采集方法的具体应用示例，参照图4所示的一种工业数据采集交互图，主要示意出了服务端、设备端以及分析管理平台之间的交互过程，具体包括如下交互步骤：
步骤S401，设备端开启采集服务时，建立与服务端的连接，并将设备信息发送给服务端；
步骤S402，服务端在列表中对设备信息进行注册；
步骤S403，服务端启动并运行后，通过查询列表确定已连接的设备端；
步骤S404，服务端向设备端发送数据采集指令，数据采集指令中携带任务配置信息和采集路径；
步骤S405，设备端根据任务配置信息，对采集路径下的文件进行检索，并当检索到采集路径下存在文件内容时，采集原始工业数据；
步骤S406，设备端对原始工业数据进行格式化；
步骤S407，采用socket协议将格式化后的原始工业数据上传至服务端；
步骤S408，服务端对原始工业数据执行解析操作，得到结构化的结果数据和非结构化的结果数据；将上述结果数据发送给分析管理平台；
步骤S409，分析管理平台对结果数据进行存储和管理。
实施例二：
根据上述实施例提供的工业数据采集方法，本公开实施例提供一种如图5所示的工业数据采集装置，该装置应用于服务端，装置包括：
设备端确定模块501，用于通过查询列表确定已连接的设备端；其中，列表用于记录与服务端建立连接的设备端的设备信息；
指令发送模块502，用于向设备端发送数据采集指令，数据采集指令中携带任务配置信息和采集路径，以使设备端根据任务配置信息，对采集路径下的文件进行检索，并当检索到采集路径下存在文件内容时，采集原始工业数据；
数据接收模块503，用于接收设备端发送的原始工业数据；
数据解析模块504，用于对原始工业数据执行解析操作，得到结果数据；其中，解析操作为：
针对各项原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
第一数据发送模块505，用于将结果数据发送给分析管理平台，以使分析管理平台对结果数据进行存储和管理；其中，存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
本公开实施例还提供一种如图6所示的工业数据采集装置，该装置应用于设备端，装置包括：
设备注册模块601，用于当设备端开启采集服务时，建立与服务端的连接，并将设备信息发送给服务端，以在服务端的列表中进行注册；
指令接收模块602，用于接收服务端下发时数据采集指令；其中，数据采集指令中携带任务配置信息和采集路径；
数据采集模块603，用于根据任务配置信息，对采集路径下的文件进行检索，当检索到采集路径下存在文件内容时，采集原始工业数据；
第二数据发送模块604，用于采用socket协议将原始工业数据上传至服务端，以使服务端对原始工业数据执行解析操作，得到结果数据，以及将结果数据发送给分析管理平台进行存储和管理；其中，通过执行解析操作对原始工业数据进行存储；其中，
解析操作为：针对各项原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
本实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述应用于服务端的工业数据采集方法，或者实现上述应用于设备端的工业数据采集方法。
进一步，本实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述应用于服务端的工业数据采集方法，或者上述应用于设备端的工业数据采集方法。
本公开实施例所提供的一种工业数据采集方法、装置、电子设备及介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种工业数据采集方法，其特征在于，所述方法应用于服务端，所述方法包括：
通过查询列表确定已连接的设备端；其中，所述列表用于记录与所述服务端建立连接的设备端的设备信息；
向所述设备端发送数据采集指令，所述数据采集指令中携带任务配置信息和采集路径，以使所述设备端根据所述任务配置信息，对所述采集路径下的文件进行检索，并当检索到所述采集路径下存在文件内容时，采集原始工业数据；
接收所述设备端发送的所述原始工业数据；
对所述原始工业数据执行解析操作，得到结果数据；其中，所述解析操作为：
针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
将所述结果数据发送给分析管理平台，以使所述分析管理平台对所述结果数据进行存储和管理；其中，所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
2.根据权利要求1所述的方法，其特征在于，所述服务端与所述设备端之间采用浏览器和服务器B/S架构，所述B/S架构包括：用户工作界面、服务器组和数据管理；其中，所述服务器组是基于VUE框架和SSM框架实现的。
3.根据权利要求1所述的方法，其特征在于，所述任务配置信息包括：待采集的数据内容和数据采集时间。
4.根据权利要求1所述的方法，其特征在于，所述设备信息包括：所述设备端的ip地址和所述设备端下挂载的待监测的工业设备的ip地址。
5.一种工业数据采集方法，其特征在于，所述方法应用于设备端，所述方法包括：
当设备端开启采集服务时，建立与服务端的连接，并将设备信息发送给服务端，以在所述服务端的列表中进行注册；
接收所述服务端下发时数据采集指令；其中，所述数据采集指令中携带任务配置信息和采集路径；
根据所述任务配置信息，对所述采集路径下的文件进行检索，当检索到所述采集路径下存在文件内容时，采集原始工业数据；
采用socket协议将所述原始工业数据上传至所述服务端，以使服务端对所述原始工业数据执行解析操作，得到结果数据，以及将所述结果数据发送给分析管理平台进行存储和管理；其中，通过执行解析操作对所述原始工业数据进行存储；其中，
所述解析操作为：针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
6.根据权利要求5所述的方法，其特征在于，在所述采集原始工业数据之后，所述方法还包括：
对所述原始工业数据进行格式化，以及，采用socket协议将格式化后的原始工业数据上传至所述服务端。
7.一种工业数据采集装置，其特征在于，所述装置应用于服务端，所述装置包括：
设备端确定模块，用于通过查询列表确定已连接的设备端；其中，所述列表用于记录与所述服务端建立连接的设备端的设备信息；
指令发送模块，用于向所述设备端发送数据采集指令，所述数据采集指令中携带任务配置信息和采集路径，以使所述设备端根据所述任务配置信息，对所述采集路径下的文件进行检索，并当检索到所述采集路径下存在文件内容时，采集原始工业数据；
数据接收模块，用于接收所述设备端发送的所述原始工业数据；
数据解析模块，用于对所述原始工业数据执行解析操作，得到结果数据；其中，所述解析操作为：
针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
第一数据发送模块，用于将所述结果数据发送给分析管理平台，以使所述分析管理平台对所述结果数据进行存储和管理；其中，所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
8.一种工业数据采集装置，其特征在于，所述装置应用于设备端，所述装置包括：
设备注册模块，用于当设备端开启采集服务时，建立与服务端的连接，并将设备信息发送给服务端，以在所述服务端的列表中进行注册；
指令接收模块，用于接收所述服务端下发时数据采集指令；其中，所述数据采集指令中携带任务配置信息和采集路径；
数据采集模块，用于根据所述任务配置信息，对所述采集路径下的文件进行检索，当检索到所述采集路径下存在文件内容时，采集原始工业数据；
第二数据发送模块，用于采用socket协议将所述原始工业数据上传至所述服务端，以使服务端对所述原始工业数据执行解析操作，得到结果数据，以及将所述结果数据发送给分析管理平台进行存储和管理；其中，通过执行解析操作对所述原始工业数据进行存储；其中，
所述解析操作为：针对各项所述原始工业数据逐一判断是否为结构化数据；如果是结构化数据，则将当前的原始工业数据作为结构化的结果数据；如果不是结构化数据，则判断当前的原始工业数据能否结构化解析；如果能结构化解析，则将当前的原始工业数据进行结构化解析，将解析后的原始工业数据作为所述结构化的结果数据；如果不能结构化解析，则将当前的原始工业数据作为非结构化的结果数据；
所述存储为：将结构化的结果数据存储于预设的关系型数据库中，将非结构化的结果数据存储于预设的系统文件中。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-4中任一所述的工业数据采集方法，或者实现上述权利要求5-6中任一所述的工业数据采集方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-4中任一所述的工业数据采集方法，或者执行上述权利要求5-6中任一所述的工业数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110603331.4A CN113253685B (zh) | 2021-05-31 | 2021-05-31 | 一种工业数据采集方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110603331.4A CN113253685B (zh) | 2021-05-31 | 2021-05-31 | 一种工业数据采集方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113253685A true CN113253685A (zh) | 2021-08-13 |
| CN113253685B CN113253685B (zh) | 2021-09-24 |
Family
ID=77185517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110603331.4A Active CN113253685B (zh) | 2021-05-31 | 2021-05-31 | 一种工业数据采集方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113253685B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114090463A (zh) * | 2022-01-20 | 2022-02-25 | 航天中认软件测评科技（北京）有限责任公司 | 基于自然语言处理技术的可定制软件测试分析评价系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130054642A1 (en) * | 2011-08-25 | 2013-02-28 | Salesforce.Com, Inc. | Dynamic data management |
| US20140379761A1 (en) * | 2013-06-25 | 2014-12-25 | Outside Intelligence, Inc. | Method and system for aggregate content modeling |
| CN105183916A (zh) * | 2015-10-16 | 2015-12-23 | 辽宁工程技术大学 | 一种管理非结构化数据的装置和方法 |
| CN106227899A (zh) * | 2016-08-31 | 2016-12-14 | 北京京航计算通讯研究所 | 一种面向物联网大数据的存储和查询方法 |
| CN107798059A (zh) * | 2017-09-08 | 2018-03-13 | 中国电力科学研究院 | 一种nco气象数据结构化存储方法和装置 |
| US20200073871A1 (en) * | 2016-11-02 | 2020-03-05 | Intelligent Operations As | A system for managing, analyzing, navigating or searching of data information across one or more sources within a computer or a computer network, without copying, moving or manipulating the source or the data information stored in the source |
| CN111373390A (zh) * | 2017-12-12 | 2020-07-03 | 国际商业机器公司 | 在结构化框架中存储非结构化数据 |
| CN111462327A (zh) * | 2020-03-12 | 2020-07-28 | 成都飞机工业（集团）有限责任公司 | 三维造型软件三维检验模型非结构化数据解析方法 |
| CN112395292A (zh) * | 2020-11-25 | 2021-02-23 | 电信科学技术第十研究所有限公司 | 一种数据特征提取、匹配方法及装置 |
| CN112527923A (zh) * | 2020-12-17 | 2021-03-19 | 武汉联影医疗科技有限公司 | 非结构化数据存储方法、装置、计算机设备和存储介质 |
-
2021
- 2021-05-31 CN CN202110603331.4A patent/CN113253685B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130054642A1 (en) * | 2011-08-25 | 2013-02-28 | Salesforce.Com, Inc. | Dynamic data management |
| US20140379761A1 (en) * | 2013-06-25 | 2014-12-25 | Outside Intelligence, Inc. | Method and system for aggregate content modeling |
| CN105183916A (zh) * | 2015-10-16 | 2015-12-23 | 辽宁工程技术大学 | 一种管理非结构化数据的装置和方法 |
| CN106227899A (zh) * | 2016-08-31 | 2016-12-14 | 北京京航计算通讯研究所 | 一种面向物联网大数据的存储和查询方法 |
| US20200073871A1 (en) * | 2016-11-02 | 2020-03-05 | Intelligent Operations As | A system for managing, analyzing, navigating or searching of data information across one or more sources within a computer or a computer network, without copying, moving or manipulating the source or the data information stored in the source |
| CN107798059A (zh) * | 2017-09-08 | 2018-03-13 | 中国电力科学研究院 | 一种nco气象数据结构化存储方法和装置 |
| CN111373390A (zh) * | 2017-12-12 | 2020-07-03 | 国际商业机器公司 | 在结构化框架中存储非结构化数据 |
| CN111462327A (zh) * | 2020-03-12 | 2020-07-28 | 成都飞机工业（集团）有限责任公司 | 三维造型软件三维检验模型非结构化数据解析方法 |
| CN112395292A (zh) * | 2020-11-25 | 2021-02-23 | 电信科学技术第十研究所有限公司 | 一种数据特征提取、匹配方法及装置 |
| CN112527923A (zh) * | 2020-12-17 | 2021-03-19 | 武汉联影医疗科技有限公司 | 非结构化数据存储方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114090463A (zh) * | 2022-01-20 | 2022-02-25 | 航天中认软件测评科技（北京）有限责任公司 | 基于自然语言处理技术的可定制软件测试分析评价系统 |
| CN114090463B (zh) * | 2022-01-20 | 2022-04-05 | 航天中认软件测评科技（北京）有限责任公司 | 基于自然语言处理技术的可定制软件测试分析评价系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113253685B (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111522922B (zh) | 日志信息查询方法、装置、存储介质及计算机设备 | |
| US10803394B2 (en) | Integrated monitoring and communications system using knowledge graph based explanatory equipment management | |
| CN105611330B (zh) | 智能电视维护方法、系统及一种服务器、一种移动终端 | |
| US11960443B2 (en) | Block data storage system in an event historian | |
| CN103617241B (zh) | 搜索信息处理方法、浏览器终端与服务器 | |
| CN106599017B (zh) | 安装包的扫描解析方法、装置及移动终端 | |
| WO2023168926A1 (zh) | 软件异常的确定方法、装置、存储介质及电子装置 | |
| CN101441629A (zh) | 一种非结构化网页信息的自动采集方法 | |
| CN111859127A (zh) | 消费数据的订阅方法、装置及存储介质 | |
| CN113253685B (zh) | 一种工业数据采集方法、装置、设备及介质 | |
| CN107370830B (zh) | 基于大数据的行业信息推送系统及方法 | |
| CN116055551A (zh) | 信息推送方法、装置、系统、电子设备及存储介质 | |
| CN113709187B (zh) | 多服务器的数据请求方法、装置、设备及存储介质 | |
| CN114915634A (zh) | 一种基于数据湖的工业数据采集存储系统和采集存储方法 | |
| CN106156193A (zh) | 搜索以及收藏网址的方法、浏览器、服务器和系统 | |
| US9589038B1 (en) | Attribute tracking, profiling, and recognition | |
| CN114328947A (zh) | 一种基于知识图谱的问答方法和装置 | |
| CN103532737A (zh) | 一种处理多种类型告警的方法、装置及系统 | |
| CN104166665B (zh) | 信息处理装置及其控制方法 | |
| JP2010211575A (ja) | 情報評価支援システム | |
| CN105099829A (zh) | 一种基于http协议的电子资源服务可用性自动化监测方法 | |
| CN110120918B (zh) | 一种标识解析方法及装置 | |
| CN116010388A (zh) | 数据校验方法、数据采集服务端及数据校验系统 | |
| CN112860456B (zh) | 日志处理方法和装置 | |
| CN110838338A (zh) | 生物分析项目的建立系统、方法、存储介质、及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |