CN117376417B - 数据采集方法、系统、装置、计算设备及存储介质 - Google Patents
数据采集方法、系统、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN117376417B CN117376417B CN202311682142.6A CN202311682142A CN117376417B CN 117376417 B CN117376417 B CN 117376417B CN 202311682142 A CN202311682142 A CN 202311682142A CN 117376417 B CN117376417 B CN 117376417B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- server
- acquisition
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013480 data collection Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004886 process control Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据采集方法、系统、装置、计算设备及存储介质，属于数据处理技术领域。该数据采集方法应用于外网服务器，且外网服务器配置有数据采集组件和数据转发组件，通过所述数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，所述内网服务器与所述外网服务器处于相同的局域网；通过所述数据转发组件将所述生产数据发送至云服务器，其中，所述外网服务器与所述云服务器处于相同的广域网。上述方法通过数据采集组件和数据转发组件对各类型数据进行统一采集和转发，实现了生产数据上云，不需要设置多种不同类型的网关，不仅减少了系统的配置成本，而且提高了数据采集效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据采集方法、系统、装置、计算设备及存储介质。
背景技术
在对自动化系统的生产数据进行数据采集和转发过程中，由于不同类型的设备生产的生产数据不同，不同的生产数据需要采用不同的传输协议进行数据采集和转发，因此，需要配置不同传输协议对应的网关实现数据采集和转发。但这种方式需要为配置多种不同的网关，且在网关中集成对应的传输协议，如此只要有新类型的数据，便需要增加新的网关，使得整个系统的配置成本增加，而且，在数据采集和转发时先确定网关，降低了数据采集效率。
发明内容
为此，本发明提出了一种数据采集方法，还提出了一种数据采集装置、一种计算设备和一种计算机可读存储介质，旨在至少在一定程度上解决相关技术中数据采集效率低的技术问题。
为达到上述目的，本发明第一方面实施例提出了一种数据采集方法，应用于外网服务器，外网服务器配置有数据采集组件和数据转发组件，方法包括：
通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，内网服务器与外网服务器处于相同的局域网；
通过数据转发组件将生产数据发送至云服务器，其中，外网服务器与云服务器处于相同的广域网。
根据本发明的一个实施例，通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，包括：
从内网服务器中确定业务数据点对应的目标业务；
按照采集策略，从目标业务对应的目标业务模块中采集采集数据点对应的生产数据。
根据本发明的一个实施例，通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据之前，还包括：
编写基于统一基类的线程单元模块，并在线程单元模块内根据采集数据点和采集策略为各业务模块编译库文件；
按照采集策略，从目标业务对应的目标业务模块中采集采集数据点对应的生产数据，包括：
读取目标业务模块的库文件，并启动线程单元模块的业务处理单元处理库文件，得到目标业务的生产数据。
根据本发明的一个实施例，通过数据转发组件将生产数据发送至云服务器，包括：
根据业务处理单元的运行周期和处理时长、以及各业务模块的采集数据点处理能力，确定各业务对应的转发策略；
通过数据转发组件基于各业务对应的转发策略向云服务器转发各业务的生产数据。
根据本发明的一个实施例，数据采集组件包括对象链接与嵌入的过程控制OPC组件，数据转发组件包括消息队列遥测传输MQTT组件。
为达到上述目的，本发明第二方面实施例提出了一种数据采集系统，系统包括内网服务器、外网服务器和云服务器，外网服务器配置有数据采集组件和数据转发组件；
内网服务器，用于从上位机获取生产数据存储至数据库；
外网服务器，用于通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据；通过数据转发组件将生产数据发送至云服务器，其中，内网服务器与外网服务器处于相同的局域网，外网服务器与云服务器处于相同的广域网；
云服务器，用于存储生产数据。
根据本发明的一个实施例，云服务器，还用于按照适配器开发解析规则对生产数据进行解析，并按照存储策略将解析后的生产数据存储至数据库。
为达到上述目的，本发明第三方面实施例提出了一种数据采集装置，应用于外网服务器，外网服务器配置有数据采集组件和数据转发组件，装置包括：
数据采集模块，被配置为通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，内网服务器与外网服务器处于相同的局域网；
数据转发模块，被配置为通过数据转发组件将生产数据发送至云服务器，其中，外网服务器与云服务器处于相同的广域网。
为达到上述目的，本发明第四方面实施例提出了一种计算设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，实现上述第一方面任一项所述的数据采集方法。
为达到上述目的，本发明第五方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一项所述的数据采集方法。
本发明实施例提供的数据采集方法，应用于外网服务器，外网服务器包括数据采集组件和数据转发组件，通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，该内网服务器与外网服务器处于相同的局域网；再通过数据转发组件将采集到的生产数据发送至云服务器，其中，该外网服务器与云服务器处于相同的广域网。上述方法通过数据采集组件和数据转发组件对各类型数据进行统一采集和转发，实现了生产数据上云，不需要设置多种不同类型的网关，不仅减少了系统的配置成本，而且提高了数据采集效率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是根据本发明实施例提供的一种数据采集方法的流程图；
图2是根据本发明实施例提供的一种数据采集系统的结构示意图；
图3是根据本发明实施例提供的一种数据采集装置的结构示意图；
图4是根据本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例提出的数据采集方法、系统、装置、计算设备及存储介质。
图1是根据本发明实施例提供的一种数据采集方法的流程图，该数据采集方法应用于外网服务器，可以包括如下步骤。
步骤101：通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，内网服务器与外网服务器处于相同的局域网。
在本发明实施例中，外网服务器与内网服务器处于相同的局域网，且与云服务器处于相同的广域网，因此，外网服务器可以理解为处于内网服务器和外网服务器之间的监控服务器，负责监控内网服务器中的生产数据并将生产数据转发至云服务器，实现数据上云。
根据本发明的一种实施例，生产数据可以包括生产的设备状态、生产的过程参数等生产过程中生成的数据以及生成数据所使用设备的相关数据。采集数据点可以包括采集点标识、扩展代码和数据类型，用于指示需要采集哪些数据点的生产数据，其中采集点标识也可以称为采集点名，是指在opc server中的标签名，扩展代码用于在数据库中区分采集点。
在本发明实施例中，数据采集组件包括OPC（OLE for Process Control，对象链接与嵌入的过程控制）组件，其中OLE是指Object Linking and Embedding，数据转发组件包括MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）组件。并且，可以通过有线或无线网络将数据采集组件和数据转发组件与内网服务器连接，并配置opcclient，通过该opc client外网服务器可以访问内网服务器的数据库中的数据点。
根据本发明的一个实施例，通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据的具体实现可以包括：从内网服务器中确定业务数据点对应的目标业务；按照采集策略，从目标业务对应的目标业务模块中采集采集数据点对应的生产数据。
具体实现中，内网服务器的数据库被划分为多个业务模块，每个业务模块对应一种业务，用于存储该业务对应的生产数据，且每个业务包括多个数据点，各数据点对应不同的生产数据。因此，可以根据业务数据点确定需要采集的生产数据对应的目标业务，然后确定该目标业务对应的目标业务模块，从该目标业务模块中确定采集数据点对应的生产数据，按照采集策略采集该采集数据点对应的生产数据。
作为一种示例，采集数据点、业务数据点和采集策略可以根据实际需求预先设置，并配置在内网服务器中。业务数据点可以包括业务标识，该业务标识用于唯一标识一种业务。采集策略可以包括周期性采集、差异化采集等等，其中差异化采集是采集发生变化的数据点的生产数据，对于未发生变化的数据点，可以不采集其生产数据。
本发明实施例中的业务包括报警信息、关键事件、静态数据展示、被动反馈等等。
在一些实施例中，若采集策略是差异化采集，则可以将各采集数据点对应的生产数据与各采集数据点对应的历史生产数据进行比对，确定发生变化的采集数据点，并对这些采集数据点的生产数据进行采集。
在本发明实施例中，对于使用不同协议和包括多个点位的数据，可以采用数据采集组件统一进行采集，则不用对于不同协议的数据构建不同的网关，能够提高数据采集效率。
根据本发明的一个实施例，通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据之前，还包括：
编写基于统一基类的线程单元模块，并在线程单元模块内根据采集数据点和采集策略为各业务模块编译库文件；
在该种情况下，按照采集策略，从目标业务对应的目标业务模块中采集采集数据点对应的生产数据的具体实现可以包括：
读取目标业务模块的库文件，并启动线程单元模块的业务处理单元处理库文件，得到目标业务的生产数据。
具体实现中，可以编写基于统一基类的线程单元模块，在线程单元模块内完成业务逻辑判断，并根据采集数据点和采集策略为各业务模块编译dll文件，在采集目标业务的生产数据时，读取为该目标业务对应的目标业务模块编译的dll文件，并启动线程单元模块的业务处理单元处理该dll文件，实现对目标业务中采集数据点对应的生产数据的采集。并且，该线程单元模块的业务处理单元的执行方式可以包括同步执行和异步执行，本发明实施例对此不做限定。
作为一种示例，可以在外网服务器部署一套程序，该程序访问各业务模块，根据业务数据点和采集数据点，向程序内的队列提交采集到的生产数据，程序在收集到生产数据后，在线程单元模块内使用订阅点完成数据转发。
进一步地，本方案的内网服务器可以通过OPCDA采集上位机系统中的生产数据，该上位机系统包括多种不同类型的设备，且不同类型的设备可以生产不同类型的数据，通过OPCDA可以将这些不同类型的数据同步至内网服务器。并且，还可以在内网服务器上安装数据库软件，将内网服务器作为数据采集的服务端，并在内网服务器上添加关于外网服务器各项配置的数据表。
在本发明实施例中，外网服务器使用数据采集组件采集内网服务器中的生产数据，实现了对不同协议数据的统一采集，提高了数据采集的效率。
步骤102：通过数据转发组件将生产数据发送至云服务器，其中，外网服务器与云服务器处于相同的广域网。
在本发明实施例中，数据转发组件可以是MQTT组件，外网服务器通过该MQTT组件与云服务器进行数据通信，包括订阅内容、数据点表、报警信息及控制讯号等等。
根据本发明的一个实施例，通过数据转发组件将生产数据发送至云服务器的具体实现可以包括：根据业务处理单元的运行周期和处理时长、以及各业务模块的采集数据点处理能力，确定各业务对应的转发策略；通过数据转发组件基于各业务对应的转发策略向云服务器转发各业务的生产数据。
具体实现中，业务处理单元的运行周期和处理时长可以预先配置并保存在外网服务器的数据库中，各业务模块的采集数据点处理能力是指业务模块每周期能处理的订阅点集合数量。根据运行周期、处理时长和采集数据点处理能力，可以确定各业务对应的转发策略，该转发策略可以包括转发频率，再通过数据转发组件按照各业务对应的转发策略向云服务器转发对应业务的生产数据。
根据本发明的一个实施例，各业务对应的转发策略包括订阅主题，通过数据转发组件基于各业务对应的转发策略向云服务器转发各业务的生产数据的具体实现可以包括：在接收到云服务器的订阅请求的情况下，根据订阅请求包括的订阅主题，通过数据转发组件向云服务器发送订阅主题对应的目标业务的生产数据。
具体实现中，由于数据转发组件是MQTT组件，基于MQTT的数据通信采用订阅方式实现。订阅主题可以与业务对应，如订阅主题可以是业务标识。云服务器可以向外网服务器发送订阅请求，该订阅请求包括订阅主题，外网服务器接收到订阅请求后，可以通过数据转发组件按照转发频率向云服务器发送订阅主题对应的目标业务的生产数据。云服务器接收到生产数据后，按照适配器开发解析规则对生产数据进行解析，并按照存储策略将解析后的生产数据存储至数据库。
作为一种示例，存储策略可以包括根据接收到生产数据将发生变化的采集数据点的生产数据进行更新，即根据数据的变化对数据进行存储。另外，存储策略还可以包括按照业务对生产数据进行存储，即将相同业务的生产数据存储在一起，和/或，按照数据采集时间对生产数据进行存储。
在本发明实施例中，通过数据采集组件统一采集不同类型的生产数据，并通过数据转发组件将采集到的生产数据按照数据变化转发至云服务器，实现生产数据上云，不仅提高了数据采集的效率，而且不需要设置多种不同类型的网关，减少了系统的设置成本。
图2是根据本发明实施例提供的一种数据采集系统的结构示意图，该数据采集系统包括内网服务器201、外网服务器202和云服务器203，且外网服务器配置有数据采集组件和数据转发组件；
该内网服务器，用于从上位机获取生产数据存储至数据库；
该外网服务器，用于通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据；通过数据转发组件将生产数据发送至云服务器，其中，内网服务器与外网服务器处于相同的局域网，外网服务器与云服务器处于相同的广域网；
该云服务器，用于存储生产数据。
根据本发明的一些实施例，云服务器还用于按照适配器开发解析规则对生产数据进行解析，并按照存储策略将解析后的生产数据存储至数据库。
具体实现中，该数据采集系统还包括上位机204，外网服务器202和云服务器203之间还配置了网关205，用于进行数据传输。内网服务器201通过opcda从上位机204中采集原有的生产数据（scada数据）到采集软件，再由外网服务器202使用opcua通过数据采集组件opc从内网服务器201采集生产数据，外网服务器202接收到生产数据后，通过数据转发组件mqtt将生产数据发送至网关205，由网关205将生产数据转发至云服务器203。并且，可以将该数据采集系统划分为数据采集层、数据转发层和数据接收层，数据采集层包括内网服务器201和上位机204，数据转发层包括外网服务器202，数据接收层包括云服务器203。
在一些实施例中，该数据采集系统可以包括实时数据同步模块、opc数据采集模块、数据分发模块、实时数据存储模块、mqtt数据转发模块和数据接收模块。该实时数据同步模块部署在内网服务器201，负责同步上位机中的实时数据，opc数据采集模块部署在外网服务器202上，负责采集采集内网服务器201中的生产数据，数据分发模块部署在外网服务器202上，负责将生产数据与报警数据根据分发设置实时转发到实时数据库存储模块，实时数据库存储模块部署在外网服务器上202上，负责根据存储配置将采集数据点的生产数据按照数据变化存储到数据库，mqtt数据转发模块部署在外网服务器202上，负责采用订阅发布模式与云端服务器203进行数据交互，根据请求将数据发布到订阅端，数据接收模块部署在云端服务器203，属于相应适配器组件。
需要说明的是，本发明实施例中内网服务器、外网服务器和云端服务器执行的操作可以参见上述实施例的相关描述，本实施例对此不再赘述。
本发明实施例提供的数据采集方法，通过数据采集组件统一采集不同类型的生产数据，并通过数据转发组件将采集到的生产数据按照数据变化转发至云服务器，实现生产数据上云，不仅提高了数据采集的效率，而且不需要设置多种不同类型的网关，减少了系统的设置成本。
图3是根据本发明实施例提供的一种数据采集装置的结构示意图，该数据采集装置应用于外网服务器，且外网服务器配置有数据采集组件和数据转发组件，该装置包括：
数据采集模块301，被配置为通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，内网服务器与外网服务器处于相同的局域网；
数据转发模块302，被配置为通过数据转发组件将生产数据发送至云服务器，其中，外网服务器与云服务器处于相同的广域网。
根据本发明的一个实施例，数据采集模块301，进一步被配置为：
从内网服务器中确定业务数据点对应的目标业务；
按照采集策略，从目标业务对应的目标业务模块中采集采集数据点对应的生产数据。
根据本发明的一个实施例，数据采集模块301，进一步被配置为：
编写基于统一基类的线程单元模块，并在线程单元模块内根据采集数据点和采集策略为各业务模块编译库文件；
读取目标业务模块的库文件，并启动线程单元模块的业务处理单元处理库文件，得到目标业务的生产数据。
根据本发明的一个实施例，数据转发模块302，被配置为：
根据业务处理单元的运行周期和处理时长、以及各业务模块的采集数据点处理能力，确定各业务对应的转发策略；
通过数据转发组件基于各业务对应的转发策略向云服务器转发各业务的生产数据。
根据本发明的一个实施例，各业务对应的转发策略包括订阅主题，数据转发模块302，被配置为：
通过数据转发组件，基于各业务对应的转发策略将各业务的生产数据发送至数据转发网关；
在接收到云服务器的订阅请求的情况下，根据订阅请求包括的订阅主题，向云服务器发送订阅主题对应的目标业务的生产数据。
根据本发明的一个实施例，数据采集组件包括对象链接与嵌入的过程控制OPC组件，数据转发组件包括消息队列遥测传输MQTT组件。
应用本发明实施例提供的数据采集方法，通过外网服务器的数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，该内网服务器与外网服务器处于相同的局域网；再通过外网服务器的数据转发组件将采集到的生产数据发送至云服务器，其中，该外网服务器与云服务器处于相同的广域网。上述方法通过数据采集组件和数据转发组件对各类型数据进行统一采集和转发，实现了生产数据上云，不需要设置多种不同类型的网关，不仅减少了系统的配置成本，而且提高了数据采集效率。
上述为本发明实施例的一种数据采集装置的示意性方案。需要说明的是，该数据采集装置的技术方案与上述数据采集方法的技术方案属于同一构思，数据采集装置的技术方案未详细描述的细节内容，均可以参见上述数据采集方法的技术方案的描述。
图4是根据本发明实施例提供的一种计算设备的结构示意图。该计算设备400包括：存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序，该处理器402执行所述计算机程序时，实现如上述任一实施例提出的一种数据采集方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例提出的一种数据采集方法。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM，Random Access Memory），只读存储器（ROM，Read-Only Memory），可擦除可编辑只读存储器（EPROM，Erasable Programmable Read-Only Memory或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM，Compact Disk Read Only Memory）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA，Programmable Gate Array），现场可编程门阵列（FPGA，Field Programmable Gate Array）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种数据采集方法，其特征在于，应用于外网服务器，所述外网服务器配置有数据采集组件和数据转发组件，所述方法包括：
通过所述数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，所述内网服务器与所述外网服务器处于相同的局域网，所述生产数据由所述内网服务器通过OPCDA从上位机系统中采集；
根据业务处理单元的运行周期和处理时长、以及各业务模块的采集数据点处理能力，确定各业务对应的转发策略，其中，各业务数据的转发策略包括与所述业务对应的订阅主题；在接收到云服务器的订阅请求的情况下，根据订阅请求包括的订阅主题，通过数据转发组件按照转发频率向云服务器发送订阅主题对应的目标业务的生产数据，其中，所述外网服务器与所述云服务器处于相同的广域网；
其中，所述通过所述数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，包括：
通过所述数据采集组件，从所述内网服务器中确定所述业务数据点对应的目标业务；
按照所述采集策略，从所述目标业务对应的目标业务模块中采集所述采集数据点对应的生产数据；
其中，所述通过所述数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据之前，还包括：
编写基于统一基类的线程单元模块，并在所述线程单元模块内完成业务逻辑判断，根据所述采集数据点和所述采集策略为各业务模块编译库文件；
所述按照所述采集策略，从所述目标业务对应的目标业务模块中采集所述采集数据点对应的生产数据，包括：
读取为所述目标业务对应的目标业务模块编译的库文件，并启动所述线程单元模块的业务处理单元处理所述库文件，得到所述目标业务的生产数据。
2.根据权利要求1所述的数据采集方法，其特征在于，所述数据采集组件包括对象链接与嵌入的过程控制OPC组件，所述数据转发组件包括消息队列遥测传输MQTT组件。
3.一种数据采集系统，其特征在于，所述系统包括内网服务器、外网服务器和云服务器，所述外网服务器配置有数据采集组件和数据转发组件；
所述内网服务器，用于通过OPCDA从上位机系统获取生产数据存储至数据库；
所述外网服务器，用于通过所述数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据；根据业务处理单元的运行周期和处理时长、以及各业务模块的采集数据点处理能力，确定各业务对应的转发策略，其中，各业务数据的转发策略包括与所述业务对应的订阅主题；在接收到云服务器的订阅请求的情况下，根据订阅请求包括的订阅主题，通过数据转发组件按照转发频率向云服务器发送订阅主题对应的目标业务的生产数据，其中，所述内网服务器与所述外网服务器处于相同的局域网，所述外网服务器与所述云服务器处于相同的广域网；
所述云服务器，用于存储所述生产数据；
其中，所述外网服务器还用于：
通过所述数据采集组件，从所述内网服务器中确定所述业务数据点对应的目标业务；
按照所述采集策略，从所述目标业务对应的目标业务模块中采集所述采集数据点对应的生产数据；
所述外网服务器还用于：
编写基于统一基类的线程单元模块，并在所述线程单元模块内完成业务逻辑判断，根据所述采集数据点和所述采集策略为各业务模块编译库文件；
读取为所述目标业务对应的目标业务模块编译的库文件，并启动所述线程单元模块的业务处理单元处理所述库文件，得到所述目标业务的生产数据。
4.根据权利要求3所述的数据采集系统，其特征在于，所述云服务器，还用于按照适配器开发解析规则对所述生产数据进行解析，并按照存储策略将解析后的生产数据存储至数据库。
5.一种数据采集装置，其特征在于，应用于外网服务器，所述外网服务器配置有数据采集组件和数据转发组件，所述装置包括：
数据采集模块，被配置为通过数据采集组件，根据预先配置的采集数据点、业务数据点和采集策略从内网服务器中采集生产数据，其中，所述内网服务器与所述外网服务器处于相同的局域网，所述生产数据由所述内网服务器通过OPCDA从上位机系统中采集；
数据转发模块，被配置为根据业务处理单元的运行周期和处理时长、以及各业务模块的采集数据点处理能力，确定各业务对应的转发策略，其中，各业务数据的转发策略包括与所述业务对应的订阅主题；在接收到云服务器的订阅请求的情况下，根据订阅请求包括的订阅主题，通过数据转发组件按照转发频率向云服务器发送订阅主题对应的目标业务的生产数据，其中，所述外网服务器与所述云服务器处于相同的广域网；
其中，所述数据采集模块，进一步被配置为：
通过所述数据采集组件，从所述内网服务器中确定所述业务数据点对应的目标业务；
按照所述采集策略，从所述目标业务对应的目标业务模块中采集所述采集数据点对应的生产数据；
其中，所述数据采集模块，进一步被配置为：
编写基于统一基类的线程单元模块，并在所述线程单元模块内完成业务逻辑判断，根据所述采集数据点和所述采集策略为各业务模块编译库文件；
读取为所述目标业务对应的目标业务模块编译的库文件，并启动所述线程单元模块的业务处理单元处理所述库文件，得到所述目标业务的生产数据。
6.一种计算设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-2中任一项所述的数据采集方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一项所述的数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311682142.6A CN117376417B (zh) | 2023-12-08 | 2023-12-08 | 数据采集方法、系统、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311682142.6A CN117376417B (zh) | 2023-12-08 | 2023-12-08 | 数据采集方法、系统、装置、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117376417A CN117376417A (zh) | 2024-01-09 |
| CN117376417B true CN117376417B (zh) | 2024-03-05 |
Family
ID=89389650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311682142.6A Active CN117376417B (zh) | 2023-12-08 | 2023-12-08 | 数据采集方法、系统、装置、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117376417B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882745A (zh) * | 2012-09-29 | 2013-01-16 | 摩卡软件(天津)有限公司 | 一种用于监控业务服务器的方法和装置 |
| CN103001824A (zh) * | 2012-11-14 | 2013-03-27 | 北京奇虎科技有限公司 | 一种监控多台服务器的监控系统及监控方法 |
| CN103037019A (zh) * | 2013-01-07 | 2013-04-10 | 北京华胜天成科技股份有限公司 | 一种基于云计算的分布式数据采集系统及方法 |
| CN104967667A (zh) * | 2015-05-27 | 2015-10-07 | 国家计算机网络与信息安全管理中心 | 一种基于云服务的软件稳定性测试远程监控系统 |
| CN108881470A (zh) * | 2018-07-06 | 2018-11-23 | 山东中瑞新能源科技有限公司 | 一种数据远传监控系统及其实现方法 |
| CN109451021A (zh) * | 2018-11-09 | 2019-03-08 | 吾诺瑟斯科技(天津)有限公司 | 物联网边缘侧多异构网络接入系统与接入方法 |
| CN110430169A (zh) * | 2019-07-15 | 2019-11-08 | 华中科技大学 | 一种工业采集模块连接mqtt云服务器的方法 |
| CN111741088A (zh) * | 2020-06-09 | 2020-10-02 | 福州富昌维控电子科技有限公司 | 一种分布式数据交互系统及方法 |
| CN112230064A (zh) * | 2020-10-16 | 2021-01-15 | 深圳市海能达通信有限公司 | 一种esd智能监控系统 |
| WO2021184586A1 (zh) * | 2020-03-18 | 2021-09-23 | 平安科技（深圳）有限公司 | 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质 |
| CN114500645A (zh) * | 2021-12-30 | 2022-05-13 | 兰州乐智教育科技有限责任公司 | 数据采集系统及数据采集方法 |
| CN115515169A (zh) * | 2022-11-22 | 2022-12-23 | 天津通信广播集团有限公司 | 一种工业数据采集网关的数据转发方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230164043A1 (en) * | 2021-11-21 | 2023-05-25 | Veego Software Ltd. | Service application detection |
-
2023
- 2023-12-08 CN CN202311682142.6A patent/CN117376417B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882745A (zh) * | 2012-09-29 | 2013-01-16 | 摩卡软件(天津)有限公司 | 一种用于监控业务服务器的方法和装置 |
| CN103001824A (zh) * | 2012-11-14 | 2013-03-27 | 北京奇虎科技有限公司 | 一种监控多台服务器的监控系统及监控方法 |
| CN103037019A (zh) * | 2013-01-07 | 2013-04-10 | 北京华胜天成科技股份有限公司 | 一种基于云计算的分布式数据采集系统及方法 |
| CN104967667A (zh) * | 2015-05-27 | 2015-10-07 | 国家计算机网络与信息安全管理中心 | 一种基于云服务的软件稳定性测试远程监控系统 |
| CN108881470A (zh) * | 2018-07-06 | 2018-11-23 | 山东中瑞新能源科技有限公司 | 一种数据远传监控系统及其实现方法 |
| CN109451021A (zh) * | 2018-11-09 | 2019-03-08 | 吾诺瑟斯科技(天津)有限公司 | 物联网边缘侧多异构网络接入系统与接入方法 |
| CN110430169A (zh) * | 2019-07-15 | 2019-11-08 | 华中科技大学 | 一种工业采集模块连接mqtt云服务器的方法 |
| WO2021184586A1 (zh) * | 2020-03-18 | 2021-09-23 | 平安科技（深圳）有限公司 | 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质 |
| CN111741088A (zh) * | 2020-06-09 | 2020-10-02 | 福州富昌维控电子科技有限公司 | 一种分布式数据交互系统及方法 |
| CN112230064A (zh) * | 2020-10-16 | 2021-01-15 | 深圳市海能达通信有限公司 | 一种esd智能监控系统 |
| CN114500645A (zh) * | 2021-12-30 | 2022-05-13 | 兰州乐智教育科技有限责任公司 | 数据采集系统及数据采集方法 |
| CN115515169A (zh) * | 2022-11-22 | 2022-12-23 | 天津通信广播集团有限公司 | 一种工业数据采集网关的数据转发方法 |
Non-Patent Citations (1)
| Title |
|---|
| 任炳宇 ; .基于边缘计算技术的实时数据管理网关.电子世界.2020,(第16期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117376417A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109164783A (zh) | 车辆诊断方法、装置、设备及介质 | |
| Chu et al. | Open sensor web architecture: Core services | |
| CN111258722A (zh) | 一种集群的日志采集方法、系统、设备以及介质 | |
| CN112989330B (zh) | 容器的入侵检测方法、装置、电子设备及存储介质 | |
| KR102328938B1 (ko) | 전자 시스템들에서의 로그 데이터의 관리 | |
| CN112804362B (zh) | 分散数据微服务自动化运维体系 | |
| CN107864143B (zh) | 自演进的高效的代理资源供应系统及方法 | |
| US20090031011A1 (en) | Device management system and method for setting configuration-valve therein | |
| CN116233164A (zh) | 用于采集设备数据的方法、装置、存储介质及处理器 | |
| CN114363222A (zh) | 一种基于Netconf协议的网络设备巡检方法和系统 | |
| CN112286757A (zh) | 数据同步的监控方法、装置、电子设备及存储介质 | |
| CN114338419B (zh) | 一种IPv6全球组网边缘节点监测及预警方法及系统 | |
| US20090313506A1 (en) | Test Result Aggregation and Analysis Using Text Expressions | |
| CN117376417B (zh) | 数据采集方法、系统、装置、计算设备及存储介质 | |
| CN112702441B (zh) | 基于容器的访问数据处理方法、装置、系统及存储介质 | |
| CN112333758B (zh) | 电视网关系统的稳定性监测管理方法、系统及应用 | |
| JP2003233417A (ja) | データ通信装置とその方法、およびデータ通信プログラムとそのプログラムを記録した記録媒体 | |
| CN115987963A (zh) | 一种车辆数据上传方法、无线网联控制器及系统 | |
| CN109684158A (zh) | 分布式协调系统的状态监控方法、装置、设备及存储介质 | |
| CN111506480B (zh) | 集群中组件的状态检测方法、装置和系统 | |
| CN115250269B (zh) | 一种文件分配方法及装置、存储介质及电子设备 | |
| CN118041761A (zh) | 一种设备自动采集方法、系统、装置与介质 | |
| CN115952052A (zh) | 一种数据采集方法、装置、设备及存储介质 | |
| CN117555584A (zh) | 接口配置及调用方法、装置、设备及存储介质 | |
| CN116028563A (zh) | 一种基于opc ua的数据资产管理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |