CN111767039B - 基于脚本文件的工业采集网关及数据采集方法 - Google Patents

基于脚本文件的工业采集网关及数据采集方法 Download PDF

Info

Publication number
CN111767039B
CN111767039B CN202010606488.8A CN202010606488A CN111767039B CN 111767039 B CN111767039 B CN 111767039B CN 202010606488 A CN202010606488 A CN 202010606488A CN 111767039 B CN111767039 B CN 111767039B
Authority
CN
China
Prior art keywords
data
sensor
acquisition
instruction
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010606488.8A
Other languages
English (en)
Other versions
CN111767039A (zh
Inventor
向泽君
陈翰新
王大涛
滕德贵
明镜
何德平
胡波
张恒
李超
袁长征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute Of Surveying And Mapping Science And Technology Chongqing Map Compilation Center
Original Assignee
Chongqing Survey Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Survey Institute filed Critical Chongqing Survey Institute
Priority to CN202010606488.8A priority Critical patent/CN111767039B/zh
Publication of CN111767039A publication Critical patent/CN111767039A/zh
Application granted granted Critical
Publication of CN111767039B publication Critical patent/CN111767039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • G06F13/387Information transfer, e.g. on bus using universal interface adapter for adaptation of different data processing systems to different peripheral devices, e.g. protocol converters for incompatible systems, open system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

本发明提供一种基于脚本文件的工业采集网关数据采集方法,包括以下步骤:S1.新建数据采集进程,从远程服务器下载传感器数据采集脚本文件;S2.获取传感器控制采集指令序列;S3.依次向传感器发送控制采集指令,完成传感器的控制与数据采集,获取传感器返回数据;S4.校核传感器返回数据是否符合期望字符串,并解析传感器返回数据,将原始数据标准化输出;S5.将传感器原始数据、数据采集状态位存储至本地数据库;S6.计算获取成果数据并存储在本地数据库;S7.重复步骤S2至S6,遍历传感器列表中的所有传感器,把多个成果数据数组打包保存至指定路径并上报至远程服务器;本发明通过编写传感器脚本文件的方式降低了不同协议传感器数据采集代码开发的复杂度。

Description

基于脚本文件的工业采集网关及数据采集方法
技术领域
本发明涉及数据信息传输技术领域,具体涉及一种基于脚本文件的工业采集网关及数据采集方法。
背景技术
在建筑体施工与运营的过程中,需要对建筑体结构的进行监测,以保证其安全性。判断建筑体结构是否安全,涉及到对压力、收敛、沉降、倾斜、环境等多种物理量的监测,需要使用多种不同类型的传感器,将监测物理信号变化量转换为电信号变化量,由采集网关进行数据采集、本地存储与预处理后,发送至远程服务器,实现对建筑体结构健康状态的感知。
但是,市场上现有结构安全监测传感器的通信协议没有统一的规范,大部分厂商采用自定义协议实现对传感器的控制与数据采集。通信协议不一致导致了采集网关与传感器之间的兼容性问题,不同厂商生产的采集网关只能实现对自有传感器的数据采集。当采集网关需要接入其它厂商不同通信协议的传感器时,需对采集网关进行定制开发,降低了采集网关的兼容性。
由于各厂商采集网关的操作系统、开发环境与开发语言不同,导致在采集网关采集程序的定制开发中增加了对技术人员的要求。此外,采集网关的定制开发还需技术人员综合考虑现场传感器采集工作中节点故障、数据异常、网络异常等状况下的处理机制,逻辑复杂,开发代码量大,容易出错,使用不便。
发明内容
针对上述缺陷,本发明提出了一种基于脚本文件的工业采集网关及数据采集方法,以解决不同通信协议的传感器数据采集中,代码开发工作量大,使用不便的技术问题。
本发明采用的技术方案是:
第一方面,一种基于脚本文件的工业采集网关数据采集方法,包括以下步骤:
S1.新建数据采集进程,从远程服务器下载传感器列表中多个传感器的数据采集脚本文件;脚本文件中包括指令生成模块、数据解析模块和预处理计算模块;
S2.数据采集进程通过指令生成模块,获取传感器的控制采集指令序列;
S3.数据采集进程按照控制采集指令的序列号,依次向传感器发送控制采集指令,完成传感器的控制与数据采集,并获取传感器返回数据;
S4.数据采集进程通过数据解析模块,校核传感器返回数据是否符合期望字符串;根据校核结果设置数据采集状态位,并解析传感器返回数据,将原始数据标准化输出;
S5.数据采集进程将传感器原始数据、数据采集状态位存储至本地数据库;
S6.数据采集进程通过预处理计算模块,读取原始数据和计算参数,通过计算获取成果数据,并将成果数据存储在本地数据库;
S7.重复步骤S2至步骤S6,遍历传感器列表中的所有传感器;把多个成果数据打包生成数据成果文件,并将数据成果文件按时间命名后,保存至指定路径的文件夹下,由数据上报进程将数据成果文件上报至远程服务器。
进一步的,指令生成模块包括传感器指令描述表、指令组合函数和指令序列标准化输出函数;
指令组合函数根据传感器指令描述表,结合用户输入的传感器标识号,组合字符串生成传感器的控制采集指令序列;通过指令序列标准化输出函数将生成的指令序列以标准化格式输出。
进一步的,数据解析模块包括原始数据描述表、原始数据解析函数和原始数据标准化输出函数;
原始数据解析函数对传感器的返回数据进行校验;当数据校验正常时,将传感器数据状态位置位,并返回解析的传感器原始数据,当数据校验异常时,将传感器数据状态位置零;通过原始数据标准化输出函数将传感器原始数据以标准化格式输出。
进一步的,预处理计算模块包括成果数据描述表、成果数据处理函数和成果数据标准化输出函数;
成果数据处理函数按照原始数据个数、计算参数个数从数据库中读取原始数据、计算参数,经计算后输出成果数据,通过成果数据标准化输出函数将成果数据以标准化格式输出。
进一步的,数据采集脚本文件,由用户根据传感器厂家定义的指令协议和脚本文件模板进行编写,并上传至远程服务器的指定工作目录下。
进一步的,传感器列表由用户在远程服务器上通过Web页面在工业采集网关的本地数据库录入传感器类型、传感器标识号和预处理参数信息,形成传感器列表。
进一步的,数据采集脚本文件包括但不限于Shell脚本、Python脚本、Lua脚本。
进一步的,在步骤S6后还包括以下步骤:
S61.数据采集进程根据用户设置选择异常数据判断方法,异常数据判断方法包括阈值分析法、关联传感器协同分析法和均值分析法;
S62.对于传感器采集数据为异常数据的,数据采集进程按步骤2至步骤6进行一次冗余采集,以后一次采集的数据为准;
S63.当异常数据出现频次达到预设值时,数据采集进程置位数据库中预警标识位,并将预警信息发送至远程服务器,由远程服务器根据用户参数设置选择预警方式进行预警。
第二方面,本发明提供一种使用权利要求1所述方法的工业采集网关,包括主控板、接口板和数据采集软件;
主控板与远程服务器建立通信连接,主控板与接口板连接,并通过接口板建立与传感器的连接;
接口板与传感器相连接,主控板通过接口板完成对传感器的控制与数据采集;
数据采集软件包括数据采集进程、数据上报进程、状态监控进程,数据采集进程、数据上报进程和状态监控进程安装于主控板的操作系统中;
数据采集进程通过脚本文件完成传感器指令序列的生成、传感器返回数据的解析与原始采集数据的预处理计算,并进行异常数据的判断,将成果数据存储至本地数据库中;
数据上报进程定时检测数据成果的本地存储目录,当存储目录中存在未上报数据成果文件时,将其上传至远程服务器,并将该文件转存至外置SD卡指定目录下;
状态监控进程,通过消息队列建立与数据采集进程、数据上报进程的进程间通信,监控进程的运行状态;在进程出现异常时,重启对应进程或操作系统。
由上述技术方案可知,本发明的有益技术效果如下:
1.通过编写脚本的方式实现协议不同传感器的接入,降低了代码编写的复杂度,提高了采集网关的兼容性与可靠性。用户只需按照传感器协议对脚本模板进行修改,即可完成该类型传感器的接入,便于具有一定技术基础的用户二次开发应用。
2.采集网关对传感器成果数据进行校验分析,避免将异常数据上传到远程服务器。
3.当异常数据频次达到预设值时,采集网关将异常信息上传至远程服务器,通知工作人员查看并解决异常。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明的网关进行数据采集的方法流程图。
图2为本发明的数据采集进程与脚本进程交互图。
图3为本发明脚本文件的指令生成模块工作流程图。
图4为本发明脚本文件的数据解析模块工作流程图。
图5为本发明脚本文件的预处理计算模块工作流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
如图1和图2所示,本发明提供一种基于脚本文件的工业采集网关数据采集方法,包括以下步骤:
S1.新建数据采集进程,从远程服务器下载传感器列表中多个传感器的数据采集脚本文件;脚本文件中包括指令生成模块、数据解析模块和预处理计算模块;
S2.数据采集进程通过指令生成模块,获取传感器的控制采集指令序列;
S3.数据采集进程按照控制采集指令的序列号,依次向传感器发送控制采集指令,完成传感器的控制与数据采集,并获取传感器返回数据;
S4.数据采集进程通过数据解析模块,校核传感器返回数据是否符合期望字符串;根据校核结果设置数据采集状态位,并解析传感器返回数据,将原始数据标准化输出;
S5.数据采集进程将传感器原始数据、数据采集状态位存储至本地数据库;
S6.数据采集进程通过预处理计算模块,读取原始数据和计算参数,通过计算获取成果数据,并将成果数据存储在本地数据库;
S7.重复步骤S2至步骤S6,遍历传感器列表中的所有传感器;把多个成果数据打包生成数据成果文件,并将数据成果文件按时间命名后,保存至指定路径的文件夹下,由数据上报进程将数据成果文件上报至远程服务器。
以下对实施例1工作原理进行详细说明:
在对建筑体结构进行健康监测的过程中,当增加新类型传感器或将传感器更换为不同生产厂商的时候,采集网关将面临通信协议不同的传感器接入问题,无法通过配置实现采集网关对传感器的数据采集功能。比如,A厂商生产的位移传感器为Modbus通信协议,通过频率与温度换算出位移变化量,B厂商生产的位移传感器为自定义通信协议,通过输出的电压信号量线性换算出位移变化量,两种裂缝传感器控制与采集的指令协议不一致。实际应用中,工业采集网关需要结合位移传感器的通信协议编写代码,实现对传感器位移变化量的采集。
在使用工业采集网关前要进行参数配置,由用户通过Web页面在工业采集网关的本地数据库录入传感器类型、传感器ID号、预处理参数等信息,形成传感器列表。
在本实施例中,工业采集网关可以通过有线或无线建立与远程服务器连接,考虑到结构健康监测系统传感器数据传输带宽、工程现场网络覆盖状况以及通信模块的成本,优选使用工程现场电信运营商提供的无线数据通信方式。
用户在远程服务器上,先根据各传感器厂家定义的通信协议,和本发明提供的脚本文件模板,编写传感器数据采集脚本,并放置于远程服务器指定工作目录下。本实施例以振弦式应力传感器和倾斜传感器为例,在远程服务器指定工作目录下放置应力传感器、倾斜传感器数据采集脚本。
主控板上移植嵌入式Linux操作系统,并安装有数据采集软件。当工业采集网关进行新类型传感器的数据采集时,数据采集软件按以下步骤进行工作:
1.新建数据采集进程,从远程服务器下载传感器列表中各类型传感器的数据采集脚本文件;
数据采集软件新建一个采集进程,打开本地数据库,读取传感器列表,得到目前工业采集网关连接的传感器类型、个数等信息;然后从远程服务器下载对应该传感器类型的数据采集脚本文件,存在本地指定目录下。在本实施中,以工业采集网关连接的传感器类型为压力传感器和倾斜传感器为例,传感器个数为N,从远程服务器下载的脚本文件包括两种,分别为压力传感器数据采集脚本、倾斜传感器数据采集脚本。
在本实施例中,传感器数据采集的脚本文件包括指令生成模块、数据解析模块和预处理计算模块。
指令生成模块包括传感器指令描述表、指令组合函数和指令序列标准化输出函数。用户定义的传感器指令描述表由指令个数、字符串类型、指令类型数组、指令关键字数组、指令参数数组、响应时长数组、控制指令期望字符数组等组成。如图3所示,指令生成模块在运行时,由指令组合函数根据传感器指令描述表,结合用户输入的传感器标识号,组合字符串生成传感器的控制指令序列。通过指令序列标准化输出函数将生成的指令序列以标准化格式输出。
数据解析模块包括原始数据描述表、原始数据解析函数和原始数据标准化输出函数。用户定义的原始数据描述表由指令类型数组、原始数据个数数组、期望响应数组、故障代码数组等组成。如图4所示,数据解析模块在运行时,由原始数据解析函数对传感器的采集数据进行校核;当传感器数据校核正常时,设置传感器数据状态位为1,并返回传感器解析数据,通过原始数据标准化输出函数将传感器返回数据以标准化格式输出;当传感器数据校核异常时,设置传感器状态位为0,并返回故障代码,通过原始数据标准化输出函数以标准化格式输出。
预处理计算模块包括成果数据描述表、成果数据处理函数和成果数据标准化输出函数。成果数据描述表包括原始数据个数、计算参数个数。如图5所示,预处理计算模块在运行时,由成果数据处理函数按照原始数据个数、计算参数个数依次读取原始数据、计算参数,经计算后输出成果数据。通过成果数据标准化输出函数将成果数据以标准化格式输出。
2.数据采集进程通过指令生成模块,获取传感器的控制采集指令序列;
首先,数据采集进程读取传感器列表中第一个传感器的型号和标识号,比如:第1个传感器是某品牌的压力传感器。数据采集进程将命令获取标识头、该压力传感器标识号封装为指令请求帧。
数据采集进程根据该压力传感器的型号,打开所对应的压力传感器数据采集脚本。数据采集程序在后台新建一个进程,即运行脚本文件指令生成模块的第一进程,导入指令请求帧。第一进程根据指令请求帧中的压力传感器标识号,导出控制采集指令序列,然后关闭第一进程。控制采集指令序列包括指令字符类型、响应等待时长、期望字符数组等信息,定义了在传感器进行数据采集时,数据采集进程要发送的控制采集指令及指令参数。在本实施例中,以压力传感器的控制采集指令序列为例说明,数据采集进程需要对压力传感器完成的控制指令包括:开机指令、关机指令、数据采集指令。控制采集指令序列由标识号、指令类型(温度采集、压力采集、参数设置)、指令参数(通道号)组成,并采用ASCII码通信方式。用户通过脚本文件中指令描述表关键字段的配置,完成对指令描述表的定制化生成。
3.数据采集进程按照控制采集指令的序列号,依次向传感器发送控制采集指令,完成传感器的控制与数据采集,并获取传感器返回数据;
数据采集进程根据第一进程导出的控制采集指令序列的序列号,通过用户配置通信接口参数及指令字符类型,依次向传感器发送控制采集指令,并结合响应等待时长、指令类型标识、期望响应字符等参数获取传感器返回数据。
在本实施例中,数据采集进程向传感器发送控制采集指令后,按响应等待时长等待压力传感器返回数据。当在规定的等待时间内,数据采集进程接收到传感器返回数据,根据指令类型标识校验传感器返回数据是否满足期望响应字符要求。当在规定的等待时间内,数据采集进程未接收到传感器返回数据,传感器数据采集异常,结束该次采集工作。其中,指令类型标识包括控制指令标识、采集指令标识两种,当数据采集进程发送指令为控制指令标识的,需将传感器返回数据与期望响应字符进行比对,满足要求时可进行下一指令的发送,不满足要求时终止本次采集工作;当数据采集进程发送指令为采集指令标识的,保存传感器返回数据。比如,压力传感器开机指令、关机指令为控制指令标识,期望响应字符为“OK”,当响应字符返回为“OK”时,表明传感器采集工作运行正常,进行下一指令的发送;当响应字符返回为“FAIL”时,表明传感器采集工作异常,终止本次采集工作,并返回错误代码。
4.数据采集进程通过数据解析模块,校核传感器返回数据是否符合期望字符串,根据校核结果设置数据采集状态位,并解析传感器返回数据,将原始数据标准化输出;
数据采集进程将采集指令序号、传感器返回数据、解析命令标识符封装成解析请求帧,并在后台新建进程,即运行脚本文件数据解析模块的第二进程,导入解析请求帧。第二进程根据解析请求帧中的指令序列、传感器返回数据、解析命令标识符,导出原始数据,然后关闭第二进程。数据解析脚本根据期望响应数组检验传感器采集返回数据是否满足要求,当采集数据满足期望数组要求时,置位指令标识位;当采集数据不满足期望数组时,根据故障代码数组返回故障代码,并置零指令标识位。
由于不同的传感器,采集到的原始数据格式不一致,不符合后续步骤进行存储、计算、传输的标准化要求,第二进程需要对传感器返回数据进行标准化处理,使数据采集进程获得标准化输出数据。
5.数据采集进程将标准化输出数据、传感器返回数据的采集状态存储至本地数据库;
对于标准化输出数据,先由数据采集进程将标准化输出数据、数据采集状态存储至本地数据库,供后续数据预处理调用。
6.数据采集进程通过预处理计算模块,获取成果数据,并将成果数据存储在本地数据库;
首先,采集进程在本地数据库中,读取该压力传感器所对应的、预设好的预处理标识位、预处理参数;然后,根据预处理标识位判定是否需要进行数据预处理,如果不需要原始数据预处理,则完成该传感器的数据采集;如果需要进行预处理,采集进程按照成果数据描述表中原始数据个数、计算参数个数依次读取传感器原始数据,计算参数,将压力传感器的标准化输出数据、预处理参数、预处理命令标识符封装成数据预处理请求帧。
数据采集程序在后台新建一个进程,即运行脚本文件预处理计算模块的第三进程,导入数据预处理请求帧。第三进程根据数据预处理请求帧中的标准化输出数据、预处理参数、预处理命令标识符,导出成果数据数组,然后关闭第三进程。
预处理由用户根据需求自行定义,主要根据传感器计算公式,包括加、减、乘、除、开方、阶乘、对数等运算,结合标准化输出数据计算出成果数据。比如,标准化输出数据是频率和温度,成果数据就是由温度修正和频率计算对应的位移值。
7.重复步骤S2至步骤S6,遍历传感器列表中的所有传感器;把多个成果数据打包生成数据成果文件,并将数据成果文件按时间命名后,保存至指定路径的文件夹下,由数据上报进程将数据成果文件上报至远程服务器;
采集进程在完成了第一个压力传感器的数据采集工作后,将步骤6获取的成果数据数组暂存在本地数据库中。
然后采集进程依顺次选择传感器列表中的第2个传感器、第3个传感器,…,第N个传感器的数据采集,分别按步骤2到步骤6进行数据采集,直至完成N个传感器的数据采集。然后数据采集进程对传感器采集成功的次数进行统计,并把各个传感器数据采集对应获取的多个成果数据数组,打包生成数据成果文件,上传至远程服务器,完成本次数据采集工作。
按照实施例1中的所述方法,通过编写传感器脚本的方式,降低了代码编写的复杂度与对开发人员的技术要求。开发人员只需按照脚本定义的模板进行修改,即可完成对该类型传感器的数据采集,便于具有一定技术基础的用户二次开发应用。在本实施例中,脚本文件包括但不限于Shell脚本、Python脚本、Lua脚本。用户通过指令生成脚本、协议解析脚本、预处理计算脚本实现对传感器的数据采集、数据解析与预处理功能,提高采集网关对多类型传感器的兼容性。实际使用中,用户只需参照脚本模版编写脚本即可完成传感器的接入,降低开发人员的技术难度,提高采集网关对不同通信协议传感器的兼容性。
实施例2
在实际进行数据采集时,可能会因工程现场环境干扰、传感器故障、信号传输扰动,造成传感器数据采集错误。为避免将错误的数据上传到远程服务器,在实施例1的基础上进一步优化,在实施例1的步骤6“数据采集进程通过预处理计算模块,获取成果数据,并将成果数据存储在本地数据库”的后面新增以下步骤:
a.数据采集进程根据用户设置选择异常数据判断方法,所述异常数据判断方法包括阈值分析法、协同分析法和均值分析法;
b.对于传感器采集数据为异常数据的,数据采集进程按步骤2至步骤6进行一次冗余采集,以后一次采集的数据为准;
c.当异常数据出现频次达到预设值时,数据采集进程置位数据库中异常标识位,并将异常信息发送至远程服务器,由远程服务器根据用户设置选择对应的异常处理方式;
在本实施例中,阈值分析法是指通过传感器采集数据及其变化速率与用户设置的阈值上下限进行比较,判断数据异常状态的分析方法;如果采集数据及其变化速率在阈值区间内,则判为合理数据;如果采集数据及其变化速率在阈值区间外,则判为异常数据。
协同分析法是指将数据波动相关性较强的传感器进行关联分析,如果采集数据出现较大波动,通过校验关联传感器的数据变化趋势,从而判断传感器数据状态的分析方法;如果关联传感器的数据波动幅值与趋势一致,则判为正常数据;如果关联传感器的数据波动幅值与趋势不一致,则判为异常数据。
均值分析法是指为减小工程现场环境因素对传感器采集数据的影响,将一段时间内的采集数据进行均值处理,判断数据波动是否满足要求的异常数据分析方法;如果均值变化速率在用户设定区间内,则判为正常数据;如果均值变化速率在用户设定区间外,则判为异常数据。
实际采集中,可能会因传感器故障、通信链路异常导致短时间内出现多次异常采集数据。在数据采集进程中,设定异常数据出现频次的预设值,若异常数据在一段时间内超过预设值,数据采集进程将置位数据库异常标识位,在远程服务器上进行预警,通知工作人员查看并解决异常。
通过上述技术方案,在工业采集网关将传感器采集数据上传到远程服务器之前,对数据进行检验,避免将异常数据上传到远程服务器。此外,如果异常数据出现的频次达到预设值时,会在远程服务器上进行预警,通知工作人员查看并解决异常。
实施例3
根据实施例1和实施例2中的数据采集方法,在本实施例中提供一种工业采集网关,包括主控板、接口板和数据采集软件;
主控板装在工业采集网关的壳体内部,打开工业采集网关的外壳,找到主控板上预留的IDC接口,将IDC排线分别插到主控板与接口板上,通过IDC线建立主控板与接口板的连接。主控板与远程服务器通过无线网卡进行连接,接口板与传感器之间通过有线或无线的组网方式进行连接,从而建立了工业采集网关与多个传感器之间的通信连接。
数据采集软件安装于主控板的操作系统中,操作系统为嵌入式Linux操作系统。数据采集软件根据用户设置参数定时进行传感器数据采集,通过脚本进程完成传感器控制指令序列生成、传感器返回数据的解析与原始数据的预处理后,将原始数据与成果数据存储至本地数据库,并将数据成果文件上传至远程服务器。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种基于脚本文件的工业采集网关数据采集方法,其特征在于,包括以下步骤:
S1.新建数据采集进程,从远程服务器下载传感器列表中多个传感器的数据采集脚本文件;所述脚本文件中包括指令生成模块、数据解析模块和预处理计算模块;所述指令生成模块包括传感器指令描述表、指令组合函数和指令序列标准化输出函数;指令组合函数根据传感器指令描述表,结合用户输入的传感器标识号,组合字符串生成传感器的控制采集指令序列;通过指令序列标准化输出函数将生成的指令序列以标准化格式输出;所述数据解析模块包括原始数据描述表、原始数据解析函数和原始数据标准化输出函数;原始数据解析函数对传感器的返回数据进行校验;当数据校验正常时,将传感器数据状态位置位,并返回解析的传感器原始数据,当数据校验异常时,将传感器数据状态位置零;通过原始数据标准化输出函数将传感器原始数据以标准化格式输出;所述预处理计算模块包括成果数据描述表、成果数据处理函数和成果数据标准化输出函数;成果数据处理函数按照原始数据个数、计算参数个数从数据库中读取原始数据、计算参数,经计算后输出成果数据,通过成果数据标准化输出函数将成果数据以标准化格式输出;
所述传感器指令描述表包括指令个数、字符串类型、指令类型数组、指令关键字数组、指令参数数组、响应时长数组和控制指令期望字符数组;所述原始数据描述表包括指令类型数组、原始数据个数数组、期望响应数组和故障代码数组;所述成果数据描述表包括原始数据个数和计算参数个数;
S2.数据采集进程通过指令生成模块,获取传感器的控制采集指令序列;
S3.数据采集进程按照控制采集指令的序列号,依次向传感器发送控制采集指令,完成传感器的控制与数据采集,并获取传感器返回数据;
S4.数据采集进程通过数据解析模块,校核传感器返回数据是否符合期望字符串;根据校核结果设置数据采集状态位,并解析传感器返回数据,将原始数据标准化输出;
S5.数据采集进程将传感器原始数据、数据采集状态位存储至本地数据库;
S6.数据采集进程通过预处理计算模块,读取原始数据和计算参数,通过计算获取成果数据,并将成果数据存储在本地数据库;
S7.重复步骤S2至步骤S6,遍历传感器列表中的所有传感器;把多个成果数据打包生成数据成果文件,并将数据成果文件按时间命名后,保存至指定路径的文件夹下,由数据上报进程将数据成果文件上报至远程服务器。
2.根据权利要求1所述一种基于脚本文件的工业采集网关数据采集方法,其特征在于:所述数据采集脚本文件,由用户根据传感器厂家定义的指令协议和脚本文件模板进行编写,并上传至远程服务器的指定工作目录下。
3.根据权利要求1所述一种基于脚本文件的工业采集网关数据采集方法,其特征在于:所述传感器列表,由用户在远程服务器上通过Web页面在工业采集网关的本地数据库录入传感器类型、传感器标识号和预处理参数信息,形成传感器列表。
4.根据权利要求1所述一种基于脚本文件的工业采集网关数据采集方法,其特征在于:数据采集脚本文件包括但不限于Shell脚本、Python脚本、Lua脚本。
5.根据权利要求1所述一种基于脚本文件的工业采集网关数据采集方法,其特征在于,在步骤S6后还包括以下步骤:
S61.数据采集进程根据用户设置选择异常数据判断方法,所述异常数据判断方法包括阈值分析法、协同分析法和均值分析法;
S62.对于传感器采集数据为异常数据的,数据采集进程按步骤2至步骤6进行一次冗余采集,以后一次采集的数据为准;
S63.当异常数据出现频次达到预设值时,数据采集进程置位数据库中异常标识位,并将异常信息发送至远程服务器,由远程服务器根据用户设置参数选择对应的异常处理方式。
6.一种使用权利要求1所述方法的工业采集网关,其特征在于:用于实现权利要求1-5任一项所述的基于脚本文件的工业采集网关数据采集方法;工业采集网关包括主控板、接口板和数据采集软件:
所述主控板与远程服务器建立通信连接;所述主控板还与接口板连接,并通过接口板建立与传感器的连接;
所述接口板与传感器相连接,主控板通过接口板完成对传感器的控制与数据采集;
所述数据采集软件包括数据采集进程、数据上报进程、状态监控进程,所述数据采集进程、数据上报进程和状态监控进程安装于所述主控板的操作系统中;
所述数据采集进程,通过脚本文件完成传感器指令序列的生成、传感器返回数据的解析与原始采集数据的预处理计算,并进行异常数据的判断,将成果数据存储至本地数据库中;
所述数据上报进程,定时检测数据成果的本地存储目录,当存储目录中存在未上报的数据成果文件时,将其上传至远程服务器,并将该文件转存至外置SD卡指定目录下;
所述状态监控进程,通过消息队列建立与数据采集进程、数据上报进程的进程间通信,监控进程的运行状态;在进程出现异常时,重启对应进程或操作系统。
CN202010606488.8A 2020-06-29 2020-06-29 基于脚本文件的工业采集网关及数据采集方法 Active CN111767039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010606488.8A CN111767039B (zh) 2020-06-29 2020-06-29 基于脚本文件的工业采集网关及数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010606488.8A CN111767039B (zh) 2020-06-29 2020-06-29 基于脚本文件的工业采集网关及数据采集方法

Publications (2)

Publication Number Publication Date
CN111767039A CN111767039A (zh) 2020-10-13
CN111767039B true CN111767039B (zh) 2023-11-24

Family

ID=72722981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010606488.8A Active CN111767039B (zh) 2020-06-29 2020-06-29 基于脚本文件的工业采集网关及数据采集方法

Country Status (1)

Country Link
CN (1) CN111767039B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113063461B (zh) * 2021-03-17 2021-11-30 中旭京坤(北京)科技有限公司 一种基于智能传感器的检测方法
CN113434306A (zh) * 2021-05-21 2021-09-24 深圳市富能新能源科技有限公司 信息采集方法、系统、终端设备及计算机存储介质
CN113613195A (zh) * 2021-08-20 2021-11-05 北京天融信网络安全技术有限公司 传感器数据采集方法、网关配置方法、装置及网关设备
CN115277756B (zh) * 2022-07-10 2024-04-05 江西泉新电气有限公司 一种用于物联网终端设备的数据高效采集传输方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825811A (zh) * 2013-10-11 2014-05-28 江苏飞尚安全监测咨询有限公司 一种接入传感器协议自识别的物联网网关实现方案
CN104104674A (zh) * 2014-07-01 2014-10-15 广东艾科技术股份有限公司 设备传感器的多协议分布式数据采集控制系统及方法
CN105702009A (zh) * 2016-03-30 2016-06-22 宁波大学 一种支持多类型传感网络同时接入的智能抄表网关
CN106487585A (zh) * 2016-10-09 2017-03-08 深圳市思博创科技有限公司 设备综合监控系统架构
JP2018073182A (ja) * 2016-10-31 2018-05-10 株式会社東芝 データ収集システム、末端装置、データ収集装置、データ収集方法及びプログラム
CN108536469A (zh) * 2018-05-28 2018-09-14 苏州德姆斯信息技术有限公司 基于配置脚本的物联网数据解析系统及解析方法
CN109412879A (zh) * 2017-08-16 2019-03-01 中兴通讯股份有限公司 端口状态参数获取方法、装置及传输设备、存储介质
CN110519092A (zh) * 2019-08-27 2019-11-29 深圳力维智联技术有限公司 边缘网关、配置工具和软plc功能的脚本化实现方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006344017A (ja) * 2005-06-09 2006-12-21 Hitachi Ltd センサネットワークシステム及びセンサネットワークのデータ処理方法
US20150381737A1 (en) * 2014-06-30 2015-12-31 Davra Networks Limited Gateway device and a gateway system for an internet-of-things environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825811A (zh) * 2013-10-11 2014-05-28 江苏飞尚安全监测咨询有限公司 一种接入传感器协议自识别的物联网网关实现方案
CN104104674A (zh) * 2014-07-01 2014-10-15 广东艾科技术股份有限公司 设备传感器的多协议分布式数据采集控制系统及方法
CN105702009A (zh) * 2016-03-30 2016-06-22 宁波大学 一种支持多类型传感网络同时接入的智能抄表网关
CN106487585A (zh) * 2016-10-09 2017-03-08 深圳市思博创科技有限公司 设备综合监控系统架构
JP2018073182A (ja) * 2016-10-31 2018-05-10 株式会社東芝 データ収集システム、末端装置、データ収集装置、データ収集方法及びプログラム
CN109412879A (zh) * 2017-08-16 2019-03-01 中兴通讯股份有限公司 端口状态参数获取方法、装置及传输设备、存储介质
CN108536469A (zh) * 2018-05-28 2018-09-14 苏州德姆斯信息技术有限公司 基于配置脚本的物联网数据解析系统及解析方法
CN110519092A (zh) * 2019-08-27 2019-11-29 深圳力维智联技术有限公司 边缘网关、配置工具和软plc功能的脚本化实现方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IoT real time data acquisition using MQTT protocol;Rachmad Andri Atmoko 等;《Journal of Physics Conference Series》;第853卷(第1期);第1-6页 *
一种多功能数据采集节点研究;张攀;《中国优秀硕士学位论文全文数据库 信息科技辑》;I140-177 *
基于ZigBee和ASR的嵌入式Linux家庭网关的设计;段盼;《中国优秀硕士学位论文全文数据库 信息科技辑》;I136-189 *
航天器数据采集无线传感器网络网关的设计与实现;翁志成;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;C031-252 *

Also Published As

Publication number Publication date
CN111767039A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111767039B (zh) 基于脚本文件的工业采集网关及数据采集方法
US8132053B2 (en) System and method for grammar based test planning
CN111052087B (zh) 控制系统、信息处理装置以及记录介质
US20100121951A1 (en) Method and arrangement for diagnosing networks including field bus systems
CN113533887B (zh) 一种配电终端智能调试方法及系统
JP5198154B2 (ja) 障害監視システム及びデバイスと監視装置並びに障害監視方法
CN111723019A (zh) 接口的调试方法及系统
CN117289085A (zh) 一种多线路故障分析诊断方法及系统
CN117613908B (zh) 基于配电网络的智能运维方法及系统
CN116795572A (zh) 汽车诊断软件故障快速处理方法、装置、介质及设备
CN113821242B (zh) 一种固件智能匹配方法及系统
CN104950832B (zh) 钢铁厂控制系统
KR102686512B1 (ko) 인공지능 모듈을 구비하는 산업용 통신 프로토콜 변환 장치 및 데이터 수집 게이트웨이
KR20130063866A (ko) 엠투엠 단말기 진단시스템 및 방법
CN101432671B (zh) 安全控制设备、安全控制系统和用于检测通信错误的方法
CN115842860A (zh) 一种针对数据链路的监控方法、装置及系统
CN111124828A (zh) 一种数据处理方法、装置、设备及存储介质
JP4257364B2 (ja) 通信エラー情報出力プログラム、通信エラー情報出力方法および通信エラー情報出力装置
US11665165B2 (en) Whitelist generator, whitelist evaluator, whitelist generator/evaluator, whitelist generation method, whitelist evaluation method, and whitelist generation/evaluation method
CN115268965A (zh) 一种低压智能断路器自适应软件远程升级方法及系统
CN113495750B (zh) 一种设备的升级检测方法、装置及服务器
US11474985B2 (en) Data processing apparatus, method, and recording medium
CN113691953A (zh) 一种基于无线通信技术的智能传感器网络接口自识别系统
CN101877874B (zh) 性能数据的发送及输出方法、系统和设备
CN116170429A (zh) 数据采集方法、装置、工业设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240318

Address after: No. 6 Qingzhu East Road, Dazhulin Street, Yubei District, Chongqing, 400000

Patentee after: Chongqing Institute of Surveying and Mapping Science and Technology (Chongqing Map Compilation Center)

Country or region after: China

Address before: 401121 No. 6, Qingzhu East Road, Yubei District, Chongqing

Patentee before: CHONGQING SURVEY INSTITUTE

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240320

Address after: No. 6 Qingzhu East Road, Dazhulin Street, Yubei District, Chongqing, 400000

Patentee after: Chongqing Institute of Surveying and Mapping Science and Technology (Chongqing Map Compilation Center)

Country or region after: China

Address before: 401121 No. 6, Qingzhu East Road, Yubei District, Chongqing

Patentee before: CHONGQING SURVEY INSTITUTE

Country or region before: China