CN111651511A - 一种数据采集系统及采集方法 - Google Patents

一种数据采集系统及采集方法 Download PDF

Info

Publication number
CN111651511A
CN111651511A CN202010421496.5A CN202010421496A CN111651511A CN 111651511 A CN111651511 A CN 111651511A CN 202010421496 A CN202010421496 A CN 202010421496A CN 111651511 A CN111651511 A CN 111651511A
Authority
CN
China
Prior art keywords
data
data acquisition
database
storage unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010421496.5A
Other languages
English (en)
Inventor
吴丹妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010421496.5A priority Critical patent/CN111651511A/zh
Publication of CN111651511A publication Critical patent/CN111651511A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Abstract

本发明提供了一种数据采集系统，包括：数据采集终端、与数据采集终端通过网络连接的云服务器、存储单元、数据双向访问单元和客户端数据库；所述数据采集终端包括若干个数据采集机用于采集各类终端数据；所述云服务器包含若干个数据库，所述若干个数据库用于存储所述各类终端数据；所述存储单元用于存储所述若干个数据库和客户端数据库的访问协议及语言规则；所述数据双向访问单元包含控制命令单元和传输单元；所述客户端数据库的一端与所述数据双向访问单元连接，所述客户端数据库的另一端与客户端PC机连接，相应地，提出一种数据采集方法，本发明采用独立数据存储和访问的方式减少了直接访问数据库的时间和信息阻塞问题。

Description

一种数据采集系统及采集方法
技术领域
本发明涉及数据采集技术领域，尤其涉及到一种数据采集系统及采集方法。
背景技术
随着互联网技术的发展，数据的存储及采集技术水平也面临着挑战，在目前的工业自动控制领域普遍使用集散控制系统，实时数据库也变得越来越重要，实时数据库可以实时采集大量工业现场数据并保存以供上位机软件使用，采集终端涉及各种传感器以及PLC等数据采集器件，但因各种采集器件出自不同厂商，设备间通信以及设备与上位机通信都需要单独开发一整套数据采集以及控制软件，其系统结构和通信方式各不相同，十分不便，采集到的数据实时性不够也会对数据库的压力加大，并且不同的工具对不同数据库的支持也不同，系统维护成本也会增加。
综上所述，如何提供一种可适用多种采集终端及减小数据库访问压力的数据采集系统及方法，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种数据采集系统及采集方法，其由于采取了如下技术方案而能够解决上述技术问题。
为了达到上述目的，本发明提供如下技术方案：一种数据采集系统包括：数据采集终端、与数据采集终端通过网络连接的云服务器、存储单元、数据双向访问单元和客户端数据库；所述数据采集终端包括若干个数据采集机用于采集各类终端数据；所述云服务器包含若干个数据库，所述若干个数据库用于存储所述各类终端数据；所述存储单元用于存储所述若干个数据库和客户端数据库的访问协议及语言规则；所述数据双向访问单元包含控制命令单元和传输单元，所述命令控制单元包括若干条控制指令；所述客户端数据库的一端与所述数据双向访问单元连接，所述客户端数据库的另一端与客户端PC机连接。
进一步地，所述若干个数据库中的每一个数据库均包括历史数据存储单元和实时数据存储单元。
更进一步地，所述每一个数据库还包括预设配置规则信息存储单元。
更进一步地，所述每一个数据库还包括自检诊断单元，所述自检诊断单元包括获取模块和判断模块；所述获取模块用于获取所述数据采集机采集的数据；所述判断模块用于将获取的所述数据对应数值与预设值进行比对，判断检查的项目是否正常。
更进一步地，所述预设配置规则信息存储单元采集终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据按照时间规则存储至所述历史数据存储单元和所述实时数据存储单元。
进一步地，所述若干条控制指令包括对数据进行操作时所对应的数据库链表查找指令和操作指令，所述传输单元与所述控制命令单元相连用于将操作指令发送至所述对应的数据库，以标记所述对应的数据库对数据进行操作。
更进一步地，所述操作指令包括删除、插入和更新指令。
一种数据采集方法，采用上述的数据采集系统，步骤如下：
1)所述对应数据库获取所述采集终端传输的原始信息数据；从所述对应数据库获取预设配置规则信息，判断所述原始信息数据是否满足预设上传条件；若所述原始信息数据满足所述预设上传条件，则对所述原始信息数据进行封装和压缩作为日志数据存储至所述历史数据存储单元和所述实时数据存储单元。
2)所述存储单元预先存储所述若干个数据库和所述客户端数据库的访问协议及语言规则，接着所述命令控制单元给出操作指令，由所述传输单元将所述操作指令发送至所述对应的数据库，以标记所述对应的数据库对数据进行操作。
本发明的有益效果是，该数据采集系统及采集方法采用独立数据存储和访问的方式减少了直接访问数据库的时间和信息阻塞问题。
下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下文中将对本发明实施例的附图进行简单介绍。其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明一种数据采集系统的结构框图。
图2为本发明一种数据采集系统的数据库接口示意图。
图3为一种数据采集方法的步骤示意图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种可适用多种采集终端及减小数据库访问压力的数据采集系统及方法，该数据采集系统及采集方法采用独立数据存储和访问的方式减少了直接访问数据库的时间和信息阻塞问题。
如附图1至附图3所示，该发明包括：数据采集终端、与数据采集终端通过网络连接的云服务器、存储单元、数据双向访问单元和客户端数据库；所述数据采集终端包括若干个数据采集机用于采集各类终端数据，所述若干个数据采集机涉及各种传感器以及PLC等数据采集器件；所述云服务器包含若干个数据库，所述若干个数据库用于存储所述各类终端数据；所述存储单元用于存储所述若干个数据库和客户端数据库的访问协议及语言规则；所述数据双向访问单元包含控制命令单元和传输单元，所述命令控制单元包括若干条控制指令，所述若干条控制指令包括对数据进行操作时所对应的数据库链表查找指令和操作指令，所述操作指令包括删除、插入和更新指令，所述传输单元与所述控制命令单元相连用于将操作指令发送至所述对应的数据库，以标记所述对应的数据库对数据进行操作；所述客户端数据库的一端与所述数据双向访问单元连接，所述客户端数据库的另一端与客户端PC机连接。
所述若干个数据库中的每一个数据库均包括历史数据存储单元和实时数据存储单元；所述每一个数据库还包括预设配置规则信息存储单元，所述预设配置规则信息存储单元采集终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据按照时间规则存储至所述历史数据存储单元和所述实时数据存储单元；所述每一个数据库还包括自检诊断单元，所述自检诊断单元包括获取模块和判断模块；所述获取模块用于获取所述数据采集机采集的数据；所述判断模块用于将获取的所述数据对应数值与预设值进行比对，判断检查的项目是否正常。
在本实施例中，通过所述存储单元和所述数据双向访问单元可以实现若干数据库与客户端数据库之间查找访问历史数据也可以同步实时数据，其中，当执行查询指令时，首先通过命令控制单元获取数据库的每一次对数据进行操作时生成的查询指令，然后通过传输单元将查询指令发送至需要查询的目标数据库，以查询获得数据，当执行的操作指令时，首先通过命令控制单元获取数据库的每一次对数据进行操作时生成的指令，然后通过传输单元将操作指令发送至需要操作的目标数据库进而对数据进行操作。
一种数据采集方法，采用上述的数据采集系统，步骤如下：
1)所述对应数据库获取所述采集终端传输的原始信息数据；从所述对应数据库获取预设配置规则信息，判断所述原始信息数据是否满足预设上传条件；若所述原始信息数据满足所述预设上传条件，则对所述原始信息数据进行封装和压缩作为日志数据存储至所述历史数据存储单元和所述实时数据存储单元。
2)所述存储单元预先存储所述若干个数据库和所述客户端数据库的访问协议及语言规则，接着所述命令控制单元给出操作指令，由所述传输单元将所述操作指令发送至所述对应的数据库，以标记所述对应的数据库对数据进行操作。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。

Claims (8)

1.一种数据采集系统，其特征在于，包括：数据采集终端、与数据采集终端通过网络连接的云服务器、存储单元、数据双向访问单元和客户端数据库；
所述数据采集终端包括若干个数据采集机用于采集各类终端数据；
所述云服务器包含若干个数据库，所述若干个数据库用于存储所述各类终端数据；
所述存储单元用于存储所述若干个数据库和客户端数据库的访问协议及语言规则；
所述数据双向访问单元包含控制命令单元和传输单元，所述命令控制单元包括若干条控制指令；
所述客户端数据库的一端与所述数据双向访问单元连接，所述客户端数据库的另一端与客户端PC机连接。
2.根据权利要求1所述的数据采集系统，其特征在于，所述若干个数据库中的每一个数据库均包括历史数据存储单元和实时数据存储单元。
3.根据权利要求2所述的数据采集系统，其特征在于，所述每一个数据库还包括预设配置规则信息存储单元。
4.根据权利要求2所述的数据采集系统，其特征在于，所述每一个数据库还包括自检诊断单元，所述自检诊断单元包括获取模块和判断模块；所述获取模块用于获取所述数据采集机采集的数据；所述判断模块用于将获取的所述数据对应数值与预设值进行比对，判断检查的项目是否正常。
5.根据权利要求3所述的数据采集系统，其特征在于，所述预设配置规则信息存储单元采集终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据按照时间规则存储至所述历史数据存储单元和所述实时数据存储单元。
6.根据权利要求1所述的数据采集系统，其特征在于，所述若干条控制指令包括对数据进行操作时所对应的数据库链表查找指令和操作指令，所述传输单元与所述控制命令单元相连用于将操作指令发送至所述对应的数据库，以标记所述对应的数据库对数据进行操作。
7.根据权利要求6所述的数据采集系统，其特征在于，所述操作指令包括删除、插入和更新指令。
8.一种数据采集方法，采用如权利要求1至6中任一项所述的数据采集系统，其特征在于，包括：
1)所述对应数据库获取所述采集终端传输的原始信息数据；从所述对应数据库获取预设配置规则信息，判断所述原始信息数据是否满足预设上传条件；若所述原始信息数据满足所述预设上传条件，则对所述原始信息数据进行封装和压缩作为日志数据存储至所述历史数据存储单元和所述实时数据存储单元。
2)所述存储单元预先存储所述若干个数据库和所述客户端数据库的访问协议及语言规则，接着所述命令控制单元给出操作指令，由所述传输单元将所述操作指令发送至所述对应的数据库，以标记所述对应的数据库对数据进行操作。
CN202010421496.5A 2020-05-18 2020-05-18 一种数据采集系统及采集方法 Withdrawn CN111651511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010421496.5A CN111651511A (zh) 2020-05-18 2020-05-18 一种数据采集系统及采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010421496.5A CN111651511A (zh) 2020-05-18 2020-05-18 一种数据采集系统及采集方法

Publications (1)

Publication Number Publication Date
CN111651511A true CN111651511A (zh) 2020-09-11

Family

ID=72348280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010421496.5A Withdrawn CN111651511A (zh) 2020-05-18 2020-05-18 一种数据采集系统及采集方法

Country Status (1)

Country Link
CN (1) CN111651511A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487085A (zh) * 2020-11-12 2021-03-12 苏州浪潮智能科技有限公司 一种多平台数据映射方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487085A (zh) * 2020-11-12 2021-03-12 苏州浪潮智能科技有限公司 一种多平台数据映射方法及装置

Similar Documents

Publication Publication Date Title
CN110601876A (zh) 一种智能物联网平台
US10747206B2 (en) Intelligent data access for industrial internet of things devices using latent semantic indexing
US8667078B2 (en) Systems and methods of extracting, storing, and serving device definition file information
CN110971666A (zh) 一种物联网管理系统及其通讯方法
JP2017076387A (ja) 分散型工業システムにおけるソース非依存クエリ
CN108989358B (zh) 一种基于tcp/ip协议纺机运行数据获取方法
CN105427193A (zh) 一种基于分布式时序数据服务的大数据分析装置及方法
CN105045228A (zh) 在过程控制系统中运行的主机设备中的配置工作流
CN103123484A (zh) 变电站状态监测数据标准化接入系统及方法
CN112311742A (zh) 现场网关数据的适配方法、装置及系统
CN112737936A (zh) 一种用于设备预维护的边缘计算网关
CN102044308A (zh) 一种用于核电厂dcs实时数据的采集方法及系统
CN111651511A (zh) 一种数据采集系统及采集方法
CN114201540A (zh) 工业多源数据采集及存储系统
EP3663937A1 (en) Cloud based information retrieval system for industrial automation environment
CN113395180B (zh) 一种工业实时大数据采集发布方法及工业实时大数据平台
KR102457759B1 (ko) 스마트 제조 시스템에서 자산관리쉘을 이용한 데이터 수집 방법
CN116071902B (zh) 一种监控机房动力设备的方法、设备及介质
CN112486911A (zh) 机器人运行数据收集管理方法、装置、存储介质及终端
CN108200062B (zh) 一种智能仪表设备的数据管理方法及系统
EP3582034A1 (en) Method and apparatus, in the field of automation technology, of updating processing data
CN110855757A (zh) 基于云服务的软起动设备管理系统及方法
CN113472881B (zh) 在线终端设备的统计方法和装置
CN113706739B (zh) 远程故障诊断处理方法、平台及系统
CN115185774A (zh) 一种基于开源技术的自动化数据库

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200911