CN108133062A - 一种数据处理系统 - Google Patents

一种数据处理系统 Download PDF

Info

Publication number
CN108133062A
CN108133062A CN201810108185.6A CN201810108185A CN108133062A CN 108133062 A CN108133062 A CN 108133062A CN 201810108185 A CN201810108185 A CN 201810108185A CN 108133062 A CN108133062 A CN 108133062A
Authority
CN
China
Prior art keywords
data
application interface
data processing
primary database
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810108185.6A
Other languages
English (en)
Inventor
吴智军
孙晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Spark Log Technology Co Ltd
Original Assignee
Beijing Spark Log Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Spark Log Technology Co Ltd filed Critical Beijing Spark Log Technology Co Ltd
Priority to CN201810108185.6A priority Critical patent/CN108133062A/zh
Publication of CN108133062A publication Critical patent/CN108133062A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理系统，涉及信息处理技术领域，用以降低客户端和服务器端的硬件和环境要求。该系统包括本地数据处理端；服务器，包括数据校验规整器、队列缓存器、主数据库、数据单应用接口以及数据批量应用接口，所述数据校验规整器与所述队列缓存器电连接，所述队列缓存器与所述主数据库电连接，所述数据单应用接口以及所述数据批量应用接口分别与所述主数据库电连接；客户端；其中，所述本地数据处理端通过HTTP协议或HTTPS协议与所述数据校验规整器进行数据传输；所述客户端通过HTTP协议或HTTPS协议或WebSocket或WebSocketSecure协议与所述数据单应用接口或数据批量应用接口进行数据传输。

Description

一种数据处理系统
技术领域
本发明涉及信息处理技术领域，具体涉及一种数据处理系统。
背景技术
OPC协议(OLE for Process Control)是基于微软的OLE/COM机制在应用层协议DCE/RPC(Distributed Computing Environment/Remote Procedure Calls)之上传输数据的通讯标准，以C/S(客户端和服务器)架构实现，主要用于工业生产过程中的数据采集和逻辑控制。工业环境中各种设备种类繁多，各大厂商的设备和软件之间需要一种通用的数据交换方式，OPC协议定义了一套标准的接口和方法，各大设备和软件厂商也都基于微软的OLE/COM技术提供了对OPC协议的支持。
但是，随着全球化发展的进一步加快，工业发展的过程中，工业现场使用的设备和软件来自于世界各个国家，这其中极有可能出现通过设备或软件来窃取国家工业生产信息的行为，所以在一些关键的、关系国家安全的工业领域，会禁止使用某些软件或系统，例如，国家的某些电力生产系统中就禁止使用Windows系统。工业生产中需要采集各种设备的数据信息进行集中展现，例如，公司的ERP(Enterprise Resource Planning)系统要集中展现生产环境的数据，这种情况就需要ERP系统对各种设备进行直接的数据访问，如果需要对仅支持OPC协议的设备进行数据通讯，就要ERP系统所部署的操作系统支持OPC协议，就目前而言只有微软的Windows操作系统支持了OPC协议，Linux操作系统不支持OPC协议。因此，对于不允许使用Windows系统或仅使用了Linux操作系统的环境中，无法与支持OPC协议的设备进行数据通讯，限制了设备的使用。
发明内容
本发明的目的在于提供一种数据处理系统，用以降低客户端和服务器端的硬件和环境要求。
为实现上述目的，本发明的技术方案为：
本发明实施例提供了一种数据处理系统，包括：
本地数据处理端；
服务器，包括数据校验规整器、队列缓存器、主数据库、数据单应用接口以及数据批量应用接口，所述数据校验规整器与所述队列缓存器电连接，所述队列缓存器与所述主数据库电连接，所述数据单应用接口以及所述数据批量应用接口分别与所述主数据库电连接；
客户端；
其中，所述本地数据处理端通过HTTP协议或HTTPS协议与所述数据校验规整器进行数据传输；
所述客户端通过HTTP协议或HTTPS协议或WebSocket或WebSocketSecure协议与所述数据单应用接口或数据批量应用接口进行数据传输。
可选的是，所述数据校验规整器包括权限校验模块和数据标准化模块；所述数据校验模块用于对从所述本地数据处理端接收的数据进行校验；所述数据标准化模块，用于对从所述本地数据处理端接收的数据进行标准化处理。
可选的是，所述队列缓存器用于将接收到的数据排队写入所述主数据库。
可选的是，所述主数据库包括快照处理模块，所述快照处理模块用于将自身存储的数据进行快照处理，并将处理结果写入所述队列缓存器中。
可选的是，所述主数据库包括异步ETL模块，所述异步ETL模块用于对从所述队列缓存器存储至所述主数据库的数据进行异步ETL处理。
可选的是，所述数据处理系统还包括从数据库；
所述从数据库分别与所述数据单应用接口、所述数据批量应用接口以及所述主数据库电连接。
可选的是，所述服务器还包括即席查询接口以及历史数据查询接口。
本发明具有如下优点：
本发明实施例提供的数据处理系统，通过让各个组件通过底层的HTTP或HTTPS传输协议，从而脱离了操作系统的限制，可以不局限于OPC协议，这样使得客户端和服务器端的硬件和环境要求降低，从而实现了用户完全不需要理解、配置、适配传输过程，就可以直接基于接口进行应用，避免了额外投资和繁琐配置带来的额外学习成本。
附图说明
图1为本发明实施例提供的一种数据处理系统的组成框图；
图2为本发明实施例提供的第一种数据处理系统的组成框图；
图3为本发明实施例提供的第二种数据处理系统的组成框图；
图4为本发明实施例提供的第三种数据处理系统的组成框图；
图5为本发明实施例提供的第四种数据处理系统的组成框图；
图6为本发明实施例提供的第五种数据处理系统的组成框图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明实施例提供了一种数据处理系统，用以为PLC设备的数据传输和应用提供高效的解决方案，能够将PLC的数据封装传输到服务器端，再基于这些数据，由服务器提供服务，由客户端发起请求来应用服务。同时，服务器也可以具备由订阅者订阅数据的功能。
该系统架构如图1所示，包括：
本地数据处理端11，即PLC设备。该设备可以采集和存储各类数据，且无需对采集到的数据类型和传输格式进行限制。
服务器12包括数据校验规整器121、队列缓存器122、主数据库123、数据单应用接口124以及数据批量应用接口125，所述数据校验规整器121与所述队列缓存器122电连接，所述队列缓存器122与所述主数据库123电连接，所述数据单应用接口124以及所述数据批量应用接口125分别与所述主数据库123电连接。
客户端13，用户可以通过客户端13向服务器12采用主动请求的方式对数据进行应用，也可以采用订阅的方式被动接收数据的方式进行应用。
其中，所述本地数据处理端11通过HTTP协议与所述数据校验规整器121进行数据传输；
所述客户端13通过HTTP协议或Socket协议与所述数据单应用接口124或数据批量应用接口125进行数据传输。
其中，数据单应用接口124是一种提供标准化的数据接口，用户可通过客户端13在任意操作系统上发起请求以获取数据及相应的服务。不需要考虑操作系统的差异，同时对客户端13的硬件要求极大降低。
数据批量应用接口125是一种提供标准化的批量数据交互接口，用户可通过客户端13在任意操作系统上发起请求以获取数据及相应的服务。不需要考虑操作系统的差异，同时对客户端13的硬件要求极大降低。批量应用的接口会因数据量请求的大小，异步返回数据。
进一步来说，如图2所示，所述数据校验规整器121包括权限校验模块1211和数据标准化模块1212。
所述权限校验模块1211用于对从所述本地数据处理端11接收的数据进行校验。具体为：基于token的方式进行权限校验。当数据从本地数据处理端11向服务器12进行传输时，本地数据处理端11需要向服务器12的权限校验模块1211请求数据校验，权限校验模块1211审批通过后才能正常传输数据。权限鉴定是微服务架构，可以平滑切换。根据实际需要，也可以采用其它手段进行鉴权，例如秘钥等方式。
所述数据标准化模块1212，用于对从所述本地数据处理端11接收的数据进行标准化处理。由于本地数据处理端11采集的数据格式不统一，因此需要该模块进行数据整合和规范工作。
具体来说，所述队列缓存器122用于将接收到的数据排队写入所述主数据库123，这样可以避免当数据量过大时直接写入数据库而造成的I/O瓶颈。同时，队列缓存中的数据排队写入主数据库123中，可以实现异步存储，从而避免了当数据并发过多时可能带来的写入失败。当数据并发不多时，同步写入缓存和数据库异步存储可视为同步完成。
进一步来说，如图3所示，所述主数据库123包括快照处理模块1231，所述快照处理模块1231用于将自身存储的数据进行快照处理，并将处理结果写入所述队列缓存器122中。该模块可以将主数据库123中的数据同步生成原子粒度下的数据快照，也就是说，上一时间点所存储的数据可以写入队列缓存之中，以供客户端13可以应用该时间点的数据快照。同时，通过队列缓存到数据库，再到缓存的设计，能够保证低数据并发下不损失数据的实时性，在数据量大时，保证数据的有效性，规避数据的丢失。
可选的是，如图4所示，所述主数据库123包括异步ETL模块1232，所述异步ETL模块1232用于对从所述队列缓存器122存储至所述主数据库123的数据进行异步ETL处理。该模块的设计目的在于根据业务逻辑进行数据的提炼、转换、清洗与萃取。异步ETL之后写入数据库中，可为后续的应用提升效率。
可选的是，如图5所示，所述数据处理系统还包括从数据库126；所述从数据库126分别与所述数据单应用接口124、所述数据批量应用接口125以及所述主数据库123电连接。从数据库126的设计目的在于：当用户通过前述数据接口向数据库请求数据时，存在着一些个性化的数据请求，特别是大规模的数据请求，为保证数据库的高效运行和数据准确，不宜对主数据库123进行交互和请求，因此主数据库123会基于用户的请求，将请求的结果异步写入从数据库126，后续用户通过从数据库126来达到其需求，这样有效降低了主数据库123的负载，保证了整体数据服务的高效运行。相应的，如果数据请求量较小，那么写入异步从数据库126可视为同步。
可选的是，如图6所示，所述服务器12还包括即席查询接口127以及历史数据查询接口128。
即席查询接口127可以为用户提供对当下时间点数据的查询，历史数据查询接口128可以为用户提供对历史数据的查询。两者相互分离，依据使用场景来调用接口。通过该设计，降低了对服务器12端的请求数量，节省了带宽和运算资源。
本发明实施例提供的数据处理系统，通过让各个组件通过底层的HTTP传输协议，从而脱离了操作系统的限制，可以不局限于OPC协议，这样使得客户端13和服务器12端的硬件和环境要求降低，从而实现了用户完全不需要理解、配置、适配传输过程，就可以直接基于接口进行应用，避免了额外投资和繁琐配置带来的额外学习成本。
数据传输和应用通过用户鉴权的微服务来进行，有效实现了数据源对数据应用者的控制，降低了数据被滥用的风险。
数据传输和存储具备一致性，不需要数据源符合固定的格式，降低了数据的适配风险。
数据传输和存储采用缓存和数据库、同步和异步相结合的方式，保证了数据传输和应用的可靠性。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (7)

1.一种数据处理系统，其特征在于，所述系统包括：
本地数据处理端；
服务器，包括数据校验规整器、队列缓存器、主数据库、数据单应用接口以及数据批量应用接口，所述数据校验规整器与所述队列缓存器电连接，所述队列缓存器与所述主数据库电连接，所述数据单应用接口以及所述数据批量应用接口分别与所述主数据库电连接；
客户端；
其中，所述本地数据处理端通过HTTP协议或HTTPS协议与所述数据校验规整器进行数据传输；
所述客户端通过HTTP协议或HTTPS协议或WebSocket或WebSocketSecure协议与所述数据单应用接口或数据批量应用接口进行数据传输。
2.根据权利要求1所述的数据处理系统，其特征在于，所述数据校验规整器包括权限校验模块和数据标准化模块；所述数据校验模块用于对从所述本地数据处理端接收的数据进行校验；所述数据标准化模块，用于对从所述本地数据处理端接收的数据进行标准化处理。
3.根据权利要求1所述的数据处理系统，其特征在于，所述队列缓存器用于将接收到的数据排队写入所述主数据库。
4.根据权利要求1所述的数据处理系统，其特征在于，所述主数据库包括快照处理模块，所述快照处理模块用于将自身存储的数据进行快照处理，并将处理结果写入所述队列缓存器中。
5.根据权利要求1所述的数据处理系统，其特征在于，所述主数据库包括异步ETL模块，所述异步ETL模块用于对从所述队列缓存器存储至所述主数据库的数据进行异步ETL处理。
6.根据权利要求1所述的数据处理系统，其特征在于，所述数据处理系统还包括从数据库；
所述从数据库分别与所述数据单应用接口、所述数据批量应用接口以及所述主数据库电连接。
7.根据权利要求1所述的数据处理系统，其特征在于，所述服务器还包括即席查询接口以及历史数据查询接口。
CN201810108185.6A 2018-02-02 2018-02-02 一种数据处理系统 Pending CN108133062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810108185.6A CN108133062A (zh) 2018-02-02 2018-02-02 一种数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810108185.6A CN108133062A (zh) 2018-02-02 2018-02-02 一种数据处理系统

Publications (1)

Publication Number Publication Date
CN108133062A true CN108133062A (zh) 2018-06-08

Family

ID=62430414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810108185.6A Pending CN108133062A (zh) 2018-02-02 2018-02-02 一种数据处理系统

Country Status (1)

Country Link
CN (1) CN108133062A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521738A (zh) * 2018-11-15 2019-03-26 天津德通电气股份有限公司 基于协议传输的工厂数据处理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611625A (zh) * 2012-03-22 2012-07-25 上海中科高等研究院 参数数据服务器、参数数据传输方法及数据传输系统
CN105117393A (zh) * 2014-11-04 2015-12-02 合肥轩明信息科技有限公司 一种行业应用中基于大数据的一种应用方式
CN105282094A (zh) * 2014-06-16 2016-01-27 北京神州泰岳软件股份有限公司 一种数据采集方法和系统
CN105956082A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 实时数据处理与存储系统
CN106878395A (zh) * 2017-01-18 2017-06-20 南京理工大学 一种基于移动终端的电动汽车充电监控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611625A (zh) * 2012-03-22 2012-07-25 上海中科高等研究院 参数数据服务器、参数数据传输方法及数据传输系统
CN105282094A (zh) * 2014-06-16 2016-01-27 北京神州泰岳软件股份有限公司 一种数据采集方法和系统
CN105117393A (zh) * 2014-11-04 2015-12-02 合肥轩明信息科技有限公司 一种行业应用中基于大数据的一种应用方式
CN105956082A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 实时数据处理与存储系统
CN106878395A (zh) * 2017-01-18 2017-06-20 南京理工大学 一种基于移动终端的电动汽车充电监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张为等: "多传感器数据采集技术在物联网的应用研究", 《广州大学学报(自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521738A (zh) * 2018-11-15 2019-03-26 天津德通电气股份有限公司 基于协议传输的工厂数据处理系统及方法

Similar Documents

Publication Publication Date Title
US11798072B1 (en) System and method for programmatically accessing data
CN100437671C (zh) 异地授权系统及方法
TWI677847B (zh) 門診掛號排隊伺服器與方法
CN109314726A (zh) 操作系统容器之间通讯的系统和方法
US20080141350A1 (en) Authentication for computer system management
US10135763B2 (en) System and method for secure and efficient communication within an organization
BR112019003569A2 (pt) Método implementado por computador, meio não transitório legível por computador e sistema implementado por computador
CN110648241B (zh) 一种基于微服务架构的理赔处理方法及装置
CN103942616A (zh) 基于移动互联网的车险测算报价服务系统
CN110717171B (zh) 用于状态保存和重用的访问令牌管理
CN104811475A (zh) 基于Restful技术构建的企业服务总线中间件
CN113453175A (zh) 5g消息处理方法、装置、计算机设备和存储介质
KR20150137518A (ko) 하이브리드 클라우드기반 ict서비스시스템 및 그 방법
CN102932453A (zh) 一种基于云计算的数据中心安全体系实现方法
WO2020006902A1 (zh) 批量支付方法、装置、计算机设备和存储介质
CN104079624A (zh) 一种基于服务的消息接入层框架及其实现方法
CN108133062A (zh) 一种数据处理系统
US10469466B2 (en) Systems and methods for virtualization in distributed computing environment including a mobile monitor
CN104471541B (zh) 促进混合应用环境的方法和计算机系统
CN103812820A (zh) 登录方法及系统
CN110572476A (zh) 一种远程控制方法、装置及设备
CN112671844B (zh) 一种设备的注册方法及系统
US11163537B1 (en) Tiered application pattern
CN103124287B (zh) 通过唯一的移动应用程序地址进行第三方内容传输的技术
KR20200094404A (ko) 퇴직 연금 시스템 및 이를 이용한 금융 서비스 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180608