CN114553479B - 一种协议接收和处理系统、方法及装置 - Google Patents

一种协议接收和处理系统、方法及装置 Download PDF

Info

Publication number
CN114553479B
CN114553479B CN202210039203.6A CN202210039203A CN114553479B CN 114553479 B CN114553479 B CN 114553479B CN 202210039203 A CN202210039203 A CN 202210039203A CN 114553479 B CN114553479 B CN 114553479B
Authority
CN
China
Prior art keywords
data
checking
service
module
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210039203.6A
Other languages
English (en)
Other versions
CN114553479A (zh
Inventor
许丰钦
凌可佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Huayi Environmental Technology Co ltd
Original Assignee
Guangdong Huayi Environmental Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Huayi Environmental Technology Co ltd filed Critical Guangdong Huayi Environmental Technology Co ltd
Priority to CN202210039203.6A priority Critical patent/CN114553479B/zh
Publication of CN114553479A publication Critical patent/CN114553479A/zh
Application granted granted Critical
Publication of CN114553479B publication Critical patent/CN114553479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/126—Applying verification of the received information the source of the received data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种协议接收和处理系统，包括接收层、数据处理层和应用层，所述接收层，用于提供数据接收服务；所述数据处理层，用于进行数据检查识别、数据配置、数据存储和事件通知；所述应用层，用于根据业务类型，对业务进行展示或应用；其中，所述数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，所述数据配置包括业务配置和报文对象化解析，所述数据存储包括业务数据存储和报文数据存储。本发明通过数据的检查识别与解析，避免了数据源相互串发数据并实现了数据的规范入库，可广泛应用于信息处理技术领域。

Description

一种协议接收和处理系统、方法及装置
技术领域
本发明涉及信息处理技术领域，尤其是一种协议接收和处理系统、方法及装置。
背景技术
随着物联网技术的发展，越来越多的设备产生了数据并具有一定的分析意义。在污染源环保监控领域，国家制定了《HJ212-2017污染物在线监控(监测)系统数据传输标准》，规定了传输的过程及参数命令、交互命令、数据命令和控制命令的格式，给出了代码定义。
同时，监控领域的业务越来越复杂、涉及的设备及报文上报的数量也越来越多、对于报文数据的指标计算也越来越复杂，各个环节的稳定运行将成为系统的重要保障，所以高效高可用弹性适配的协议数据采集和接收系统的必需的，其难度也越来越高。
在这样的标准和技术背景下，目前企业类似的系统所面临的实现要点如下：
协议数据接收：根据数据传输标准接收数据，由于数据报文来源点比较多，报文上报频率也比较多，需要提高可靠的接收服务。
协议数据入库：将协议报文中的数据解析并且保存进数据库，数据源的增加和运行时间的增长会导致数据指数级别的增加，需要稳定的数据存储服务。
现有技术实现数据传输容易出现数据源相互串发数据以及不规范的数据入库的情况。
发明内容
有鉴于此，本发明实施例提供一种协议接收和处理系统，通过数据的检查识别与解析，避免了数据源相互串发数据并实现了数据的规范入库。
第一方面，本发明实施例提供了一种协议接收和处理系统，包括接收层、数据处理层和应用层，
所述接收层，用于提供数据接收服务；
所述数据处理层，用于进行数据检查识别、数据配置、数据存储和事件通知；
所述应用层，用于根据业务类型，对业务进行展示或应用；
其中，所述数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，所述数据配置包括业务配置和报文对象化解析，所述数据存储包括业务数据存储和报文数据存储。
可选地，所述接收层，包括虚拟服务器、web服务器和接收服务框架层，
所述虚拟服务器，用于进行统一对外的数据服务，并将数据服务请求发送至所述web服务器；
所述web服务器，用于接收来自所述虚拟服务器的所述数据服务请求，并将所述数据服务请求代理至所述接收服务框架层；
所述接收服务框架层，用于根据所述数据服务请求，提供数据接收服务。
可选地，所述数据处理层，包括数据检查识别模块、指标中心、数据存储模块和事件通知中心，
所述数据检查识别模块，用于进行数据检查识别；
所述指标中心，用于进行数据配置；
所述数据存储模块，用于进行数据存储；
所述事件通知中心，用于进行事件通知。
可选地，所述数据检查识别模块，包括终端来源合法性检查模块、协议规范性检查模块和报文来源识别监控模块，
所述终端来源合法性检查模块，用于进行数据合法性检查，所述数据合法性检查包括数据黑名单检查；
所述协议规范性检查模块，用于进行数据规范性检查，所述数据规范性检查包括协议报文对象属性值的校验；
所述报文来源识别监控模块，用于进行数据来源识别，所述数据来源识别包括协议报文标识的业务字段解析。
可选地，所述指标中心包括业务配置模块和报文对象化解析模块，
所述业务配置模块，用于进行业务配置，所述业务配置包括根据业务特征匹配配置方式；
所述报文对象化解析模块，用于进行报文对象化解析，所述报文对象化解析包括协议到对象的转换与计算。
可选地，所述数据处理层还包括：
数据队列模块，用于对所述数据检查识别后的数据进行缓冲和解耦。
第二方面，本发明实施例提供了一种协议接收和处理方法，包括：
建立协议接收和处理系统与数据终端的链接；
获取所述数据终端的的终端请求ip；
根据所述终端请求ip，进行数据检查识别；
将所述数据检查识别合格后的数据放入数据队列；
根据所述数据队列，进行数据配置；
根据所述数据配置，进行业务的展示或应用；
其中，所述协议接收和处理系统，包括接收层、数据处理层和应用层，
所述接收层，用于提供数据接收服务；
所述数据处理层，用于进行数据检查识别、数据配置、数据存储和事件通知；
所述应用层，用于根据业务类型，对业务进行展示或应用；
其中，所述数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，所述数据配置包括业务配置和报文对象化解析，所述数据存储包括业务数据存储和报文数据存储。
可选地，所述根据所述终端请求ip，进行数据检查识别，包括以下至少之一：
根据所述终端请求ip，进行数据合法性检查；
根据所述终端请求ip，进行数据规范性检查；
根据所述终端请求ip，进行数据来源识别。
可选地，所述根据所述数据队列，进行数据配置，包括以下至少之一：
根据所述数据队列，进行业务配置；
根据所述数据队列，进行报文对象化解析。
第三方面，本发明实施例提供了一种协议接收和处理装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如本发明实施例第二方面的协议接收和处理方法。
本发明实施例提供了一种协议接收和处理系统，通过接收层、数据处理层和应用层构建了协议接收和处理系统，接收层用于提供数据接收服务；数据处理层用于进行数据检查识别、数据配置、数据存储和事件通知，数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，数据配置包括业务配置和报文对象化解析，数据存储包括业务数据存储和报文数据存储；应用层用于根据业务类型，对业务进行展示或应用。本发明通过数据处理层实现包括数据合法性检查、数据规范性检查和数据来源识别的数据检查识别，并结合数据配置与数据存储，实现了数据的检查识别与解析，避免了数据源相互串发数据并实现了数据的规范入库。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种协议接收和处理系统的架构示意图；
图2为本发明实施例提供的一种协议接收和处理系统的接收层的网络架构示意图；
图3为本发明实施例提供的一种协议接收和处理系统的数据处理层的模块交互示意图；
图4为本发明实施例提供的一种协议接收和处理方法的流程示意图；
图5为本发明实施例提供的一种协议接收和处理方法的数据处理流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
第一方面，本发明实施例提供了一种协议接收和处理系统，协议接收和处理系统包括接收层、数据处理层和应用层，
接收层，用于提供数据接收服务；
数据处理层，用于进行数据检查识别、数据配置和数据存储；
应用层，用于根据业务类型，对业务进行展示或应用；
其中，数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，数据配置包括业务配置和报文对象化解析，数据存储包括业务数据存储和报文数据存储。
在一些实施例中，接收层，包括虚拟服务器、web服务器和接收服务框架层，
虚拟服务器，用于进行统一对外的数据服务，并将数据服务请求发送至web服务器；
web服务器，用于接收来自虚拟服务器的数据服务请求，并将数据服务请求代理至接收服务框架层；
接收服务框架层，用于根据数据服务请求，提供数据接收服务。
需要说明的是，本发明实施例的协议接收和处理系统通过接收层与数据终端链接，与数据终端之间链接的是虚拟服务器，并且在数据终端与虚拟服务器之间以及web服务器与netty之间分别设置有防火墙，用于保护数据服务，避免恶意攻击。
在一些实施例中，数据处理层，包括数据检查识别模块、指标中心和数据存储模块，
数据检查识别模块，用于进行数据检查识别；
指标中心，用于进行数据配置；
数据存储模块，用于进行数据存储。
在一些实施例中，数据检查识别模块，包括终端来源合法性检查模块、协议规范性检查模块和报文来源识别监控模块，
终端来源合法性检查模块，用于进行数据合法性检查，数据合法性检查包括数据黑名单检查；
协议规范性检查模块，用于进行数据规范性检查，数据规范性检查包括协议报文对象属性值的校验；
报文来源识别监控模块，用于进行数据来源识别，数据来源识别包括协议报文标识的业务字段解析。
在一些实施例中，指标中心包括业务配置模块和报文对象化解析模块，
业务配置模块，用于进行业务配置，业务配置包括根据业务特征匹配配置方式；
报文对象化解析模块，用于进行报文对象化解析，报文对象化解析包括协议到对象的转换与计算。
在一些实施例中，数据处理层还包括：
数据队列模块，用于对数据检查识别后的数据进行缓冲和解耦。
下面以一具体的协议接收和处理系统为例，结合附图对本发明作进一步的详细说明：
参照图1，为本发明一种协议接收和处理系统的系统框架示意图，总体分为三层，接收层分布式netty提供接收服务，数据处理层由终端来源合法性检查模块、报文协议模块、报文协议来源识别监控模块、数据队列模块、指标中心、时间通知中心和数据存储模块共同完成，应用层则根据不同的业务做不同的展示或者应用。
1)接收层的网络架构：
参照图2，数据终端经过防火墙后，到达了服务统一对外的LVS，LVS经过均衡将请求分发到不同的nginx服务，nginx服务根据tcp stream的配置，经过防火墙后，反向代理到真正处理的netty数据接收服务。经过防火墙和多层次的负载均衡，一方面能保护数据服务，避免恶意攻击，另一方面保证了服务的高可用，能够一直提供稳定可靠的数据接收服务。
2)数据处理层，其拥有高速的数据处理能力，本发明实施例的协议接收与处理系统主要应用于“污染源环保监控领域”，根据《HJ212-2017污染物在线监控(监测)系统数据传输标准》，适用于污染物在线监控(监测)系统、污染物排放过程(工况)自动监控系统与监控中心之间的数据传输，规定了传输的过程及参数命令、交互命令、数据命令和控制命令的格式，给出了代码定义，同时也规定了在线监控(监测)仪器仪表和数据采集传输仪之间的数据传输格式，也给出了代码定义。参照图1和图3，数据处理层的架构：
①终端来源合法性检查模块：主要进行黑名单等合法性的检查
②协议规范性检查模块：规范性检查主要利用了协议报文对象化解析能力，根据《HJ212-2017污染物在线监控(监测)系统数据传输标准》中的通讯协议数据结构，解析通讯包中的数据段，根据数据段的组成结构，如：请求编码、系统编码、命令编码、设备唯一标识、指令参数等，通过制定标准化数据对象和因子对象、设备对象、现场端对象，并引入实现了JSR303标准的Hibernate Validator，利用其特性对对象属性值进行了高速有效的校验，只有通过校验对报文才是有效性的报文。
③报文来源识别监控模块：此模块会对任一链接的终端通道创建长度为60的唯一标识，通过解析报文中的唯一业务字段进行绑定，建立一对一的映射关系，一方面防范同一终端通过不同的数据通道发送报文，另一方面也防范了同一数据通道发送了不同数据终端特征的报文；
④数据队列模块：经过几个模块验证通过的报文会发送到数据队列中；数据队列主要起了缓冲和解耦的作用。
⑤指标中心：是一个动态可配置指标内容的模块，其根据业务特征提供了多种配置方式，如配置中心、配置文件、数据库等，通过读取设定的唯一业务特征值对应的配置方式内容，如：公式计算、接口返回、对象反射等多种方式获取计算方法或者计算结果，每个指标模块都会从队列中订阅消息，然后利用报文对象化解析模块进行协议到对象的转换与计算，生成不同的事件传到事件通知中心。
如：污染源因子溯源计算判断：首先配置溯源因子和算法因子，溯源因子主要组成分为天气和时间；然后通过解析报文中的指定范围数据，根据算法因子排除无效数值，再利用有效值的中位数计算绝对中位差形成区间范围，最后利用区间最大最小值和算法因子中的值进行比较来判断是否超标。
⑥事件通知中心：主要根据注册的不同通知方式进行业务通知与处理，如短信通知、小程序消息通知、公众号通知、邮件通知等。
⑦数据存储模块：整个过程的业务数据和数据监控流转记录都会在mysql关系数据库中存储，而数据量巨大的报文数据则在Clickhouse列式数据库中存储，后续的业务应用查询充分利用了OLAP数据库的分析能力。
3)应用层主要是结合业务做各种应用处理，在本系统中支持小程序、微信公众号和PC端，通过HTTP接口调用能力聚合层获取的各种服务，如数据查询、数据应用、业务通知、工单流转等。
第二方面，参照图4，本发明实施例提供了一种协议接收和处理方法，包括：
建立协议接收和处理系统与数据终端的链接；
获取数据终端的的终端请求ip；
根据终端请求ip，进行数据检查识别；
将数据检查识别合格后的数据放入数据队列；
根据数据队列，进行数据配置；
根据数据配置，进行业务的展示或应用；
其中，协议接收和处理系统，包括接收层、数据处理层和应用层，
接收层，用于提供数据接收服务；
数据处理层，用于进行数据检查识别、数据配置、数据存储和事件通知；
应用层，用于根据业务类型，对业务进行展示或应用；
其中，数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，数据配置包括业务配置和报文对象化解析，数据存储包括业务数据存储和报文数据存储。
在一些实施例中，根据终端请求ip，进行数据检查识别，包括以下至少之一：
根据终端请求ip，进行数据合法性检查；
根据终端请求ip，进行数据规范性检查；
根据终端请求ip，进行数据来源识别。
在一些实施例中，根据数据队列，进行数据配置，包括以下至少之一：
根据数据队列，进行业务配置；
根据数据队列，进行报文对象化解析。
下面以一具体的协议接收和处理方法为例，结合附图对本发明作进一步的详细说明：
参照图5，协议接收和处理系统在终端建立链接的时候分配唯一的60位通道特征码，通过nginx中的proxy on信息解析出终端的ip，然后通过读取配置库判断是否是黑名单，通过后解析报文中的密码，与配置库进行比较，通过后将整串报文转换成对象，利用事先根据规范标准设定的对象进行属性值校验；通过后用业务特征码绑定通道特征码，在后续的每一次数据交换中都校验是否同一通道有多个终端及同一终端的业务特征码是否在不同的通道中出现来进行业务告警，通过以上一系列后的报文才是合法报文，这个时候会将报文放入数据队列。之后通过指标中心监听数据队列，当数据队列有时候会触发其操作，主要为读取报文然后将报文映射成对象，通过解析对象中的业务特征码，然后读取配置获取该业务设计的计算方法和计算结果，根据结果与事件进行比较，判断是否要进行各种事件通知，同时将解析计算后的结果满足条件的入库，以供应用层业务调用。
本发明系统实施例的内容均适用于本方法实施例，本方法实施例所具体实现的功能与上述系统实施例相同，并且达到的有益效果与上述系统达到的有益效果也相同。
第三方面，本发明实施例提供了一种协议接收和处理装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被所述至少一个处理器执行，使得至少一个处理器运行如前面所述的协议接收和处理方法。
本发明系统实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述系统实施例相同，并且达到的有益效果与上述系统达到的有益效果也相同。
综上所述，本发明实施例的协议接收和处理系统，核心在于数据处理层，其由终端来源合法性检查模块、协议规范性检查模块、报文来源识别监控模块、数据队列、指标中心、事件通知中心、数据存储模块组成。各模块采用数据流和观察者模式与队列应用，有效的解耦了业务的复杂性，完成了报文的接收、检查、识别、入库、指标计算、事件通知等过程，相对一般类似场景的解决方案，具备了协议对象转换、终端特征识别和动态指标计算这几个高效高能的步骤，不仅可以实现数据采集、来源监控、指标计算和分析通知，而且基于对不同场景和协议的数据分析积累，抽象出统一的模型，这样面对不同的协议接收采集和指标计算只需要修改协议转换以及修改配置即可实现整个过程。并且，本发明在于整个过程的功能设计和实现上，不仅单单的解析和入库，对于整个过程增加了协议的解析实现了报文字符串的对象化解析，利用jsr303能够高效的校验对象特征，同时在数据处理方面对象化操作更加有意义和快捷便利；在终端报文来源方面，除了传统意义上的黑名单ip拦截外，还能通过终端特征识别通道和终端的关系，避免了不同通道发送同一终端特征的报文及同一通道发送不同终端特征的报文这些非常规业务和技术都不好排查的操作；通过基于配置中心是思想设计了指标中心，不同的指标计算通过配置的方式实现动态加载完成计算目标，避免了新指标的产生或者已有指标计算方法的变更需要重启应用。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理系统和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理系统或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的系统中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、系统或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、系统或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、系统或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、系统或设备或结合这些指令执行系统、系统或设备而使用的系统。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子系统)，便携式计算机盘盒(磁系统)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤系统，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种协议接收和处理系统，其特征在于，包括接收层、数据处理层和应用层，所述接收层，用于提供数据接收服务；
所述数据处理层，用于进行数据检查识别、数据配置、数据存储和事件通知；
其中，所述数据处理层，包括数据检查识别模块、指标中心、数据存储模块和事件通知中心，
所述数据检查识别模块，用于进行数据检查识别；
所述指标中心，用于进行数据配置；
所述数据存储模块，用于进行数据存储；
所述事件通知中心，用于进行事件通知；
所述数据检查识别模块，包括终端来源合法性检查模块、协议规范性检查模块和报文来源识别监控模块；
所述终端来源合法性检查模块，用于进行数据合法性检查，所述数据合法性检查包括数据黑名单检查；
所述协议规范性检查模块，用于进行数据规范性检查，所述数据规范性检查包括协议报文对象属性值的校验；
所述报文来源识别监控模块，用于进行数据来源识别，所述数据来源识别包括协议报文标识的业务字段解析；
所述指标中心包括业务配置模块和报文对象化解析模块；
所述业务配置模块，用于进行业务配置，所述业务配置包括根据业务特征匹配配置方式；
所述报文对象化解析模块，用于进行报文对象化解析，所述报文对象化解析包括协议到对象的转换与计算；
所述应用层，用于根据业务类型，对业务进行展示或应用；
其中，所述数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，所述数据配置包括业务配置和报文对象化解析，所述数据存储包括业务数据存储和报文数据存储。
2.根据权利要求1所述的一种协议接收和处理系统，其特征在于，所述接收层，包括虚拟服务器、web服务器和接收服务框架层，
所述虚拟服务器，用于进行统一对外的数据服务，并将数据服务请求发送至所述web服务器；
所述web服务器，用于接收来自所述虚拟服务器的所述数据服务请求，并将所述数据服务请求代理至所述接收服务框架层；
所述接收服务框架层，用于根据所述数据服务请求，提供数据接收服务。
3.根据权利要求1所述的一种协议接收和处理系统，其特征在于，所述数据处理层还包括：
数据队列模块，用于对所述数据检查识别后的数据进行缓冲和解耦。
4.一种协议接收和处理方法，其特征在于，包括：
建立协议接收和处理系统与数据终端的链接；
获取所述数据终端的的终端请求ip；
根据所述终端请求ip，进行数据检查识别；
将所述数据检查识别合格后的数据放入数据队列；
根据所述数据队列，进行数据配置；
根据所述数据配置，进行业务的展示或应用；
其中，所述协议接收和处理系统，包括接收层、数据处理层和应用层，
所述接收层，用于提供数据接收服务；
所述数据处理层，用于进行数据检查识别、数据配置、数据存储和事件通知；
所述应用层，用于根据业务类型，对业务进行展示或应用；
其中，所述数据检查识别包括数据合法性检查、数据规范性检查和数据来源识别，所述数据配置包括业务配置和报文对象化解析，所述数据存储包括业务数据存储和报文数据存储；
所述数据处理层，包括数据检查识别模块、指标中心、数据存储模块和事件通知中心，所述数据检查识别模块，用于进行数据检查识别；
所述指标中心，用于进行数据配置；
所述数据存储模块，用于进行数据存储；
所述事件通知中心，用于进行事件通知；
所述数据检查识别模块，包括终端来源合法性检查模块、协议规范性检查模块和报文来源识别监控模块；
所述终端来源合法性检查模块，用于进行数据合法性检查，所述数据合法性检查包括数据黑名单检查；
所述协议规范性检查模块，用于进行数据规范性检查，所述数据规范性检查包括协议报文对象属性值的校验；
所述报文来源识别监控模块，用于进行数据来源识别，所述数据来源识别包括协议报文标识的业务字段解析；
所述指标中心包括业务配置模块和报文对象化解析模块；
所述业务配置模块，用于进行业务配置，所述业务配置包括根据业务特征匹配配置方式；
所述报文对象化解析模块，用于进行报文对象化解析，所述报文对象化解析包括协议到对象的转换与计算。
5.根据权利要求4所述的一种协议接收和处理方法，其特征在于，所述根据所述终端请求ip，进行数据检查识别，包括以下至少之一：
根据所述终端请求ip，进行数据合法性检查；
根据所述终端请求ip，进行数据规范性检查；
根据所述终端请求ip，进行数据来源识别。
6.根据权利要求4所述的一种协议接收和处理方法，其特征在于，所述根据所述数据队列，进行数据配置，包括以下至少之一：
根据所述数据队列，进行业务配置；
根据所述数据队列，进行报文对象化解析。
7.一种协议接收和处理装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如权利要求4至6任一项所述的协议接收和处理方法。
CN202210039203.6A 2022-01-13 2022-01-13 一种协议接收和处理系统、方法及装置 Active CN114553479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210039203.6A CN114553479B (zh) 2022-01-13 2022-01-13 一种协议接收和处理系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210039203.6A CN114553479B (zh) 2022-01-13 2022-01-13 一种协议接收和处理系统、方法及装置

Publications (2)

Publication Number Publication Date
CN114553479A CN114553479A (zh) 2022-05-27
CN114553479B true CN114553479B (zh) 2024-01-02

Family

ID=81671096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210039203.6A Active CN114553479B (zh) 2022-01-13 2022-01-13 一种协议接收和处理系统、方法及装置

Country Status (1)

Country Link
CN (1) CN114553479B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547234A (zh) * 2018-10-18 2019-03-29 广州市百果园信息技术有限公司 一种数据处理、上报方法、装置、设备和存储介质
CN110324324A (zh) * 2019-06-19 2019-10-11 国电南瑞南京控制系统有限公司 一种电、水、气、热四表采集协议系统及转换方法
CN111083168A (zh) * 2019-12-31 2020-04-28 广东嘉泰智能技术有限公司 可配置的物联网平台网关的数据传输方法、装置和网关
CN111464336A (zh) * 2020-03-13 2020-07-28 南京南瑞信息通信科技有限公司 一种基于电力通信机房高并发数据处理方法及系统
CN112988762A (zh) * 2021-05-07 2021-06-18 江苏中辰软件科技有限公司 一种适用于失信单位的实时识别及预警方法
CN113676400A (zh) * 2021-08-17 2021-11-19 国网湖南省电力有限公司 用于环保数据采集设备物联接入的云网关系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070872B (zh) * 2017-01-19 2019-08-27 深圳创维－Rgb电子有限公司 一种用于客户端的数据处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547234A (zh) * 2018-10-18 2019-03-29 广州市百果园信息技术有限公司 一种数据处理、上报方法、装置、设备和存储介质
CN110324324A (zh) * 2019-06-19 2019-10-11 国电南瑞南京控制系统有限公司 一种电、水、气、热四表采集协议系统及转换方法
CN111083168A (zh) * 2019-12-31 2020-04-28 广东嘉泰智能技术有限公司 可配置的物联网平台网关的数据传输方法、装置和网关
CN111464336A (zh) * 2020-03-13 2020-07-28 南京南瑞信息通信科技有限公司 一种基于电力通信机房高并发数据处理方法及系统
CN112988762A (zh) * 2021-05-07 2021-06-18 江苏中辰软件科技有限公司 一种适用于失信单位的实时识别及预警方法
CN113676400A (zh) * 2021-08-17 2021-11-19 国网湖南省电力有限公司 用于环保数据采集设备物联接入的云网关系统

Also Published As

Publication number Publication date
CN114553479A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109684052B (zh) 事务分析方法、装置、设备及存储介质
US11153337B2 (en) Methods and systems for improving beaconing detection algorithms
CN111240940B (zh) 实时业务监控方法、装置、电子设备、存储介质
CN113949577A (zh) 一种应用于云服务的数据攻击分析方法及服务器
CN111258798B (zh) 监控数据的故障定位方法、装置、计算机设备及存储介质
CN115865525B (zh) 日志数据处理方法、装置、电子设备和存储介质
CN111740868A (zh) 告警数据的处理方法和装置及存储介质
CN113609012A (zh) 规范化处理后端异常报错的方法及系统
CN116055448A (zh) 一种电力作业的标识数据管理平台
CN111666193A (zh) 基于实时日志解析的终端功能监控与测试的方法与系统
CN114553479B (zh) 一种协议接收和处理系统、方法及装置
CN117370286A (zh) 一种基于云平台的数据存储方法、系统及设备
CN112688924A (zh) 网络协议分析系统
CN117289926A (zh) 一种业务处理方法和装置
CN115858320A (zh) 操作日志记录方法、装置、介质及产品
CN115396142A (zh) 基于零信任的信息访问方法、装置、计算机设备及介质
CN115913912A (zh) 报文拦截及业务链路图的生成方法及装置
CN114189585A (zh) 骚扰电话异常检测方法、装置及计算设备
CN112799956A (zh) 资产识别能力测试方法、装置及系统装置
CN111639079A (zh) 一种面向内容计费业务的局数据核查方法及设备
CN110119337A (zh) 一种数据分析方法、装置及服务器
CN113259299B (zh) 一种标签管理方法、上报方法、数据分析方法及装置
CN116056083A (zh) 5g物联网卡访问风险管理方法、系统、装置及存储介质
CN105788053A (zh) 获取排队叫号数据的系统、方法及数据抓取客户端
CN117040918A (zh) 一种网络安全管理平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant