CN109639754B - 一种电网调度服务网关数据审计的实现方法 - Google Patents
一种电网调度服务网关数据审计的实现方法 Download PDFInfo
- Publication number
- CN109639754B CN109639754B CN201811266414.3A CN201811266414A CN109639754B CN 109639754 B CN109639754 B CN 109639754B CN 201811266414 A CN201811266414 A CN 201811266414A CN 109639754 B CN109639754 B CN 109639754B
- Authority
- CN
- China
- Prior art keywords
- service
- data
- audit
- request
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012550 audit Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004044 response Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 4
- 238000009825 accumulation Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000036541 health Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 239000012190 activator Substances 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001550 time effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1006—Server selection for load balancing with static server selection, e.g. the same server being selected for a specific client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种电网调度服务网关数据审计的实现方法，步骤是：调度客户系统发送请求，服务网关数据采集器解析请求的目的服务提供者信息并检索有效地址，发放到不同的转发处理线程上；数据采集器针对投递的服务内容进行审计并统计流量，并将获取的流量数据及审计数据发放到消息管道传送带上向审计微服务流转；审计微服务收取流量包进行解析拆箱并进行业务计算，将计算结果持久化到数据仓库中存储；请求由服务提供者进行业务处理后，请求响应经原路回执到服务网关，再次经过数据采集器进行响应内容数据审计。此种方法可实现审计业务与服务提供者的解耦，保障服务执行效率及内容审计的时效性，并能提高平台服务提供者接入的易用性和伸缩性。
Description
技术领域
本发明属于电网调度自动化领域，特别涉及一种电网调度服务网关数据审计的实现方法。
背景技术
电网调度自动化系统是电网公司对所管辖范围内的电网进行实时监控核心的大型自动化软件系统。电网调度自动化业务的不断发展对电网调度自动化平台的业务支撑能力、扩展能力等方面提出了更高要求。
以往的服务内容审计的方式通常在服务提供者中进行相应参数的获取及计算并最终统一到一个数据集上用于存储，这种方式很好的解决了服务提供者中参数统计的准确性及有效性，但同时也导致服务提供者需要更多地依赖统计服务且每个服务提供者都要为统计数据集维护一个连接，进而服务提供者需要被占用一部分资源来做统计任务从而影响其主要业务服务效率。同时这种方式很难保证各个提供者资源统计的时间窗口同步性。
现有方式针对各分散的服务不利于集中统计流量及内容审计，将统计计算开销分担到本应只关心业务计算的服务提供者，将影响服务提供者执行效能。
发明内容
本发明的目的，在于提供一种电网调度服务网关数据审计的实现方法，其可实现审计业务与服务提供者的解耦，保证服务流转及处理的效率，确保实时性地审计内容及统计数据流量；从而保障服务执行效率及内容审计的时效性，并能提高平台服务提供者接入的易用性和伸缩性。
为了达成上述目的，本发明的解决方案是：
一种电网调度服务网关数据审计的实现方法，包括如下步骤：
步骤1，调度客户系统发送具有有效参数的请求到电网调度自动化平台的服务网关；
步骤2，服务网关数据采集器解析该请求的目的服务提供者信息并到地址通讯录中检索该服务提供者的有效地址，根据目的地址发放到不同的转发处理线程上；
步骤3，所有的转发任务在离开服务网关转发到目的地址前都会流经数据采集器，数据采集器针对投递的服务内容进行审计并统计流量；
步骤4，数据采集器将获取的流量数据及审计数据做包装并发放到消息管道传送带上向审计微服务流转；
步骤5，审计微服务在消息管道的接收端收取流量包进行解析拆箱并进行业务计算，将计算结果持久化到数据仓库中存储；
步骤6，请求转发到相应的服务提供者进行业务处理后，请求响应经原路回执到服务网关，所有的请求回执在服务网关进行反馈客户端系统前再次经过数据采集器进行响应内容数据审计；
步骤7，数据采集器将审计后的流量信息做包装后发送到消息管道转给审计微服务处理；
步骤8，审计微服务在消息管道的接收端收取流量包进行解析拆箱并进行业务计算，将计算结果持久化到数据仓库中存储。
其中，服务网关、地址通讯录以及服务提供者实例部署在同一台服务器上，或部署在不同服务器上。
其中，数据采集器的初始化和维护流程如下：
步骤a1，数据采集器配置审计规则及消息服务地址，开启消息服务客户端；
步骤a2，数据采集器接收流经服务网关的请求，解析token信息，报文服务，接口信息，根据消息压缩方式进行编码；
步骤a3，数据采集器缓存该请求的处理线程信息及审计信息并将请求审计内容异步发布到消息管道；
步骤a4，数据采集器接收返回服务网关的响应，根据处理线程信息获取请求的审计数据，根据压缩方式编码，根据响应码记录审计结果信息，最后异步发送请求响应的审计数据到消息管道。
其中，服务网关的初始化和维护流程如下：
步骤b1，配置地址通讯录连接，配置服务请求路由规则，初始化注册到地址通讯录服务，初始化数据采集器，限流控制器；
步骤b2，获取地址映射关系并缓存在本地，接收外部服务请求，解析报文头的权限信息进行快速验证，如无权限返回错误信息；
步骤b3，根据服务请求目的信息，获取可用服务提供者地址转发请求，数据采集器审计服务内容消息体及计算数据流量，并实时向消息管道发送审计数据；
步骤b4，服务网关接收已转发的服务请求响应，在数据采集器中审计服务内容消息体及计算数据流量，并实时向消息管道发送审计数据；
步骤b5，服务网关将服务响应内容根据请求携带的源地址信息转发到发起请求的客户端系统。
其中，服务网关中限流控制器的工作流程步骤如下：
步骤c1，配置中开启限流控制器，设置限流策略，时间窗口，请求次数，识别源端的方式；
步骤c2，调度客户端系统请求发送到服务网关进入限流控制器，限流控制器在内存缓存中查找该源的限流策略，计算时间窗口内该源客户端的请求次数是否达到阈值；未达到限制次数阈值的源端信息更新到缓存，超过阈值的源端请求则返回异常响应。
其中，限流控制器还结合数据采集器限制源端请求流量，通过配置中的流量阈值及该源端在时间窗口内累积的流量进行比较判定，对于时间窗口过期的源端，对其请求累计次数及流量累积值清零并删除缓存中该源端数据。
其中，审计微服务用于流量数据的收集加工及存储，其内部执行的步骤如下：
步骤d1，审计微服务启动后初始化监听消息管道的线程用于实时监听消息管道中的流量数据包，同时注册自身微服务到地址注册服务系统，消息管道及地址注册服务在配置文件中设置；
步骤d2，审计微服务启动后，根据配置文件中主备审计微服务地址判断本服务实例是否为主审计服务，判定为主审计服务实例的程序设置消息处理开关为开状态，备审计服务实例则通过spring boot actuator在微服务中设置的监控埋点向主审计实例发送http查询健康状态的心跳请求；
步骤d3，主审计实例健康状态下，或备实例通过定时任务连续三次探测主审计异常情况下，接收并处理消息管道中监听到的审计数据计算并持久化；
步骤d4，审计数据按月分表存储，针对服务请求响应内容的编码方式进行解码或解压后存储方便展示界面查询；
步骤d5，针对请求响应数据内容大于100M的大请求进行分割存储。
采用上述方案后，本发明包括：服务客户系统发送服务请求到服务网关，请求中携带服务请求者，目标服务提供者，服务参数；服务网关协同地址通讯录转发服务到通讯录中的目标服务提供者。在转发时通过在网关中设置数据采集器获取服务参数中的请求内容数据量及审计请求执行状况，通过并行的实时处理的形式将数据量及审计结果发送到消息管道，保证了采集处理的过程几乎不会影响服务转发的时效。
附图说明
图1是电网调度服务网关数据审计实现方法的架构示意图；
图2是电网调度服务网关数据审计的工作流程示意图；
图3是电网调度服务网关数据审计的审计微服务工作流程示意图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
本实施实例给出了一个电网调度服务网关数据审计的实现方案，包括了服务网关数据审计框架方案和审计微服务交互流程方案。
图1描述了网关数据审计实现的框架示意图，网关数据审计的实施实例由服务网关，地址通讯录，数据采集器，消息管道，审计微服务，多个提供不同服务的服务提供者组成。
其中每个服务提供者服务实例都是能够实现某一种电网调度业务的单独运行与部署的服务进程，每种业务服务实例采用微服务实现并集群部署到多台节点上。
服务网关、地址通讯录以及服务提供者实例可以部署在同一台服务器，也可以部署在不同服务器上。每个组件的服务监听端口都不能一样，但服务提供者部署在同一台服务器时可共用相同的端口进行访问。
数据采集器负责提供电网调度客户端系统请求及响应内容的解析及审计，维护整个请求响应生命周期的链路信息，用于统计及追踪调度请求及响应的信息。数据采集器的初始化和维护流程如下：
1)数据采集器配置审计规则及消息服务地址，开启消息服务客户端。
2)数据采集器接收流经服务网关的请求，解析token信息，报文服务，接口信息，根据消息压缩方式进行编码。
3)数据采集器缓存该请求的处理线程信息及审计信息并将请求审计内容异步发布到消息管道。
4)数据采集器接收返回服务网关的响应，根据处理线程信息获取请求的审计数据，根据压缩方式编码，根据响应码记录审计结果信息，最后异步发送请求响应的审计数据到消息管道。
服务网关负责接入平台客户端请求，请求的校验，请求的过滤，服务转发，使用数据采集器对有效的服务请求及服务响应进行处理。其作用是作为服务转发的路由。服务网关的初始化和维护流程如下：
1)配置地址通讯录连接，配置服务请求路由规则，初始化注册到地址通讯录服务，初始化数据采集器，限流控制器。
2)获取地址映射关系并缓存在本地，接收外部服务请求，解析报文头的权限信息进行快速验证，如无权限返回错误信息。
3)根据服务请求目的信息，获取可用服务提供者地址转发请求，数据采集器审计服务内容消息体及计算数据流量，并实时向消息管道发送审计数据。
4)服务网关接收已转发的服务请求响应，在数据采集器中审计服务内容消息体及计算数据流量，并实时向消息管道发送审计数据。
5)服务网关将服务响应内容根据请求携带的源地址信息转发到发起请求的客户端系统。
服务网关中限流控制器作为客户端请求流量计算，时间域内请求次数统计的控制单元，其工作流程如下步骤：
1)配置中开启限流控制器，设置限流策略，时间窗口，请求次数，识别源端的方式如通过ip或url。
2)调度客户端系统请求发送到服务网关进入限流控制器，限流控制器在内存缓存中查找该源的限流策略，计算时间窗口内该源客户端的请求次数是否达到阈值。
3)未达到限制次数阈值的源端信息更新到缓存，超过阈值的源端请求则返回异常响应。
4)限流控制器可结合数据采集器限制源端请求流量，通过配置中的流量阈值及该源端在时间窗口内累积的流量进行比较判定。
5)对于时间窗口过期的源端则对其请求累计次数及流量累积值清零并删除缓存中该源端数据。
本发明提供的一种电网调度服务网关数据审计的实现方法，包括如下步骤：
1)调度客户系统发送具有有效参数的请求到电网调度自动化平台的服务网关。
2)服务网关数据采集器解析该请求的目的服务提供者信息并到地址通讯录中检索该服务提供者的有效地址，根据目的地址发放到不同的转发处理线程上。
3)所有的转发任务在离开服务网关转发到目的地址前都会流经数据采集器，数据采集器针对投递的服务内容进行审计并统计流量。
4)数据采集器将获取的流量数据及审计数据做包装并发放到消息管道传送带上向审计微服务流转。
5)审计微服务在消息管道的接收端收取流量包进行解析拆箱并进行业务计算，将计算结果持久化到数据仓库中存储。
6)请求转发到相应的服务提供者后进行业务处理后，请求响应经原路回执到服务网关，所有的请求回执在服务网关进行反馈客户端系统前再次经过数据采集器进行响应内容数据审计；
7)数据采集器将审计后的流量信息做包装后发送到消息管道转给审计微服务处理。
8)处理过程同步骤5)。
所述数据审计实现方法中的服务网关是电网调度自动化平台服务的统一接入系统，电网调度的客户系统向平台所发送的服务请求都需要经过服务网关进行入单元，电网调度的客户系统向平台所发送的服务请求都需要经过服务网关进行权限校验、请求过滤及服务转发；地址通讯录在平台中是内部微服务的地址管理及服务提供者注册的服务系统，所有调度平台服务提供者需首先通过地址通讯录接入平台提供服务，从而提高平台服务的管理能力和扩展能力；数据采集器是服务网关进行转发请求的http过滤模块，所有的请求在该模块进行请求内容数据审计并将流量审计结果发布到消息管道进行流转；审计微服务则作为消息管道的接收者拉取消息管道中的流量审计数据进行解析计算，同时审计微服务与数据库建立连接并将计算后的流量数据持久化到数据仓库。
配合图2及图3所示，在本实现方法中涉及的审计微服务，用于流量数据的收集加工及存储，其内部执行的步骤如下：
1)审计微服务启动后初始化监听消息管道的线程用于实时监听消息管道中的流量数据包，同时注册自身微服务到地址注册服务系统。消息管道及地址注册服务在配置文件中设置。
2)审计微服务启动后，根据配置文件中主备审计微服务地址判断本服务实例是否为主审计服务，判定为主审计服务实例的程序设置消息处理开关为开状态，备审计服务实例则通过spring boot actuator在微服务中设置的监控埋点向主审计实例发送http查询健康状态的心跳请求。
3)主审计实例健康状态下，或备实例通过定时任务连续三次探测主审计异常情况下，接收并处理消息管道中监听到的审计数据计算并持久化。
4)审计数据按月分表存储，针对服务请求响应内容的编码方式进行解码或解压后存储方便展示界面查询。
5)针对请求响应数据内容大于100M的大请求进行分割存储。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (7)
1.一种电网调度服务网关数据审计的实现方法，其特征在于包括如下步骤：
步骤1，调度客户端系统发送具有有效参数的请求到电网调度自动化平台的服务网关；
步骤2，服务网关数据采集器解析该请求的目的服务提供者信息并到地址通讯录中检索该服务提供者的有效地址，根据目的地址发放到不同的转发处理线程上；
步骤3，所有的转发任务在离开服务网关转发到目的地址前都会流经数据采集器，数据采集器针对投递的服务内容进行审计并统计流量；
步骤4，数据采集器将获取的流量数据及审计数据做包装并发放到消息管道传送带上向审计微服务流转；
步骤5，审计微服务在消息管道的接收端收取流量包进行解析拆箱并进行业务计算，将计算结果持久化到数据仓库中存储；
步骤6，请求转发到相应的服务提供者进行业务处理后，请求响应经原路回执到服务网关，所有的请求回执在服务网关进行反馈客户端系统前再次经过数据采集器进行响应内容数据审计；
步骤7，数据采集器将审计后的流量信息做包装后发送到消息管道转给审计微服务处理；
步骤8，审计微服务在消息管道的接收端收取流量包进行解析拆箱并进行业务计算，将计算结果持久化到数据仓库中存储。
2.如权利要求1所述的一种电网调度服务网关数据审计的实现方法，其特征在于：服务网关、地址通讯录以及服务提供者实例部署在同一台服务器上，或部署在不同服务器上。
3.如权利要求1所述的一种电网调度服务网关数据审计的实现方法，其特征在于：数据采集器的初始化和维护流程如下：
步骤a1，数据采集器配置审计规则及消息服务地址，开启消息服务客户端；
步骤a2，数据采集器接收流经服务网关的请求，解析token信息，报文服务，接口信息，根据消息压缩方式进行编码；
步骤a3，数据采集器缓存该请求的处理线程信息及审计信息并将请求审计内容异步发布到消息管道；
步骤a4，数据采集器接收返回服务网关的响应，根据处理线程信息获取请求的审计数据，根据压缩方式编码，根据响应码记录审计结果信息，最后异步发送请求响应的审计数据到消息管道。
4.如权利要求1所述的一种电网调度服务网关数据审计的实现方法，其特征在于：服务网关的初始化和维护流程如下：
步骤b1，配置地址通讯录连接，配置服务请求路由规则，初始化注册到地址通讯录服务，初始化数据采集器，限流控制器；
步骤b2，获取地址映射关系并缓存在本地，接收外部服务请求，解析报文头的权限信息进行快速验证，如无权限返回错误信息；
步骤b3，根据服务请求目的信息，获取可用服务提供者地址转发请求，数据采集器审计服务内容消息体及计算数据流量，并实时向消息管道发送审计数据；
步骤b4，服务网关接收已转发的服务请求响应，在数据采集器中审计服务内容消息体及计算数据流量，并实时向消息管道发送审计数据；
步骤b5，服务网关将服务响应内容根据请求携带的源地址信息转发到发起请求的客户端系统。
5.如权利要求4所述的一种电网调度服务网关数据审计的实现方法，其特征在于：服务网关中限流控制器的工作流程步骤如下：
步骤c1，配置中开启限流控制器，设置限流策略，时间窗口，请求次数，识别源端的方式；
步骤c2，调度客户端系统请求发送到服务网关进入限流控制器，限流控制器在内存缓存中查找该源的限流策略，计算时间窗口内该源客户端的请求次数是否达到阈值；未达到限制次数阈值的源端信息更新到缓存，超过阈值的源端请求则返回异常响应。
6.如权利要求5所述的一种电网调度服务网关数据审计的实现方法，其特征在于：限流控制器还结合数据采集器限制源端请求流量，通过配置中的流量阈值及该源端在时间窗口内累积的流量进行比较判定，对于时间窗口过期的源端，对其请求累计次数及流量累积值清零并删除缓存中该源端数据。
7.如权利要求1所述的一种电网调度服务网关数据审计的实现方法，其特征在于：审计微服务用于流量数据的收集加工及存储，其内部执行的步骤如下：
步骤d1，审计微服务启动后初始化监听消息管道的线程用于实时监听消息管道中的流量数据包，同时注册自身微服务到地址注册服务系统，消息管道及地址注册服务在配置文件中设置；
步骤d2，审计微服务启动后，根据配置文件中主备审计微服务地址判断本服务实例是否为主审计服务，判定为主审计服务实例的程序设置消息处理开关为开状态，备审计服务实例则通过spring boot actuator在微服务中设置的监控埋点向主审计实例发送http查询健康状态的心跳请求；
步骤d3，主审计实例健康状态下，或备实例通过定时任务连续三次探测主审计异常情况下，接收并处理消息管道中监听到的审计数据计算并持久化；
步骤d4，审计数据按月分表存储，针对服务请求响应内容的编码方式进行解码或解压后存储方便展示界面查询；
步骤d5，针对请求响应数据内容大于100M的大请求进行分割存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811266414.3A CN109639754B (zh) | 2018-10-29 | 2018-10-29 | 一种电网调度服务网关数据审计的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811266414.3A CN109639754B (zh) | 2018-10-29 | 2018-10-29 | 一种电网调度服务网关数据审计的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109639754A CN109639754A (zh) | 2019-04-16 |
| CN109639754B true CN109639754B (zh) | 2021-02-09 |
Family
ID=66066787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811266414.3A Active CN109639754B (zh) | 2018-10-29 | 2018-10-29 | 一种电网调度服务网关数据审计的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109639754B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351366B (zh) * | 2019-07-12 | 2022-07-01 | 西安雷迪信息技术有限公司 | 一种互联网应用的服务调度系统和方法及存储介质 |
| CN110460584B (zh) * | 2019-07-16 | 2022-02-01 | 北京奇艺世纪科技有限公司 | 访问请求处理方法、装置、电子设备和计算机可读介质 |
| CN110535904B (zh) * | 2019-07-19 | 2022-02-18 | 浪潮电子信息产业股份有限公司 | 一种异步推送方法、系统及装置 |
| CN111610979B (zh) * | 2020-04-15 | 2023-06-13 | 河南大学 | 一种经过持久化和耦合度优化的api网关及其方法 |
| CN111666205B (zh) * | 2020-04-24 | 2023-07-11 | 杭州睿疆科技有限公司 | 一种数据审计的方法、系统、计算机设备和存储介质 |
| CN111694864B (zh) * | 2020-05-15 | 2022-12-30 | 苏宁云计算有限公司 | 单一进程的流式数据计算执行调度任务并避免数据丢失的方法、系统及计算机设备 |
| CN111970153A (zh) * | 2020-08-21 | 2020-11-20 | 中国建设银行股份有限公司 | 基于虚拟网关的故障隔离方法、装置及相关设备 |
| CN112202835B (zh) * | 2020-09-03 | 2023-03-17 | 北京金山云网络技术有限公司 | 云计算操作审计信息的处理方法和系统 |
| CN112532720A (zh) * | 2020-11-27 | 2021-03-19 | 北京百度网讯科技有限公司 | 数据转发的方法、装置、设备以及存储介质 |
| CN112398748A (zh) * | 2021-01-21 | 2021-02-23 | 全时云商务服务股份有限公司 | 基于mq的智能限流方法、装置及计算机可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596692B2 (en) * | 2002-06-05 | 2009-09-29 | Microsoft Corporation | Cryptographic audit |
| CN102413127A (zh) * | 2011-11-09 | 2012-04-11 | 中国电力科学研究院 | 一种数据库综合安全防护方法 |
| CN105847021A (zh) * | 2015-01-13 | 2016-08-10 | 国家电网公司 | 一种智能电网调度控制系统集中运维安全审计系统 |
| CN106991035A (zh) * | 2017-04-06 | 2017-07-28 | 北京计算机技术及应用研究所 | 一种基于微服务架构的主机监控系统 |
| JP2018022358A (ja) * | 2016-08-04 | 2018-02-08 | 株式会社野村総合研究所 | 監査装置、監査方法およびコンピュータプログラム |
-
2018
- 2018-10-29 CN CN201811266414.3A patent/CN109639754B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596692B2 (en) * | 2002-06-05 | 2009-09-29 | Microsoft Corporation | Cryptographic audit |
| CN102413127A (zh) * | 2011-11-09 | 2012-04-11 | 中国电力科学研究院 | 一种数据库综合安全防护方法 |
| CN105847021A (zh) * | 2015-01-13 | 2016-08-10 | 国家电网公司 | 一种智能电网调度控制系统集中运维安全审计系统 |
| JP2018022358A (ja) * | 2016-08-04 | 2018-02-08 | 株式会社野村総合研究所 | 監査装置、監査方法およびコンピュータプログラム |
| CN106991035A (zh) * | 2017-04-06 | 2017-07-28 | 北京计算机技术及应用研究所 | 一种基于微服务架构的主机监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109639754A (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109639754B (zh) | 一种电网调度服务网关数据审计的实现方法 | |
| US11983234B2 (en) | Progressive prefetching | |
| CN106534257B (zh) | 一种多层次集群式架构的多源安全日志采集系统及方法 | |
| US7805509B2 (en) | System and method for performance management in a multi-tier computing environment | |
| US9456050B1 (en) | Browser optimization through user history analysis | |
| US9832141B1 (en) | Routing based request correlation | |
| US9917735B2 (en) | System and method for big data aggregation in sensor network | |
| US9503498B2 (en) | Web page script management | |
| US20110085461A1 (en) | Flexible network measurement | |
| CN103546343B (zh) | 网络流量分析系统的网络流量展示方法和系统 | |
| CN109951576A (zh) | 由计算设备提供的服务的健康状况监视 | |
| US20090125496A1 (en) | Network device and method for monitoring of backend transactions in data centers | |
| CN111209467B (zh) | 一种多并发多通道环境下的数据实时查询系统 | |
| JP6613357B2 (ja) | 統計的ｓｑｌパターン分析を通じてのｓｑｌチューニング自動化方法およびシステム | |
| CN104778042A (zh) | 一种基于事件流处理和插件式开发框架的流数据处理方法 | |
| CN107181639A (zh) | 一种通信状态的监控方法及装置 | |
| US9842140B2 (en) | Dynamic input streams handling in DSMS | |
| JP2004005085A (ja) | ストレージネットワーク性能測定システム | |
| EP4315780A1 (en) | Dynamic processing distribution for utility communication networks | |
| CN105069029B (zh) | 一种实时etl系统及方法 | |
| CN102158406A (zh) | 面向计算机网络链路的智能选路方法 | |
| CN111245888A (zh) | 一种视频图像服务管理方法 | |
| US10356196B2 (en) | Apparatus and method for managing devices | |
| CN108063814B (zh) | 一种负载均衡方法及装置 | |
| CN103678092A (zh) | 日志分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |