CN114900444A - 数据监控方法、装置、电子设备及存储介质 - Google Patents
数据监控方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114900444A CN114900444A CN202210443913.5A CN202210443913A CN114900444A CN 114900444 A CN114900444 A CN 114900444A CN 202210443913 A CN202210443913 A CN 202210443913A CN 114900444 A CN114900444 A CN 114900444A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- monitored
- target data
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 267
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012806 monitoring device Methods 0.000 claims abstract description 3
- 238000012216 screening Methods 0.000 claims description 28
- 230000006854 communication Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 238000012360 testing method Methods 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/085—Retrieval of network configuration; Tracking network configuration history
- H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种数据监控方法、装置、电子设备及存储介质。应用于数据处理技术领域，其中数据监控方法包括：获取网络报文，所述网络报文中携带有待监控数据；确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据；将所述目标待监控数据发送至监控服务器，以使所述监控服务器对所述目标待监控数据进行数据监控。以解决相关技术中，采用日志分析法进行服务监控时，资源消耗较大，测试效率较低的问题。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据监控方法、装置、电子设备及存储介质。
背景技术
随着互联网的不断发展，客户端的相关数据服务往往由后台服务进行处理，再反馈至客户端。通常，客户端与后台服务通过网络连接设备建立连接，由网络连接设备作为数据传输的桥梁，实现二者的通信。
通常，用户在使用客户端的过程中，会产生一些服务中断等情况，因此，需要对服务进行监控，以提高服务质量。
相关技术中，对服务的监控采用的是日志分析法，在服务中加入日志采集功能，通过预先定义要监测服务接口，在该接口的开发过程中加入日志采集代码，将请求数据，返回结果中部分或全部数据写入日志文件中。然后再将日志同步到专用的日志分析服务器，再由后续的日志分析环节来检查结果是否正确。
但是，这种方式采用单一服务接口进行日志采集，采集的日志中有大量的重复日志数据；同时，日志采集一定程度上也会增加服务器资源消耗，带来服务的吞吐率下降，使得测试效率较低。
发明内容
本申请提供了一种数据监控方法、装置、电子设备及存储介质，用以解决相关技术中，采用日志分析法进行服务监控时，资源消耗较大，测试效率较低的问题。
第一方面，本申请提供了一种数据监控方法，应用于网络连接设备，所述方法包括：
获取网络报文，所述网络报文中携带有待监控数据；
确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据；
将所述目标待监控数据发送至监控服务器，以使所述监控服务器对所述目标待监控数据进行数据监控。
可选的，所述待监控数据包括客户端向服务端发送服务请求的数据源信息和/或所述服务端对所述服务请求的返回结果，所述客户端和/或所述服务端通过所述网络连接设备通信连接；
所述确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据，包括：
筛选所述数据源信息中满足第一预设监控条件的目标数据源信息；
确定所述目标数据源信息对应的目标服务请求和/或所述目标服务请求对应的目标返回结果为所述目标待监控数据。
可选的，所述网络连接设备用于实现客户端和服务端之间的通信连接，所述获取网络报文，包括：
对所述服务端发送至所述客户端的第一网络报文以及所述客户端发送至所述服务端的第二网络报文进行备份，确定备份的所述第一网络报文和/或所述第二网络报文为所述网络报文。
可选的，所述获取网络报文之前，还包括：
获取初筛配置信息；
加载所述初筛配置信息，并创建筛选控制对象，以通过所述筛选控制对象筛选得到所述目标待监控数据。
可选的，所述获取网络报文之前，还包括：
获取队列配置信息；
建立与队列服务器的连接，并依据所述队列配置信息向所述队列服务器发送队列创建指令，以使所述队列服务器创建监控队列对象。
可选的，所述将所述目标待监控数据发送至监控服务器，包括：
将所述目标待监控数据发送至所述监控队列对象，以使所述监控服务器从所述监控队列对象中获取所述目标待监控数据。
第二方面，本申请提供了一种数据监控方法，应用于监控服务器，所述方法包括：
获取目标待监控数据，所述目标待监控数据是由网络连接设备通过获取网络报文，所述网络报文中携带有待监控数据；确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据，并将所述目标待监控数据发送至所述监控服务器后得到的；
对所述目标待监控数据进行数据监控，得到监控结果。
可选的，所述对所述目标待监控数据进行数据监控，得到监控结果，包括：
获取所述目标待监控数据中的监控特征信息；
若所述监控特征信息不满足第二预设监控条件，对所述目标待监控数据按照预设监控内容进行监控，得到监控结果。
可选的，所述预设监控内容包括：预设路径下的字段检查，预设路径下的字段下的图片名称和尺寸检查、压缩文件检查、图片数据源检查和服务端应用是否已下线检查中的至少一项。
可选的，所述第二预设监控条件包括：所述监控特征信息已存在并且所述监控特征信息对应的监控结果在预设的有效期内。
可选的，所述对所述目标待监控数据进行数据监控，得到监控结果后，还包括：
判断所述监控结果与存储的结果是否一致；
若不一致，将所述存储的结果更新为所述监控结果。
可选的，所述对所述目标待监控数据进行数据监控，得到监控结果后，还包括：
若监控结果为异常，触发报警模块进行报警。
第三方面，本申请提供了一种数据监控装置，包括：
获取模块，用于获取网络报文，所述网络报文中携带有待监控数据；
确定模块，用于确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据；
发送模块，用于将所述目标待监控数据发送至监控服务器，以使所述监控服务器对所述目标待监控数据进行数据监控。
第四方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器中所存储的程序，实现第一方面或第二方面所述的数据监控方法。
第五方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的数据监控方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，获取网络报文，所述网络报文中携带有待监控数据；确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据；将所述目标待监控数据发送至监控服务器，以使所述监控服务器对所述目标待监控数据进行数据监控。如此，在获取到网络报文后，由于并非网络报文中的所有待监控数据都需要进行数据监控，因此，先将确定出满足第一预设监控条件的目标待监控数据，进而对待监控数据中的目标待监控数据进行数据监控，减少了被监控的数据的数据量，降低了服务器的资源消耗，提高了测试效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本申请实施例中数据监控方法的流程示意图；
图2为本申请另一实施例中数据监控方法的流程示意图；
图3为本申请又一实施例中数据监控方法的流程示意图；
图4为本申请实施例中数据监控装置的结构示意图；
图5为本申请另一实施例中数据监控装置的结构示意图；
图6为本申请实施例中电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例的数据监控方法可以由将客户端与服务端进行通信连接的网络连接设备来执行。其中，网络连接设备可以但不限于为网关。其中，客户端和服务端均可以为终端设备，如移动终端、PC端等。
图1是根据本申请实施例的一种可选的数据监控方法的流程示意图，如图1所示，该方法的流程可以包括以下步骤：
步骤101、获取网络报文，网络报文中携带有待监控数据。
一些实施例中，客户端与服务端之间进行数据交互时，通常用户在客户端发起服务请求，通过网络连接设备将该服务请求发送至服务端，由服务端将相应的返回结果发送至客户端。
从而，网络连接设备能够在服务端与客户端进行通信过程中，获取到该网络报文。
其中，待监控数据包括客户端向服务端发送服务请求的数据源信息和/或服务端对服务请求的返回结果。
具体的，网络报文可以包括两部分，服务端发送至客户端的第一网络报文以及客户端发送至服务端的第二网络报文，在服务端与客户端间通信过程中，将第一网络报文和/或第二网络报文进行备份，从而，确定备份的第一网络报文和/或第二网络报文为网络报文。
其中，第一网络报文中携带有服务端对服务请求的返回结果，第二网络报文中携带有客户端向服务端发送服务请求的数据源信息。
具体的，为避免影响服务端对客户端服务请求的及时响应，本实施例中，网络连接设备通过对网络报文进行备份，实现网络报文的复制，将复制得到的网络报文进行数据监控，从而保证了服务端返回的网络报文既能保证客户端的请求的响应，又能实现对网络报文中待监控数据的监控。
其中，对网络报文的复制可以通过网络连接设备中的定位(location)请求处理对象进行改进，例如，在location请求处理对象中添加content_by_lua或content_by_lua_file方法。通过添加content_by_lua或content_by_lua_file，能够实现新建保存lua文件目录的目的。
其中，服务端返回至客户端的数据中通常包括了服务请求以及该服务请求对应的返回结果，通过将服务请求发送至客户端，能够快速确认发送服务请求的客户端。
在一个可选实施例中，获取网络报文之前，还包括：
获取初筛配置信息；加载初筛配置信息，并创建筛选控制对象，以通过筛选控制对象筛选得到目标待监控数据。
一些实施例中，初筛配置信息可以存储在监控服务器中，由相关人员根据实际监控情况，设置初筛配置信息后进行存储，从而，在进行数据监控时，网络连接设备能够从监控服务器中拉取到该初筛配置信息，进而网络连接设备通过解析和加载初筛配置信息，建立筛选控制对象，从而在网络连接设备获取到网络报文后，能够通过筛选控制对象对网络报文进行筛选，得到目标待监控数据。
可以理解的是，初筛配置信息也可以直接存储在网络连接设备中。
在一个可选实施例中，获取网络报文之前，还包括：
获取队列配置信息；建立与队列服务器的连接，并依据队列配置信息向队列服务器发送队列创建指令，以使队列服务器创建监控队列对象。
一些实施例中，队列配置信息可以是存储在监控服务器中的，网络连接设备从监控服务器中拉取队列配置信息，并连接队列服务器，从而由队列服务器建立监控队列对象。
其中，队列配置信息中可以包括队列处理角色信息和队列创建信息。其中，队列处理角色信息可以包括provider(提供者)角色和consumer(消费者)角色。
具体的，在网络连接设备获取到队列配置信息后，根据队列配置信息中的队列处理角色，对监控队列对象进行处理。网络连接设备在通过筛选控制对象对网络报文中的待监控数据筛选得到目标待监控数据后，会通过其配置的provider(提供者)角色，将目标待监控数据发送至监控队列对象中。
可以理解的是，队列配置信息也可以直接存储在网络连接设备中。
步骤102、确定网络报文中满足第一预设监控条件的待监控数据为目标待监控数据。
一些实施例中，对于获取的网络报文，并不是网络报文中的所有待监控数据都需要进行监控，因此，通过将待监控数据进行筛选，将满足第一预设监控条件的待监控数据作为目标待监控数据，降低了被监控数据的数据量，从而提高了监控测试的效率。
其中，网络报文包括客户端向服务端发送服务请求的数据源信息和服务端对服务请求的返回结果；
在一个可选实施例中，确定网络报文中满足第一预设监控条件的待监控数据为目标待监控数据，包括：
筛选数据源信息中满足第一预设监控条件的目标数据源信息；确定目标数据源信息对应的目标服务请求和/或目标服务请求对应的目标返回结果为目标待监控数据。
一些实施例中，客户端在向服务端发送服务请求时，往往会携带请求的数据源信息(URL，Uniform Resource Locator，统一资源定位器)，通过将服务请求的URL发送至筛选控制对象，通过筛选控制对象判断该URL是否在第一预设监控条件中，若在第一筛选控制条件中，将该URL对应的目标服务请求，以及该目标服务请求对应的目标返回结果作为目标待监控数据。进而将目标待监控数据发送至监控队列对象。
步骤103、将目标待监控数据发送至监控服务器，以使监控服务器对目标待监控数据进行数据监控。
一些实施例中，在筛选到目标待监控数据后，便可以将该目标待监控数据发送至监控服务器，从而完成对目标待监控数据的数据监控。
在一个可选实施例中，将目标待监控数据发送至监控服务器，包括：
将目标待监控数据发送至监控队列对象，以使监控服务器从监控队列对象中获取目标待监控数据。
基于上述相关实施例，通过在队列服务器中创建监控队列对象，网络连接设备在筛选到目标待监控数据后，会将该目标待监控数据发送至监控队列对象，进而，使监控服务器从监控队列对象中获取到该目标待监控数据，从而，对目标待监控数据进行数据监控。
基于同一构思，本申请实施例中提供了另一种数据监控方法，该方法的具体实施可参见上述方法实施例部分的描述，重复之处不再赘述。如图2所示，该数据监控方法应用于监控服务器，主要包括：
步骤201、获取目标待监控数据，目标待监控数据是由网络连接设备通过获取网络报文，网络报文中携带有待监控数据；确定网络报文中满足第一预设监控条件的待监控数据为目标待监控数据，并将目标待监控数据发送至监控服务器后得到的。
基于上述相关实施例，网络连接设备在通过上述相关实施例确定目标待监控数据后，将目标待监控数据发送至监控服务器，从而由监控服务器获取到该目标待监控数据。
步骤202、对目标待监控数据进行数据监控，得到监控结果。
一些实施例中，在监控服务器获取到目标待监控数据后，便可以对目标待监控数据进行监控，从而，对满足第一预设监控条件的目标待监控数据，进行数据监控，减少了被监控的数据的数据量，降低了服务器的资源消耗，提高了测试效率。
在一个可选实施例中，对目标待监控数据进行数据监控，得到监控结果，包括：
获取目标待监控数据中的监控特征信息；若监控特征信息不满足第二预设监控条件，对目标待监控数据按照预设监控内容进行监控，得到监控结果。
一些实施例中，对目标待监控数据进行数据监控时，还可以先对待检库数据再次进行筛选，通过判断目标待监控数据中的监控特征信息是否满足第二预设监控条件，若其不满足，再对该目标待监控数据进行监控，若不满足，将对应的目标待监控数据过滤。
具体的，该第二预设监控条件可以但不限于为监控特征信息已存在并且监控特征信息对应的监控结果在预设的有效期内。
其中，通过判断需要监控的监控特征信息是否已存在目标待监控数据中，若不存在则表示目标待监控数据中产生了数据缺失，因此需要对目标待监控数据进行监控。另外，判断监控特征信息对应的监控结果是否在预设有效期内，若在有效期内，表示该目标待监控数据无需监控，若已超过预设的有效期，则需要对目标待监控数据进行再次监控。
其中，监控特征信息对应的监控结果可以是监控服务器在初始化时，从加载配置项中加载到初始化监控类型，得到每个监控特征信息对应的监控结果的有效期。
其中，预设监控内容包括：预设路径下的字段检查，预设路径下的字段下的图片名称和尺寸检查、压缩文件检查、图片数据源检查和服务端应用是否已下线检查中的至少一项。
具体的，在对目标待监控数据进行监控时，可监控的数据可以根据实际情况进行选择，例如，URL检查、URL与返回结果中的xpath(预设路径)下的字段检查、URL与返回结果中的图片URL检查、URL与返回结果中的zip压缩文件检查、URL与返回结果中的xpath下的字段下的图片名称及尺寸检查以及服务端应用是否已下线检查。
在被服务请求为请求视频时，监控内容还可以是URL与返回结果中的视频id节目是否已下线检查。
在一个可选实施例中，对目标待监控数据进行数据监控，得到监控结果后，还包括：
判断监控结果与存储的结果是否一致；若不一致，将存储的结果更新为监控结果。
基于上述相关实施例，监控服务器会对没次的监控结果进行存储，在得到对目标待监控数据的监控结果后，监控服务器会将新检测的监控结果与存储的监控结果进行比较，若二者一致，保持存储的监控结果不变，若二者不一致，将存储的监控结果更新为新监控得到的监控结果，从而保证了监控结果的实时性。
进一步的，若当前检测的监控结果为故障，若监控服务器中已有监控记录且该记录为正常，则调用报警模块发出报警信息。
若当前检测的监控结果为正常，若监控服务器中已有监控记录且该记录为故障，则调用报警模块发出报警恢复信息。
在一个具体实施例中，参见图3，本实施例提供了一种数据监控系统，该系统包括网络连接设备、监控服务器、客户端、服务端和队列服务器。
其中，服务端通过网络连接设备与客户端进行连接，可用于为客户端提供服务(如视频服务、应用服务等)，可在网络连接设备上或独立于网络连接设备设置数据库，用于为网络连接设备提供数据存储服务。其中，网络连接设备可以但不限于为网关。
客户端发送服务请求到网络连接设备，网络连接设备将该服务请求转发至服务端，服务端根据该服务请求，返回相应的业务数据(即前述的返回结果)到网络连接设备，网络连接设备一方面将业务数据发送至客户端，另一方面复制该业务数据以及服务请求的数据源信息，得到网络报文，并对复制的网络报文中的待监控数据通过筛选控制对象筛选到目标待监控数据。网络连接设备将目标待监控数据发送至队列服务器中，由队列服务器中的监控队列对象存储目标待监控数据，并将目标待监控数据转发至监控服务器，由监控服务对目标待监控数据进行数据监控。
其中，监控服务器通过监控key(即上述的监控特征信息)对目标待监控数据进行筛选，并将目标待监控数据按照监控内容进行监控(即利用检查模块plugin对监控业务进行检测)，从而得到监控结果。
本申请的数据监控方法，在网关层对用户请求和返回结果进行镜像转发，获得待测数据源(即上述的网络报文)，保证了数据的非侵入性：对待测数据源进行初筛，过滤出免测试的服务请求，实现了流量切分：将初筛后的数据导入数据队列，以集中多个数据来源，使得应用范围更加广泛：二筛服务对数据队列进行消费，过滤掉未实现监控能力的请求，转发监控导引模块，实现了流量的再次切分；监控导引模块根据已注册的监控KEY进行识别，若命中且未过期，则表示当前请求安全，跳过监控，否则转发到监控业务检测模块，实现了灵活的监控定义；经过上述步骤，大流量大访问的数据规模大幅下降至0.1～1％，再进行检测时，有较好的实时性；另外，业务检测模块调用已注册的检测算法进行检测，并记录检测结果，若检测结果异常，发送报警。
基于同一构思，本申请实施例中提供了一种数据监控装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述。如图4所示，该装置主要包括：
第一获取模块401，用于获取网络报文，网络报文中携带有待监控数据；
确定模块402，用于确定网络报文中满足第一预设监控条件的待监控数据为目标待监控数据；
发送模块403，用于将目标待监控数据发送至监控服务器，以使监控服务器对目标待监控数据进行数据监控。
基于同一构思，本申请实施例中提供了一种数据监控装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述。如图5所示，该装置主要包括：
第二获取模块501，用于获取目标待监控数据，目标待监控数据是由网络连接设备通过获取网络报文，网络报文中携带有待监控数据；确定网络报文中满足第一预设监控条件的待监控数据为目标待监控数据，并将目标待监控数据发送至监控服务器后得到的；
监控模块502，用于对目标待监控数据进行数据监控，得到监控结果。
基于同一构思，本申请实施例中还提供了一种电子设备，如图6所示，该电子设备主要包括：处理器601、存储器602和通信总线603，其中，处理器601和存储器602通过通信总线603完成相互间的通信。其中，存储器602中存储有可被至处理器601执行的程序，处理器601执行存储器602中存储的程序，实现如下步骤：
获取网络报文，网络报文中携带有待监控数据；
确定网络报文中满足第一预设监控条件的待监控数据为目标待监控数据；
将目标待监控数据发送至监控服务器，以使监控服务器对目标待监控数据进行数据监控。或，
获取目标待监控数据，目标待监控数据是由网络连接设备通过获取网络报文，网络报文中携带有待监控数据；确定网络报文中满足第一预设监控条件的待监控数据为目标待监控数据，并将目标待监控数据发送至监控服务器后得到的；
对目标待监控数据进行数据监控，得到监控结果。
上述电子设备中提到的通信总线603可以时外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器602可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器601的存储装置。
上述的处理器601可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的数据监控方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (15)
1.一种数据监控方法，其特征在于，应用于网络连接设备，所述方法包括：
获取网络报文，所述网络报文中携带有待监控数据；
确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据；
将所述目标待监控数据发送至监控服务器，以使所述监控服务器对所述目标待监控数据进行数据监控。
2.根据权利要求1所述的数据监控方法，其特征在于，所述待监控数据包括客户端向服务端发送服务请求的数据源信息和/或所述服务端对所述服务请求的返回结果，所述客户端和/或所述服务端通过所述网络连接设备通信连接；
所述确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据，包括：
筛选所述数据源信息中满足第一预设监控条件的目标数据源信息；
确定所述目标数据源信息对应的目标服务请求和/或所述目标服务请求对应的目标返回结果为所述目标待监控数据。
3.根据权利要求1所述的数据监控方法，其特征在于，所述网络连接设备用于实现客户端和服务端之间的通信连接，所述获取网络报文，包括：
对所述服务端发送至所述客户端的第一网络报文以及所述客户端发送至所述服务端的第二网络报文进行备份，确定备份的所述第一网络报文和/或所述第二网络报文为所述网络报文。
4.根据权利要求1所述的数据监控方法，其特征在于，所述获取网络报文之前，还包括：
获取初筛配置信息；
加载所述初筛配置信息，并创建筛选控制对象，以通过所述筛选控制对象筛选得到所述目标待监控数据。
5.根据权利要求1所述的数据监控方法，其特征在于，所述获取网络报文之前，还包括：
获取队列配置信息；
建立与队列服务器的连接，并依据所述队列配置信息向所述队列服务器发送队列创建指令，以使所述队列服务器创建监控队列对象。
6.根据权利要求5所述的数据监控方法，其特征在于，所述将所述目标待监控数据发送至监控服务器，包括：
将所述目标待监控数据发送至所述监控队列对象，以使所述监控服务器从所述监控队列对象中获取所述目标待监控数据。
7.一种数据监控方法，其特征在于，应用于监控服务器，所述方法包括：
获取目标待监控数据，所述目标待监控数据是由网络连接设备通过获取网络报文，所述网络报文中携带有待监控数据；确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据，并将所述目标待监控数据发送至所述监控服务器后得到的；
对所述目标待监控数据进行数据监控，得到监控结果。
8.根据权利要求7所述的数据监控方法，其特征在于，所述对所述目标待监控数据进行数据监控，得到监控结果，包括：
获取所述目标待监控数据中的监控特征信息；
若所述监控特征信息不满足第二预设监控条件，对所述目标待监控数据按照预设监控内容进行监控，得到监控结果。
9.根据权利要求8所述的数据监控方法，其特征在于，所述预设监控内容包括：预设路径下的字段检查，预设路径下的字段下的图片名称和尺寸检查、压缩文件检查、图片数据源检查和服务端应用是否已下线检查中的至少一项。
10.根据权利要求8所述的数据监控方法，其特征在于，所述第二预设监控条件包括：所述监控特征信息已存在并且所述监控特征信息对应的监控结果在预设的有效期内。
11.根据权利要求7所述的数据监控方法，其特征在于，所述对所述目标待监控数据进行数据监控，得到监控结果后，还包括：
判断所述监控结果与存储的结果是否一致；
若不一致，将所述存储的结果更新为所述监控结果。
12.根据权利要求7所述的数据监控方法，其特征在于，所述对所述目标待监控数据进行数据监控，得到监控结果后，还包括：
若监控结果为异常，触发报警模块进行报警。
13.一种数据监控装置，其特征在于，包括：
第一获取模块，用于获取网络报文，所述网络报文中携带有待监控数据；
确定模块，用于确定所述网络报文中满足第一预设监控条件的所述待监控数据为目标待监控数据；
发送模块，用于将所述目标待监控数据发送至监控服务器，以使所述监控服务器对所述目标待监控数据进行数据监控。
14.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1-6或7-12任一项所述的数据监控方法。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6或7-12任一项所述的数据监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210443913.5A CN114900444A (zh) | 2022-04-25 | 2022-04-25 | 数据监控方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210443913.5A CN114900444A (zh) | 2022-04-25 | 2022-04-25 | 数据监控方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114900444A true CN114900444A (zh) | 2022-08-12 |
Family
ID=82719193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210443913.5A Pending CN114900444A (zh) | 2022-04-25 | 2022-04-25 | 数据监控方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114900444A (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206962848U (zh) * | 2017-06-01 | 2018-02-02 | 吉林农业科技学院 | 一种用于大量数据的信息运维装置 |
| CN108833565A (zh) * | 2018-06-26 | 2018-11-16 | 浙江齐聚科技有限公司 | 一种监控服务器的方法、装置、服务器和存储介质 |
| WO2019137208A1 (zh) * | 2018-01-11 | 2019-07-18 | 贵州白山云科技股份有限公司 | 一种底层数据监控方法、介质、设备及装置 |
| CN110247818A (zh) * | 2019-05-21 | 2019-09-17 | 中国平安财产保险股份有限公司 | 一种数据监控方法、装置、存储介质和服务器 |
| CN110515795A (zh) * | 2019-07-29 | 2019-11-29 | 北京百分点信息科技有限公司 | 一种大数据组件的监控方法、装置、电子设备 |
| US20200073906A1 (en) * | 2017-06-15 | 2020-03-05 | Beijing Gridsum Technology Co., Ltd. | Method, Device, Storage Medium and Processor for Data Acquisition and Query |
| CN111522711A (zh) * | 2020-04-17 | 2020-08-11 | 北京奇艺世纪科技有限公司 | 一种数据监控处理系统、方法、执行端、监控端及电子设备 |
| WO2020233077A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 系统服务的监控方法、装置、设备及存储介质 |
| CN112416729A (zh) * | 2020-11-24 | 2021-02-26 | 平安普惠企业管理有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112685248A (zh) * | 2020-12-24 | 2021-04-20 | 北京浪潮数据技术有限公司 | 智能网卡监控日志获取方法、装置、电子设备及存储介质 |
| CN112965879A (zh) * | 2021-03-17 | 2021-06-15 | 北京奇艺世纪科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| WO2021164179A1 (zh) * | 2020-02-17 | 2021-08-26 | 平安科技（深圳）有限公司 | 一种数据监控方法及装置 |
| US20210271555A1 (en) * | 2017-06-16 | 2021-09-02 | Ping An Technology (Shenzhen) Co., Ltd. | Traffic data self-recovery processing method, readable storage medium, server and apparatus |
| CN113448798A (zh) * | 2020-12-30 | 2021-09-28 | 北京新氧科技有限公司 | 日志数据监控方法及相关设备 |
| WO2021218036A1 (zh) * | 2020-04-28 | 2021-11-04 | 武汉旷视金智科技有限公司 | 信息监控方法、系统及计算机可读存储介质 |
| CN113904951A (zh) * | 2021-09-28 | 2022-01-07 | 济南浪潮数据技术有限公司 | 一种网关设备的数据监控方法、装置及相关设备 |
| CN114039878A (zh) * | 2021-11-05 | 2022-02-11 | 北京自如信息科技有限公司 | 一种网络请求的处理方法、装置、电子设备及存储介质 |
| WO2022065525A1 (ko) * | 2020-09-22 | 2022-03-31 | 라인플러스 주식회사 | 메소드 후킹을 이용한 네트워크 통신 모니터링 방법 및 시스템 |
-
2022
- 2022-04-25 CN CN202210443913.5A patent/CN114900444A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206962848U (zh) * | 2017-06-01 | 2018-02-02 | 吉林农业科技学院 | 一种用于大量数据的信息运维装置 |
| US20200073906A1 (en) * | 2017-06-15 | 2020-03-05 | Beijing Gridsum Technology Co., Ltd. | Method, Device, Storage Medium and Processor for Data Acquisition and Query |
| US20210271555A1 (en) * | 2017-06-16 | 2021-09-02 | Ping An Technology (Shenzhen) Co., Ltd. | Traffic data self-recovery processing method, readable storage medium, server and apparatus |
| WO2019137208A1 (zh) * | 2018-01-11 | 2019-07-18 | 贵州白山云科技股份有限公司 | 一种底层数据监控方法、介质、设备及装置 |
| CN108833565A (zh) * | 2018-06-26 | 2018-11-16 | 浙江齐聚科技有限公司 | 一种监控服务器的方法、装置、服务器和存储介质 |
| WO2020233077A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 系统服务的监控方法、装置、设备及存储介质 |
| CN110247818A (zh) * | 2019-05-21 | 2019-09-17 | 中国平安财产保险股份有限公司 | 一种数据监控方法、装置、存储介质和服务器 |
| CN110515795A (zh) * | 2019-07-29 | 2019-11-29 | 北京百分点信息科技有限公司 | 一种大数据组件的监控方法、装置、电子设备 |
| WO2021164179A1 (zh) * | 2020-02-17 | 2021-08-26 | 平安科技（深圳）有限公司 | 一种数据监控方法及装置 |
| CN111522711A (zh) * | 2020-04-17 | 2020-08-11 | 北京奇艺世纪科技有限公司 | 一种数据监控处理系统、方法、执行端、监控端及电子设备 |
| WO2021218036A1 (zh) * | 2020-04-28 | 2021-11-04 | 武汉旷视金智科技有限公司 | 信息监控方法、系统及计算机可读存储介质 |
| WO2022065525A1 (ko) * | 2020-09-22 | 2022-03-31 | 라인플러스 주식회사 | 메소드 후킹을 이용한 네트워크 통신 모니터링 방법 및 시스템 |
| CN112416729A (zh) * | 2020-11-24 | 2021-02-26 | 平安普惠企业管理有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112685248A (zh) * | 2020-12-24 | 2021-04-20 | 北京浪潮数据技术有限公司 | 智能网卡监控日志获取方法、装置、电子设备及存储介质 |
| CN113448798A (zh) * | 2020-12-30 | 2021-09-28 | 北京新氧科技有限公司 | 日志数据监控方法及相关设备 |
| CN112965879A (zh) * | 2021-03-17 | 2021-06-15 | 北京奇艺世纪科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN113904951A (zh) * | 2021-09-28 | 2022-01-07 | 济南浪潮数据技术有限公司 | 一种网关设备的数据监控方法、装置及相关设备 |
| CN114039878A (zh) * | 2021-11-05 | 2022-02-11 | 北京自如信息科技有限公司 | 一种网络请求的处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113495820B (zh) | 异常信息收集、处理方法和装置以及异常监控系统 | |
| CN110704771B (zh) | 页面异常监控方法、系统、装置、电子设备及可读介质 | |
| US20190303870A1 (en) | Service for receiving obsolete web page copies | |
| CN111385157B (zh) | 一种服务器异常检测方法及装置 | |
| CN114900444A (zh) | 数据监控方法、装置、电子设备及存储介质 | |
| CN113778800B (zh) | 一种报错信息处理方法、装置、系统、设备及存储介质 | |
| CN115083030A (zh) | 一种业务巡检方法、装置及电子设备 | |
| CN115378655A (zh) | 漏洞检测方法及装置 | |
| CN113542185B (zh) | 页面防劫持的方法、装置、电子设备和存储介质 | |
| CN110995848B (zh) | 一种服务治理方法、装置、系统、电子设备及存储介质 | |
| CN112835780B (zh) | 一种业务检测方法及装置 | |
| CN110362464B (zh) | 软件分析方法及设备 | |
| US10296967B1 (en) | System, method, and computer program for aggregating fallouts in an ordering system | |
| CN111651356A (zh) | 一种应用程序测试方法、装置及系统 | |
| CN113590425B (zh) | 数据处理方法、装置、设备、介质和程序产品 | |
| CN113168357A (zh) | 从参与文档协作会话的各用户收集重复诊断数据 | |
| US20240179154A1 (en) | Security event transformation and logging systems and methods | |
| US20240176625A1 (en) | Event logging protocol connector systems and methods | |
| CN115499292B (zh) | 一种告警方法、装置、设备及存储介质 | |
| CN114979132B (zh) | 一种集群组件状态探测的方法和装置 | |
| CN110489690B (zh) | 监控政务服务应用系统的方法、服务器、设备及存储介质 | |
| CN113377629A (zh) | 监控用户异常编码的方法和装置 | |
| CN118694571A (zh) | 一种数据处理方法、装置、设备、介质及产品 | |
| CN116361103A (zh) | 一种针对电力设备可疑进程的监测方法及装置 | |
| CN117955807A (zh) | 系统检测方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |