CN111698126A - 信息监控方法、系统及计算机可读存储介质 - Google Patents

信息监控方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN111698126A
CN111698126A CN202010354492.XA CN202010354492A CN111698126A CN 111698126 A CN111698126 A CN 111698126A CN 202010354492 A CN202010354492 A CN 202010354492A CN 111698126 A CN111698126 A CN 111698126A
Authority
CN
China
Prior art keywords
data
monitoring
server
task
pushing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010354492.XA
Other languages
English (en)
Other versions
CN111698126B (zh
Inventor
喻斌
肖硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kuangshi Jinzhi Technology Co ltd
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Wuhan Kuangshi Jinzhi Technology Co ltd
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kuangshi Jinzhi Technology Co ltd, Beijing Kuangshi Technology Co Ltd filed Critical Wuhan Kuangshi Jinzhi Technology Co ltd
Priority to CN202010354492.XA priority Critical patent/CN111698126B/zh
Publication of CN111698126A publication Critical patent/CN111698126A/zh
Priority to PCT/CN2020/119626 priority patent/WO2021218036A1/zh
Application granted granted Critical
Publication of CN111698126B publication Critical patent/CN111698126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种信息监控方法、系统及计算机可读存储介质，涉及监控技术领域，在对视图数据推送任务进行监控时，管理服务器根据预先配置的视图数据推送任务，发送任务控制指令至执行服务器，以使执行服务器根据接收的任务控制指令执行视图数据推送任务，并将执行视图数据推送任务得到的推送结果数据提供给监控服务器；从监控服务器获取推送结果数据和/或基于推送结果数据得到的统计数据；基于推送结果数据和/或统计数据对视图数据推送任务进行数据监控，该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。这样能够实现对视图数据推送任务的多种数据维度的监控，提高了监控的精细度和完整性，从而满足了用户的监控需求。

Description

信息监控方法、系统及计算机可读存储介质
技术领域
本发明涉及监控技术领域，尤其是涉及一种信息监控方法、系统及计算机可读存储介质。
背景技术
视频图像信息应用系统主要用于与第三方(如公安视频网或其他视频网)进行视频图像的交互，由于视图数据的来源多元化，因此交互的视图数据通常采用一定的行业标准，例如公安视频图像信息安全行业标准-GA/T1400。
然而目前视频图像信息应用系统在视图数据交互的监控方面还存在一定的缺陷。现有技术中有些视频图像信息应用系统没有监控功能，另外一些视频图像信息应用系统通常通过Prometheus进行监控，而Prometheus只能在接口粒度进行接口调用的监控，监控的不够精细、完整，无法满足用户的监控需求。
发明内容
本发明的目的在于提供一种信息监控方法、系统及计算机可读存储介质，以提高监控的精细度和完整性，从而缓解用户的监控需求。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种信息监控方法，应用于管理服务器，所述管理服务器分别与监控服务器和执行服务器相连；所述方法包括：
根据预先配置的视图数据推送任务，发送任务控制指令至所述执行服务器，以使所述执行服务器根据接收的所述任务控制指令执行视图数据推送任务，并将执行所述视图数据推送任务得到的推送结果数据提供给所述监控服务器；
从所述监控服务器获取所述推送结果数据和/或基于所述推送结果数据得到的统计数据；
基于所述推送结果数据和/或所述统计数据对所述视图数据推送任务进行数据监控，所述数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
进一步，所述推送结果数据包括所述视图数据推送任务中的每条视图数据对应的日志数据，每条所述日志数据均包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间；所述监控服务器还用于按照所述日志数据中的推送时间对所述推送结果数据进行不同时长维度的切割分片，并存储切割后的分片结果数据；
从所述监控服务器获取基于所述推送结果数据得到的统计数据的步骤，包括：
将数据统计请求发送给所述监控服务器，所述数据统计请求包括统计时间段，以使所述监控服务器根据所述分片结果数据对推送时间在所述统计时间段内的日志数据进行统计，得到统计数据；
接收所述监控服务器返回的所述统计数据。
进一步，所述方法还包括：
将明细检索请求发送给所述监控服务器，所述明细检索请求包括检索时间段，以使所述监控服务器根据所述明细检索请求对所述分片结果数据进行明细检索，得到明细检索结果；
接收所述监控服务器返回的所述明细检索结果。
进一步，每条所述日志数据还包括数据采集设备标识和视图数据类型；所述明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种。
进一步，在发送任务控制指令至所述执行服务器之前，所述方法包括：
根据所述视图数据推送任务中的视图数据的大小，确定所述执行服务器的个数和线程数量；
根据所述数量和所述线程数量，生成所述任务控制指令。
进一步，所述执行服务器为多个，所述推送结果数据包括所述视图数据推送任务中每条视图数据的采集时间和推送时间；所述方法还包括：
根据所述视图数据推送任务中每条视图数据的采集时间和推送时间，以及所述视图数据推送任务的数据量监控的监控结果，进行告警提示或执行服务器的添加；其中，所述告警提示包括发送添加执行服务器的添加指示至预设的终端设备和/或在所述管理服务器的显示界面上显示所述添加指示。
进一步，在发送任务控制指令至所述执行服务器之前，所述方法包括：
当接收到所述执行服务器发送的注册请求时，为所述执行服务器分配群组；所述群组与所述视图数据推送任务中的视图数据接收端一一对应；
通过所述监控服务器验证所述执行服务器的存活状态是否正常；
当验证结果为正常时，执行所述发送任务控制指令至所述执行服务器的步骤。
进一步，所述执行服务器还用于向zookeeper发送所述执行服务器的状态数据，所述状态数据包括存活状态数据和任务状态数据；所述方法还包括：
将状态查询请求发送给所述监控服务器，所述状态查询请求包括执行服务器标识和/或任务标识，以使所述监控服务器根据所述状态查询请求从所述zookeeper中获取状态查询结果；
接收所述监控服务器返回的所述状态查询结果。
第二方面，本发明实施例还提供了一种信息监控方法，应用于与管理服务器连接的监控服务器，所述管理服务器还与执行服务器相连；所述方法包括：
当接收到所述管理服务器发送的数据统计请求时，根据所述数据统计请求对推送结果数据进行统计，得到统计数据；其中，所述数据统计请求包括统计时间段，所述推送结果数据是所述执行服务器基于所述管理服务器发送的任务控制指令执行视图数据推送任务时产生的；
将所述统计数据发送至所述管理服务器，以使所述管理服务器基于所述统计数据对所述视图数据推送任务进行数据监控，所述数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
进一步，所述推送结果数据包括所述视图数据推送任务中的每条视图数据对应的日志数据，每条所述日志数据均包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间；所述方法还包括：
按照所述日志数据中的推送时间对所述推送结果数据进行不同时长维度的切割分片，并存储切割后的分片结果数据。
进一步，根据所述数据统计请求对推送结果数据进行统计，得到统计数据的步骤，包括：
从所述分片结果数据中查找与所述统计时间段相匹配的第一数据；
根据所述第一数据内的日志数据进行吞吐量、数据量和成功率的统计，得到统计数据。
进一步，每条所述日志数据还包括数据采集设备标识和视图数据类型；所述方法还包括：
当接收到所述管理服务器发送的明细检索请求时，从所述分片结果数据中查找与所述明细检索请求中的检索时间段相匹配的第二数据；其中，所述明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种；
根据所述明细检索请求对所述第二数据进行明细检索，得到明细检索结果；
将所述明细检索结果发送至所述管理服务器。
进一步，所述执行服务器还用于向zookeeper发送所述执行服务器的状态数据，所述状态数据包括存活状态数据和任务状态数据；所述方法还包括：
当接收到所述管理服务器发送的状态查询请求时，从所述zookeeper中查找所述状态查询请求对应的状态查询结果；其中，所述状态查询请求包括执行服务器标识和/或任务标识；
将所述状态查询结果发送至所述管理服务器。
第三方面，本发明实施例还提供了一种管理服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的信息监控方法。
第四方面，本发明实施例还提供了一种监控服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面的信息监控方法。
第五方面，本发明实施例还提供了一种信息监控系统，包括第三方面所述的管理服务器、第四方面所述的监控服务器，还包括执行服务器；所述管理服务器分别与所述监控服务器和所述执行服务器相连。
进一步，所述管理服务器设置在监控中心，所述监控服务器和所述执行服务器均设置在被监控端；所述被监控端为多个，每个所述被监控端通过端口映射与所述监控中心连接。
第六方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的信息监控方法或者上述第二方面的信息监控方法。
本发明实施例提供了一种信息监控方法、系统及计算机可读存储介质，在对视图数据推送任务进行监控时，管理服务器先根据预先配置的视图数据推送任务，发送任务控制指令至执行服务器，以使执行服务器根据接收的任务控制指令执行视图数据推送任务，并将执行视图数据推送任务得到的推送结果数据提供给监控服务器；然后从监控服务器获取推送结果数据和/或基于推送结果数据得到的统计数据；从而基于推送结果数据和/或统计数据对视图数据推送任务进行数据监控，该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。这样能够实现对视图数据推送任务的多种数据维度的监控，与现有技术中基于Prometheus的监控方式相比，提高了监控的精细度和完整性，从而满足了用户的监控需求。
本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的一种服务器的结构示意图；
图2示出了本发明实施例提供的一种信息监控方法的流程图；
图3示出了本发明实施例提供的另一种信息监控方法的流程图；
图4示出了本发明实施例提供的一种信息监控系统的结构示意图；
图5示出了本发明实施例提供的一种信息监控系统的系统架构示意图；
图6示出了本发明实施例提供的一种监控界面的示意图；
图7示出了本发明实施例提供的一种信息监控系统的关键数据流向示意图；
图8示出了本发明实施例提供的一种信息监控系统的多地部署结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
视频图像信息应用系统中，视图数据的来源多元化。在一种可能的应用场景中，业务系统生产视图数据到Kafka(例如，抓拍机接入业务系统，抓拍机产生的抓拍图发送至业务系统；业务系统对抓拍图进行特征提取，并用提取的特征和相应的底库进行比对，将比对产生的告警数据和抓拍图作为视图数据生产至Kafka)，视频图像信息应用系统中的Work(即执行服务器)从Kafka取出视图数据，并把视图数据推送至不同的视图库。
对于基于Prometheus的监控方法，虽然视频图像信息应用系统中有GA/T1400标准，但是Prometheus只能在接口粒度进行接口调用的监控，调用一次接口可能传输很多条视图数据，并且无法确定某条视图数据是否推送成功，因此基于Prometheus的监控方法存在以下缺陷：缺少对视图数据推送过程的完整监控，导致接收方和推送方之间难以确定视图数据的缺失率，并且难以排查遗漏视图数据。基于此，本发明实施例提供的一种信息监控方法、系统及计算机可读存储介质，可以从多种数据维度对转发过程实时进行数据量、成功率和吞吐量等的监控，使得接收方和推送方之间能够确定视图数据的缺失率，便于排查遗漏视图数据等，也即可以提高监控的精细度和完整性，从而缓解用户的监控需求。
实施例一：
首先，参照图1来描述用于实现本发明实施例的一种信息监控方法及系统的示例服务器100，该服务器100可以是管理服务器或监控服务器。
如图1所示的一种服务器的结构示意图，服务器100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的服务器100的组件和结构只是示例性的，而非限制性的，根据需要，所述服务器可以具有图1示出的部分组件，也可以具有图1未示出的其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述服务器100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，文字、图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的信息监控方法的示例服务器可以被实现为诸如智能手机、平板电脑、计算机等智能终端。
实施例二：
本发明实施例提供了一种信息监控方法，该方法由上述实施例一中的管理服务器执行，该管理服务器还分别与监控服务器和执行服务器相连，其中，执行服务器为视图数据推送任务的执行者，执行服务器主要用于将待推送的数据处理成一定的标准协议格式，例如GA/T1400标准协议格式，然后再推送给第三方的视图库。
参见图2所示的一种信息监控方法的流程图，该方法主要包括如下步骤S202～步骤S206：
步骤S202，根据预先配置的视图数据推送任务，发送任务控制指令至执行服务器，以使执行服务器根据接收的任务控制指令执行视图数据推送任务，并将执行视图数据推送任务得到的推送结果数据提供给监控服务器。
管理服务器内预先配置有视图数据推送任务，该视图数据推送任务包括待推送的视图数据及视图数据接收端(视图数据接收端可以为第三方的视图库，视图数据接收端可以通过IP地址、用户名(账号)和密码等来表征)等信息，一个视图数据推送任务中，视图数据接收端可以为一个，视图数据可以为一条或多条。管理服务器会根据待推送视图数据及视图数据接收端等信息生成任务控制指令，并将该任务控制指令发送给相应的执行服务器，以对执行服务器进行任务分配和任务控制，该任务控制包括控制任务的启动(对应任务启动指令)、停止(对应任务停止指令)和中断(对应任务中断指令)等。
执行服务器会按照接收的任务控制指令执行视图数据推送任务，例如执行服务器根据任务控制指令从Kafka取出视图数据，并将取出的视图数据转发至对应的视图数据接收端。执行服务器每推送(即转发)一条视图数据(不论是否推送成功)，就会生成一条日志数据，并存储该日志数据，即推送结果数据包括视图数据推送任务中的每条视图数据对应的日志数据；其中，每条日志数据均可以包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间等，另外，每条日志数据还可以包括数据采集设备标识、视图数据类型和视图数据的采集时间等，数据采集设备标识例如可以为抓拍机标识，视图数据类型例如可以为人体、机动车、非机动车或人脸等。监控服务器可以获取执行服务器存储的推送结果数据。
步骤S204，从监控服务器获取推送结果数据和/或基于推送结果数据得到的统计数据。
在一些可能的实施例中，监控服务器可以对执行服务器产生的推送结果数据进行统计，得到统计数据，该统计数据可以包括吞吐量数据、数据量数据和成功率数据中的一种或多种。
出于安全考虑，管理服务器可以布置在外网，监控服务器和执行服务器可以布置在内网，监控服务器和执行服务器均可以对管理服务器暴露HTTPS(Hyper Text TransferProtocol over SecureSocket Layer，超文本传输安全协议)调用接口。因此管理服务器可以通过HTTPS调用接口从监控服务器获取推送结果数据和/或基于推送结果数据得到的统计数据。
步骤S206，基于推送结果数据和/或统计数据对视图数据推送任务进行数据监控，该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
在一种可能的实现方式中，管理服务器能够基于获取的推送结果数据，生成吞吐量数据、数据量数据和成功率数据，从而实现了吞吐量监控、数据量监控和成功率监控等多种数据维度的监控；其中，吞吐量可以是平均每秒吞吐量，可以按字节(Byte)计算，与日志数据中的推送报文长度有关；数据量可以是平均每秒转发数，可以按条数计算；成功率可以按百分比计算，与日志数据中的推送成功或失败的推送情况信息有关。
在另一种可能的实现方式中，管理服务器可以直接基于获取的统计数据进行吞吐量监控、数据量监控和成功率监控等多种数据维度的监控。
在又一种可能的实现方式中，管理服务器可以基于获取的推送结果数据，生成吞吐量数据、数据量数据和成功率数据中的一种或多种，并结合获取的统计数据进行吞吐量监控、数据量监控和成功率监控等多种数据维度的监控。
本发明实施例提供的一种信息监控方法，在对视图数据推送任务进行监控时，管理服务器先根据预先配置的视图数据推送任务，发送任务控制指令至执行服务器，以使执行服务器根据接收的任务控制指令执行视图数据推送任务，并将执行视图数据推送任务得到的推送结果数据提供给监控服务器；然后从监控服务器获取推送结果数据和/或基于推送结果数据得到的统计数据；从而基于推送结果数据和/或统计数据对视图数据推送任务进行数据监控，该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。这样能够实现对视图数据推送任务的多种数据维度的监控，与现有技术中基于Prometheus的监控方式相比，提高了监控的精细度和完整性，从而满足了用户的监控需求。
可选地，上述推送结果数据包括视图数据推送任务中的每条视图数据对应的日志数据。为了便于对数据的快速检索，本发明实施例中，监控服务器还用于按照日志数据中的推送时间对推送结果数据进行不同时长维度的切割分片，并存储切割后的分片结果数据。例如，对推送结果数据分别进行5s、30s、1min和5min等时长维度的切割分片，从而为监控服务器查询时的快速检索做铺垫。
基于上述内容，在一种可能的实现方式中，上述管理服务器从监控服务器获取基于推送结果数据得到的统计数据的过程可以如下：将数据统计请求发送给监控服务器，该数据统计请求包括统计时间段，以使监控服务器根据分片结果数据对推送时间在统计时间段内的日志数据进行统计，得到统计数据；接收监控服务器返回的统计数据。
例如，分片结果数据是以1min的时长维度进行的切割分片，若统计时间段为15:49:01-15:50:03，分片结果数据只包含15:49:00-15:50:00和15:50:00-15:51:00的数据，则监控服务器可以先获取15:49:00-15:50:00和15:50:00-15:51:00的数据，然后将该数据减去15:49:00-15:49:01和15:50:03-15:51:00的数据，得到待统计的目标数据，最后对得到的目标数据进行统计，即可得到统计数据。这样，监控服务器在进行数据统计时不需要对所有推送结果数据进行检索，只需要检索与统计时间段最契合的分片结果数据，节约了检索时间，提高了检索速度，从而提高了数据监控的效率。
同样的，在一种可能的实现方式中，上述管理服务器从监控服务器获取某个统计时间段内的推送结果数据时，监控服务器也可以基于分片结果数据检索与该统计时间段最匹配的数据，然后基于检索到的数据得到待统计的目标数据，并将该目标数据发送至管理服务器。这样也节约了监控服务器的检索时间，提高了监控服务器的检索速度，从而提高了数据监控的效率。
可选地，上述管理服务器还提供了明细检索功能，上述方法还包括：将明细检索请求发送给监控服务器，明细检索请求包括检索时间段，以使监控服务器根据明细检索请求对分片结果数据进行明细检索，得到明细检索结果；接收监控服务器返回的明细检索结果。
上述明细检索功能的检索维度可以仅包含检索时间段，也可以还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种。
例如，分片结果数据是以5s的时长维度进行的切割分片，若检索时间段为15:49:00-15:49:15，分片结果数据包含15:49:00-15:49:05、15:49:05-15:49:10和15:49:10-15:49:15的数据，则监控服务器可以直接获取15:49:00-15:49:05、15:49:05-15:49:10和15:49:10-15:49:15的数据。若明细检索维度仅包含检索时间段，则监控服务器获取的该数据即为明细检索结果；若明细检索维度还包括诸如视图数据标识的其他检索维度，则可以进一步基于其他检索维度对监控服务器获取的该数据进行筛选，筛选得到的最终数据即为明细检索结果。监控服务器将得到的明细检索结果发送至管理服务器即实现了管理服务器的明细检索功能，同时由于监控服务器是基于分片结果数据进行检索的，因此节约了检索时间，提高了检索速度。
需要说明的是，上述明细检索功能的检索维度可以不包含检索时间段，此时可以直接对推送结果数据进行相应检索维度的检索。例如可以根据视图数据ID(即视图数据标识)查询是否有某个图片的推送数据，也可以查询某个时间范围内推送了哪些视图数据或者有哪些数据采集设备推送的视图数据。
考虑到现有的视图数据推送功能存在资源协调能力较差和可控性较差的问题，并且随着数据量递增会出现性能下降、服务器资源出现瓶颈的现象，无法动态扩容，本发明实施例中的执行服务器采用分布式部署，支持热扩容(可以动态调整执行服务器的个数和每个执行服务器的线程数量)，从而服务器资源就不会出现瓶颈，提高了资源协调能力和可控性。基于此，在发送任务控制指令至执行服务器之前，步骤S202还包括如下步骤1.1和步骤1.2：
步骤1.1，根据视图数据推送任务中的视图数据的大小，确定执行服务器的个数和线程数量。
视图数据推送任务中的视图数据的大小可以由视图数据推送任务的数据流量表征，该数据流量与视图数据的条数和每条视图数据的数据量有关，当数据流量较大，当前的执行服务器无法满足推送需求时，可以适当增加执行服务器的个数和/或每个执行服务器的线程数量以满足推送需求。
步骤1.2，根据上述数量和线程数量，生成任务控制指令。
管理服务器可以根据执行服务器的个数和线程数量进行任务分配，并生成相应的任务控制指令。这样对于分布式部署的执行服务器，管理服务器实现了对执行服务器个数和线程数量的动态调整。
具体实现时，管理服务器中的任务并发控制模块可以对执行服务器的并发度进行分配(管理服务器可以对每个执行服务器的并发度进行单独设置，例如某一执行服务器的并发度为2，此时该执行服务器同时运行2个线程，通常情况下，一个执行服务器执行一个任务，这个任务自执行服务器启动就一直存在，获取到了视图数据就推送给视图库)，从而实现并发控制功能。
对于分布式部署的执行服务器，在视图数据推送任务的执行过程中，也可以进行执行服务器的添加，基于此，在一些可能的实施例中，上述方法还包括：根据视图数据推送任务中每条视图数据的采集时间和推送时间，以及视图数据推送任务的数据量监控的监控结果，进行告警提示或执行服务器的添加；其中，告警提示包括发送添加执行服务器的添加指示至预设的终端设备和/或在管理服务器的显示界面上显示该添加指示。
推送结果数据包括视图数据推送任务中每条视图数据的采集时间和推送时间，当视图数据的采集时间和推送时间之间的时间延迟大于预设时长，且数据量先增加后平缓时，确定此时执行服务器的个数达到瓶颈，需要增加执行服务器；其中，预设时长可以根据实际需求设置，这里不做限定。本实施例中，针对该情况，可以进行告警提示，以便收到告警提示的相关人员进行执行服务器的添加；也可以自动进行执行服务器的添加。这种方式提高了视图数据推送任务的执行效率。
同样的，在视图数据推送任务的执行过程中，当监控到执行服务器当前的线程数量无法满足推送需求时，也可以进行执行服务器线程数量的调整。在调整执行服务器的线程数量时，可以先暂停执行服务器的工作，调整好该执行服务器的线程数量后，再启动该执行服务器即可。
为了便于对执行服务器进行管理，本发明实施例中，管理服务器还设置有集群配置功能。基于此，在执行步骤S202之前，上述方法还包括如下步骤2.1至步骤2.2：
步骤2.1，当接收到执行服务器发送的注册请求时，为该执行服务器分配群组；群组与视图数据推送请求中的视图数据接收端一一对应。
步骤2.2，通过监控服务器验证上述执行服务器的存活状态是否正常。
执行服务器可以持续向zookeeper上报心跳，以使zookeeper确定执行服务器的存活状态；监控服务器可以在zookeeper中查询到执行服务器的存活状态，进而管理服务器可以从监控服务器获取执行服务器的存活状态。其中，zookeeper为监控服务器对执行服务器监控的载体，zookeeper具有时效性高的优点。
当验证结果为正常时，管理服务器才可能执行上述步骤S202。当验证结果为不正常时，管理服务器不会发送任务控制指令至该执行服务器。
这样管理服务器通过为执行服务器分配群组，使得多个执行服务器能够同时向一个视图数据接收端进行视图数据推送，实现了集群配置功能，从而能够对执行服务器进行更好的管理。
为了提高通信安全性，上述步骤2.1具体包括：当接收到执行服务器发送的注册请求时，对该执行服务器进行预设认证方式的安全认证；该预设认证方式包括token认证、AES(Advanced Encryption Standard，高级加密标准)数据加密认证和MD5(Message DigestAlgorithm，消息摘要算法)签名认证中的一种或多种；当安全认证通过时，为该执行服务器分配群组。这样通过安全认证，提高了管理服务器与执行服务器之间的通信安全性。
另外，本实施例中管理服务器还具有状态监控功能。具体地，执行服务器还用于向zookeeper发送该执行服务器的状态数据，状态数据包括存活状态数据和任务状态数据；上述方法还包括：管理服务器将状态查询请求发送给监控服务器，状态查询请求包括执行服务器标识和/或任务标识，以使监控服务器根据状态查询请求从zookeeper中获取状态查询结果；接收监控服务器返回的状态查询结果。这样实现了对执行服务器的存活状态和任务状态的监控。其中，任务状态数据可以包括未推送、推送中、推送异常等状态的数据。
需要说明的是，虽然本实施例中，上述状态监控功能是通过管理服务器主动从监控服务器获取状态查询结果实现的，但本发明的保护范围不限于此，在其他实施例中，状态监控功能也可以通过监控服务器主动上报执行服务器的状态数据给管理服务器来实现。
实施例三：
本发明实施例还提供了另一种信息监控方法，该方法由上述实施例一中的监控服务器执行，监控服务器与管理服务器相连，管理服务器还与执行服务器相连。
参见图3所示的另一种信息监控方法的流程图，该方法主要包括如下步骤S302～步骤S304：
步骤S302，当接收到管理服务器发送的数据统计请求时，根据数据统计请求对推送结果数据进行统计，得到统计数据；其中，数据统计请求包括统计时间段，推送结果数据是执行服务器基于管理服务器发送的任务控制指令执行视图数据推送任务时产生的。
步骤S304，将统计数据发送至管理服务器，以使管理服务器基于统计数据对视图数据推送任务进行数据监控，该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
本发明实施例提供的一种信息监控方法中，当接收到管理服务器发送的数据统计请求时，监控服务器根据数据统计请求对推送结果数据进行统计，得到统计数据，并将统计数据发送至管理服务器，以使管理服务器基于统计数据对视图数据推送任务进行数据监控该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。这样能够实现对视图数据推送任务的多种数据维度的监控，与现有技术中基于Prometheus的监控方式相比，提高了监控的精细度和完整性，从而满足了用户的监控需求。
具体实现时，执行服务器以HTTP请求的方式将视图数据的报文发送给视图库，在进行吞吐量监控时，可以一个英文字母为一个字节，无压缩比的方式计算报文大小，将计算得到的报文大小加上HTTP请求自身占用的字节长度，就可以得到推送某条视图数据的流量，从而可以计算得到一定时长内的平均每秒吞吐量。
可选地，上述推送结果数据包括视图数据推送任务中的每条视图数据对应的日志数据，每条日志数据均包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间等。为了便于对数据的快速检索，本发明实施例中，上述方法还包括：按照日志数据中的推送时间对推送结果数据进行不同时长维度的切割分片，并存储切割后的分片结果数据。
基于上述内容，在一种可能的实现方式中，上述步骤S302可以通过如下过程实现：从分片结果数据中查找与统计时间段相匹配的第一数据；根据第一数据内的日志数据进行吞吐量、数据量和成功率的统计，得到统计数据。通过检索与统计时间段最契合的分片结果数据(第一数据)，节约了检索时间，提高了检索速度，从而提高了数据监控的效率。
对应于管理服务器的明细检索功能，在一些可能的实施例中，每条日志数据还包括数据采集设备标识和视图数据类型；上述方法还包括：当接收到管理服务器发送的明细检索请求时，从分片结果数据中查找与明细检索请求中的检索时间段相匹配的第二数据；其中，明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种；根据明细检索请求对第二数据进行明细检索，得到明细检索结果；将明细检索结果发送至管理服务器。这样监控服务器在进行明细检索时，只需查找与检索时间段最契合的分片结果数据(第二数据)，节约了检索时间，提高了检索速度。
对应于管理服务器的状态监控功能，在一些可能的实施例中，执行服务器还用于向zookeeper发送该执行服务器的状态数据，状态数据包括存活状态数据和任务状态数据；上述方法还包括：当接收到管理服务器发送的状态查询请求时，从zookeeper中查找状态查询请求对应的状态查询结果；其中，状态查询请求包括执行服务器标识和/或任务标识；将状态查询结果发送至管理服务器。
本实施例中未详细描述的部分可以参见前述实施例二中的相应内容，这里不再赘述。
实施例四：
参见图4所示的一种信息监控系统的结构示意图，该信息监控系统包括管理服务器41，还包括与管理服务器41连接的监控服务器42和执行服务器43；管理服务器41能够实现上述实施例二中的信息监控方法，监控服务器42能够实现上述实施例三中的信息监控方法。
需要说明的是，虽然图4中仅示出了一个执行服务器43，但本发明的保护范围不限于此，在其他实施例中，执行服务器43可以为多个。
上述监控服务器42和执行服务器43可以是同一个物理设备，当执行服务器43为多个时，监控服务器42可以与任意一个执行服务器43布置在一个物理设备中。处于安全考虑，上述管理服务器41可以布置在外网，监控服务器42和执行服务器43可以布置在内网。需要说明的是，管理服务器41、监控服务器42和执行服务器43也均可以布置在内网，此时监控服务器42可以合并到管理服务器41中。
进一步，上述管理服务器41可以设置在监控中心(即管理服务器41布置在外网)，监控服务器42和执行服务器43均可以设置在被监控端(即监控服务器42和执行服务器43布置在内网)；被监控端可以为多个，每个被监控端通过端口映射与监控中心连接。在一种可能的实现方式中，被监控端可以网省(按照网络区域划分得到的)的形式划分，也即一个网省对应一个被监控端。这样通过一个监控中心实现了对多个网省的全量监控。
本实施例所提供的系统，其实现原理及产生的技术效果和前述实施例二或实施例三相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例二或实施例三中相应内容。
实施例五：
为了便于理解，在实施例四的基础上，本发明实施例还提供了一种信息监控系统的具体实现方式，该系统适用于GA/T1400标准接口，管理服务器设置在监控中心，监控服务器和执行服务器均设置在被监控端。下面将参见图5所示的一种信息监控系统的系统架构示意图，对该信息监控系统进行详细介绍。
如图5所示，该系统中，Master表示管理服务器，Monitor表示监控服务器，Work表示执行服务器，Group表示群组，该系统主要包括如下几个部分：
1、可视化设备：与Master连接。该系统的所有控制功能及监控功能均通过可视化设备上的可视化界面进行处理；可视化设备和Master可以一起作为专门的监控中心，来控制及监控各个网省的数据推送情况。
2、Master：提供整体管理监控服务，其中，任务控制模块对Work进行管理和控制，包括控制Work的启停；并发控制模块对Work的并发度进行分配；任务配置模块对不同视图库的推送的账号权限进行管控，配置登陆各视图库需要的账号和密码；集群配置模块对Work进行集群管理；吞吐量监控模块、数据量监控模块、成功率监控模块和历史统计模块分别对推送的视图数据进行实时监控及历史统计；明细检索模块对某条视图数据的成功与否或者某个检索时间段内的数据等进行检索；权限管理模块可针对不同层级的用户分配不同的权限，对不同的视图库进行操作，超级管理员可以监控所有转发(即数据推送)的情况，包含多种维度的数据监控，包含任务资源的分配，包含推送启停的配置及控制。
3、Monitor：提供监控服务，可以实时监控任务的状态和数据推送情况，并进行历史数据汇总统计；对Master暴露HTTPS调用接口(Master在外网，Monitor在内网，所以Monitor需要对Master暴露接口供其调用)，在与Master进行交互时采用token认证、AES数据加密认证和MD5签名认证等多种认证方式进行安全认证。
4、Work：为具体执行者，主要执行与第三方的视图库之间的交互，包含注册、保活、推送等功能；对Master暴露HTTPS调用接口(Master在外网，Work在内网，所以Work需要对Master暴露接口供其调用)，在与Master进行交互时(如注册或发送任务启动指令时)采用token认证、AES数据加密认证和MD5签名认证等多种认证方式进行安全认证；每个Work只属于一个Group，添加Group及Work节点需要在Master上进行注册，并验证通讯是否正常。
5、Group：每个Group内的Work集群针对一个视图库进行推送；当数据量小时，单节点(一个Work)即可，随着数据量的递增可以动态增加节点。
6、消息队列：可以采用Kafka，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理所有动作流数据；主要用于接收Work发送的日志数据(日志数据也可称为埋点)。
7、时间切割：从Kafka消费日志数据，进行不同时长维度的切割分片，例如按照5s、30s、1min、5min等时长维度进行日志数据的切割，以为查询时的快速检索做铺垫。参见图6所示的一种监控界面的示意图，图6右侧即为数据量(对应图6中的平均每秒转发数)、成功率(对应图6中的平均成功率)和吞吐量(对应图6中的平均每秒吞吐量)的监控界面，能够查询最近5分钟到N小时内的统计数据；图6左下为历史统计界面(即图6中的近7天转发数)；“日志”页面下为明细检索页面(图6中未示出)，能够查询某条成功数据、某条失败数据等。
8、ElasticSearch：用于存储切割后的日志数据(即分片结果数据)，该切割后的日志数据能够保留诸如2-3个月的时间；还用于存储实时监控和历史汇总的数据，并可进行快速检索。
9、数据库：与Master连接；可以采用PostgreSQL，用于存储集群的配置数据(集群数据)、推送的配置数据(任务数据)以及系统的操作流水等相关数据。
参见图7所示的一种信息监控系统的关键数据流向示意图，在初始化三大服务组件Master、Monitor和Work后，该系统的整体数据流向如下：
1：Work会持续往zookeeper上发送服务的心跳；
2：Work往Master上进行节点注册(注册临时节点)，Master会为Work分配Group；
3：Work在Master上注册成功后，Master会通过Monitor验证并实时监控该Work的存活状态；
4：Master确认Work的存活状态正常后，选择配置的任务，并向Work启动数据推送；
5：Work在zookeeper上更新任务状态，以及注册临时节点(zookeeper上能检测到临时节点，说明该Work工作正常，否则工作不正常)。如果任务挂掉(即任务异常)，可随时进行监控；
6：启动任务后，Work开始向视图库进行数据推送；
7：Work将推送结果数据推送至Kafka(用消息中间件Kafka保证不卡顿)；
8：推送结果数据入库，即Monitor消费并处理Kafka的数据写入ElasticSearch；
9：Master会通过Monitor进行数据推送情况的实时监控。
以上属于整个系统的关键数据流向，其中任务的相关配置全部由Master处理，包含任务的并发数等。
参见图8所示的一种信息监控系统的多地部署结构示意图，Master只存在于监控中心，可以采用主备的方式部署；所有的推送/监控服务都部署在不同地方(如网省)的内网，通过外网映射暴露HTTPS端口(即端口映射)，并只对Master开启访问权限，用于监控中心统一进行监控。
上述系统的整体部署操作流程如下：
1)内网部署Work服务和Monitor服务并启动；
2)监控中心部署Master服务并启动；
3)Work和Monitor开启外网映射，并指定Master地址进行访问；
4)在Master上新建Group，在Group上注册Work服务，Master通过Monitor可监控Work的存活状态是否正常；
5)在Master上发送启动请求(即任务启动指令)给Work，Work启动视图数据推送任务，Master通过Monitor可监控任务状态是否正常；
6)在Master上可完整地监控数据推送的数据量、吞吐量和成功率等信息。
这样通过在监控中心部署Master，在多个网省部署Work服务和Monitor服务，可以实现对多个网省的统一监控、统一权限管理、统一资源管理和统一运维管理。
综上，本发明实施例提供的信息监控系统具有如下优点：
(1)采用分布式部署，可支持热扩容，可动态调整线程数量；
(2)可支持多套GA/T1400下的视图数据推送的统一实时监控、统一权限管理、统一资源管理和统一运维管理；
(3)相比与开源的Prometheus接口层面的监控，监控得更精细，可以从数据维度对推送过程实时进行数据量、成功率和吞吐量等的监控；
(4)如果推送过程中出现异常情况，可定位到具体失败的数据和失败原因(由于每推送一条视图数据，都会返回一个日志数据，即对每条视图数据都有一条记录，因此能够track(追踪)每条数据是成功还是失败以及失败原因)；
(5)多个网省部署，可以统一进行监控。
另外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的信息监控方法。
本发明实施例所提供的信息监控方法及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种信息监控方法，其特征在于，应用于管理服务器，所述管理服务器分别与监控服务器和执行服务器相连；所述方法包括：
根据预先配置的视图数据推送任务，发送任务控制指令至所述执行服务器，以使所述执行服务器根据接收的所述任务控制指令执行视图数据推送任务，并将执行所述视图数据推送任务得到的推送结果数据提供给所述监控服务器；
从所述监控服务器获取所述推送结果数据和/或基于所述推送结果数据得到的统计数据；
基于所述推送结果数据和/或所述统计数据对所述视图数据推送任务进行数据监控，所述数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
2.根据权利要求1所述的方法，其特征在于，所述推送结果数据包括所述视图数据推送任务中的每条视图数据对应的日志数据，每条所述日志数据均包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间；所述监控服务器还用于按照所述日志数据中的推送时间对所述推送结果数据进行不同时长维度的切割分片，并存储切割后的分片结果数据；
从所述监控服务器获取基于所述推送结果数据得到的统计数据的步骤，包括：
将数据统计请求发送给所述监控服务器，所述数据统计请求包括统计时间段，以使所述监控服务器根据所述分片结果数据对推送时间在所述统计时间段内的日志数据进行统计，得到统计数据；
接收所述监控服务器返回的所述统计数据。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将明细检索请求发送给所述监控服务器，所述明细检索请求包括检索时间段，以使所述监控服务器根据所述明细检索请求对所述分片结果数据进行明细检索，得到明细检索结果；
接收所述监控服务器返回的所述明细检索结果。
4.根据权利要求3所述的方法，其特征在于，每条所述日志数据还包括数据采集设备标识和视图数据类型；所述明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种。
5.根据权利要求1-4任一项所述的方法，其特征在于，在发送任务控制指令至所述执行服务器之前，所述方法包括：
根据所述视图数据推送任务中的视图数据的大小，确定所述执行服务器的个数和线程数量；
根据所述数量和所述线程数量，生成所述任务控制指令。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述执行服务器为多个，所述推送结果数据包括所述视图数据推送任务中每条视图数据的采集时间和推送时间；所述方法还包括：
根据所述视图数据推送任务中每条视图数据的采集时间和推送时间，以及所述视图数据推送任务的数据量监控的监控结果，进行告警提示或执行服务器的添加；其中，所述告警提示包括发送添加执行服务器的添加指示至预设的终端设备和/或在所述管理服务器的显示界面上显示所述添加指示。
7.根据权利要求1-6任一项所述的方法，其特征在于，在发送任务控制指令至所述执行服务器之前，所述方法包括：
当接收到所述执行服务器发送的注册请求时，为所述执行服务器分配群组；所述群组与所述视图数据推送任务中的视图数据接收端一一对应；
通过所述监控服务器验证所述执行服务器的存活状态是否正常；
当验证结果为正常时，执行所述发送任务控制指令至所述执行服务器的步骤。
8.根据权利要求1所述的方法，其特征在于，所述执行服务器还用于向zookeeper发送所述执行服务器的状态数据，所述状态数据包括存活状态数据和任务状态数据；所述方法还包括：
将状态查询请求发送给所述监控服务器，所述状态查询请求包括执行服务器标识和/或任务标识，以使所述监控服务器根据所述状态查询请求从所述zookeeper中获取状态查询结果；
接收所述监控服务器返回的所述状态查询结果。
9.一种信息监控方法，其特征在于，应用于与管理服务器连接的监控服务器，所述管理服务器还与执行服务器相连；所述方法包括：
当接收到所述管理服务器发送的数据统计请求时，根据所述数据统计请求对推送结果数据进行统计，得到统计数据；其中，所述数据统计请求包括统计时间段，所述推送结果数据是所述执行服务器基于所述管理服务器发送的任务控制指令执行视图数据推送任务时产生的；
将所述统计数据发送至所述管理服务器，以使所述管理服务器基于所述统计数据对所述视图数据推送任务进行数据监控，所述数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
10.根据权利要求9所述的方法，其特征在于，所述推送结果数据包括所述视图数据推送任务中的每条视图数据对应的日志数据，每条所述日志数据均包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间；所述方法还包括：
按照所述日志数据中的推送时间对所述推送结果数据进行不同时长维度的切割分片，并存储切割后的分片结果数据。
11.根据权利要求10所述的方法，其特征在于，根据所述数据统计请求对推送结果数据进行统计，得到统计数据的步骤，包括：
从所述分片结果数据中查找与所述统计时间段相匹配的第一数据；
根据所述第一数据内的日志数据进行吞吐量、数据量和成功率的统计，得到统计数据。
12.根据权利要求10所述的方法，其特征在于，每条所述日志数据还包括数据采集设备标识和视图数据类型；所述方法还包括：
当接收到所述管理服务器发送的明细检索请求时，从所述分片结果数据中查找与所述明细检索请求中的检索时间段相匹配的第二数据；其中，所述明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种；
根据所述明细检索请求对所述第二数据进行明细检索，得到明细检索结果；
将所述明细检索结果发送至所述管理服务器。
13.根据权利要求9所述的方法，其特征在于，所述执行服务器还用于向zookeeper发送所述执行服务器的状态数据，所述状态数据包括存活状态数据和任务状态数据；所述方法还包括：
当接收到所述管理服务器发送的状态查询请求时，从所述zookeeper中查找所述状态查询请求对应的状态查询结果；其中，所述状态查询请求包括执行服务器标识和/或任务标识；
将所述状态查询结果发送至所述管理服务器。
14.一种管理服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的方法。
15.一种监控服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9-13中任一项所述的方法。
16.一种信息监控系统，其特征在于，包括权利要求14所述的管理服务器、权利要求15所述的监控服务器，还包括执行服务器；所述管理服务器分别与所述监控服务器和所述执行服务器相连。
17.根据权利要求16所述的系统，其特征在于，所述管理服务器设置在监控中心，所述监控服务器和所述执行服务器均设置在被监控端；所述被监控端为多个，每个所述被监控端通过端口映射与所述监控中心连接。
18.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-8中任一项所述的方法或者权利要求9-13中任一项所述的方法。
CN202010354492.XA 2020-04-28 2020-04-28 信息监控方法、系统及计算机可读存储介质 Active CN111698126B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010354492.XA CN111698126B (zh) 2020-04-28 2020-04-28 信息监控方法、系统及计算机可读存储介质
PCT/CN2020/119626 WO2021218036A1 (zh) 2020-04-28 2020-09-30 信息监控方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010354492.XA CN111698126B (zh) 2020-04-28 2020-04-28 信息监控方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111698126A true CN111698126A (zh) 2020-09-22
CN111698126B CN111698126B (zh) 2021-10-01

Family

ID=72476717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010354492.XA Active CN111698126B (zh) 2020-04-28 2020-04-28 信息监控方法、系统及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111698126B (zh)
WO (1) WO2021218036A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218036A1 (zh) * 2020-04-28 2021-11-04 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900444A (zh) * 2022-04-25 2022-08-12 北京奇艺世纪科技有限公司 数据监控方法、装置、电子设备及存储介质
CN115801809B (zh) * 2022-11-03 2023-11-03 广州辰创科技发展有限公司 跨网数据同步控制系统、方法及介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784515B1 (en) * 2000-09-27 2004-08-31 Chou H Li Semiconductor integrated circuit device
US6892227B1 (en) * 2001-12-21 2005-05-10 Networks Associates Technology, Inc. Enterprise network analyzer host controller/zone controller interface system and method
CN101291426A (zh) * 2007-04-18 2008-10-22 联想(北京)有限公司 第三方实时监控远程控制过程的方法和系统
US8284052B2 (en) * 2009-06-12 2012-10-09 Verizon Patent And Licensing Inc. Messaging engine health check
CN104754562A (zh) * 2013-12-27 2015-07-01 三亚中兴软件有限责任公司 数据复制异常的修复方法及装置
CN105306891A (zh) * 2015-10-21 2016-02-03 北京锐安科技有限公司 一种监控预警方法、装置和系统
CN106060637A (zh) * 2016-06-29 2016-10-26 乐视控股（北京）有限公司 视频推荐方法、装置及系统
CN106202389A (zh) * 2016-07-08 2016-12-07 中国银联股份有限公司 一种基于交易数据的异常监测方法及装置
CN106209516A (zh) * 2016-07-18 2016-12-07 腾讯科技（深圳）有限公司 一种上传性能监控方法、监控服务器及系统
CN107220633A (zh) * 2017-06-15 2017-09-29 苏州科达科技股份有限公司 一种智能移动执法系统及方法
CN107734072A (zh) * 2017-11-27 2018-02-23 北京小米移动软件有限公司 推送信息的处理方法及装置
CN108133031A (zh) * 2017-12-29 2018-06-08 北京搜狐新媒体信息技术有限公司 一种过滤推荐视频候选结果的方法及装置
CN108509313A (zh) * 2018-03-23 2018-09-07 深圳乐信软件技术有限公司 一种业务监控方法、平台及存储介质
US20180376276A1 (en) * 2017-06-24 2018-12-27 John Louis Mikelich Remote internet communication with rf network devices
CN110288443A (zh) * 2019-06-27 2019-09-27 北京金山安全软件有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
CN110401633A (zh) * 2019-06-20 2019-11-01 视联动力信息技术股份有限公司 一种监控巡检数据同步方法和系统
CN110609780A (zh) * 2019-08-27 2019-12-24 Oppo广东移动通信有限公司 数据监控方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534784A (zh) * 2016-11-22 2017-03-22 苏州航天系统工程有限公司 一种用于视频分析数据结果集的采集分析存储统计系统
JP2018186397A (ja) * 2017-04-26 2018-11-22 キヤノン株式会社 情報処理装置、映像監視システム、情報処理方法及びプログラム
CN110022226B (zh) * 2019-01-04 2023-04-04 国网浙江省电力有限公司 一种基于面向对象的数据采集系统及采集方法
CN110113415A (zh) * 2019-05-07 2019-08-09 中山市福瑞特科技产业有限公司 基于云平台的用电安全隐患监控服务系统
CN110321152B (zh) * 2019-07-04 2023-08-29 青岛华正信息技术股份有限公司 一种软件开发平台
CN111698126B (zh) * 2020-04-28 2021-10-01 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784515B1 (en) * 2000-09-27 2004-08-31 Chou H Li Semiconductor integrated circuit device
US6892227B1 (en) * 2001-12-21 2005-05-10 Networks Associates Technology, Inc. Enterprise network analyzer host controller/zone controller interface system and method
CN101291426A (zh) * 2007-04-18 2008-10-22 联想(北京)有限公司 第三方实时监控远程控制过程的方法和系统
US8284052B2 (en) * 2009-06-12 2012-10-09 Verizon Patent And Licensing Inc. Messaging engine health check
CN104754562A (zh) * 2013-12-27 2015-07-01 三亚中兴软件有限责任公司 数据复制异常的修复方法及装置
CN105306891A (zh) * 2015-10-21 2016-02-03 北京锐安科技有限公司 一种监控预警方法、装置和系统
CN106060637A (zh) * 2016-06-29 2016-10-26 乐视控股（北京）有限公司 视频推荐方法、装置及系统
CN106202389A (zh) * 2016-07-08 2016-12-07 中国银联股份有限公司 一种基于交易数据的异常监测方法及装置
CN106209516A (zh) * 2016-07-18 2016-12-07 腾讯科技（深圳）有限公司 一种上传性能监控方法、监控服务器及系统
CN107220633A (zh) * 2017-06-15 2017-09-29 苏州科达科技股份有限公司 一种智能移动执法系统及方法
US20180376276A1 (en) * 2017-06-24 2018-12-27 John Louis Mikelich Remote internet communication with rf network devices
CN107734072A (zh) * 2017-11-27 2018-02-23 北京小米移动软件有限公司 推送信息的处理方法及装置
CN108133031A (zh) * 2017-12-29 2018-06-08 北京搜狐新媒体信息技术有限公司 一种过滤推荐视频候选结果的方法及装置
CN108509313A (zh) * 2018-03-23 2018-09-07 深圳乐信软件技术有限公司 一种业务监控方法、平台及存储介质
CN110401633A (zh) * 2019-06-20 2019-11-01 视联动力信息技术股份有限公司 一种监控巡检数据同步方法和系统
CN110288443A (zh) * 2019-06-27 2019-09-27 北京金山安全软件有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
CN110609780A (zh) * 2019-08-27 2019-12-24 Oppo广东移动通信有限公司 数据监控方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU ZHIWEI,: ""PeerMonitor: A P2P-based architecture for video monitoring"", 《2010 INTERNATIONAL CONFERENCE ON COMPUTER DESIGN AND APPLICATIONS》 *
史志明，: ""网络视频质量评估方法与测试技术研究"", 《中国博士学位论文全文数据库-信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218036A1 (zh) * 2020-04-28 2021-11-04 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN111698126B (zh) 2021-10-01
WO2021218036A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
WO2021073452A1 (zh) 基于区块链网络的数据处理方法、装置、电子设备及存储介质
US11206451B2 (en) Information interception processing method, terminal, and computer storage medium
CN110545260B (zh) 一种基于拟态构造的云管理平台构建方法
CN111698126B (zh) 信息监控方法、系统及计算机可读存储介质
CN107395767B (zh) 基于长连接的消息推送系统及方法
US10225273B2 (en) Secured event monitoring leveraging blockchain
EP2987090B1 (en) Distributed event correlation system
CN107580046B (zh) 长连接服务系统及方法
WO2019232071A1 (en) Aggregation of scalable network flow events
US11223639B2 (en) Endpoint network traffic analysis
CN108683668B (zh) 内容分发网络中的资源校验方法、装置、存储介质及设备
WO2021068488A1 (zh) 基于区块链的日志处理方法、装置、计算机设备及存储介质
CN108256118B (zh) 数据处理方法、装置、系统、计算设备以及存储介质
CN107111510B (zh) 一种针对vnf包进行操作的方法及装置
WO2021184587A1 (zh) 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质
CN105119966A (zh) 一种公众号管理方法及装置
US11228486B2 (en) Methods for managing storage virtual machine configuration changes in a distributed storage system and devices thereof
US20230052935A1 (en) Asynchronous accounting method and apparatus for blockchain, medium and electronic device
CN115118705A (zh) 一种基于微服务的工业边缘管控平台
CN112328448A (zh) 基于Zookeeper的监控方法、监控装置、设备及存储介质
CN112019330B (zh) 一种基于联盟链的内网安全审计数据的存储方法及系统
CN107992491A (zh) 一种分布式文件系统、数据访问和数据存储的方法及装置
US20220237326A1 (en) System and method for certifying integrity of data assets
JP6680028B2 (ja) 監視システム、監視方法および監視プログラム
US10771308B2 (en) Request processing system using a combining engine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant