CN110022221A - 一种系统接口数据的监控方法、装置及系统 - Google Patents

一种系统接口数据的监控方法、装置及系统 Download PDF

Info

Publication number
CN110022221A
CN110022221A CN201810016473.9A CN201810016473A CN110022221A CN 110022221 A CN110022221 A CN 110022221A CN 201810016473 A CN201810016473 A CN 201810016473A CN 110022221 A CN110022221 A CN 110022221A
Authority
CN
China
Prior art keywords
data
monitored
field
transformed
standardized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810016473.9A
Other languages
English (en)
Other versions
CN110022221B (zh
Inventor
邵高杰
贾弘鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youxin (Anhui) Industrial Investment Co.,Ltd.
Original Assignee
Che Bole (beijing) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Che Bole (beijing) Mdt Infotech Ltd filed Critical Che Bole (beijing) Mdt Infotech Ltd
Priority to CN201810016473.9A priority Critical patent/CN110022221B/zh
Publication of CN110022221A publication Critical patent/CN110022221A/zh
Application granted granted Critical
Publication of CN110022221B publication Critical patent/CN110022221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Abstract

本申请公开了一种系统接口数据的监控方法、装置及系统，所述方法包括：实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；根据所述转化参数，从所述格式化数据中提取待转化数据；转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；根据标准化数据的数据结构，选择待监控字段；根据预设监控阈值和所述待监控字段，确定问题字段；发送预警信息到客户端，所述预警信息至少包括所述问题字段。能够有效解决现有技术对系统失效接口数据分析效率低，从而对系统接口监控力度小的问题。

Description

一种系统接口数据的监控方法、装置及系统
技术领域
本申请涉及系统接口数据处理技术领域，尤其涉及一种系统接口数据的监控方法、装置及系统。
背景技术
随着公司的不断发展，支撑公司运行的网络越来越庞杂，往往一个系统根据用户的需求，需要不断添加新的功能，导致整体系统囊括的功能模块越来越多，运行起来容易发生错乱、干扰、重复等问题。此时，通常将整体系统按照功能模块拆分为多个系统，例如将整体汽车物流系统拆分为矩阵系统和抢单系统，再通过各个系统之间的互相调用完成整体系统的有序运行。
系统接口为一种连接通路，即为两部分系统之间传输数据提供连接通路的抽象模块。如图1，一种典型的系统接口发送预警信息的示意图，各系统之间通过接口进行数据调用，通常首先对需要调用的系统的接口发送请求命令，例如利用CURL(Command LineUniform Resource Locator)传输请求命令，然后根据返回的数据做接口有效性分析。将返回的数据存放入发起请求的系统中，例如写入发起请求的系统的日志文件，一旦需要查看接口无效的原因，该系统需要从各日志文件中调取记录的数据，并根据所调取的数据进行系统情境重建，反推错误节点。
但是，本申请的发明人在利用现有技术执行查看日志文件记录并反推接口错误节点时存在一些问题。系统查看日志文件所记录的数据并反推错误节点的程序与该系统所执行的当前程序存在冲突问题，即两者不能实现异步执行的效果，从而影响对接口错误节点的分析效率；现有技术中对发送错误接口的预警信息所对应的预警方式均为程序固定方式，不能根据实际需求随时更改；客户端无法通过直观的方式，例如图、表等，直接观察接口的数据，降低客户端的监控准确度，耗费时间；而且存放入日志文件中的接口数据由于存在大量的中文字符，增大了查找数据的难度，且增加搜索时间。
发明内容
本申请提供一种系统接口数据的监控方法、装置及系统，以解决现有技术对系统失效接口数据分析效率低，从而对系统接口监控力度小的问题。
根据本申请的实施例，第一方面，提供了一种系统接口数据的监控方法，其特征在于，所述方法包括：
实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
根据所述转化参数，从所述格式化数据中提取待转化数据；
转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
根据标准化数据的数据结构，选择待监控字段；
根据预设监控阈值和所述待监控字段，确定问题字段。
可选地，所述根据所述转化参数，从所述格式化数据中提取待转化数据的具体步骤为：
根据所述转化参数，在所述格式化数据中标记所述待转化数据段；
按照所述待转化数据段的被接收顺序，从所述格式化数据中提取所述待转化数据段；
按照所述待转化数据段的提取顺序，集合全部所述待转化数据段为所述待转化数据。
可选地，所述转化待转化数据为标准化数据的具体步骤为：
拆解所述待转化数据为数据段，所述数据段至少包括域名数据段、网络地址数据段和请求参数数据段；
加密各所述数据段，得到标准化数据段；
集合全部所述标准化数据段为所述标准化数据。
可选地，所述根据标准化数据的数据结构，选择监控字段的具体步骤为：
根据标准化数据的数据结构，划分所述标准化数据为单元数据段；
根据所述单元数据段和被监控系统接口的历史请求结果数据，选择监控维度。
可选地，所述根据预设监控阈值和所述待监控字段，确定问题字段的具体步骤为：
提取各所述待监控字段的数据量；
匹配所述预设监控阈值与所述数据量，确定问题字段。
可选地，所述监控方法还包括：
根据客户端信息，实时配置预警参数，所述预警参数至少包括：预警方式和预警接收人。
可选地，所述监控方法还包括：
所述预警参数还包括预警时间间隔；
根据所述预警时间间隔，划分所述问题字段的所在单位区间；
统计所述单位区间内，每个被监控系统接口对应的所述问题字段的数量；
根据预设单位区间的接口预警数量，判断所述被监控系统接口的异常是否为偶发性异常。
可选地，所述监控方法还包括：
根据所述待监控字段的数据量，绘制各被监控系统接口的待监控字段数据量图形；
根据所述待监控字段数据量图形，确定问题字段。
第二方面，提供了一种系统接口数据的监控装置，其特征在于，所述装置包括：
数据接收单元，用于实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
转化参数确定单元，用于根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
数据提取单元，用于根据所述转化参数，从所述格式化数据中提取待转化数据；
数据标准化单元，用于转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
监控字段选择单元，用于根据标准化数据的数据结构，选择待监控字段；
问题字段确定单元，用于根据预设监控阈值和所述待监控字段，确定问题字段。
第三方面，提供了一种系统接口数据的监控系统，其特征在于，所述系统包括：
被监控系统，与各所述被监控系统相连接的监控平台，与所述监控平台相连接的客户端；
被监控系统，用于发送被监控系统接口的格式化数据至监控平台；
所述监控平台，用于实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
根据所述转化参数，从所述格式化数据中提取待转化数据；
转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
根据标准化数据的数据结构，选择待监控字段；
根据预设监控阈值和所述待监控字段，确定问题字段；
所述客户端，用于接收所述监控平台发送的预警信息，所述预警信息至少包括所述问题字段。
由以上技术可知，本申请提供了一种系统接口数据的监控方法、装置及系统，其中，所述监控方法包括：实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；根据所述转化参数，从所述格式化数据中提取待转化数据；转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；根据标准化数据的数据结构，选择待监控字段；根据预设监控阈值和所述待监控字段，确定问题字段。应用中，首先，监控平台实时接收来自全部被监控系统接口所发送的经过格式化的数据，通过对格式化数据的结构及内容进行分析，确定出需要进行转化的数据段等信息，即确定转化参数。然后，从格式化数据中将各需要进行转化的数据段提取出，形成待转化的数据段集合，将待转化的数据段依次转化为标准化数据段之后，将其全部存储于数据库内，进行后续的独立处理工作。对数据库内存储的全部标准化数据进行多维度监控，从而精准确定问题字段的位置，便于后续修改接口数据的准确开展。最后，由监控平台将预警信息发送至客户端，由客户端实时了解接口的异常情况及异常内容。上述操作过程中，将对各系统接口的数据集中存储于数据库内，便于进行独立且同步的数据异常节点找寻工作，解决了现有技术对系统失效接口数据分析效率低的问题，极大的提高了对各系统接口的监控力度。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一种典型的系统接口相互调用关系的结构示意图；
图2为本申请提供的一种系统接口数据的监控系统的结构示意图；
图3为本申请实施例提供的一种系统接口数据的监控方法的流程图；
图4为本申请实施例提供的一种提取待转化数据的具体流程图；
图5为本申请实施例提供的一种数据标准化的具体流程图；
图6为本申请实施例提供的一种选择监控字段的具体流程图；
图7为本申请实施例提供的一种确定问题字段的具体流程图；
图8为本申请实施例提供的一种可配置预警参数的系统接口数据的监控方法的流程图；
图9为本申请实施例提供的一种设置有预警频次的系统接口数据的监控方法的流程图；
图10为本申请实施例提供的一种生成待监控字段数据量图形的具体流程图；
图11为本申请实施例提供的一种待监控字段数据量图形；
图12为本申请实施例提供的一种系统接口数据的监控装置的结构图。
具体实施方式
在现有技术中，将总系统拆分为多个系统后，各系统通过接口互相调用达到协作运行的效果，一旦被请求系统的接口出现异常，则会实时发送异常结果给发起请求的系统接口。但是发起请求的系统只能够实时反应出被请求系统的接口不可用的最终结果，如需进一步了解发生异常的节点(原因)，则需要通过分析被请求系统发送的异常结果数据来进一步确定，而该工作会与发起请求的系统正在运行的其他工作产生冲突，从而导致找寻被请求系统接口的异常节点的工作延迟，从而失去预警的时效性。
实施例一
本申请为了解决找寻接口异常节点的工作与发起请求的系统正在运行的工作产生冲突的问题，增设独立数据库平台，将被请求系统的接口返回给发起请求系统的接口的数据集中收集于数据库平台中，从而实现对找寻接口异常节点的工作的独立进行。如图2所示，一种系统接口数据的监控系统的结构示意图，所述系统包括：被监控系统2，与各所述被监控系统2相连接的监控平台3，与所述监控平台相连接的客户端4；
被监控系统2，用于发送被监控系统接口的格式化数据至监控平台3；
所述监控平台3，用于实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
根据所述转化参数，从所述格式化数据中提取待转化数据；
转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
根据标准化数据的数据结构，选择待监控字段；
根据预设监控阈值和所述待监控字段，确定问题字段；
所述客户端4，用于接收所述监控平台3发送的预警信息，所述预警信息至少包括所述问题字段。
如图3所示，一种系统接口数据的监控方法，所述系统接口数据的监控系统结合所述监控方法，所述监控方法包括：
S100、实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据。
首先，将庞大繁杂的总系统1拆分为若干被监控的系统2。各系统2之间通过接口互相调用实现各系统2之间的功能合作，从而共同完成总系统1的工作。各系统2既可以发送接口调用请求，也会根据接收到的接口调用请求发送被请求的结果数据。其中，发送接口调用请求的系统接口(被监控系统接口)会接收到来自被请求系统接口返回的请求结果数据，被监控系统接口会在将所述请求结果数据打包统一发送至监控平台3之前，预先对所述请求结果数据进行格式化处理，令多格式、多内容、多结构的请求结果数据转变为具有相同的、可被监控平台3的接口识别、接收的格式化数据。为了保证找寻被请求系统接口的异常节点的时效性，要求被监控系统实时将接收到的转变为格式化数据的请求结果数据打包发送至监控平台3。所述格式化数据包括若干数据信息，例如：appkey(第三方系统定义的唯一密钥)、method(接口请求方法)、request(接口请求返回结果)、url(被请求接口地址)、content_type(内容类型)、http_code(状态码)、total_time(接口总时长)、namelookup_time(DNS解析消耗时长)、connect_time(连接建立消耗时长)、pretransfer_time(传输准备时长)、size_upload(上传数据总量)、size_download(下载数据总量)、speed_upload(平均下载速度)、download_content_length(下载内容长度)、starttransfer_time(传输前消耗时长)、curl_error(curl错误信息)和curl_errno(curl错误码)等。可见，格式化数据信息量庞大。
各被监控系统接口发送的数据按照时间顺序写入队列中，通过队列形式能够保证对数据的流转及处理过程均按照时间的先后顺序，从而保证数据的时效性，不会存在延迟或搁置处理的情况。
S200、根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称。
格式化数据由于包含多种内容，且每种内容所对应的数据结构均不相同，因此，根据不同的数据结构能够将格式化数据拆分为对应的数据段，为各数据段命名，例如url数据段、http_code数据段等。根据拆分后得到的全部数据段，能够确定出所需要转化的数据段，以及，转化时需要的参数，即转化参数，包括所对应的转化数据段的名称、转化顺序、转化方式等转化参数。
S300、根据所述转化参数，从所述格式化数据中提取待转化数据。
根据拟定的转化参数，从全部格式化数据中筛选出需要转化的待转化数据。筛选的过程按照数据队列顺序，即格式化数据的写入顺序，能够通过先写入的数据先转化，后写入的数据后转化的工作机制，保证数据转化的时效性，进而保证数据整体处理过程的时效性。
S400、转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内。
将待转化数据转化为格式能够被数据库所唯一识别的标准化数据，例如将格式化数据中url数据段标准化为数据库唯一识别的数据结构。监控平台3将全部标准化后的数据集中存放于监控平台3内独立于各系统2之外的数据库内，待进一步处理。
S500、根据标准化数据的数据结构，选择待监控字段。
标准化数据由格式化数据转化而来，因此也具有多种内容、多种结构，根据内容及结构的不同，仍然可以需要监控的字段，从而有针对性的、更加准确的进行监控，进而提高监控的时效性。
S600、根据预设监控阈值和所述待监控字段，确定问题字段。
通过将需要进行监控的待监控字段与预先设置的监控阈值进行匹配，确定出不符合条件的问题字段，从而找到被请求接口的异常节点，为进一步修复或者改进提供精准的证据。
最后，由监控平台3将通过处理各被监控系统接口发送的请求结果数据，将找寻到的接口异常节点的信息以预警信息的方式发送至客户端4，从而令客户端4的使用者能够一目了然的实时了解到异常接口的具体信息，对后续对错误的抢修等工作提供更加便利、精准的基础。
本实施例提供的系统接口数据的监控方法及系统，有效地解决了现有技术对系统失效接口数据分析效率低的问题，极大的提高了对系统接口的监控力度。
实施例二
如图4所示，本实施例提供了一种提取待转化数据的具体流程图。
S301、根据所述转化参数，在所述格式化数据中标记所述待转化数据段。
根据所拟定的转化参数，从全部格式化数据中标记出需要转化的转化数据段，例如将url数据段标记为A，将connect_time数据段标记为B等，以利于进一步对各数据段处理时，有目标的找寻。
S302、按照所述待转化数据段的被接收顺序，从所述格式化数据中提取所述待转化数据段。
根据待转化数据段被写入队列的顺序，对应地，提取出待转化数据段进行后续处理。按照上述提取顺序能够保证先写入的数据段优先处理，避免跨数据段延迟处理，或者遗漏数据段处理，从而有效保证数据处理的时效性。
S303、按照所述待转化数据段的提取顺序，集合全部所述待转化数据段为所述待转化数据。
同样的，将提取出的待转化数据段依照提取的先后顺序写入队列，保证所处理的全部数据段均保持如一的处理顺序，严格避免待处理数据段存在跨越处理的现象，从而保证数据处理的时效性，进而有效保证整体监控系统的预警时效性。
实施例三
如图5所示，本实施例提供了一种数据标准化的具体流程图。
S401、拆解所述待转化数据为数据段，所述数据段至少包括域名数据段、网络地址数据段和请求参数数据段。
例如确定url数据为待转化数据，将url数据拆解为domain(域名)数据段、URL数据段以及request数据段。
S402、加密各所述数据段，得到标准化数据段。
本实施例提供一种加密方式，利用MD5(Message Digest Aigorithm MD5，消息摘要算法MD5)加密方式，将上述url数据拆解而成的各数据段加密为数据库唯一识别的标准化数据段。在现有技术中，接口数据均存储于各系统的系统日志内，如需在全部日志文件内查找相应目标文件，会涉及到大量有关中文字符的搜索，由于中文字符的特殊性，会严重影响目标文件的搜索速度及准确度。在本申请中，将存入数据库的数据段全部标准化成具有唯一标识的标准化数据段，能够实现接口数据在数据库的全匹配搜索，不仅能够提高搜索准确度，而且能够提高搜索速度，保证数据处理的时效性。
S403、集合全部所述标准化数据段为所述标准化数据。
同样，按照待转化数据写入队列的顺序对其进行标准化处理，并按照标准化的先后顺序将全部标准化数据段集合在一起，写入数据库，进而保证数据标准化的有序化和时效性。
实施例四
如图6所示，一种选择监控字段的具体流程图。
S501、根据标准化数据的数据结构，划分所述标准化数据为单元数据段。
标准化数据由全部标准化数据段构成，由于各标准化数据段具有不同的内容，因此，能够按照内容信息将标准化数据划分为若干单元数据段。例如：将标准化数据划分为域名数据段、请求参数数据段等。
S502、根据所述单元数据段和被监控系统接口的历史请求结果数据，选择待监控字段。
现有技术中，待监控字段均根据写入的程序直接确定，且在监控的过程中不可自有选择或更改，因此，存在本不需要监控的数据段仍然占用监控资源的问题。
本实施例提供的方法，可以根据划分后得到的单元数据段自由选择待监控字段，进而有目标的进行精准监控。也可以根据历史请求结果数据，即历史被请求接口所返回的数据中显示的接口异常节点的位置，根据历史请求结果数据，按照有异常倾向的程度由高到低的顺序，排列各数据段，将有异常倾向高的数据段添入待监控字段，并且优先检查。按照本实施例提供的选择待监控字段的方法能够结合历史数据，更有针对性的配置监控数据段，从而提高监控准确度和效率。
实施例五
如图7所示，一种确定问题字段的具体流程图。
S601、提取各所述待监控字段的数据量；
S602、匹配所述预设监控阈值与所述数据量，确定问题字段。
获得各待监控字段的数据量，将其与预先设置的监控阈值进行比较，数据量超过监控阈值的待监控字段为问题字段。
具体地，例如监控http_code字段，取出监控时间段内域名domain和http_code分组的数据量，如果大于预先设置的监控阀值，则确定http_code字段为问题字段。
实施例六
如图8所示，一种可配置预警参数的系统接口数据的监控方法的流程图。
当准确判断出问题字段之后，监控平台3需要实时将预警信息发送到客户端，所述预警信息至少包括问题字段，并且能够根据实际需求，设置更加便利于客户端3监控人员的预警参数，具体操作如下：
S700、根据客户端信息，实时配置预警参数，所述预警参数至少包括：预警方式和预警接收人。
现有技术中，预警参数均为系统软件写入，在监控平台3使用时不可随意更改，缺乏自由度和针对性，例如对于客户端4的使用者数量变更，或者人员的更换，则原先的预警接收人则与实际不符，影响预警信息的接收有效性。
本实施例提供的监控方法，能够根据客户端的信息，例如人员数量、人员姓名、人员工作方式等，随时配置合适的预警参数。其中，预警方式有多种可选，例如短信、邮件、微信消息等。令预警信息的发送更具有有效性，进而保证客户端4能够根据实时消息，对异常接口做出快速、准确、有效的修复措施。
实施例七
如图9所示，一种设置有预警频次的系统接口数据的监控方法的流程图。
S701、所述预警参数还包括预警时间间隔；
S702、根据所述预警时间间隔，划分所述问题字段的所在单位区间；
S703、统计所述单位区间内，每个被监控系统接口对应的所述问题字段的数量；
S704、根据预设单位区间的接口预警数量，判断所述被监控系统接口的异常是否为偶发性异常。
监控平台3能够根据实际需要自由配置预警时间间隔，例如设置预警时间间隔为2h，将整体监控时段按2h划分为各子时间段；将所有问题字段出现所对应的时间按照2h的预警时间间隔进行划分，并且统计每个2h预警时间间隔内的每个系统接口所对应的同一个问题字段的出现次数，将所述出现次数与预先设置的单位区间的接口预警数量进行对比，如果低于所述接口预警数量，则该子时间段属于偶发性异常；否则属于非偶发性异常，需要特殊注意。
进一步地，统计各子时间段内每个系统接口所对应的同一个问题字段的出现次数，将其整合到整体监控时段，通过分析整体监控时段内该问题字段的出现次数的变化，同样能够确定属于非偶发性异常的子时间段，从而准确定位该异常节点。
实施例八
如图10所示，一种生成待监控字段数据量图形的具体流程图。
S7011、根据所述待监控字段的数据量，绘制各被监控系统接口的待监控字段数据量图形；
S7012、根据所述待监控字段数据量图形，确定问题字段。
各待监控字段数据量能够通过绘制的图形进行表征，所述图形可以为柱状图、饼状图、折线图等各种形式。本实施例列举一实例，如图11所示，一种待监控字段数据量图形。从待监控字段数据量图形上能够直接、清晰的看出数据量超过预设监控阈值的待监控字段为total_time字段，从而快速确定问题字段，提高客户端4的监控效率。
本申请还提供了一种系统接口数据的监控装置，具体结构如图12所示，所述装置包括：
数据接收单元5，用于实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
转化参数确定单元6，用于根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
数据提取单元7，用于根据所述转化参数，从所述格式化数据中提取待转化数据；
数据标准化单元8，用于转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
监控字段选择单元9，用于根据标准化数据的数据结构，选择待监控字段；
问题字段确定单元10，用于根据预设监控阈值和所述待监控字段，确定问题字段。
由本申请技术方案可以看出，本申请提供了一种系统接口数据的监控方法、装置及系统，所述方法包括：实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；根据所述转化参数，从所述格式化数据中提取待转化数据；转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；根据标准化数据的数据结构，选择待监控字段；根据预设监控阈值和所述待监控字段，确定问题字段；发送预警信息到客户端，所述预警信息至少包括所述问题字段。应用中，首先，监控平台实时接收来自全部被监控系统接口所发送的经过格式化的数据，通过对格式化数据的结构及内容进行分析，确定出需要进行转化的数据段等信息，即确定转化参数。然后，从格式化数据中将各需要进行转化的数据段提取出，形成待转化的数据段集合，将待转化的数据段依次转化为标准化数据段之后，将其全部存储于数据库内，进行后续的独立处理工作。对数据库内存储的全部标准化数据进行多维度监控，从而精准确定问题字段的位置，便于后续修改接口数据的准确开展。最后，由监控平台将预警信息发送至客户端，由客户端实时了解接口的异常情况及异常内容。上述操作过程中，将对各系统接口的数据集中存储于数据库内，便于进行独立且同步的数据异常节点找寻工作，解决了现有技术对系统失效接口数据分析效率低的问题，极大的提高了对系统接口的监控力度。
值得注意的是，具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的用户身份的服务提供方法或用户注册方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random accessmemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种系统接口数据的监控方法，其特征在于，所述方法包括：
实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
根据所述转化参数，从所述格式化数据中提取待转化数据；
转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
根据标准化数据的数据结构，选择待监控字段；
根据预设监控阈值和所述待监控字段，确定问题字段。
2.根据权利要求1所述的监控方法，其特征在于，所述根据所述转化参数，从所述格式化数据中提取待转化数据的具体步骤为：
根据所述转化参数，在所述格式化数据中标记所述待转化数据段；
按照所述待转化数据段的被接收顺序，从所述格式化数据中提取所述待转化数据段；
按照所述待转化数据段的提取顺序，集合全部所述待转化数据段为所述待转化数据。
3.根据权利要求1所述的监控方法，其特征在于，所述转化待转化数据为标准化数据的具体步骤为：
拆解所述待转化数据为数据段，所述数据段至少包括域名数据段、网络地址数据段和请求参数数据段；
加密各所述数据段，得到标准化数据段；
集合全部所述标准化数据段为所述标准化数据。
4.根据权利要求1所述的监控方法，其特征在于，所述根据标准化数据的数据结构，选择待监控字段的具体步骤为：
根据标准化数据的数据结构，划分所述标准化数据为单元数据段；
根据所述单元数据段和被监控系统接口的历史请求结果数据，选择待监控字段。
5.根据权利要求1所述的监控方法，其特征在于，所述根据预设监控阈值和所述待监控字段，确定问题字段的具体步骤为：
提取各所述待监控字段的数据量；
匹配所述预设监控阈值与所述数据量，确定问题字段。
6.根据权利要求1所述的监控方法，其特征在于，所述监控方法还包括：
根据客户端信息，实时配置预警参数，所述预警参数至少包括：预警方式和预警接收人。
7.根据权利要求6所述的监控方法，其特征在于，所述监控方法还包括：
所述预警参数还包括预警时间间隔；
根据所述预警时间间隔，划分所述问题字段的所在单位区间；
统计所述单位区间内，每个被监控系统接口对应的所述问题字段的数量；
根据预设单位区间的接口预警数量，判断所述被监控系统接口的异常是否为偶发性异常。
8.根据权利要求5所述的监控方法，其特征在于，所述监控方法还包括：
根据所述待监控字段的数据量，绘制各被监控系统接口的待监控字段数据量图形；
根据所述待监控字段数据量图形，确定问题字段。
9.一种系统接口数据的监控装置，其特征在于，所述装置包括：
数据接收单元，用于实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
转化参数确定单元，用于根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
数据提取单元，用于根据所述转化参数，从所述格式化数据中提取待转化数据；
数据标准化单元，用于转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
监控字段选择单元，用于根据标准化数据的数据结构，选择待监控字段；
问题字段确定单元，用于根据预设监控阈值和所述待监控字段，确定问题字段。
10.一种系统接口数据的监控系统，其特征在于，所述系统包括：
被监控系统，与各所述被监控系统相连接的监控平台，与所述监控平台相连接的客户端；
被监控系统，用于发送被监控系统接口的格式化数据至监控平台；
所述监控平台，用于实时接收全部被监控系统接口发送的格式化数据，所述格式化数据至少包括：接口地址数据；
根据所述格式化数据，确定转化参数，所述转化参数至少包括数据段名称；
根据所述转化参数，从所述格式化数据中提取待转化数据；
转化所述待转化数据为标准化数据，所述标准化数据至少包括域名，并将所述标准化数据集中存放于数据库内；
根据标准化数据的数据结构，选择待监控字段；
根据预设监控阈值和所述待监控字段，确定问题字段；
所述客户端，用于接收所述监控平台发送的预警信息，所述预警信息至少包括所述问题字段。
CN201810016473.9A 2018-01-08 2018-01-08 一种系统接口数据的监控方法、装置及系统 Active CN110022221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810016473.9A CN110022221B (zh) 2018-01-08 2018-01-08 一种系统接口数据的监控方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810016473.9A CN110022221B (zh) 2018-01-08 2018-01-08 一种系统接口数据的监控方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110022221A true CN110022221A (zh) 2019-07-16
CN110022221B CN110022221B (zh) 2022-04-05

Family

ID=67187548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810016473.9A Active CN110022221B (zh) 2018-01-08 2018-01-08 一种系统接口数据的监控方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110022221B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781051A (zh) * 2019-09-18 2020-02-11 北京你财富计算机科技有限公司 服务端接口字段监控方法、装置及电子设备
CN111310007A (zh) * 2020-02-11 2020-06-19 北京达佳互联信息技术有限公司 网页接口查询方法、装置、电子设备及存储介质
CN112039701A (zh) * 2020-08-27 2020-12-04 中国平安财产保险股份有限公司 接口调用监控方法、装置、设备及存储介质
CN113377609A (zh) * 2021-06-04 2021-09-10 广东好太太智能家居有限公司 一种系统接口性能监测方法、装置及存储介质
CN113672446A (zh) * 2020-05-14 2021-11-19 百度在线网络技术（北京）有限公司 监控参数确定方法、装置、设备以及存储介质
CN114666193A (zh) * 2022-03-03 2022-06-24 阿里巴巴（中国）有限公司 针对cdn的异常检测方法、计算设备及存储介质
CN115442263A (zh) * 2022-08-18 2022-12-06 上海数禾信息科技有限公司 被监控系统的数据监控方法、装置和计算机设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221368A1 (en) * 2005-03-31 2006-10-05 Hiroshi Higuchi Data processing apparatus, data processing system, method for controlling data processing apparatus, method for adding data converting function, program and medium
CN1851642A (zh) * 2005-09-09 2006-10-25 华为技术有限公司 一种接口数据文法分析处理系统及其分析处理方法
US20070043535A1 (en) * 2005-04-01 2007-02-22 Alvin Belden Medical data communication interface monitoring system
CN101829480A (zh) * 2010-05-25 2010-09-15 中电投远达环保工程有限公司 电厂脱硫运行工况实时数据接口装置及传输方法
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术（中国）有限公司 监控应用日志的方法及系统
JP2013258554A (ja) * 2012-06-12 2013-12-26 Fujitsu Ltd 伝送装置及び伝送方法
CN104168148A (zh) * 2014-05-04 2014-11-26 杭州立地信息技术有限公司 一种多接口数据采集装置及采集方法
CN104835009A (zh) * 2015-05-11 2015-08-12 中国民用航空总局第二研究所 一种航班监测与控制系统及其监测与控制方法
CN105335310A (zh) * 2014-06-05 2016-02-17 阿里巴巴集团控股有限公司 一种接口定义方法和数据传输方法及装置
CN105446875A (zh) * 2014-11-18 2016-03-30 国网山东省电力公司 基于sap平台的接口和系统的监测方法及监测系统
CN105553740A (zh) * 2015-12-25 2016-05-04 北京奇虎科技有限公司 数据接口监控方法和装置
CN105743712A (zh) * 2016-04-12 2016-07-06 中国铁道科学研究院电子计算技术研究所 Pis外部接口监控系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221368A1 (en) * 2005-03-31 2006-10-05 Hiroshi Higuchi Data processing apparatus, data processing system, method for controlling data processing apparatus, method for adding data converting function, program and medium
US20070043535A1 (en) * 2005-04-01 2007-02-22 Alvin Belden Medical data communication interface monitoring system
CN1851642A (zh) * 2005-09-09 2006-10-25 华为技术有限公司 一种接口数据文法分析处理系统及其分析处理方法
CN101829480A (zh) * 2010-05-25 2010-09-15 中电投远达环保工程有限公司 电厂脱硫运行工况实时数据接口装置及传输方法
JP2013258554A (ja) * 2012-06-12 2013-12-26 Fujitsu Ltd 伝送装置及び伝送方法
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术（中国）有限公司 监控应用日志的方法及系统
CN104168148A (zh) * 2014-05-04 2014-11-26 杭州立地信息技术有限公司 一种多接口数据采集装置及采集方法
CN105335310A (zh) * 2014-06-05 2016-02-17 阿里巴巴集团控股有限公司 一种接口定义方法和数据传输方法及装置
CN105446875A (zh) * 2014-11-18 2016-03-30 国网山东省电力公司 基于sap平台的接口和系统的监测方法及监测系统
CN104835009A (zh) * 2015-05-11 2015-08-12 中国民用航空总局第二研究所 一种航班监测与控制系统及其监测与控制方法
CN105553740A (zh) * 2015-12-25 2016-05-04 北京奇虎科技有限公司 数据接口监控方法和装置
CN105743712A (zh) * 2016-04-12 2016-07-06 中国铁道科学研究院电子计算技术研究所 Pis外部接口监控系统及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781051A (zh) * 2019-09-18 2020-02-11 北京你财富计算机科技有限公司 服务端接口字段监控方法、装置及电子设备
CN111310007A (zh) * 2020-02-11 2020-06-19 北京达佳互联信息技术有限公司 网页接口查询方法、装置、电子设备及存储介质
CN111310007B (zh) * 2020-02-11 2023-07-07 北京达佳互联信息技术有限公司 网页接口查询方法、装置、电子设备及存储介质
CN113672446A (zh) * 2020-05-14 2021-11-19 百度在线网络技术（北京）有限公司 监控参数确定方法、装置、设备以及存储介质
CN113672446B (zh) * 2020-05-14 2023-09-15 百度在线网络技术（北京）有限公司 监控参数确定方法、装置、设备以及存储介质
CN112039701A (zh) * 2020-08-27 2020-12-04 中国平安财产保险股份有限公司 接口调用监控方法、装置、设备及存储介质
CN112039701B (zh) * 2020-08-27 2023-08-15 中国平安财产保险股份有限公司 接口调用监控方法、装置、设备及存储介质
CN113377609A (zh) * 2021-06-04 2021-09-10 广东好太太智能家居有限公司 一种系统接口性能监测方法、装置及存储介质
CN114666193A (zh) * 2022-03-03 2022-06-24 阿里巴巴（中国）有限公司 针对cdn的异常检测方法、计算设备及存储介质
CN114666193B (zh) * 2022-03-03 2023-08-22 阿里巴巴（中国）有限公司 针对cdn的异常检测方法、计算设备及存储介质
CN115442263A (zh) * 2022-08-18 2022-12-06 上海数禾信息科技有限公司 被监控系统的数据监控方法、装置和计算机设备

Also Published As

Publication number Publication date
CN110022221B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110022221A (zh) 一种系统接口数据的监控方法、装置及系统
CN109064345B (zh) 消息处理方法、系统以及计算机可读存储介质
CN101958838B (zh) 数据访问方法及装置
EP1110143B1 (en) Transaction recognition and prediction using regular expressions
EP2563062B1 (en) Long connection management apparatus and link resource management method for long connection communication
CN106648940A (zh) 远程过程调用方法及装置
CN101711470A (zh) 一种用于在对等网络上创建共享信息列表的系统和方法
JPH0575628A (ja) ネツトワーク資源監視システム
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
CN112434039A (zh) 数据的存储方法、装置、存储介质以及电子装置
CN111010351A (zh) 一种物联网数据传输方法及系统
CN105681199B (zh) 一种车载总线中报文数据的处理方法及装置
CN109614518A (zh) 一种网络流量数据存储、还原方法及系统
CN112052227A (zh) 数据变更日志的处理方法、装置和电子设备
CN110275703B (zh) 键值对数据的赋值方法、装置、计算机设备和存储介质
EP3243144B1 (en) Data partition and transformation methods and apparatuses
CN111010290B (zh) 业务日志的处理方法、装置、电子设备及存储介质
CN107277095B (zh) 会话分割方法及装置
CN110417860A (zh) 文件传输管理方法、装置、设备及存储介质
CN115659375A (zh) 数据处理方法、装置、存储介质及电子设备
CN109347948A (zh) 一种基于区块链技术的大数据防篡改方法及系统
CN112416557B (zh) 调用关系的确定方法和装置、存储介质及电子装置
CN112769620B (zh) 一种网络部署方法、设备和计算机可读存储介质
CN107124293B (zh) 一种分布式网络系统的协议管理方法及系统
CN109684158A (zh) 分布式协调系统的状态监控方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231221

Address after: A1 Floor, Southeast Comprehensive Building, Intersection of Yangmiao Road and Chezuo Road, Wushan Town, Changfeng County, Hefei City, Anhui Province, 231100

Patentee after: Youxin (Anhui) Industrial Investment Co.,Ltd.

Address before: 100102 room 323609, building 5, yard 1, Futong East Street, Chaoyang District, Beijing

Patentee before: CARPRO (BEIJING) INFORMATION TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right