CN111782481B - 一种通用数据接口监控系统和监控方法 - Google Patents

Abstract

本发明公开了一种通用数据接口监控系统和监控方法，属于数据接口监控领域。所述通用数据接口监控系统主要包括数据接口模型单元、监控单元和附属系统参数单元，数据接口模型单元用于描述数据接口的定义和参数，监控单元包括监控控制单元和监控执行单元，其中监控控制单元用于生成和调用监控控制文件，并控制所述的监控执行单元执行监控，附属系统参数单元用于监控和记录数据接口模型单元和监控单元中参数的创建时间和修改时间，且当数据接口模型单元和监控单元中的参数保存后，生成与之对应的哈希验证码并保存，防止参数被非法篡改。本发明可应对数据接口的业务多样性和差异化的监控需求，实时监控数据的请求和响应。

Description

一种通用数据接口监控系统和监控方法

技术领域

本发明属于数据接口监控领域，具体涉及一种通用数据接口监控系统和监控方法。

背景技术

在软件领域，现如今IT互联网、政府、企事业单位等各行各业已经把大量的产品转换为微服务的解决方案。巨量的Web数据接口成为了各服务模块之间通信的最基本元素，也是业务开发和整合的核心。因数据接口访问请求而导致的数据泄漏也成为一个越来越严重的问题，难以被发现和监控，对数据的所有者造成难以估量的损失，特别是对政府或机密单位的敏感信息泄漏，甚至会导致国家的重大安全问题。

导致数据接口难以有效监控的重要原因，首先是接口实现的多样性，例如不同的协议，不同的接口需求和接口参数等等，即便是同一企业的不同业务和产品，也常常会使用不同的接口实现技术，例如常见的接口类型有Restful、SOAP/WebService、Protobuf，以及其他形式的RPC(远程过程调用)等等。当前的情形下，若需要各个接口进行数据监控，就必须针对每一个特定接口进行定制化开发监控程序，造成了极大的重复开发，不同接口使用不同的监控程序，对整体数据监控难以有效，统一实施，难以管理，

不同的接口类型，重点监控需求也会不同，对推送接口，重点监控请求中的数据是否存在泄漏的危险，对向内拉取接口，重点监控响应中的数据是否存在泄漏的危险。此情形也导致需要对不同类型的接口定制化监控程序，给开发和维护带来极大的开销，同时对整体数据监控也难以有效，统一的实施和管理。数据接口的多样性和不同的监管需求也是目前各企业和业界缺乏制定统一、标准的接口监控模型的主要原因。

以上现有技术存在的问题导致企业以及业界难以对各种业务或数据接口采取一致的、有效、可复用的深度监控，进而导致在软件产品中数据监控重复的开发工作，监控缺失，数据泄露等诸多问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种可以广泛适用于各种数据接口的数据接口监控系统和监控方法，从而为有效实施接口请求中的深度数据/参数监控提供了关键性的基础保障。针对数据接口的业务多样性和差异化的监控需求，为监控数据的请求和响应提供了方案保证。

本发明一方面公开了一种通用数据接口监控系统，其包括数据接口模型单元、监控单元和附属系统参数单元：

所述数据接口模型单元用于根据数据接口的定义和参数，生成接口模型文件；

所述的监控单元包括监控控制单元和监控执行单元，其中监控控制单元用于生成和调用监控控制文件，并控制所述的监控执行单元执行监控；所述的监控控制单元包括基础属性单元、监控任务单元、监控策略单元和自响应模块；

所述的基础属性单元用于定义监控控制单元的基础属性；所述的监控任务单元用于定义接口访问监控任务和接口响应数据检查任务，所述的监控策略单元用于定义监控策略；

所述的监控执行单元包括接口数据采集单元、数据存储单元、接口访问监控单元、接口响应数据检查单元和自响应执行单元；

所述的接口数据采集单元根据监控控制单元调用的监控控制文件中的监控策略对数据接口的数据进行采集；数据存储单元以设定的格式转化并存储接口数据采集单元所采集的数据，监控控制单元根据监控控制文件内定义的接口访问监控任务调用接口访问监控单元对存储的接口访问数据进行监控；监控控制单元根据监控控制文件内定义的接口响应数据检查任务调用接口响应数据检查单元对存储的接口响应数据进行监控；自响应执行单元根据监控控制文件中定义的自动响应动作，在接口访问监控单元、接口响应数据检查单元监测到异常，或接口数据采集单元执行错误的监控策略时执行响应；

所述的附属系统参数单元用于监控和记录数据接口模型单元和监控单元中参数的创建时间和修改时间，且当数据接口模型单元和监控单元中的参数保存后，生成与之对应的哈希验证码并保存，防止参数被非法篡改。

本发明还公开了一种所述系统的通用数据接口监控方法，其包括如下步骤：

1)数据接口模型单元的定义

根据需监控的每个数据接口的类型、API所有者、版本、使用状态、输入参数、输出参数信息，在数据接口模型单元的中对各个需监控的数据接口进行参数定义，生成数据接口模型文件；

2)监控控制单元的定义

根据监控要求，对监控控制单元的基础属性单元、监控任务单元、监控策略单元和自响应模块中的参数进行定义，生成由各参数组成的、表示监控要求的监控控制文件；

3)附属系统参数单元为数据接口模型文件和监控控制文件生成与之对应的哈希验证码；数据存储单元存储数据接口模型文件、监控控制文件和哈希验证码，并提供接口模型文件、监控控制文件的查询功能；

4)监控的执行

在实时监控时，监控控制单元根据需监控的数据接口调取这些数据接口的接口模型文件，为每个数据接口选择表示所需监控要求的监控控制文件；

监控执行单元对数据接口执行监控，其中接口数据采集单元根据监控控制文件中的监控策略对对应的数据接口的数据进行实时数据采集；接口数据采集单元所采集的数据由数据存储单元进行格式的标准化并存储，监控控制单元根据监控控制文件中定义的任务调用接口访问监控单元和/或接口响应数据检查单元对存储的数据进行监控和检查；

在接口访问监控单元、接口响应数据检查单元监测到异常，或接口数据采集单元执行错误的监控策略时，自响应执行单元执行自响应模块中定义的自动响应动作，监控过程的结果数据由数据存储单元进行存储。本发明的监控过程的结果数据为监控过程的日志，其中可以包括自响应执行单元的执行记录，接口访问监控单元、接口响应数据检查单元的监控/检查记录和结果，接口数据采集单元的数据采集记录等。

进一步的，所述的监控控制文件内包含基础属性，所述的基础属性至少包括引用接口系统ID、标识标签、状态参数；

其中，引用接口系统ID记载有关联的数据接口的系统ID；

标识标签为一个编码，用于标识该监控控制文件，同时也可用于对监控控制文件的检索；

状态参数用于表示当前监控控制文件是在用还是停用。其中被监控控制文件被调用时显示在用，状态参数为1；空闲状态时，状态参数为0。其中，监控需求完全相同的同一类型的多个数据接口可能存在调用同一模型监控文件的可能，状态参数为1的模型控制文件是否能被调用需经管理员审核。

与现有技术相比，本发明提供了一种通用数据接口监控系统，其中的数据接口模型单元供用户完成对具体数据接口的定义和描述，使多样性的接口成为统一的、通用的数据接口模型单元。本发明的监控控制单元用于定义监控任务、监控策略和监控控制文件的基本属性，本发明的监控任务和监控策略是由用户自定义的，经定义后的参数即形成一个完整的监控控制文件，可以通过标识标签等描述该监控控制文件以及检索已经生成的监控控制文件，可以针对不同的数据接口或同一数据接口定义多个监控控制文件，且每个监控控制文件中的监控任务可以是多项，可满足多样性接口和不同的监控需求。本发明的数据存储单元可以对接口数据采集单元所采集的不同格式的数据(如XML、JSON、二进制编码数据、以及SQL查询语句等等)进行格式的标准化，并按设定格式进行存储，便于对数据的监控和检查，也使得监控执行单元可适用于不同数据格式的数据进行采集和监控；监控执行单元根据监控控制单元中的监控任务和监控策略执行监控，本发明系统包含自定义自动响应模块和单元，将发现问题和自动响应处理无缝关联。本发明还包括附属系统参数单元，以保障整个系统的安全性，接口模型文件和监控控制文件一旦生成，系统即产生与之对应的哈希验证码并进行储存，防止监控模型被非法篡改。接口模型文件和监控控制文件为只读文件，如需修改，应当提交申请变更流程，并由管理员审批批准。

附图说明

图1为数据接口的威胁分析示意图；

图2为通用数据接口监控系统的组成示意图；

图3为控制监控执行单元的流程示意图。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1所示为数据接口的威胁分析示意图，在图中位置1、3处由于缺乏通用的、标准的、有效的数据接口请求和响应的检查和自动事件规则，从而导致数据泄漏的监控难以统一、有效的实施。例如在位置1处，可通过变更请求参数(例如增加参数个数、变更参数名、修改参数值等等)方式,获取更多数据，导致超需/超量请求，在位置3处，可发送数据提供者与请求者共谋导致超需/超量返回；也可能通过软件缺陷，设计缺陷，敏感数据未加扰等，导致原始数据泄漏。

如图2所示，本实施例中的一种通用数据接口监控系统包括：

数据接口模型单元；其用于根据数据接口的定义和参数生成接口模型文件，其中数据接口的定义和参数可以包括API所有者、版本、使用状态、输入参数、输出参数等等内容。

监控单元；所述的监控单元包括监控控制单元和监控执行单元，其中监控控制单元用于生成和调用监控控制文件，并控制所述的监控执行单元执行监控；

附属系统参数单元，其用于监控和记录数据接口模型单元和监控单元中参数的创建时间和修改时间，且当数据接口模型单元和监控单元中的参数保存后，即生成与之对应的哈希验证码，防止参数被非法篡改。

在本发明的一个实施例中，所述的数据接口模型单元至少包括用于定义接口基础属性的第一单元，用于定义数据接口输入参数的第二单元和用于定义数据接口响应参数的第三单元。

进一步的，第一单元描述的基础属性至少包括接口ID、接口名称、接口状态，其中接口状态为在用或停用。

进一步的，所述的第二单元定义的数据接口输入参数至少包括每个参数的参数位置、参数名称、数据类型和必要性要求，其中必要性描述取值1表示必要，取值0表示非必要，其中数据类型为字符串、数值、列表等等类型。

进一步的，所述的第三单元定义的数据接口响应参数至少包括每个参数的参数位置、参数名称、数据类型。其中数据类型为字符串、数值、列表等等类型。

如图3所示，在本发明的一个实施例中，所述的监控控制单元包括基础属性单元、监控任务单元、监控策略单元、自响应模块；监控控制单元用于生成监控控制文件以及调用监控控制单元和接口模型文件，控制监控执行单元的执行监控。

进一步的，所述的基础属性单元用于定义监控控制单元的基础属性，所述基础属性至少包括引用接口系统ID、标识标签、状态参数；

其中，引用接口系统ID记载有关联的数据接口的系统ID；

标识标签用于标识监控控制单元生产的监控控制文件，同时也可用于对监控控制文件的检索，其为一个编码，例如为001；

状态参数用于表示当前监控控制文件是在用还是停用。

更进一步的，监控任务单元用于定义接口访问监控任务和接口响应数据检查任务，其中接口访问监控任务为每日最大数据请求频率、每小时最大数据请求频率、每日最多允许请求数据总条数、每小时最多允许请求数据总条数、数据的请求允许时限、数据请求方身份认证、目的地址白名单检查等接口访问监控任务中的一项或多项；所述的接口响应数据检查任务为参数列表一致性检查、参数数量合法性检查、参数值的有效性检查、参数值的最大值检查、参数值的最小值符检查、参数值的取值列表检查、参数的合规性检查、参数值涉敏、涉密检查等接口响应数据检查任务中的一项或多项，监控任务由用户具体定义。

所述的监控策略单元用于定义监控策略，监控策略为实时全量监控、事后抽检、随机抽检、按比例抽样检查中的一种，由用户进行选择。

进一步的，所述的自响应模块用于定义当监控控制单元监控到异常时的自动响应动作。例如全部阻断，延后阻断、发送告警，发送邮件通知等。

在本发明的一个具体实施例中，所述的监控执行单元包括接口数据采集单元、数据存储单元、接口访问监控单元、接口响应数据检查单元和自响应执行单元；

所述的接口数据采集单元根据监控控制单元调用的监控控制文件中的监控策略对数据接口的数据进行采集。

数据存储单元以设定的格式转化并存储接口数据采集单元所采集的数据。例如在本申请的一个具体实施例中，数据存储单元将数据转化为以下几个内容进行存储：接口名称、接口参数、数据请求者身份识别信息、推送或返回的数据合集、时间戳。数据存储单元可以对接口数据采集单元所采集的不同格式的数据(如XML、JSON、二进制编码数据、以及SQL查询语句等等)进行格式的标准化，并按设定格式进行存储，便于对数据的监控和检查，也使得监控执行单元可适用于不同数据格式的数据进行采集和监控。

监控控制单元根据监控控制文件内定义的接口访问监控任务调用接口访问监控单元对存储的接口访问数据进行监控；监控控制单元根据监控控制文件内定义的接口响应数据检查任务调用接口响应数据检查单元对存储的接口响应数据进行监控；；自响应执行单元根据监控控制文件中定义的自动响应动作，在接口访问监控单元、接口响应数据检查单元监测到异常，或接口数据采集单元执行错误的监控策略时执行响应；所述的异常是指所检测的接口访问参数未通过接口访问监控任务中设定的检查项，或者接口响应数据未通过接口响应数据检查任务中设定的检查项。监控控制单元同时监控接口数据采集单元是否以错误的监控策略进行数据的采集或监控，当发现异常时由自响应执行单元执行自响应动作。

所述的自响应动作根据需要进行设定，可根据各异常情况分别定义自响应动作，例如进行全部阻断或延后阻断，同时向管理员、数据服务提供者发送告警，发送邮件通知。对于数据消费请求者,自响应动作可以为终止请求或响应，构造震慑、警告消息,返回给消费请求者。

附属系统参数单元为本系统的安全模块，其用于记录监控控制单元和数据接口模型单元中的参数的创建或修改时间；当数据接口模型单元和监控单元中的参数一旦保存后，即生成与之对应的哈希验证码并进行储存，防止参数被非法篡改。

本实施例按如下步骤执行通用数据接口监控：

1)数据接口模型单元的定义

根据需监控的每个数据接口的类型、API所有者、版本、使用状态、输入参数、输出参数信息，在数据接口模型单元的中对各个需监控的数据接口进行参数定义，生成数据接口模型文件；

2)监控控制单元的定义

根据监控要求，对监控控制单元的基础属性单元、监控任务单元、监控策略单元和自响应模块中的参数进行定义，生成由各参数组成的、表示监控要求的监控控制文件；

3)附属系统参数单元为数据接口模型文件和监控控制文件生成与之对应的哈希验证码；数据存储单元存储数据接口模型文件、监控控制文件和哈希验证码，并提供接口模型文件、监控控制文件的查询功能。所述的查询功能是指用于可以根据已知的数据接口的部分定义或参数作为查询关键词，由数据存储单元提供匹配查询关键词的数据接口模型文件供用户选择；同样的，用于可以根据需要的监控策略、接口访问监控任务、接口响应数据检查任务、自响应动作或者监控控制文件的基础属性等作为查询词，由数据存储单元提供匹配查询词的监控控制文件供用户选择；

4)监控的执行

在实时监控时，监控控制单元根据需监控的数据接口调取这些数据接口的接口模型文件，为每个数据接口选择表示所需监控要求的监控控制文件；

监控执行单元对数据接口执行监控，其中接口数据采集单元根据监控控制文件中的监控策略对对应的数据接口的数据进行实时数据采集；接口数据采集单元所采集的数据由数据存储单元进行格式的标准化并存储，监控控制单元根据监控控制文件中定义的任务调用接口访问监控单元和/或接口响应数据检查单元对数据存储单元存储的数据进行监控和检查；

在接口访问监控单元、接口响应数据检查单元监测到异常，或接口数据采集单元执行错误的监控策略时(可以通过数据存储单元接受到的数据检查接口数据采集单元是否执行错误的监控策略)，自响应执行单元执行自响应模块中定义的自动响应动作，监控过程的结果数据由数据存储单元进行存储。本发明的监控过程的结果数据为监控过程的日志，其中可以包括自响应执行单元的执行记录，接口访问监控单元、接口响应数据检查单元的监控/检查记录和结果，接口数据采集单元的数据采集记录等。。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种通用数据接口监控系统，其特征在于包括数据接口模型单元、监控单元和附属系统参数单元：

所述数据接口模型单元用于根据数据接口的定义和参数，生成接口模型文件；

所述的监控单元包括监控控制单元和监控执行单元，其中监控控制单元用于生成和调用监控控制文件，并控制所述的监控执行单元执行监控；所述的监控控制单元包括基础属性单元、监控任务单元、监控策略单元和自响应模块；

所述的基础属性单元用于定义监控控制单元的基础属性；所述的监控任务单元用于定义接口访问监控任务和接口响应数据检查任务，所述的监控策略单元用于定义监控策略；

所述的监控执行单元包括接口数据采集单元、数据存储单元、接口访问监控单元、接口响应数据检查单元和自响应执行单元；

所述的接口数据采集单元根据监控控制单元调用的监控控制文件中定义的监控策略对数据接口的数据进行采集；数据存储单元以设定的格式转化并存储接口数据采集单元所采集的数据；监控控制单元根据监控控制文件内定义的接口访问监控任务调用接口访问监控单元对数据存储单元中的数据进行监控；监控控制单元根据监控控制文件内定义的接口响应数据检查任务调用接口响应数据检查单元对数据存储单元中数据进行监控；自响应执行单元根据监控控制文件中定义的自动响应动作，在接口访问监控单元、接口响应数据检查单元监测到异常，或接口数据采集单元执行错误的监控策略时执行响应；

所述的附属系统参数单元用于监控和记录数据接口模型单元和监控单元中参数的创建时间和修改时间，且当数据接口模型单元和监控单元中的参数保存后，生成与之对应的哈希验证码并保存，防止参数被非法篡改。

2.根据权利要求1所述的通用数据接口监控系统，其特征在于所述的数据接口模型单元至少包括用于定义接口基础属性的第一单元，用于定义数据接口输入参数的第二单元和用于定义数据接口响应参数的第三单元。

3.根据权利要求2所述的通用数据接口监控系统，其特征在于所述第二单元定义的数据接口输入参数至少包括每个输入参数的参数位置、参数名称、数据类型和必要性要求。

4.根据权利要求2所述的通用数据接口监控系统，其特征在于所述第三单元定义的数据接口响应参数至少包括每个参数的参数位置、参数名称、数据类型。

5.根据权利要求1所述的通用数据接口监控系统，其特征在于所述的接口访问监控任务为每日最大数据请求频率、每小时最大数据请求频率、每日最多允许请求数据总条数、每小时最多允许请求数据总条数、数据的请求允许时限、数据请求方身份认证、目的地址白名单检查中的一项或多项；所述的接口响应数据检查任务为参数列表一致性检查、参数数量合法性检查、参数值的有效性检查、参数值的最大值检查、参数值的最小值符检查、参数值的取值列表检查、参数的合规性检查、参数值涉敏、涉密检查中的一项或多项。

6.根据权利要求1所述的通用数据接口监控系统，其特征在于所述的监控策略为实时全量监控、事后抽检、随机抽检、按比例抽样检查中的一种；所述的接口数据采集单元根据监控控制单元中的监控策略对数据接口的数据进行采集，其中采集的数据为数据接口模型单元中描述的输入参数或输出参数。

7.根据权利要求1所述的通用数据接口监控系统，其特征在于所述的数据存储单元除转化和存储接口数据采集单元所采集的数据外，还用于存储接口模型文件、监控控制文件、以及监控结果数据。

8.根据权利要求1所述的通用数据接口监控系统，其特征在于所述的接口访问监控单元、接口响应数据检查单元监测到异常是指，所检测的接口访问参数未通过接口访问数据监控任务中设定的检查项，或者接口响应数据未通过接口响应数据检查任务中设定的检查项。

9. 一种根据权利要求1所述监控系统的通用数据接口监控方法，其特征在于包括如下步骤：

1）数据接口模型单元的定义

根据需监控的每个数据接口的类型、API所有者、版本、使用状态、输入参数、输出参数信息，在数据接口模型单元的中对各个需监控的数据接口进行参数定义，生成数据接口模型文件；

2）监控控制单元的定义

根据监控要求，对监控控制单元的基础属性单元、监控任务单元、监控策略单元和自响应模块中的参数进行定义，生成由各参数组成的、表示监控要求的监控控制文件；

3）附属系统参数单元为数据接口模型文件和监控控制文件生成与之对应的哈希验证码；数据存储单元存储数据接口模型文件、监控控制文件和哈希验证码，并提供接口模型文件、监控控制文件的查询功能；

4）监控的执行

在实时监控时，监控控制单元根据需监控的数据接口调取这些数据接口的接口模型文件，为每个数据接口选择表示所需监控要求的监控控制文件；

监控执行单元对数据接口执行监控，其中接口数据采集单元根据监控控制文件中的监控策略对对应的数据接口的数据进行实时数据采集；接口数据采集单元所采集的数据由数据存储单元进行格式的标准化并存储，监控控制单元根据监控控制文件中定义的任务调用接口访问监控单元和/或接口响应数据检查单元对数据存储单元存储的数据进行监控和检查；

在接口访问监控单元、接口响应数据检查单元监测到异常，或接口数据采集单元执行错误的监控策略时，自响应执行单元执行自响应模块中定义的自动响应动作；监控过程的结果数据由数据存储单元进行存储。

10.根据权利要求9所述的通用数据接口监控方法，其特征在于所述的监控控制文件内包含基础属性，所述的基础属性至少包括引用接口系统ID、标识标签、状态参数；

其中，引用接口系统ID记载有关联的数据接口的系统ID；

标识标签为一个编码，用于标识该监控控制文件，同时也可用于对监控控制文件的检索；

状态参数用于表示当前监控控制文件是在用还是停用。