CN109905276B - 一种云服务质量监测方法及系统 - Google Patents

Abstract

本发明提供了一种云服务质量监测方法及系统，包括：对云服务信息分析并提取特征指纹，以订单为粒度将数据信息全量录入项目库中，筛选与网络资源相关的订单数据同步录入资产库中；通过网络探针及订单有效性核对API接口的连续自动采集、网络资产定向爬虫的自动扫描以及人工核查的辅助采集，完成日志数据、状态数据的全量采集；对日志数据、状态数据进行元数据拆分，并组成一个完善的监测排查逻辑；根据监测排查逻辑形成监测过程报表，识别出异常订单。本发明实现了对上云订单的真实性监测，解决现有技术中缺乏针对云服务内容和质量的自动化监测方案的问题，加快审核周期，降低人工成本。

Description

一种云服务质量监测方法及系统

技术领域

本发明涉及云服务技术领域，特别是一种云服务质量监测方法及系统。

背景技术

随着我国社会科学的不断进步，经济快速发展的同时，各个行业领域也迎来了日新月异的变化，信息化建设已取得了卓越的成效，全国各地企业租用云服务平台自然就成了时代需求的产物。通过云服务平台对租用企业提供云服务，从而实现企业降低运行成本，提高管理效率。

但与此同时云服务过程的监测检查工作也势在必行，对云服务的质量进行有效监管，防止云服务商所提供的云服务质量不达标。而现有技术中缺乏针对云服务内容和质量的自动化监测方案，云服务的监测即使依靠人工审核也无法完成，缺乏真实性、客观性和实时性。

发明内容

本发明的目的是提供一种云服务质量监测方法及系统，旨在解决现有技术中云服务监测依靠人工审核所造成的审核周期长以及人工成本大的问题，实现对云服务的真实性监测，加快审核周期，降低人工成本。

为达到上述技术目的，本发明提供了一种云服务质量监测方法，所述方法包括以下操作：

云监测平台对云服务信息进行数据采集，分析并提取成特征指纹，以订单为粒度将数据信息全量录入项目库中，筛选与网络资源相关的订单数据同步录入资产库中；

按照每个订单的起止时间，通过网络探针及订单有效性核对API接口的连续自动采集、网络资产定向爬虫的自动扫描以及人工核查的辅助采集，完成不同形式云服务完整生命周期的日志数据、状态数据的全量采集；

通过事务、事件、状态三个维度对日志数据、状态数据进行元数据拆分，利用这些元数据之间的配合来组成一个完善的监测排查逻辑；

根据监测排查逻辑形成监测过程报表，得出订单中云服务的监测结论，识别出异常订单，完成云服务质量监测。

优选地，所述通过网络探针及订单有效性核对API接口的连续自动采集包括以下操作：

根据各家云服务商系统内针对每个云服务订单部署的网络探针返回的日志信息，云监测平台按照特征指纹进行自动元数据拆分，组合元数据形成监测排查逻辑，得出此次监测周期内订单的有效性结论；

根据各家云服务商提供的订单有效性核对的API接口，云监测平台制定组合策略的监测任务，不定时的对API接口地址进行请求，并根据请求结果和返回值，结合此次监测周期内订单的有效性结论，进行汇总分析来判断该订单的状态是否异常。

优选地，所述元数据拆分包括以下操作：

通过导入日志数据样例，加载数据模型，对数据进行可视拆分，将可视化拆分规则与正则内容联动处理，自动生成正则内容，定义出合理完善的数据拆分方案，保留有效数据项。

优选地，所述组合元数据形成监测排查逻辑包括以下操作：

通过可自定义的数据计算方案，生成解析器对元数据进行转换、翻译、聚合、统计操作，得出综合的订单的有效性结论。

优选地，所述网络资产定向爬虫的自动扫描包括以下操作：

云监测平台从资产库取出网络资源的URL或网络地址信息，通过网络资产定向爬虫不定时扫描并形成快照，抽取扫描结果与本类别云服务异常特征库特征进行比对，从而判断网络资源提供是否存在异常，将异常特征及快照进行存储，实现云服务质量监测辅助。

优选地，所述不定时扫描包括URL页面抓取、使用Ping、Telnet、Tracert命令或组合命令进行发包请求和网络测试。

优选地，所述网络资源包括域名地址、IP、端口、应用服务地址、数据库服务、云服务器以及网络防火墙账号信息。

优选地，所述不同形式云服务包括SaaS云服务、PaaS云服务、IaaS云服务、营销服务、安全服务。

本发明还提供了一种云服务质量监测系统，所述系统包括：

项目信息录入模块、云服务元数据采集模块、监测排查模块以及异常订单识别模块；

所述项目信息录入模块用于对项目信息进行数据整理，分析提取成特征指纹，以订单为粒度录入项目库中，并提取项目库中与网络资源相关的数据并录入资产库中；

所述云服务元数据采集模块用于对云服务完整生命周期的日志数据、状态数据进行全量采集；

所述监测排查模块用于通过事务、事件、状态三个维度对日志数据、状态数据进行元数据拆分，利用这些元数据之间的配合，组合成一个完善的监测排查逻辑；

所述异常订单识别模块用于根据监测排查逻辑形成监测过程报表，得出订单中云服务的监测结论，识别出异常订单。

优选地，所述云服务元数据采集模块包括订单有效性扫描单元、网络资产扫描单元以及人工核查单元；

所述订单有效性扫描单元用于通过网络探针及订单有效性核对API接口进行连续自动采集；

所述网络资产扫描单元用于通过网络资产定向爬虫进行自动扫描；

所述人工核查单元用于以人工核查方式进行辅助采集。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

与现有技术相比，本发明通过企业用户与云服务商的合同订单进行数据整理，生成项目库，并提取项目库中与网络资源相关的数据并录入资产库中，在项目执行期间，实现通过网络探针及订单有效性核对API接口的连续自动采集、网络资产定向爬虫的自动扫描以及人工核查的辅助采集。本发明实现了对上云订单的真实性监测，有效防止了企业和云服务商伪造虚假业务、虚报数额以及套取财政补贴等违法违规行为的发生。

对云服务商、使用云服务的企业、合同、订单以及交易金额等内容进行信息整合、处理、分析验证，从使用云服务的企业最初的需求提交到云服务商项目的落地所有环节进行监控，真正做到全程可视、违规可查、信息可信，为开展考核评选工作提供最详实有效的决策分析依据。

通过多维度验证方式，提供定期、主动、人工等多维度方式进行对云服务的核查工作，包括云系统内信息校验、用户订单核查、网络资产确认、人工抽查等功能，保障建立真实、可靠的数据信息。

附图说明

图1为本发明实施例中所提供的一种云服务质量监测方法逻辑流程图；

图2为本发明实施例中所提供的一种云服务质量监测系统结构框图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

下面结合附图对本发明实施例所提供的一种云服务质量监测方法及系统进行详细说明。

如图1所示，本发明实施例公开了一种云服务质量监测方法，所述方法包括以下操作：

云监测平台对云服务信息进行数据采集，分析并提取成特征指纹，以订单为粒度将数据信息全量录入项目库中，筛选与网络资源相关的订单数据同步录入资产库中；

按照每个订单的起止时间，通过网络探针及订单有效性核对API接口的连续自动采集、网络资产定向爬虫的自动扫描以及人工核查的辅助采集，完成不同形式云服务完整生命周期的日志数据、状态数据的全量采集；

通过事务、事件、状态三个维度对日志数据、状态数据进行元数据拆分，利用这些元数据之间的配合来组成一个完善的监测排查逻辑；

根据监测排查逻辑形成监测过程报表，得出订单中云服务的监测结论，识别出异常订单，完成云服务质量监测。

用户上传关键合同信息一览表至企业云平台，企业云平台对合同信息进行数据整理生成项目信息，企业云平台生成项目信息后，需要将项目信息发送到区块链平台进行存证之外，还要将所述项目信息发送至云监测平台。所述项目信息在双方系统之间采用对称算法进行加密，以密文的形式进行传递以保证数据安全。云监测平台接收到所述项目信息后对项目信息进行统一解密、整理以及入库操作，分析并提取成特征指纹，将项目信息以订单为粒度按照文档的形式存储在大数据分布式弹性搜索引擎上，形成检索速度快、安全级别高的项目资源库，同时将项目信息中与网络资源相关的数据进行统一的加工和提取，形成资产库。

云监测平台在项目执行期间形成以订单为粒度、不定时、多维度以及多种方式的监测，主要包括：按照每个订单的起止时间，通过网络探针及订单有效性核对API接口的连续自动采集、网络资产定向爬虫的自动扫描以及人工核查的辅助采集。通过上述监测方法，完成SaaS云服务、PaaS云服务、IaaS云服务、营销服务、安全服务等不同形式云服务完整生命周期的日志数据、状态数据的全量采集。

通过事务、事件、状态三个维度对日志数据、状态数据进行元数据拆分，利用这些元数据之间的配合，组合成一个完善的监测排查逻辑。通过监测排查逻辑形成监测过程报表，得出订单中云服务的监测结论，识别出异常订单，完成云服务质量监测。

所述元数据拆分采用可视化拆分与正则表达式结合策略，通过导入日志数据样例，加载数据模型，对数据进行可视拆分，将可视化拆分规则与正则内容联动处理，自动生成正则内容，定义出合理完善的数据拆分方案，保留有效数据项，使复杂数据简单化、非结构化数据结构化，更好的拆分有效数据。

在元数据拆分后，组合元数据形成监测排查逻辑，通过灵活可自定义的数据计算方案，生成解析器对元数据进行转换、翻译、聚合、统计操作，实现多角度的数据解析，完成多级别、多层次、多方面的数据集成、关联、处理，有效的整合这些多源异构数据，发掘潜在有用的监测排查信息，获得更高精度、概率的信息，得出一个综合的订单的有效性结论。

所述通过网络探针及订单有效性核对API接口的连续自动采集包括以下操作：

根据各家云服务商系统内针对每个云服务订单部署的网络探针返回的日志信息，云监测平台按照特征指纹进行自动元数据拆分，组合元数据形成监测排查逻辑，得出此次监测周期内订单的有效性结论；

根据各家云服务商提供的订单有效性核对的API接口，云监测平台制定组合策略的监测任务，不定时的对API接口地址进行请求，并根据请求结果和返回值，结合此次监测周期内订单的有效性结论，进行汇总分析来判断该订单的状态是否异常。在每次的监测任务执行过程中加入机器学习的能力，不断完善和优化监测策略。所述组合策略的监测任务包括：对云服务商平台进行请求验证，可根据订单编号等信息与智能监测策略相结合作为查询参数请求云服务商的API接口，对云服务商的API接口返回值内容进行统一分析来判断云服务订单是否存在异常。

通过机器学习对监测策略进行优化和完善，使得监测策略能够进行自动组合。在初始监测时，采用的策略是根据订单号去调用云服务商API接口，根据返回值判定订单的状态，在不断的学习过程中对于大量返回结果完全相同的进行监测。在积累一定学习样本后，会自动修改监测策略组合，除了根据订单号去调用云服务商API接口之外，还会使用不存在的订单号去调用云服务商API接口，比对返回结果从而判定订单的状态；或者采用同一订单号多次调用云服务商API接口，比对返回结果是否一致。

所述网络资产定向爬虫的自动扫描包括以下操作：

云监测平台从资产库中取出网络资源的URL或网络地址信息，通过网络资产定向爬虫不定时扫描并形成快照，抽取扫描结果与本类别云服务异常特征库中的特征进行比对，从而判断网络资源是否存在异常，将异常特征以及快照进行存储，实现云服务质量监测辅助。所述不定时扫描包括URL页面抓取、使用Ping、Telnet、Tracert等命令或组合命令进行发包请求和网络测试。所述网络资源包括域名地址、IP、端口、应用服务地址、数据库服务、云服务器以及网络防火墙等各种网络资源。

对于网络资源异常的判断加入机器学习能力，在不断扫描的过程中完善异常特征库。网络资源扫描中的机器学习是在不断地对网络资源的扫描中发现的异常特征进行记录和汇总，形成异常特征库。在对网络资源进行扫描后，将扫描结果跟特征库进行比对从而识别出网络资源是否存在异常，以及异常的类型；如果扫描结果未识别则根据规则自动去匹配，若存在异常则写入异常特征库。

所述人工核查检测主要是以人为对项目进行审计核查，当发现异常时进行记录入库。

对于上述三种方式的监测均记录监测日志，并存储在大数据分布式弹性搜索引擎上形成监测日志库。

本发明实施例通过企业用户与云服务商的合同订单进行数据整理，生成项目库，并提取项目库中与网络资源相关的数据并录入资产库中，在项目执行期间，实现通过网络探针及订单有效性核对API接口的连续自动采集、网络资产定向爬虫的自动扫描以及人工核查的辅助采集。本发明实现了对上云订单的真实性监测，有效防止了企业和云服务商伪造虚假业务、虚报数额以及套取财政补贴等违法违规行为的发生。

如图2所示，本发明实施例还公开了一种云服务质量监测系统，所述系统包括：

项目信息录入模块、云服务元数据采集模块、监测排查模块以及异常订单识别模块；

所述项目信息录入模块用于对项目信息进行数据整理，分析提取成特征指纹，以订单为粒度录入项目库中，并提取项目库中与网络资源相关的数据并录入资产库中；

所述云服务元数据采集模块用于对云服务完整生命周期的日志数据、状态数据进行全量采集；

所述监测排查模块用于通过事务、事件、状态三个维度对日志数据、状态数据进行元数据拆分，利用这些元数据之间的配合，组合成一个完善的监测排查逻辑；

所述异常订单识别模块用于根据监测排查逻辑形成监测过程报表，得出订单中云服务的监测结论，识别出异常订单。

通过项目信息录入模块对云服务订单信息进行录入。用户上传关键合同信息一览表至企业云平台，企业云平台对合同信息进行数据整理生成项目信息，企业云平台生成项目信息后，需要将项目信息发送到区块链平台进行存证之外，还要将所述项目信息发送至云监测平台。所述项目信息在双方系统之间采用对称算法进行加密，以密文的形式进行传递以保证数据安全。云监测平台接收到所述项目信息后对项目信息进行统一解密、整理以及入库操作，分析并提取成特征指纹，将项目信息以订单为粒度按照文档的形式存储在大数据分布式弹性搜索引擎上，形成检索速度快、安全级别高的项目资源库，同时将项目信息中与网络资源相关的数据进行统一的加工和提取，形成资产库。

通过云服务元数据采集模块对云服务完整生命周期的日志数据、状态数据进行全量采集，包括订单有效性扫描单元、网络资产扫描单元以及人工核查单元，完成SaaS云服务、PaaS云服务、IaaS云服务、营销服务、安全服务等不同形式云服务完整生命周期的日志数据、状态数据的全量采集。

所述订单有效性扫描单元用于通过网络探针及订单有效性核对API接口进行连续自动采集。根据各家云服务商系统内针对每个云服务订单部署的网络探针返回的日志信息，云监测平台按照特征指纹进行自动元数据拆分，组合元数据形成监测排查逻辑，得出此次监测周期内订单的有效性结论；根据各家云服务商提供的订单有效性核对的API接口，云监测平台制定组合策略的监测任务，不定时的对API接口地址进行请求，并根据请求结果和返回值，结合此次监测周期内订单的有效性结论，进行汇总分析来判断该订单的状态是否异常。在每次的监测任务执行过程中加入机器学习的能力，不断完善和优化监测策略。所述组合策略的监测任务包括：对云服务商平台进行请求验证，可根据订单编号等信息与智能监测策略相结合作为查询参数请求云服务商的API接口，对云服务商的API接口返回值内容进行统一分析来判断云服务订单是否存在异常。

通过机器学习对监测策略进行优化和完善，使得监测策略能够进行自动组合。在初始监测时，采用的策略是根据订单号去调用云服务商API接口，根据返回值判定订单的状态，在不断的学习过程中对于大量返回结果完全相同的进行监测。在积累一定学习样本后，会自动修改监测策略组合，除了根据订单号去调用云服务商API接口之外，还会使用不存在的订单号去调用云服务商API接口，比对返回结果从而判定订单的状态；或者采用同一订单号多次调用云服务商API接口，比对返回结果是否一致。

所述网络资产扫描单元用于通过网络资产定向爬虫进行自动扫描。云监测平台从资产库中取出网络资源的URL或网络地址信息，通过网络资产定向爬虫不定时扫描并形成快照，抽取扫描结果与本类别云服务异常特征库中的特征进行比对，从而判断网络资源是否存在异常，将异常特征以及快照进行存储，实现云服务质量监测辅助。所述不定时扫描包括URL页面抓取、使用Ping、Telnet、Tracert等命令或组合命令进行发包请求和网络测试。所述网络资源包括域名地址、IP、端口、应用服务地址、数据库服务、云服务器以及网络防火墙等各种网络资源。

对于网络资源异常的判断加入机器学习能力，在不断扫描的过程中完善异常特征库。网络资源扫描中的机器学习是在不断地对网络资源的扫描中发现的异常特征进行记录和汇总，形成异常特征库。在对网络资源进行扫描后，将扫描结果跟特征库进行比对从而识别出网络资源是否存在异常，以及异常的类型；如果扫描结果未识别则根据规则自动去匹配，若存在异常则写入异常特征库。

所述人工核查单元用于以人工核查方式进行辅助采集，以人为对项目进行审计核查，当发现异常时进行记录入库。

将上述监测均记录监测日志，并存储在大数据分布式弹性搜索引擎上形成监测日志库。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种云服务质量监测方法，其特征在于，所述方法包括以下操作：

云监测平台对云服务信息进行数据采集，分析并提取成特征指纹，以订单为粒度将数据信息全量录入项目库中，筛选与网络资源相关的订单数据同步录入资产库中；

按照每个订单的起止时间，通过网络探针及订单有效性核对API接口的连续自动采集、网络资产定向爬虫自动扫描从资产库中取出的网络资源的URL或网络地址信息以及人工核查的辅助采集，完成不同形式云服务完整生命周期的日志数据、状态数据的全量采集；

通过事务、事件、状态三个维度对日志数据、状态数据进行元数据拆分，利用这些元数据之间的配合来组成一个完善的监测排查逻辑；

根据监测排查逻辑形成监测过程报表，得出订单中云服务的监测结论，识别出异常订单，完成云服务质量监测。

2.根据权利要求1所述的一种云服务质量监测方法，其特征在于，所述通过网络探针及订单有效性核对API接口的连续自动采集包括以下操作：

根据各家云服务商系统内针对每个云服务订单部署的网络探针返回的日志信息，云监测平台按照特征指纹进行自动元数据拆分，组合元数据形成监测排查逻辑，得出此次监测周期内订单的有效性结论；

根据各家云服务商提供的订单有效性核对的API接口，云监测平台制定组合策略的监测任务，不定时的对API接口地址进行请求，并根据请求结果和返回值，结合此次监测周期内订单的有效性结论，进行汇总分析来判断该订单的状态是否异常。

3.根据权利要求2所述的一种云服务质量监测方法，其特征在于，所述元数据拆分包括以下操作：

通过导入日志数据样例，加载数据模型，对数据进行可视拆分，将可视化拆分规则与正则内容联动处理，自动生成正则内容，定义出合理完善的数据拆分方案，保留有效数据项。

4.根据权利要求2所述的一种云服务质量监测方法，其特征在于，所述组合元数据形成监测排查逻辑包括以下操作：

通过可自定义的数据计算方案，生成解析器对元数据进行转换、翻译、聚合、统计操作，得出综合的订单的有效性结论。

5.根据权利要求1所述的一种云服务质量监测方法，其特征在于，所述网络资产定向爬虫的自动扫描包括以下操作：

云监测平台从资产库取出网络资源的URL或网络地址信息，通过网络资产定向爬虫不定时扫描并形成快照，抽取扫描结果与本类别云服务异常特征库特征进行比对，从而判断网络资源提供是否存在异常，将异常特征及快照进行存储，实现云服务质量监测辅助。

6.根据权利要求5所述的一种云服务质量监测方法，其特征在于，所述不定时扫描包括URL页面抓取、使用Ping、Telnet、Tracert命令或组合命令进行发包请求和网络测试。

7.根据权利要求1-6任意一项所述的一种云服务质量监测方法，其特征在于，所述网络资源包括域名地址、IP、端口、应用服务地址、数据库服务、云服务器以及网络防火墙账号信息。

8.根据权利要求1-6任意一项所述的一种云服务质量监测方法，其特征在于，所述不同形式云服务包括SaaS云服务、PaaS云服务、IaaS云服务、营销服务、安全服务。

9.一种云服务质量监测系统，其特征在于，所述系统包括：

项目信息录入模块、云服务元数据采集模块、监测排查模块以及异常订单识别模块；

所述项目信息录入模块用于对项目信息进行数据整理，分析提取成特征指纹，以订单为粒度录入项目库中，并提取项目库中与网络资源相关的数据并录入资产库中；

所述云服务元数据采集模块用于对云服务完整生命周期的日志数据、状态数据进行全量采集，其包括订单有效性扫描单元、网络资产扫描单元以及人工核查单元；所述订单有效性扫描单元用于通过网络探针及订单有效性核对API接口进行连续自动采集；所述网络资产扫描单元用于通过网络资产定向爬虫进行自动扫描从资产库中取出的网络资源的URL或网络地址信息；所述人工核查单元用于以人工核查方式进行辅助采集；

所述监测排查模块用于通过事务、事件、状态三个维度对日志数据、状态数据进行元数据拆分，利用这些元数据之间的配合，组合成一个完善的监测排查逻辑；

所述异常订单识别模块用于根据监测排查逻辑形成监测过程报表，得出订单中云服务的监测结论，识别出异常订单。

Images