CN117892348A - 应用程序接口资产的管理方法、装置及电子设备 - Google Patents
应用程序接口资产的管理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117892348A CN117892348A CN202410064470.8A CN202410064470A CN117892348A CN 117892348 A CN117892348 A CN 117892348A CN 202410064470 A CN202410064470 A CN 202410064470A CN 117892348 A CN117892348 A CN 117892348A
- Authority
- CN
- China
- Prior art keywords
- asset information
- asset
- request
- information
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000004931 aggregating effect Effects 0.000 claims abstract description 14
- 230000014509 gene expression Effects 0.000 claims description 152
- 230000002776 aggregation Effects 0.000 claims description 43
- 238000004220 aggregation Methods 0.000 claims description 43
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种应用程序接口资产的管理方法、装置及电子设备,该方法应用于数据处理领域,该方法包括:在接收到网络流量数据的情况下,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合;依据资产路径和请求类型对资产信息集合中的资产信息进行聚合,得到N类资产信息;依据资产信息集合统计N类资产信息中每类资产信息涉及的敏感信息类型,得到目标资产信息;依据目标资产信息更新预设数据库中的资产信息,以对网络流量数据中的应用程序接口资产进行管理。通过本申请,解决了相关技术中管理网络流量数据中的应用程序接口资产时,由于网络流量数据较多,导致管理应用程序接口资产的时效性较差的问题。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种应用程序接口资产的管理方法、装置及电子设备。
背景技术
随着公司或者组织中越来越多的数字化系统建立,各类数据数字化系统都会提供对内或对外的应用程序编程接口(Application Programming Interface,API),与API相关的所有信息和资源称为API资产,例如,API的名称、描述、版本、终端点、授权机制、可用性和性能指标等。为了更好地管理组织中的API资产和安全审计的需求要收集各个系统的API信息进行集中管理。
现有技术中对网络流量数据中的API资产进行管理时,可以通过各个业务系统实时收集自身涉及的API资产,然后上报至管理API资产的系统中,但这种方法由于各个业务系统之间的差异和网络问题,导致收集到的API资产难免有所疏漏和无法覆盖的地方,以及导致实时管理API资产的效果较差。此外,这种方法未统计API资产涉及的敏感信息,无法对涉及敏感信息的API采取相应的措施,导致数据安全性较低的问题。
针对相关技术中管理网络流量数据中的应用程序接口资产时,由于网络流量数据较多,导致管理应用程序接口资产的时效性较差的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种应用程序接口资产的管理方法、装置及电子设备,以解决相关技术中管理网络流量数据中的应用程序接口资产时,由于网络流量数据较多,导致管理应用程序接口资产的时效性较差的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种应用程序接口资产的管理方法,该方法包括:在接收到网络流量数据的情况下,提取所述网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,所述资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,所述敏感信息类型是指所述应用程序接口资产在包含敏感信息的情况下所述敏感信息的类型;依据所述资产路径和所述请求类型对所述资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;依据所述资产信息集合统计所述N类资产信息中每类资产信息涉及的所述敏感信息类型,得到目标资产信息;依据所述目标资产信息更新预设数据库中的资产信息,以对所述网络流量数据中的应用程序接口资产进行管理,其中,所述预设数据库存储着所述应用程序接口资产的资产信息。
进一步地,提取所述网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合包括:提取所述网络流量数据中每个网络请求的请求参数,得到请求参数集合,其中,所述请求参数至少包括以下字段信息:请求域名、请求路径、请求参数、响应参数、所述请求类型;通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合;通过所述正则表达式确定所述资产信息集合中存在敏感信息的第一资产信息,对所述第一资产信息进行标注,并更新所述资产信息集合中的资产信息。
进一步地,通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合包括:采用第一正则表达式对所述请求参数集合中每个网络请求的目标参数进行匹配,得到第一匹配结果,其中,所述目标参数至少包含以下字段信息:所述请求域名、所述请求路径;在所述第一匹配结果指示匹配成功的情况下,确定所述第一匹配结果对应的第一网络请求,并生成所述第一网络请求的所述资产路径;在所述第一匹配结果指示匹配失败的情况下,采用多个第二正则表达式对第二网络请求的所述请求路径进行匹配,得到第二匹配结果,并依据所述第二匹配结果生成所述第二网络请求的所述资产路径,其中,所述第二网络请求是指所述请求参数集合中除所述第一网络请求之外的网络请求;将所述第一网络请求的所述请求类型、所述第一网络请求的所述资产路径、所述第二网络请求的所述请求类型和所述第二网络请求的资产路径进行组合,得到所述资产信息集合。
进一步地,采用多个第二正则表达式对第二网络请求的所述请求路径进行匹配,得到第二匹配结果,并依据所述第二匹配结果生成所述第二网络请求的所述资产路径包括:依据预设字符对每个第二网络请求的所述请求路径进行拆分,得到每个第二网络请求的第一路径列表;采用所述多个第二正则表达式对所述第一路径列表中的每个元素依次进行正则匹配,得到第三匹配结果,其中,所述多个第二正则表达式是依据不同聚合规则构建的正则表达式;在所述第三匹配结果指示匹配成功的情况下,采用第二预设字符串替换匹配成功的元素,得到每个第二网络请求的第二路径列表;对所述第二路径列表中的元素进行拼接,得到每个第二网络请求的目标路径,并依据每个第二网络请求的请求参数和每个第二网络请求的目标路径生成所述第二网络请求的所述资产路径。
进一步地,通过所述正则表达式确定所述资产信息集合中存在敏感信息的第一资产信息,对所述第一资产信息进行标注,并更新所述资产信息集合中的资产信息包括:采用第三正则表达式集合对所述请求参数集合中的每个网络请求进行匹配,得到第三匹配结果,其中,所述第三正则表达式集合包含依据不同敏感信息类型构建的正则表达式的集合;在所述第三匹配结果指示匹配成功的情况下,在所述资产信息集合中确定匹配成功的网络请求对应的资产信息,得到所述第一资产信息;依据所述第三匹配结果确定所述第一资产信息的敏感信息类型,并采用所述第一资产信息的敏感信息类型更新所述资产信息集合。
进一步地,在通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合之前,所述方法还包括:依据业务需求确定所述应用程序接口资产的聚合规则;依据所述聚合规则配置正则表达式,得到所述预设的正则表达式,并加载所述预设的正则表达式。
进一步地,依据所述目标资产信息更新预设数据库中的资产信息包括:在所述目标资产信息与所述预设数据库中的资产信息不一致的情况下,依据所述目标资产信息更新所述预设数据库中对应的资产信息;在所述目标资产信息与所述预设数据库中的资产信息一致的情况下,在所述预设数据库中更新所述目标资产信息中对应的资产信息的时间信息。
为了实现上述目的,根据本申请的另一方面,提供了一种应用程序接口资产的管理装置,该装置包括:提取单元,用于在接收到网络流量数据的情况下,提取所述网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,所述资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,所述敏感信息类型是指所述应用程序接口资产在包含敏感信息的情况下所述敏感信息的类型;聚合单元,用于依据所述资产路径和所述请求类型对所述资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;统计单元,用于依据所述资产信息集合统计所述N类资产信息中每类资产信息涉及的所述敏感信息类型,得到目标资产信息;更新单元,用于依据所述目标资产信息更新预设数据库中的资产信息,以对所述网络流量数据中的应用程序接口资产进行管理,其中,所述预设数据库存储着所述应用程序接口资产的资产信息。
进一步地,所述提取单元包括:提取子单元,用于提取所述网络流量数据中每个网络请求的请求参数,得到请求参数集合,其中,所述请求参数至少包括以下字段信息:请求域名、请求路径、请求参数、响应参数、所述请求类型;第一确定子单元,用于通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合;标注子单元,用于通过所述正则表达式确定所述资产信息集合中存在敏感信息的第一资产信息,对所述第一资产信息进行标注,并更新所述资产信息集合中的资产信息。
进一步地,所述确定子单元包括:第一匹配模块,用于采用第一正则表达式对所述请求参数集合中每个网络请求的目标参数进行匹配,得到第一匹配结果,其中,所述目标参数至少包含以下字段信息:所述请求域名、所述请求路径;第一确定模块,用于在所述第一匹配结果指示匹配成功的情况下,确定所述第一匹配结果对应的第一网络请求,并生成所述第一网络请求的所述资产路径;第二匹配模块,用于在所述第一匹配结果指示匹配失败的情况下,采用多个第二正则表达式对第二网络请求的所述请求路径进行匹配,得到第二匹配结果,并依据所述第二匹配结果生成所述第二网络请求的所述资产路径,其中,所述第二网络请求是指所述请求参数集合中除所述第一网络请求之外的网络请求;组合模块,用于将所述第一网络请求的所述请求类型、所述第一网络请求的所述资产路径、所述第二网络请求的所述请求类型和所述第二网络请求的资产路径进行组合,得到所述资产信息集合。
进一步地,所述第二匹配模块包括:拆分子模块,用于依据预设字符对每个第二网络请求的所述请求路径进行拆分,得到每个第二网络请求的第一路径列表;匹配子模块,用于采用所述多个第二正则表达式对所述第一路径列表中的每个元素依次进行正则匹配,得到第三匹配结果,其中,所述多个第二正则表达式是依据不同聚合规则构建的正则表达式;替换子模块,用于在所述第三匹配结果指示匹配成功的情况下,采用第二预设字符串替换匹配成功的元素,得到每个第二网络请求的第二路径列表;拼接子模块,用于对所述第二路径列表中的元素进行拼接,得到每个第二网络请求的目标路径,并依据每个第二网络请求的请求参数和每个第二网络请求的目标路径生成所述第二网络请求的所述资产路径。
进一步地,所述标注子单元包括:第三匹配模块,用于采用第三正则表达式集合对所述请求参数集合中的每个网络请求进行匹配,得到第三匹配结果,其中,所述第三正则表达式集合包含依据不同敏感信息类型构建的正则表达式的集合;第二确定模块,用于在所述第三匹配结果指示匹配成功的情况下,在所述资产信息集合中确定匹配成功的网络请求对应的资产信息,得到所述第一资产信息;更新模块,用于依据所述第三匹配结果确定所述第一资产信息的敏感信息类型,并采用所述第一资产信息的敏感信息类型更新所述资产信息集合。
进一步地,所述提取单元还包括:第二确定子单元,用于在通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合之前,依据业务需求确定所述应用程序接口资产的聚合规则;加载子单元,用于依据所述聚合规则配置正则表达式,得到所述预设的正则表达式,并加载所述预设的正则表达式。
进一步地,所述更新单元包括:第一更新子单元,用于在所述目标资产信息与所述预设数据库中的资产信息不一致的情况下,依据所述目标资产信息更新所述预设数据库中对应的资产信息;第二更新子单元,用于在所述目标资产信息与所述预设数据库中的资产信息一致的情况下,在所述预设数据库中更新所述目标资产信息中对应的资产信息的时间信息。
为了实现上述目的,根据本申请的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述应用程序接口资产的管理方法。
为了实现上述目的,根据本申请的一个方面,提供了一种电子设备,包括一个或多个处理器和存储器,存储器用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述任意一项所述应用程序接口资产的管理方法。
通过本申请,采用以下步骤:在接收到网络流量数据的情况下,提取所述网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,所述资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,所述敏感信息类型是指所述应用程序接口资产在包含敏感信息的情况下所述敏感信息的类型;依据所述资产路径和所述请求类型对所述资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;依据所述资产信息集合统计所述N类资产信息中每类资产信息涉及的所述敏感信息类型,得到目标资产信息;依据所述目标资产信息更新预设数据库中的资产信息,以对所述网络流量数据中的应用程序接口资产进行管理,其中,所述预设数据库存储着所述应用程序接口资产的资产信息,解决了相关技术中管理网络流量数据中的应用程序接口资产时,由于网络流量数据较多,导致管理应用程序接口资产的时效性较差的问题。通过从网络流量数据中提取和聚合大量网络请求的API资产,根据聚合后的资产信息批量更新预设数据库中的API资产信息,能够提炼出关键信息,去除冗余信息,以辅助业务人员对API资产进行管理,保证了API资产信息的实时性,达到了业务人员实时管理API资产的效果,同时通过统计敏感信息类型,有利于业务人员根据敏感信息类型对API资产配置相应的安全措施,达到了保证数据安全性的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例一提供的应用程序接口资产的管理方法的流程图;
图2是根据本申请实施例一提供的可选的应用程序接口资产的管理方法的示意图;
图3是根据本申请实施例二提供的应用程序接口资产的管理装置的示意图;
图4是根据本申请实施例五提供的应用程序接口资产的管理电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、网络流量数据中包含的用户信息、应用程序接口中包含的用户信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据、采集的网络流量数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关区域的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
Flink:Apache Flink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
实施例一
下面结合优选的实施步骤对本发明进行说明,图1是根据本申请实施例一提供的应用程序接口资产的管理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,在接收到网络流量数据的情况下,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,敏感信息类型是指应用程序接口资产在包含敏感信息的情况下敏感信息的类型。
在本实施例一中,网络请求是指用户所在的客户端向服务器发送请求以获取特定资源的行为,例如,获取网页、图片、视频、数据等内容的请求。这种请求可以通过http协议进行,也可以通过其他请求进行,例如,FTP(File Transfer Protocol)请求、SSH(SecureShell)请求、DNS(Domain Name System)请求等。通过http协议生成的请求可以称为http请求。
为了实时管理网络流量数据中的API资产信息(即上述的应用程序接口资产的信息),需要从网络流量数据中每个网络请求的请求参数中提取该网络请求涉及的API资产信息,由每个网络请求的API资产信息得到上述的资产信息集合。API资产信息中的资产路径用于标识网络请求涉及的API资产,请求类型是指网络请求的类型,例如,GET、POST、PUT、DELETE等,敏感信息类型是指网络请求中包含的敏感信息的类型,例如,身份证号、手机号等。
步骤S102,依据资产路径和请求类型对资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数。
在本实施例一中,为了对实时采集的网络请求中的API资产进行管理,需要根据业务需求或业务人员的聚合需求对网络请求中的API资产进行聚合,从而根据API资产的类别统计网络流量数据中的API资产信息,满足业务人员管理API资产的需求,同时去除网络请求中的冗余资产信息,便于业务人员进行管理,达到了提高业务人员管理API资产的效率的效果。
在一可选的实施例中,可以根据业务需求确定聚合规则,聚合规则中可以定义不同的资产路径和请求类型,然后根据资产路径和请求类型对资产信息集合中每个API资产进行分类,得到上述的N类资产信息。
步骤S103,依据资产信息集合统计N类资产信息中每类资产信息涉及的敏感信息类型,得到目标资产信息。
在本实施例一中,对资产信息聚合分类后,可以统计每一类API资产中涉及明文传输的敏感信息,即每一类API资产中传输未加密的敏感信息,从而可以帮助企业及时发现和处理潜在的安全风险,采取相应的保护措施,保障用户的数据安全和隐私,同时避免了API资产过多和资产信息冗余导致业务人员难以管理API资产的问题。
步骤S104,依据目标资产信息更新预设数据库中的资产信息,以对网络流量数据中的应用程序接口资产进行管理,其中,预设数据库存储着应用程序接口资产的资产信息。
在本实施例一中,为了避免每解析到一条API资产后立即存储至预设数据库中,导致读写资源被大量占用,导致集群处理效率较低的问题,可以对API资产信息进行聚合,并统计涉及敏感信息的敏感信息类型得到目标资产信息之后,根据目标资产信息批量更新预设数据库中的资产信息,以实现在节省集群资源的同时,提高资产信息的实时性和准确性的效果。
综上所述,本申请实施例一提供的应用程序接口资产的管理方法,通过在接收到网络流量数据的情况下,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,敏感信息类型是指应用程序接口资产在包含敏感信息的情况下敏感信息的类型;依据资产路径和请求类型对资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;依据资产信息集合统计N类资产信息中每类资产信息涉及的敏感信息类型,得到目标资产信息;依据目标资产信息更新预设数据库中的资产信息,以对网络流量数据中的应用程序接口资产进行管理,其中,预设数据库存储着应用程序接口资产的资产信息,解决了相关技术中管理网络流量数据中的应用程序接口资产时,由于网络流量数据较多,导致管理应用程序接口资产的时效性较差的问题。通过从网络流量数据中提取和聚合大量网络请求的API资产,根据聚合后的资产信息批量更新预设数据库中的API资产信息,能够提炼出关键信息,去除冗余信息,以辅助业务人员对API资产进行管理,保证了API资产信息的实时性,达到了业务人员实时管理API资产的效果,同时通过统计敏感信息类型,有利于业务人员根据敏感信息类型对API资产配置相应的安全措施,达到了保证数据安全性的效果。
可选地,在本申请实施例一提供的应用程序接口资产的管理方法中,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合包括:提取网络流量数据中每个网络请求的请求参数,得到请求参数集合,其中,请求参数至少包括以下字段信息:请求域名、请求路径、请求参数、响应参数、请求类型;通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合;通过正则表达式确定资产信息集合中存在敏感信息的第一资产信息,对第一资产信息进行标注,并更新资产信息集合中的资产信息。
在本实施例一中,为了对API资产进行实时管理,可以实时捕获网络流量数据,从中提取出每个网络请求的相关参数(即上述的请求参数集合),并根据请求参数集合中每个网络请求的相关参数解析该网络请求中包含的API资产,以及标注每个API资产涉及敏感信息的敏感信息类型。
具体地,使用流量探针采集网络流量数据(例如,http数据流)存储至kafka集群或其他数据存储系统中,从kafka集群获取网络流量数据,再将网络流量数据中每个网络请求的相关参数解析为预设的数据结构,即上述的请求参数,请求参数中包含的字段信息如表1所示,其中,请求域名是指http请求访问的域名地址,例如,“www.example.com”,请求路径是指http请求的具体资源的路径,例如,“/index.html”,请求参数是指http请求的参数,例如,“http://example.com/api/user?id=123”中的“id=123”,响应参数是指服务器响应http请求后返回给客户端的响应结果的参数例如,状态码为200表示成功响应、Content-Type(返回的数据类型)为字符串等内容,请求类型是指http请求的类型,以指示服务器需要执行的操作,例如,GET、POST、PUT、DELETE等。解析出每个网络请求的网络参数后,由所有网络请求的网络参数得到上述的请求参数集合。
然后,根据采用预设的正则表达式对上述的请求参数集合中每个网络请求的请求参数进行匹配,解析其中的API资产,得到上述的资产信息集合,其中,预设的正则表达式是预先根据API资产聚合规则配置并加载好的。最后,根据匹配敏感信息的正则表达式确定资产信息集合中每个API资产信息是否包含敏感信息,以及确定敏感信息的类型,并进行相应的标注,以更新资产信息集合中的资产信息。
表1
字段名 | 字段说明 |
请求域名 | http请求访问的域名 |
请求路径 | 请求域名后的完整url路径 |
请求参数 | http请求的参数 |
响应参数 | 响应http请求的参数 |
请求类型 | http请求的类型 |
可选地,在本申请实施例一提供的应用程序接口资产的管理方法中,通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合包括:采用第一正则表达式对请求参数集合中每个网络请求的目标参数进行匹配,得到第一匹配结果,其中,目标参数至少包含以下字段信息:请求域名、请求路径;在第一匹配结果指示匹配成功的情况下,确定第一匹配结果对应的第一网络请求,并生成第一网络请求的资产路径;在第一匹配结果指示匹配失败的情况下,采用多个第二正则表达式对第二网络请求的请求路径进行匹配,得到第二匹配结果,并依据第二匹配结果生成第二网络请求的资产路径,其中,第二网络请求是指请求参数集合中除第一网络请求之外的网络请求;将第一网络请求的请求类型、第一网络请求的资产路径、第二网络请求的请求类型和第二网络请求的资产路径进行组合,得到资产信息集合。
在本实施例一中,第一正则表达式是根据优先级较高的聚合规则配置的正则表达式,优先级较高的聚合规则可以是根据业务需求制定的聚合规则,第一正则表达式的示例可以如表2所示,其中,规则标记值是指匹配成功后标记该网络请求的资产信息时所使用的标记值。需要注意的是,第一正则表达式的数量可以根据业务需求进行适应性的调整,在本实施例一中不做具体限制。
多个第二正则表达式是根据不同url路径分析规则构建的多个正则表达式,用于将API资产按照不同url路径分为多类,第二正则表达式的示例可以如表3所示,其中,包含了三类url路径的聚合规则,分别对应不同的规则标记值(如表3中的“:id”、“:uuid”、“:.jpg”)。
表2
表3
在一可选的实施例中,在解析网络请求中的API资产时,可以采用至少一个第一正则表达式与请求参数集合中每个网络请求的请求域名和请求路径(即上述的目标参数)进行匹配,若该网络请求的请求域名和请求路径与第一正则表达式匹配成功,则直接根据该网络请求的请求类型和第一正则表达式对应的规则标记值,标记当前网络请求的API资产的资产路径。若该网络请求的请求域名和请求路径与第一正则表达式未匹配成功,则采用多个第二正则表达式对该网络请求进行匹配,一旦与多个第二正则表达式中任意一个正则表达式匹配成功,则根据该网络请求的请求参数和匹配成功的第二正则表达式对应的规则标记值生成该网络请求的资产路径,若该网络请求与所有第二正则表达式均匹配不成功,则继续解析下一个网络请求。最后,根据每个网络请求的请求类型和资产路径确定每个网络请求的资产信息,得到上述的资产信息集合。
可选地,在本申请实施例一提供的应用程序接口资产的管理方法中,采用多个第二正则表达式对第二网络请求的请求路径进行匹配,得到第二匹配结果,并依据第二匹配结果生成第二网络请求的资产路径包括:依据预设字符对每个第二网络请求的请求路径进行拆分,得到每个第二网络请求的第一路径列表;采用多个第二正则表达式对第一路径列表中的每个元素依次进行正则匹配,得到第三匹配结果,其中,多个第二正则表达式是依据不同聚合规则构建的正则表达式;在第三匹配结果指示匹配成功的情况下,采用第二预设字符串替换匹配成功的元素,得到每个第二网络请求的第二路径列表;对第二路径列表中的元素进行拼接,得到每个第二网络请求的目标路径,并依据每个第二网络请求的请求参数和每个第二网络请求的目标路径生成第二网络请求的资产路径。
在一可选的实施例中,可以采用分隔符“/”(即上述的预设字符)拆分每个第二网络请求的请求路径,将拆分后的字符串作为列表的每个元素,得到上述的每个第二网络请求的第一路径列表。然后,采用表3中包含的多个第二正则表达式与第一路径列表中的每个元素依次进行正则匹配,在某个列元素与任意一个第二正则表达式匹配成功时,采用匹配成功的第二正则表达式对应的规则标记值替换第一路径列表中匹配成功的元素,若第一路径列表中的每个元素与所有第二正则表达式均未匹配成功时,则不替换第一路径列表中的元素。最后,在每个网络请求对应的第一路径列表匹配完成后,将替换后的第一路径列表进行拼接,作为每个网络请求对应的目标路径,并以该网络请求的请求类型、请求域名和目标路径作为该网络请求的资产路径。
可选地,在本申请实施例一提供的应用程序接口资产的管理方法中,通过正则表达式确定资产信息集合中存在敏感信息的第一资产信息,对第一资产信息进行标注,并更新资产信息集合中的资产信息包括:采用第三正则表达式集合对请求参数集合中的每个网络请求进行匹配,得到第三匹配结果,其中,第三正则表达式集合包含依据不同敏感信息类型构建的正则表达式的集合;在第三匹配结果指示匹配成功的情况下,在资产信息集合中确定匹配成功的网络请求对应的资产信息,得到第一资产信息;依据第三匹配结果确定第一资产信息的敏感信息类型,并采用第一资产信息的敏感信息类型更新资产信息集合。
在本实施例一中,可以根据API资产涉及的至少一种敏感信息类型配置对应的正则表达式,即上述的第三正则表达式集合,通过第三正则表达式集合中每个第三正则表达式与每个网络请求中的请求参数进行匹配,若匹配成功,则为该网络请求加上第三正则表达式对应的敏感信息标识(如表4中的规则标记值),即上述的第一资产信息,从而确定资产信息集合中每个API资产涉及敏感信息的敏感信息类型,并更新资产信息集合。其中,第三正则表达式集合中的第三正则表达式可以如表4所示。
表4
可选地,在本申请实施例一提供的应用程序接口资产的管理方法中,在通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合之前,上述的方法还包括:依据业务需求确定应用程序接口资产的聚合规则;依据聚合规则配置正则表达式,得到预设的正则表达式,并加载预设的正则表达式。
在本实施例一中,为了灵活地根据业务需求调整API资产的聚合结果,可以根据业务需求灵活地配置和/或调整API的聚合规则,根据确定的聚合规则配置对应的正则表达式,即上述的预设的正则表达式(例如,上述的第一正则表达式、上述的第二正则表达式、上述的第三正则表达式),并且需要在解析网络流量数据之前,预先加载配置好的聚合规则,以便实时对采集到的网络流量数据进行解析。此外,在一可选的实施例中还可以将预设的正则表达式加载至keyby算子中,通过keyby算子可以对多个网络请求进行并行解析,从而达到了提高网络请求的处理效率的效果,进一步达到了保证管理API资产的实时性的效果。
在一可选的实施例中,当业务人员需要更换聚合规则(例如,业务人员发现预设数据库中存在未聚类的API资产信息,或聚类结果错误的API资产信息)时,可以根据预设数据库中API资产信息调整解析规则,即上述的优先级较高的聚合规则,并相应的调整优先级较高的聚合规则对应的第一正则表达式,然后重新配置和加载调整后的第一正则表达式,以便后续继续对http数据流进行处理。
可选地,在本申请实施例一提供的应用程序接口资产的管理方法中,依据目标资产信息更新预设数据库中的资产信息包括:在目标资产信息与预设数据库中的资产信息不一致的情况下,依据目标资产信息更新预设数据库中对应的资产信息;在目标资产信息与预设数据库中的资产信息一致的情况下,在预设数据库中更新目标资产信息中对应的资产信息的时间信息。
在本实施例一中,为了保证预设数据库中API资产信息的实时性,需要在统计到目标资产信息之后,将目标资产信息与预设数据库中保存的API资产信息进行比对,比对二者中的API资产的网络请求信息、API资产类型、数量和敏感信息类型等信息是否一致。若不一致,则依据目标资产信息更新预设数据库中的API资产信息,例如,目标资产信息中jpg类型的API资产比预设数据库中jpg类型的API资产多一个,则在预设数据库中新增该API资产,并记录更新时间;若不一致,则根据当前时刻更新预设数据库中目标资产信息包含的API资产的更新时间,以保证API资产信息的实时性。业务人员还可以根据预设数据库中更新后的资产信息调整聚合规则,并加载聚合规则,以便后续采用调整后的聚合规则解析http数据流。
可选地,在本实施例一中,本方案实时更新API资产信息的流程可以如图2所示。首先,通过流量探针采集http数据流,对http数据流进行格式化处理,提取http数据流中每个http请求的请求参数,得到上述的请求参数集合。然后,采用优先级较高的第一正则表达式与请求参数集合中每个网络请求的请求参数进行匹配,若匹配成功则对下一个网络请求进行匹配,若匹配不成功,则采用多个第二正则表达式进行匹配,解析得到每个网络请求的资产信息,并对每个网络请求涉及敏感信息的敏感信息类型进行标注,得到上述的资产信息集合。最后,根据每个网络请求的资产信息对http数据流中的API资产进行聚合,并统计每一类资产信息涉及的敏感信息类型,得到上述的目标资产信息,依据目标资产信息更新预设数据库(如图2中的API资产库)中的API资产信息,保证数据的实时性。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例二
本申请实施例二还提供了一种应用程序接口资产的管理装置,需要说明的是,本申请实施例二的应用程序接口资产的管理装置可以用于执行本申请实施例一所提供的用于应用程序接口资产的管理方法。以下对本申请实施例二提供的应用程序接口资产的管理装置进行介绍。
图3是根据本申请实施例二的应用程序接口资产的管理装置的示意图。如图3所示,该装置包括:提取单元301、聚合单元302、统计单元303和更新单元304。
具体地,提取单元301,用于在接收到网络流量数据的情况下,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,敏感信息类型是指应用程序接口资产在包含敏感信息的情况下敏感信息的类型。
聚合单元302,用于依据资产路径和请求类型对资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数。
统计单元303,用于依据资产信息集合统计N类资产信息中每类资产信息涉及的敏感信息类型,得到目标资产信息。
更新单元304,用于依据目标资产信息更新预设数据库中的资产信息,以对网络流量数据中的应用程序接口资产进行管理,其中,预设数据库存储着应用程序接口资产的资产信息。
本申请实施例二提供的应用程序接口资产的管理装置,通过提取单元301在接收到网络流量数据的情况下,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,敏感信息类型是指应用程序接口资产在包含敏感信息的情况下敏感信息的类型;聚合单元302依据资产路径和请求类型对资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;统计单元303依据资产信息集合统计N类资产信息中每类资产信息涉及的敏感信息类型,得到目标资产信息;更新单元304依据目标资产信息更新预设数据库中的资产信息,以对网络流量数据中的应用程序接口资产进行管理,其中,预设数据库存储着应用程序接口资产的资产信息,解决了相关技术中管理网络流量数据中的应用程序接口资产时,由于网络流量数据较多,导致管理应用程序接口资产的时效性较差的问题。通过从网络流量数据中提取和聚合大量网络请求的API资产,根据聚合后的资产信息批量更新预设数据库中的API资产信息,能够提炼出关键信息,去除冗余信息,以辅助业务人员对API资产进行管理,保证了API资产信息的实时性,达到了业务人员实时管理API资产的效果,同时通过统计敏感信息类型,有利于业务人员根据敏感信息类型对API资产配置相应的安全措施,达到了保证数据安全性的效果。
可选地,在本申请实施例二提供的应用程序接口资产的管理装置中,上述的提取单元301包括:提取子单元,用于提取网络流量数据中每个网络请求的请求参数,得到请求参数集合,其中,请求参数至少包括以下字段信息:请求域名、请求路径、请求参数、响应参数、请求类型;第一确定子单元,用于通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合;标注子单元,用于通过正则表达式确定资产信息集合中存在敏感信息的第一资产信息,对第一资产信息进行标注,并更新资产信息集合中的资产信息。
可选地,在本申请实施例二提供的应用程序接口资产的管理装置中,上述的确定子单元包括:第一匹配模块,用于采用第一正则表达式对请求参数集合中每个网络请求的目标参数进行匹配,得到第一匹配结果,其中,目标参数至少包含以下字段信息:请求域名、请求路径;第一确定模块,用于在第一匹配结果指示匹配成功的情况下,确定第一匹配结果对应的第一网络请求,并生成第一网络请求的资产路径;第二匹配模块,用于在第一匹配结果指示匹配失败的情况下,采用多个第二正则表达式对第二网络请求的请求路径进行匹配,得到第二匹配结果,并依据第二匹配结果生成第二网络请求的资产路径,其中,第二网络请求是指请求参数集合中除第一网络请求之外的网络请求;组合模块,用于将第一网络请求的请求类型、第一网络请求的资产路径、第二网络请求的请求类型和第二网络请求的资产路径进行组合,得到资产信息集合。
可选地,在本申请实施例二提供的应用程序接口资产的管理装置中,上述的第二匹配模块包括:拆分子模块,用于依据预设字符对每个第二网络请求的请求路径进行拆分,得到每个第二网络请求的第一路径列表;匹配子模块,用于采用多个第二正则表达式对第一路径列表中的每个元素依次进行正则匹配,得到第三匹配结果,其中,多个第二正则表达式是依据不同聚合规则构建的正则表达式;替换子模块,用于在第三匹配结果指示匹配成功的情况下,采用第二预设字符串替换匹配成功的元素,得到每个第二网络请求的第二路径列表;拼接子模块,用于对第二路径列表中的元素进行拼接,得到每个第二网络请求的目标路径,并依据每个第二网络请求的请求参数和每个第二网络请求的目标路径生成第二网络请求的资产路径。
可选地,在本申请实施例二提供的应用程序接口资产的管理装置中,上述的标注子单元包括:第三匹配模块,用于采用第三正则表达式集合对请求参数集合中的每个网络请求进行匹配,得到第三匹配结果,其中,第三正则表达式集合包含依据不同敏感信息类型构建的正则表达式的集合;第二确定模块,用于在第三匹配结果指示匹配成功的情况下,在资产信息集合中确定匹配成功的网络请求对应的资产信息,得到第一资产信息;更新模块,用于依据第三匹配结果确定第一资产信息的敏感信息类型,并采用第一资产信息的敏感信息类型更新资产信息集合。
可选地,在本申请实施例二提供的应用程序接口资产的管理装置中,上述的提取单元301还包括:第二确定子单元,用于在通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合之前,依据业务需求确定应用程序接口资产的聚合规则;加载子单元,用于依据聚合规则配置正则表达式,得到预设的正则表达式,并加载预设的正则表达式。
可选地,在本申请实施例二提供的应用程序接口资产的管理装置中,上述的更新单元304包括:第一更新子单元,用于在目标资产信息与预设数据库中的资产信息不一致的情况下,依据目标资产信息更新预设数据库中对应的资产信息;第二更新子单元,用于在目标资产信息与预设数据库中的资产信息一致的情况下,在预设数据库中更新目标资产信息中对应的资产信息的时间信息。
所述应用程序接口资产的管理装置包括处理器和存储器,上述的提取单元301、聚合单元302、统计单元303和更新单元304等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高管理API资产的实时性。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例三提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现应用程序接口资产的管理方法。
本发明实施例四提供了一种处理器,处理器用于运行程序,其中,程序运行时执行应用程序接口资产的管理方法。
如图4所示,本发明实施例五提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:在接收到网络流量数据的情况下,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,敏感信息类型是指应用程序接口资产在包含敏感信息的情况下敏感信息的类型;依据资产路径和请求类型对资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;依据资产信息集合统计N类资产信息中每类资产信息涉及的敏感信息类型,得到目标资产信息;依据目标资产信息更新预设数据库中的资产信息,以对网络流量数据中的应用程序接口资产进行管理,其中,预设数据库存储着应用程序接口资产的资产信息。
处理器执行程序时还实现以下步骤:提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合包括:提取网络流量数据中每个网络请求的请求参数,得到请求参数集合,其中,请求参数至少包括以下字段信息:请求域名、请求路径、请求参数、响应参数、请求类型;通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合;通过正则表达式确定资产信息集合中存在敏感信息的第一资产信息,对第一资产信息进行标注,并更新资产信息集合中的资产信息。
处理器执行程序时还实现以下步骤:通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合包括:采用第一正则表达式对请求参数集合中每个网络请求的目标参数进行匹配,得到第一匹配结果,其中,目标参数至少包含以下字段信息:请求域名、请求路径;在第一匹配结果指示匹配成功的情况下,确定第一匹配结果对应的第一网络请求,并生成第一网络请求的资产路径;在第一匹配结果指示匹配失败的情况下,采用多个第二正则表达式对第二网络请求的请求路径进行匹配,得到第二匹配结果,并依据第二匹配结果生成第二网络请求的资产路径,其中,第二网络请求是指请求参数集合中除第一网络请求之外的网络请求;将第一网络请求的请求类型、第一网络请求的资产路径、第二网络请求的请求类型和第二网络请求的资产路径进行组合,得到资产信息集合。
处理器执行程序时还实现以下步骤:采用多个第二正则表达式对第二网络请求的请求路径进行匹配,得到第二匹配结果,并依据第二匹配结果生成第二网络请求的资产路径包括:依据预设字符对每个第二网络请求的请求路径进行拆分,得到每个第二网络请求的第一路径列表;采用多个第二正则表达式对第一路径列表中的每个元素依次进行正则匹配,得到第三匹配结果,其中,多个第二正则表达式是依据不同聚合规则构建的正则表达式;在第三匹配结果指示匹配成功的情况下,采用第二预设字符串替换匹配成功的元素,得到每个第二网络请求的第二路径列表;对第二路径列表中的元素进行拼接,得到每个第二网络请求的目标路径,并依据每个第二网络请求的请求参数和每个第二网络请求的目标路径生成第二网络请求的资产路径。
处理器执行程序时还实现以下步骤:通过正则表达式确定资产信息集合中存在敏感信息的第一资产信息,对第一资产信息进行标注,并更新资产信息集合中的资产信息包括:采用第三正则表达式集合对请求参数集合中的每个网络请求进行匹配,得到第三匹配结果,其中,第三正则表达式集合包含依据不同敏感信息类型构建的正则表达式的集合;在第三匹配结果指示匹配成功的情况下,在资产信息集合中确定匹配成功的网络请求对应的资产信息,得到第一资产信息;依据第三匹配结果确定第一资产信息的敏感信息类型,并采用第一资产信息的敏感信息类型更新资产信息集合。
处理器执行程序时还实现以下步骤:在通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合之前,上述的方法还包括:依据业务需求确定应用程序接口资产的聚合规则;依据聚合规则配置正则表达式,得到预设的正则表达式,并加载预设的正则表达式。
处理器执行程序时还实现以下步骤:依据目标资产信息更新预设数据库中的资产信息包括:在目标资产信息与预设数据库中的资产信息不一致的情况下,依据目标资产信息更新预设数据库中对应的资产信息;在目标资产信息与预设数据库中的资产信息一致的情况下,在预设数据库中更新目标资产信息中对应的资产信息的时间信息。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:在接收到网络流量数据的情况下,提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,敏感信息类型是指应用程序接口资产在包含敏感信息的情况下敏感信息的类型;依据资产路径和请求类型对资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;依据资产信息集合统计N类资产信息中每类资产信息涉及的敏感信息类型,得到目标资产信息;依据目标资产信息更新预设数据库中的资产信息,以对网络流量数据中的应用程序接口资产进行管理,其中,预设数据库存储着应用程序接口资产的资产信息。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:提取网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合包括:提取网络流量数据中每个网络请求的请求参数,得到请求参数集合,其中,请求参数至少包括以下字段信息:请求域名、请求路径、请求参数、响应参数、请求类型;通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合;通过正则表达式确定资产信息集合中存在敏感信息的第一资产信息,对第一资产信息进行标注,并更新资产信息集合中的资产信息。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合包括:采用第一正则表达式对请求参数集合中每个网络请求的目标参数进行匹配,得到第一匹配结果,其中,目标参数至少包含以下字段信息:请求域名、请求路径;在第一匹配结果指示匹配成功的情况下,确定第一匹配结果对应的第一网络请求,并生成第一网络请求的资产路径;在第一匹配结果指示匹配失败的情况下,采用多个第二正则表达式对第二网络请求的请求路径进行匹配,得到第二匹配结果,并依据第二匹配结果生成第二网络请求的资产路径,其中,第二网络请求是指请求参数集合中除第一网络请求之外的网络请求;将第一网络请求的请求类型、第一网络请求的资产路径、第二网络请求的请求类型和第二网络请求的资产路径进行组合,得到资产信息集合。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:采用多个第二正则表达式对第二网络请求的请求路径进行匹配,得到第二匹配结果,并依据第二匹配结果生成第二网络请求的资产路径包括:依据预设字符对每个第二网络请求的请求路径进行拆分,得到每个第二网络请求的第一路径列表;采用多个第二正则表达式对第一路径列表中的每个元素依次进行正则匹配,得到第三匹配结果,其中,多个第二正则表达式是依据不同聚合规则构建的正则表达式;在第三匹配结果指示匹配成功的情况下,采用第二预设字符串替换匹配成功的元素,得到每个第二网络请求的第二路径列表;对第二路径列表中的元素进行拼接,得到每个第二网络请求的目标路径,并依据每个第二网络请求的请求参数和每个第二网络请求的目标路径生成第二网络请求的资产路径。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:通过正则表达式确定资产信息集合中存在敏感信息的第一资产信息,对第一资产信息进行标注,并更新资产信息集合中的资产信息包括:采用第三正则表达式集合对请求参数集合中的每个网络请求进行匹配,得到第三匹配结果,其中,第三正则表达式集合包含依据不同敏感信息类型构建的正则表达式的集合;在第三匹配结果指示匹配成功的情况下,在资产信息集合中确定匹配成功的网络请求对应的资产信息,得到第一资产信息;依据第三匹配结果确定第一资产信息的敏感信息类型,并采用第一资产信息的敏感信息类型更新资产信息集合。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在通过预设的正则表达式确定请求参数集合中包含的应用程序接口资产,得到资产信息集合之前,上述的方法还包括:依据业务需求确定应用程序接口资产的聚合规则;依据聚合规则配置正则表达式,得到预设的正则表达式,并加载预设的正则表达式。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据目标资产信息更新预设数据库中的资产信息包括:在目标资产信息与预设数据库中的资产信息不一致的情况下,依据目标资产信息更新预设数据库中对应的资产信息;在目标资产信息与预设数据库中的资产信息一致的情况下,在预设数据库中更新目标资产信息中对应的资产信息的时间信息。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种应用程序接口资产的管理方法,其特征在于,包括:
在接收到网络流量数据的情况下,提取所述网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,所述资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,所述敏感信息类型是指所述应用程序接口资产在包含敏感信息的情况下所述敏感信息的类型;
依据所述资产路径和所述请求类型对所述资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;
依据所述资产信息集合统计所述N类资产信息中每类资产信息涉及的所述敏感信息类型,得到目标资产信息;
依据所述目标资产信息更新预设数据库中的资产信息,以对所述网络流量数据中的应用程序接口资产进行管理,其中,所述预设数据库存储着所述应用程序接口资产的资产信息。
2.根据权利要求1所述的方法,其特征在于,提取所述网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合包括:
提取所述网络流量数据中每个网络请求的请求参数,得到请求参数集合,其中,所述请求参数至少包括以下字段信息:请求域名、请求路径、请求参数、响应参数、所述请求类型;
通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合;
通过所述正则表达式确定所述资产信息集合中存在敏感信息的第一资产信息,对所述第一资产信息进行标注,并更新所述资产信息集合中的资产信息。
3.根据权利要求2所述的方法,其特征在于,通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合包括:
采用第一正则表达式对所述请求参数集合中每个网络请求的目标参数进行匹配,得到第一匹配结果,其中,所述目标参数至少包含以下字段信息:所述请求域名、所述请求路径;
在所述第一匹配结果指示匹配成功的情况下,确定所述第一匹配结果对应的第一网络请求,并生成所述第一网络请求的所述资产路径;
在所述第一匹配结果指示匹配失败的情况下,采用多个第二正则表达式对第二网络请求的所述请求路径进行匹配,得到第二匹配结果,并依据所述第二匹配结果生成所述第二网络请求的所述资产路径,其中,所述第二网络请求是指所述请求参数集合中除所述第一网络请求之外的网络请求;
将所述第一网络请求的所述请求类型、所述第一网络请求的所述资产路径、所述第二网络请求的所述请求类型和所述第二网络请求的资产路径进行组合,得到所述资产信息集合。
4.根据权利要求3所述的方法,其特征在于,采用多个第二正则表达式对第二网络请求的所述请求路径进行匹配,得到第二匹配结果,并依据所述第二匹配结果生成所述第二网络请求的所述资产路径包括:
依据预设字符对每个第二网络请求的所述请求路径进行拆分,得到每个第二网络请求的第一路径列表;
采用所述多个第二正则表达式对所述第一路径列表中的每个元素依次进行正则匹配,得到第三匹配结果,其中,所述多个第二正则表达式是依据不同聚合规则构建的正则表达式;
在所述第三匹配结果指示匹配成功的情况下,采用第二预设字符串替换匹配成功的元素,得到每个第二网络请求的第二路径列表;
对所述第二路径列表中的元素进行拼接,得到每个第二网络请求的目标路径,并依据每个第二网络请求的请求参数和每个第二网络请求的目标路径生成所述第二网络请求的所述资产路径。
5.根据权利要求2所述的方法,其特征在于,通过所述正则表达式确定所述资产信息集合中存在敏感信息的第一资产信息,对所述第一资产信息进行标注,并更新所述资产信息集合中的资产信息包括:
采用第三正则表达式集合对所述请求参数集合中的每个网络请求进行匹配,得到第三匹配结果,其中,所述第三正则表达式集合包含依据不同敏感信息类型构建的正则表达式的集合;
在所述第三匹配结果指示匹配成功的情况下,在所述资产信息集合中确定匹配成功的网络请求对应的资产信息,得到所述第一资产信息;
依据所述第三匹配结果确定所述第一资产信息的敏感信息类型,并采用所述第一资产信息的敏感信息类型更新所述资产信息集合。
6.根据权利要求2所述的方法,其特征在于,在通过预设的正则表达式确定所述请求参数集合中包含的应用程序接口资产,得到资产信息集合之前,所述方法还包括:
依据业务需求确定所述应用程序接口资产的聚合规则;
依据所述聚合规则配置正则表达式,得到所述预设的正则表达式,并加载所述预设的正则表达式。
7.根据权利要求1所述的方法,其特征在于,依据所述目标资产信息更新预设数据库中的资产信息包括:
在所述目标资产信息与所述预设数据库中的资产信息不一致的情况下,依据所述目标资产信息更新所述预设数据库中对应的资产信息;
在所述目标资产信息与所述预设数据库中的资产信息一致的情况下,在所述预设数据库中更新所述目标资产信息中对应的资产信息的时间信息。
8.一种应用程序接口资产的管理装置,其特征在于,包括:
提取单元,用于在接收到网络流量数据的情况下,提取所述网络流量数据中每个网络请求包含的应用程序接口资产的资产信息,得到资产信息集合,其中,所述资产信息至少包括以下信息:资产路径、请求类型、敏感信息类型,所述敏感信息类型是指所述应用程序接口资产在包含敏感信息的情况下所述敏感信息的类型;
聚合单元,用于依据所述资产路径和所述请求类型对所述资产信息集合中的资产信息进行聚合,得到N类资产信息,其中,N是正整数;
统计单元,用于依据所述资产信息集合统计所述N类资产信息中每类资产信息涉及的所述敏感信息类型,得到目标资产信息;
更新单元,用于依据所述目标资产信息更新预设数据库中的资产信息,以对所述网络流量数据中的应用程序接口资产进行管理,其中,所述预设数据库存储着所述应用程序接口资产的资产信息。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的应用程序接口资产的管理方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的应用程序接口资产的管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410064470.8A CN117892348A (zh) | 2024-01-16 | 2024-01-16 | 应用程序接口资产的管理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410064470.8A CN117892348A (zh) | 2024-01-16 | 2024-01-16 | 应用程序接口资产的管理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117892348A true CN117892348A (zh) | 2024-04-16 |
Family
ID=90642456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410064470.8A Pending CN117892348A (zh) | 2024-01-16 | 2024-01-16 | 应用程序接口资产的管理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117892348A (zh) |
-
2024
- 2024-01-16 CN CN202410064470.8A patent/CN117892348A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10560465B2 (en) | Real time anomaly detection for data streams | |
EP3726411B1 (en) | Data desensitising method, server, terminal, and computer-readable storage medium | |
US10447772B2 (en) | Managed function execution for processing data streams in real time | |
CN109643358B (zh) | 跨租户数据泄漏隔离 | |
US10296661B2 (en) | Processing log files using a database system | |
US9442967B2 (en) | Systems and methods for efficient data ingestion and query processing | |
US9600503B2 (en) | Systems and methods for pruning data by sampling | |
CN108197200A (zh) | 日志追踪方法、装置、计算机设备和存储介质 | |
US11188443B2 (en) | Method, apparatus and system for processing log data | |
US9910858B2 (en) | System and method for providing contextual analytics data | |
CN112486708B (zh) | 页面操作数据的处理方法和处理系统 | |
US20170078361A1 (en) | Method and System for Collecting Digital Media Data and Metadata and Audience Data | |
CN110795756A (zh) | 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 | |
CN111368227B (zh) | 一种url处理方法以及装置 | |
CN112347501A (zh) | 数据处理方法、装置、设备及存储介质 | |
US10182104B1 (en) | Automatic propagation of resource attributes in a provider network according to propagation criteria | |
Medvedev et al. | Data ingestion and storage performance of IoT platforms: Study of OpenIoT | |
US10951540B1 (en) | Capture and execution of provider network tasks | |
Mekacher et al. | " I Can’t Keep It Up." A Dataset from the Defunct Voat. co News Aggregator | |
US8396877B2 (en) | Method and apparatus for generating a fused view of one or more people | |
US10990607B1 (en) | Systems and methods for log aggregation | |
US11243756B1 (en) | Extensible resource compliance management | |
CN114610689B (zh) | 一种分布式环境中请求日志的记录和分析方法 | |
KR20210000041A (ko) | 로그 데이터의 실시간 분석 방법 및 그 장치 | |
CN117892348A (zh) | 应用程序接口资产的管理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |