CN114817968B - 无特征数据的路径追溯方法、装置、设备及存储介质 - Google Patents

无特征数据的路径追溯方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114817968B
CN114817968B CN202210745155.2A CN202210745155A CN114817968B CN 114817968 B CN114817968 B CN 114817968B CN 202210745155 A CN202210745155 A CN 202210745155A CN 114817968 B CN114817968 B CN 114817968B
Authority
CN
China
Prior art keywords
data
information
target
user
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210745155.2A
Other languages
English (en)
Other versions
CN114817968A (zh
Inventor
黄俊辉
刘小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongtu Technology Co ltd
Original Assignee
Shenzhen Hongtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongtu Technology Co ltd filed Critical Shenzhen Hongtu Technology Co ltd
Priority to CN202210745155.2A priority Critical patent/CN114817968B/zh
Publication of CN114817968A publication Critical patent/CN114817968A/zh
Application granted granted Critical
Publication of CN114817968B publication Critical patent/CN114817968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种无特征数据的路径追溯方法、装置、设备及存储介质,其中方法包括采集应用服务的传输数据以及接口信息,并基于传输数据以及接口信息,获取关联信息;获取预设数据标签以及用户访问的URL,并将用户访问的URL以及预设数据标签与关联信息进行匹配处理,以获取目标应用接口以及目标数据;创建追踪标识,将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息;采集调用信息,并将调用信息存储于预设数据库中;采集用户访问行为日志,并从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果。本发明实现对无特征数据进行精准分析,从而对无特征数据进行全流转路径的追溯,有利于提高无特征数据路径追溯的精准度。

Description

无特征数据的路径追溯方法、装置、设备及存储介质
技术领域
本申请涉及数据安全技术领域,尤其涉及一种无特征数据的路径追溯方法、装置、设备及存储介质。
背景技术
随着企业形态的不断演变,众多的应用系统覆盖了经济与民生需求,衍生出新的数据类型,应用增长迅速,有力地支撑社会经济中的基础性服务。随着企业业务飞速发展,网络活动产生的数据量呈井喷式增长,大量的企业经营数据的流动和存储,使得企业经营类数据(无特征数据)面临严峻数据安全挑战。目前现有的数据追溯手段能够查找到数据源的出处,但存在一定局限性和问题。现有无特征数据追溯技术包括以下几种现状:(1)现有数据溯源追踪方法有标注法,通过记录处理相关信息来追溯数据状态,虽然标注法简单有效使用广泛,但不能够覆盖数据流转的整个过程;(2)另一个现有数据溯源方法是反向查询法,根据转换过程反向推导,由结果追溯到原数据的过程,由于逆向函数构造影响算法性能和查询效果,导致过程比较复杂;(3)现有的数字水印技术,在数据泄露行为发生后,对造成数据泄露的源头可进行回溯,在分发数据中掺杂不影响运算结果的数据,拿到泄密数据的样本,可追溯数据泄露源。但目前的数字水印大多针对静态的数据集,难以满足动态流转变化且数据量巨大的场景;(4)当前的DLP数据防泄漏类产品大多基于静态规则来识别数据,对于匹配规则的数据可进行记录和追溯,但难以全面覆盖全量数据。
因此,现亟需一种无特征数据的路径追溯方法,以实现对无特征数据进行精准分析,以及对无特征数据进行全流转路径的追溯,从而提高无特征数据路径追溯的精准度。
发明内容
本申请实施例的目的在于提出一种无特征数据的路径追溯方法、装置、设备及存储介质,以实现对无特征数据进行精准分析,并对无特征数据进行全流转路径的追溯,从而提高无特征数据路径追溯的精准度。
为了解决上述技术问题,本申请实施例提供一种无特征数据的路径追溯方法,包括:
采集应用服务的传输数据以及所述传输数据对应的接口信息,并基于所述传输数据以及所述接口信息,获取关联信息,其中,所述关联信息包括关联应用接口以及所述关联应用接口对应的无特征数据;
获取预设数据标签以及用户访问的URL,并将所述用户访问的URL以及所述预设数据标签与所述关联信息进行匹配处理,以获取目标应用接口以及所述目标应用接口对应的无特征数据,且将所述目标应用接口对应的无特征数据标记为目标数据,其中,所述目标数据中包括用户发起的请求信息;
基于所述用户发起的请求信息,创建所述目标数据中的追踪标识,并基于所述追踪标识将所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息;
通过探针方式,采集所述链路信息上的调用信息,并将所述调用信息按照信息类别存储于预设数据库中;
采集用户访问行为日志,并基于所述用户访问行为日志,从所述预设数据库中的所述调用信息识别对应链路信息,得到数据追溯结果。
为了解决上述技术问题,本申请实施例提供一种无特征数据的路径追溯装置,包括:
传输数据采集模块,用于采集应用服务的传输数据以及所述传输数据对应的接口信息,并基于所述传输数据以及所述接口信息,获取关联信息,其中,所述关联信息包括关联应用接口以及所述关联应用接口对应的无特征数据;
目标数据获取模块,用于获取预设数据标签以及用户访问的URL,并将所述用户访问的URL以及所述预设数据标签与所述关联信息进行匹配处理,以获取目标应用接口以及所述目标应用接口对应的无特征数据,且将所述目标应用接口对应的无特征数据标记为目标数据,其中,所述目标数据中包括用户发起的请求信息;
链路信息生成模块,用于基于所述用户发起的请求信息,创建所述目标数据中的追踪标识,并基于所述追踪标识将所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息;
调用信息采集模块,用于通过探针方式,采集所述链路信息上的调用信息,并将所述调用信息按照信息类别存储于预设数据库中;
追溯结果生成模块,用于采集用户访问行为日志,并基于所述用户访问行为日志,从所述预设数据库中的所述调用信息识别对应链路信息,得到数据追溯结果。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种计算机设备,包括,一个或多个处理器;存储器,用于存储一个或多个程序,使得一个或多个处理器实现上述任意一项所述的无特征数据的路径追溯方法。
为解决上述技术问题,本发明采用的一个技术方案是:一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的无特征数据的路径追溯方法。
本发明实施例提供了一种无特征数据的路径追溯方法、装置、设备及存储介质。其中,方法包括:采集应用服务的传输数据以及传输数据对应的接口信息,并基于传输数据以及接口信息,获取关联信息,其中,关联信息包括关联应用接口以及关联应用接口对应的无特征数据;获取预设数据标签以及用户访问的URL,并将用户访问的URL以及预设数据标签与关联信息进行匹配处理,以获取目标应用接口以及目标应用接口对应的无特征数据,且将目标应用接口对应的无特征数据标记为目标数据,其中,目标数据中包括用户发起的请求信息;基于用户发起的请求信息,创建目标数据中的追踪标识,并基于追踪标识将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息;通过探针方式,采集链路信息上的调用信息,并将调用信息按照信息类别存储于预设数据库中;采集用户访问行为日志,并基于用户访问行为日志,从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果。本发明实施例通过采集应用服务的传输数据以及传输数据对应的接口信息,并基于传输数据以及接口信息,获取关联信息,再匹配关联信息,以获取目标数据,实现了全面获取无特征数据,同时通过创建追踪标识,并基于追踪标识将目标数据中的节点与链路进行串联,得到链路信息,然后在链路信息上采集调用信息,并基于调用信息进行数据追溯,实现对无特征数据进行精准分析,从而对无特征数据进行全流转路径的追溯,有利于提高无特征数据路径追溯的精准度。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的无特征数据的路径追溯方法流程的一实现流程图;
图2是本申请实施例提供的无特征数据的路径追溯方法中子流程的又一实现流程图;
图3是本申请实施例提供的无特征数据的路径追溯方法中子流程的又一实现流程图;
图4是本申请实施例提供的无特征数据的路径追溯方法中子流程的又一实现流程图;
图5是本申请实施例提供的无特征数据的路径追溯方法中子流程的又一实现流程图;
图6是本申请实施例提供的无特征数据的路径追溯方法中子流程的又一实现流程图;
图7是本申请实施例提供的无特征数据的路径追溯方法中子流程的又一实现流程图;
图8是本申请实施例提供的无特征数据的路径追溯装置示意图;
图9是本申请实施例提供的计算机设备的示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面结合附图和实施方式对本发明进行详细说明。
需要说明的是,本申请实施例所提供的无特征数据的路径追溯方法一般由服务器执行,相应地,无特征数据的路径追溯装置一般配置于服务器中。
请参阅图1,图1示出了无特征数据的路径追溯方法的一种具体实施方式。
需注意的是,若有实质上相同的结果,本发明的方法并不以图1所示的流程顺序为限,该方法包括如下步骤:
S1:采集应用服务的传输数据以及传输数据对应的接口信息,并基于传输数据以及接口信息,获取关联信息。
其中,关联信息包括关联应用接口以及关联应用接口对应的无特征数据。
具体的,企业在业务过程中积攒大量的经营类数据,并且业务交互的过程中,会对应用系统服务产生访问行为,而访问应用服务过程会先发起请求获取服务器返回的响应内容;数据在请求和服务调用的过程中流经相关的应用服务、接口、数据库等,形成数据链路。本申请实施例通过采集应用服务的传输数据以及传输数据对应的接口信息,从而进行分析无特征数据的流转路径。
请参阅图2,图2示出了步骤S1的一种具体实施方式,详叙如下:
S11:通过字节码增强技术,采集应用服务的传输数据以及传输数据对应的接口信息。
S12:识别传输数据中的敏感数据,并获取敏感数据对应的接口信息,作为关联应用接口。
S13:基于预设的采集策略,获取关联应用接口对应的无特征数据。
具体的,预设部署在应用服务上的探针,当应用服务存在传输数据时,通过探针进行字节码增强的方法,采集应用服务的传输数据以及传输数据对应的接口信息。该字节码增强技术,在Java字节码生成之后,根据Java字节码中定义的规则,对已经生成的Java字节码在JVM加载时进行动态修改,增加增强功能的内容,以根据增强功能的内容对访问数据进行拦截获取,以得到传输数据以及传输数据对应的接口信息。在获取到传输数据以及传输数据对应的接口信息之后,识别传输数据中敏感数据,该敏感数据包括个人隐私数据、财务数据、经营数据以及企业隐私数据等等,可以构建正则匹配项,通过正则匹配的方式,识别传输数据中的敏感数据;再对敏感数据访问过程中所涉及的对应接口信息进行识别,从而得到关联应用接口。最后基于预设的采集策略,获取关联应用接口对应的无特征数据。其中,预设的采集策略包括基于用户标识配置进行数据采集、基于应用服务配置进行数据采集、基于应用接口进行数据采集、根据应用接口的字段进行数据采集、基于所配置的频率进行数据采集以及基于配置的单次数据采集量进行数据采集中至少一种数据采集方式。
其中,字节码增强技术,在Java字节码生成之后,根据Java字节码中定义的规则,对已经生成的Java字节码在JVM(Java虚拟机,Java Virtual Machine)加载的时候,进行动态修改,增加需要的字段或者是方法函数、或者继承实现新的类和接口等。这些动态增加的字段、或者方法函数、或者继承实现新的类和接口,都是增强的功能,增强的功能主要是指对方法函数的请求参数和返回结果进行自动提取的功能。其中,传输数据包括有不同类型的数据、用户标识信息比如用户账号、IP、mac、浏览器等,用户访问时间、访问接口、访问结果、访问数据以及访问次数等,有协议字段及内容数据,如http和RPC(远程过程调用,Remote Procedure Call)协议字段名称、字段中对应的信息;有应用传输中有用户标识、访问时间、访问接口、访问协议、协议中所有字段、请求数据和响应数据等等。
S2:获取预设数据标签以及用户访问的URL,并将用户访问的URL以及预设数据标签与关联信息进行匹配处理,以获取目标应用接口以及目标应用接口对应的无特征数据,且将目标应用接口对应的无特征数据标记为目标数据。
具体的,通过获取预设数据标签以及用户访问的URL,将用户访问的URL与关联应用接口进行匹配,获取目标应用接口,将预设数据标签与关联应用接口对应的无特征数据进行匹配,得到目标应用接口对应的无特征数据,且将目标应用接口对应的无特征数据标记为目标数据。
请参阅图3,图3示出了步骤S2的一种具体实施方式,详叙如下:
S21:获取预设数据标签以及用户访问的URL。
S22:对用户访问的URL进行分割,得到分割结果,并基于分割结果与关联应用接口进行匹配,得到目标应用接口。
S23:基于预设数据标签,将关联应用接口对应的无特征数据关联至目标应用接口,得到目标应用接口对应的无特征数据,且将目标应用接口对应的无特征数据标记为目标数据。
具体的,获取预设数据标签以及用户访问的URL,并对用户访问的URL进行分割,得到访问URL路径,该访问URL路径是指访问URL信息中的指定位置的信息。例如根据“//”从访问的URL中分离出协议信息,以访问的URL为‘https://主机:端口/system/user/getPage’作为示例,本示例中为https,再根据“/”分割url得出‘主机、端口和/system/user/getPage’,其中‘/system/user/getPage’为路径。再对访问URL路径进行分割,得到有序数组。例如将路径/system/user/getPage再根据“/”逐级分割成/system、/user、/getPage,得到有序数组A,由此得到有序数组。同时,本申请实施例采用同样的方式对关联应用接口进行分割,得到关联应用结果有序数组。再将有序数组与关联应用结果有序数组进行匹配,从而得到目标应用接口。该匹配过程为遍历有序数组,并将有序数组与关联应用结果有序数组相同位置的值进行对比,以确定用户访问的URL所匹配成功的API接口,并将该API接口进行标记,得到目标应用接口。然后基于预设数据标签,将关联应用接口对应的无特征数据关联至目标应用接口,得到目标应用接口对应的无特征数据。该关联过程为将用户访问的URL对应的字段与目标应用接口对应的字段进行关联,然后将预设的数据标签中关于用户访问的URL对应的字段所对应的数据标签关联至目标应用接口对应的字段,从而得到目标应用接口对应的无特征数据。其中,预设的数据标签包括数据标识、数据分类、数据分级等。
S3:基于用户发起的请求信息,创建目标数据中的追踪标识,并基于追踪标识将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
具体的,根据用户发起的请求,创建能够代表一次完整请求链路的追踪标识。该追踪标识具有全局性,并且具有唯一性,在同一个完整请求链路中,追踪标识不随着节点的增加而发生叠加。再基于追踪标识将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
请参阅图4,图4示出了步骤S3的一种具体实施方式,详叙如下:
S31:基于用户发起的请求信息,创建目标数据中的追踪标识。
S32:识别目标数据中与追踪标识相同的节点,作为目标节点。
S33:从目标数据中提取目标节点的上下文信息,并基于上下文信息构建父节点编号和当前节点编号。
S34:基于当前节点编号和父节点编号,将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
具体的,在用户发起的请求信息中,用户每次访问应用客户端时都会生成一个全局唯一的标识,这个标识即为追踪标识,用这个追踪标识来标识用户的某一次访问,用户的一次访问可能会涉及到多个服务即多个进程的情况中的多个方法接口函数,多个服务之间传递的数据一般分为头部和身体部分,就像http有头部和身体部分,RocketMQ也有MessageHeader,Message Body , 身体部分一般放着业务数据,RocketMQ 是一个队列模型的消息中间件,在用户访问下一个服务的时候,会将这个全局唯一的追踪标识,还有当前节点的上下文关系信息放在通讯数据的头部,传递给下一个服务,每处理完一个服务就会将这个服务下的所有接口函数信息上传到数据接收处汇总数据。本申请实施例在创建追踪标识后,再识别目标数据中与追踪标识相同的节点,作为目标节点,从目标数据中提取目标节点的上下文信息,并基于上下文信息构建父节点编号和当前节点编号。由于上下文信息是基于节点访问的顺序生成的,上下文信息包括父节点和当前节点,所以根据上下文信息创建父节点编号和当前节点编号,该父节点编号和当前节点编号随着调用的增加而进行叠加,从而将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
请参阅图5,图5示出了步骤S34的一种具体实施方式,详叙如下:
S341:基于节点访问顺序,将上下文信息进行排序,得到排序结果。
S342:基于排序结果,将当前节点编号和父节点编号进行叠加,以使得目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
具体的,根据目标数据中的节点访问顺序,将上下文信息进行排序,得到排序结果。由于当前节点编号和父节点编号是随着调用的增加而进行叠加,所以根据排序结果,将当前节点编号和父节点编号进行叠加,其链路标识也会随着上下文信息进行传输,从而将各节点与整个链路关联串接起来。
在一具体示例中,节点 (链路ID(2fa91f5cf3941171),父节点编号(0),当前节点编号(1))、节点(链路ID (2fa 91f5cf3941171) ,父节点编号 (1) ,当前节点编号 (2))、节点 (链路ID( 2 f a 9 1 f 5 c f 3 9 4 1 1 7 1 ) ,父 节点 编号 ( 2 ) ,当 前 节点 编号 ( 3 ) ) 、节点 (链路 I D(2fa91f5cf3941171),父节点编号(3),当前节点编号(4))……所以通过当前节点编号和父节点编号进行叠加,以使得目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
S4:通过探针方式,采集链路信息上的调用信息,并将调用信息按照信息类别存储于预设数据库中。
具体的,上述步骤已经构建了目标数据对应的链路信息,所以通过预设部署在各个节点上探针,也即由于链路信息也是有各个节点组合而成的,所以该链路信息上也部署有对应探针,通过该探针调用链路信息上的调用信息。其中,调用信息包括链路标识、节点编号、父节点编号、节点名称、调用开始时间、调用结束时间等。然后将调用信息进行按照信息类别存储于预设数据库中。
请参阅图6,图6示出了步骤S4的一种具体实施方式,详叙如下:
S41:通过预先部署在链路信息中的探针,采集链路信息上的调用信息。
S42:通过HTTP接口传输数据方式,将调用信息传输至链路收集器中,并在链路收集器中按照信息类别,将调用信息进行分类整合处理,得到处理后的调用信息。
S43:将处理后的调用信息存储于预设数据库中。
具体的,通过预先部署在链路信息中的探针,采集链路信息上的调用信息,再通过HTTP接口传输数据方式,将调用信息传输至链路收集器中。其中,HTTP接口传输数据方式是指根据超文本传输协议HTTP的数据传输,包括GET函数获取资源、POST函数传输实体主体以及PUT函数传输文件等等。然后再链路收集器中按照信息类别,将调用信息进行分类整合处理,得到处理后的调用信息。其中,信息类别包括调用时间范围、节点名称以及用户账号等类别。最后将处理后的调用信息存储于预设数据库中,该预设数据库可以为MySQL数据库、H2数据库等。
S5:采集用户访问行为日志,并基于用户访问行为日志,从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果。
请参阅图7,图7示出了步骤S5的一种具体实施方式,详叙如下:
S51:采集用户访问行为日志,并对用户访问行为日志进行解析,得到用户ID和SQL语句。
S52:基于用户ID以及SQL语句,构建定位信息。
S53:根据定位信息从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果。
具体的,通过在应用服务上获取用户访问行为日志,并对用户行为日志进行解析,从而整合出用户ID和数据库访问语句(SQL语句),然后根据基于用户ID以及SQL语句,构建定位信息,其中,定位信息包括用户ID、应用、数据库及数据间四层关联,再根据定位信息从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果,其中,数据追溯结果包括用户账号、IP、时间、应用接口、访问链路、数据库/表/字段以及查询语句等信息。
本实施例,采集应用服务的传输数据以及传输数据对应的接口信息,并基于传输数据以及接口信息,获取关联信息,其中,关联信息包括关联应用接口以及关联应用接口对应的无特征数据;获取预设数据标签以及用户访问的URL,并将用户访问的URL以及预设数据标签与关联信息进行匹配处理,以获取目标应用接口以及目标应用接口对应的无特征数据,且将目标应用接口对应的无特征数据标记为目标数据,其中,目标数据中包括用户发起的请求信息;基于用户发起的请求信息,创建目标数据中的追踪标识,并基于追踪标识将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息;通过探针方式,采集链路信息上的调用信息,并将调用信息按照信息类别存储于预设数据库中;采集用户访问行为日志,并基于用户访问行为日志,从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果。本发明实施例通过采集应用服务的传输数据以及传输数据对应的接口信息,并基于传输数据以及接口信息,获取关联信息,再匹配关联信息,以获取目标数据,实现了全面获取无特征数据,同时通过创建追踪标识,并基于追踪标识将目标数据中的节点与链路进行串联,得到链路信息,然后再链路信息上采集调用信息,并基于调用信息进行数据追溯,实现对无特征数据进行精准分析,从而对无特征数据进行全流转路径的追溯,有利于提高无特征数据路径追溯的精准度。
请参考图8,作为对上述图1所示方法的实现,本申请提供了一种无特征数据的路径追溯装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图8所示,本实施例的无特征数据的路径追溯装置包括:传输数据采集模块61、目标数据获取模块62、链路信息生成模块63、调用信息采集模块64及追溯结果生成模块65,其中:
传输数据采集模块61,用于采集应用服务的传输数据以及传输数据对应的接口信息,并基于传输数据以及接口信息,获取关联信息,其中,关联信息包括关联应用接口以及关联应用接口对应的无特征数据;
目标数据获取模块62,用于获取预设数据标签以及用户访问的URL,并将用户访问的URL以及预设数据标签与关联信息进行匹配处理,以获取目标应用接口以及目标应用接口对应的无特征数据,且将目标应用接口对应的无特征数据标记为目标数据;
链路信息生成模块63,用于基于用户发起的请求信息,创建目标数据中的追踪标识,并基于追踪标识将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息;
调用信息采集模块64,用于通过探针方式,采集链路信息上的调用信息,并将调用信息按照信息类别存储于预设数据库中;
追溯结果生成模块65,用于采集用户访问行为日志,并基于用户访问行为日志,从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果。
进一步的,传输数据采集模块61包括:
数据采集单元,用于通过字节码增强技术,采集应用服务的传输数据以及传输数据对应的接口信息;
关联应用接口识别单元,用于识别传输数据中的敏感数据,并获取敏感数据对应的接口信息,作为关联应用接口;
无特征数据获取单元,用于基于预设的采集策略,获取关联应用接口对应的无特征数据。
进一步的,目标数据获取模块62包括:
数据标签获取单元,用于获取预设数据标签以及用户访问的URL;
目标应用接口获取单元,用于对用户访问的URL进行分割,得到分割结果,并基于分割结果与关联应用接口进行匹配,得到目标应用接口;
目标数据标记单元,用于基于预设数据标签,将关联应用接口对应的无特征数据关联至目标应用接口,得到目标应用接口对应的无特征数据,且将目标应用接口对应的无特征数据标记为目标数据。
进一步的,链路信息生成模块63包括:
追踪标识创建单元,用于基于用户发起的请求信息,创建目标数据中的追踪标识;
目标节点识别单元,用于识别目标数据中与追踪标识相同的节点,作为目标节点;
节点编号构建单元,用于从目标数据中提取目标节点的上下文信息,并基于上下文信息构建父节点编号和当前节点编号;
节点串联单元,用于基于当前节点编号和父节点编号,将目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
进一步的,节点串联单元包括:
排序结果生成子单元,用于基于节点访问顺序,将上下文信息进行排序,得到排序结果;
节点编号叠加子单元,用于基于排序结果,将当前节点编号和父节点编号进行叠加,以使得目标数据中的节点与链路进行串联,得到目标数据对应的链路信息。
进一步的,调用信息采集模块64包括:
调用信息采集单元,用于通过预先部署在链路信息中的探针,采集链路信息上的调用信息;
分类整合处理单元,用于通过HTTP接口传输数据方式,将调用信息传输至链路收集器中,并在链路收集器中按照信息类别,将调用信息进行分类整合处理,得到处理后的调用信息;
调用信息存储单元,用于将处理后的调用信息存储于预设数据库中。
进一步的,追溯结果生成模块65包括:
行为日志采集单元,用于采集用户访问行为日志,并对用户访问行为日志进行解析,得到用户ID和SQL语句;
定位信息构建单元,用于基于用户ID以及SQL语句,构建定位信息;
链路信息识别单元,用于根据定位信息从预设数据库中的调用信息识别对应链路信息,得到数据追溯结果。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图9,图9为本实施例计算机设备基本结构框图。
计算机设备7包括通过系统总线相互通信连接存储器71、处理器72、网络接口73。需要指出的是,图中仅示出了具有三种组件存储器71、处理器72、网络接口73的计算机设备7,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器 (Digital Signal Processor,DSP)、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器71至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器71可以是计算机设备7的内部存储单元,例如该计算机设备7的硬盘或内存。在另一些实施例中,存储器71也可以是计算机设备7的外部存储设备,例如该计算机设备7上配备的插接式硬盘,智能存储卡(SmartMedia Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。当然,存储器71还可以既包括计算机设备7的内部存储单元也包括其外部存储设备。本实施例中,存储器71通常用于存储安装于计算机设备7的操作系统和各类应用软件,例如无特征数据的路径追溯方法的程序代码等。此外,存储器71还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器72在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制计算机设备7的总体操作。本实施例中,处理器72用于运行存储器71中存储的程序代码或者处理数据,例如运行上述无特征数据的路径追溯方法的程序代码,以实现无特征数据的路径追溯方法的各种实施例。
网络接口73可包括无线网络接口或有线网络接口,该网络接口73通常用于在计算机设备7与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序可被至少一个处理器执行,以使至少一个处理器执行如上述的一种无特征数据的路径追溯方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (6)

1.一种无特征数据的路径追溯方法,其特征在于,包括:
通过字节码增强技术,采集应用服务的传输数据以及所述传输数据对应的接口信息;
构建敏感数据对应的正则匹配项,通过正则匹配的方式,识别所述传输数据中的所述敏感数据,并对所述敏感数据访问过程中所涉及的对应接口信息进行识别,得到关联应用接口,并基于所述传输数据以及所述接口信息,获取关联信息,其中,所述关联信息包括关联应用接口以及所述关联应用接口对应的无特征数据;
基于预设的采集策略,获取所述关联应用接口对应的无特征数据;
获取预设数据标签以及用户访问的URL;
分别对所述用户访问的URL和所述关联应用接口进行分割,得到访问URL路径和关联应用结果有序数组,并对所述访问URL路径进行分割,得到有序数组;
遍历所述有序数组,并将所述有序数组与所述关联应用结果有序数组相同位置的值进行对比,以确定所述用户访问的URL所匹配成功的API接口,并将所述API接口进行标记,得到目标应用接口;
将所述用户访问的URL对应的字段与所述目标应用接口对应的字段进行关联,并获取所述预设数据标签中关于所述用户访问的URL对应的字段,作为目标字段,且将所述目标字段所对应的数据标签关联至所述目标应用接口对应的字段,得到所述目标应用接口对应的无特征数据,且将所述目标应用接口对应的无特征数据标记为目标数据,其中,所述目标数据中包括用户发起的请求信息,所述预设数据标签包括数据标识、数据分类以及数据分级;
基于所述用户发起的请求信息,创建所述目标数据中的追踪标识,并基于所述追踪标识将所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息;
通过预先部署在所述链路信息中的探针,采集所述链路信息上的调用信息;
通过HTTP接口传输数据方式,将所述调用信息传输至链路收集器中,并在所述链路收集器中按照信息类别,将所述调用信息进行分类整合处理,得到处理后的调用信息,其中,HTTP接口传输数据方式是指根据超文本传输协议HTTP的数据传输,包括GET函数获取资源、POST函数传输实体主体以及PUT函数传输文件,所述信息类别包括调用时间范围、节点名称以及用户账号;
将所述处理后的调用信息存储于预设数据库中;
采集用户访问行为日志,并对所述用户访问行为日志进行解析,得到用户ID和SQL语句;
基于所述用户ID以及所述SQL语句,构建定位信息,其中,定位信息包括所述用户ID、应用、数据库及数据间四层关联;
根据所述定位信息从所述预设数据库中的所述调用信息识别对应链路信息,得到数据追溯结果,其中,数据追溯结果包括用户账号、IP、时间、应用接口、访问链路、数据库/表/字段以及查询语句。
2.根据权利要求1所述的无特征数据的路径追溯方法,其特征在于,所述基于所述用户发起的请求信息,创建所述目标数据中的追踪标识,并基于所述追踪标识将所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息,包括:
基于所述用户发起的请求信息,创建所述目标数据中的追踪标识;
识别所述目标数据中与所述追踪标识相同的节点,作为目标节点;
从所述目标数据中提取所述目标节点的上下文信息,并基于所述上下文信息构建父节点编号和当前节点编号;
基于所述当前节点编号和所述父节点编号,将所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息。
3.根据权利要求2所述的无特征数据的路径追溯方法,其特征在于,所述基于所述当前节点编号和所述父节点编号,将所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息,包括:
基于节点访问顺序,将所述上下文信息进行排序,得到排序结果;
基于所述排序结果,将所述当前节点编号和所述父节点编号进行叠加,以使得所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息。
4.一种无特征数据的路径追溯装置,其特征在于,包括:
数据采集模块,用于通过字节码增强技术,采集应用服务的传输数据以及所述传输数据对应的接口信息;
关联应用接口识别模块,用于构建敏感数据对应的正则匹配项,通过正则匹配的方式,识别所述传输数据中的所述敏感数据,并对所述敏感数据访问过程中所涉及的对应接口信息进行识别,得到关联应用接口,并基于所述传输数据以及所述接口信息,获取关联信息,其中,所述关联信息包括关联应用接口以及所述关联应用接口对应的无特征数据;
无特征数据获取模块,用于基于预设的采集策略,获取所述关联应用接口对应的无特征数据;
数据标签获取模块,用于获取预设数据标签以及用户访问的URL;
目标应用接口获取模块,用于分别对所述用户访问的URL和所述关联应用接口进行分割,得到访问URL路径和关联应用结果有序数组,并对所述访问URL路径进行分割,得到有序数组;
目标数据标记模块,用于遍历所述有序数组,并将所述有序数组与所述关联应用结果有序数组相同位置的值进行对比,以确定所述用户访问的URL所匹配成功的API接口,并将所述API接口进行标记,得到目标应用接口;
目标数据获取模块,用于将所述用户访问的URL对应的字段与所述目标应用接口对应的字段进行关联,并获取所述预设数据标签中关于所述用户访问的URL对应的字段,作为目标字段,且将所述目标字段所对应的数据标签关联至所述目标应用接口对应的字段,得到所述目标应用接口对应的无特征数据,且将所述目标应用接口对应的无特征数据标记为目标数据,其中,所述目标数据中包括用户发起的请求信息,所述预设数据标签包括数据标识、数据分类以及数据分级;
链路信息生成模块,用于基于所述用户发起的请求信息,创建所述目标数据中的追踪标识,并基于所述追踪标识将所述目标数据中的节点与链路进行串联,得到所述目标数据对应的链路信息;
调用信息采集模块,用于通过预先部署在所述链路信息中的探针,采集所述链路信息上的调用信息;
调用信息采集模块,用于通过HTTP接口传输数据方式,将所述调用信息传输至链路收集器中,并在所述链路收集器中按照信息类别,将所述调用信息进行分类整合处理,得到处理后的调用信息,其中,HTTP接口传输数据方式是指根据超文本传输协议HTTP的数据传输,包括GET函数获取资源、POST函数传输实体主体以及PUT函数传输文件,所述信息类别包括调用时间范围、节点名称以及用户账号;
调用信息存储模块,用于将所述处理后的调用信息存储于预设数据库中;
行为日志采集模块,用于采集用户访问行为日志,并对所述用户访问行为日志进行解析,得到用户ID和SQL语句;
定位信息构建模块,用于基于所述用户ID以及所述SQL语句,构建定位信息,其中,定位信息包括所述用户ID、应用、数据库及数据间四层关联;
链路信息识别单元,用于根据所述定位信息从所述预设数据库中的所述调用信息识别对应链路信息,得到数据追溯结果,其中,数据追溯结果包括用户账号、IP、时间、应用接口、访问链路、数据库/表/字段以及查询语句。
5.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的无特征数据的路径追溯方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的无特征数据的路径追溯方法。
CN202210745155.2A 2022-06-29 2022-06-29 无特征数据的路径追溯方法、装置、设备及存储介质 Active CN114817968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210745155.2A CN114817968B (zh) 2022-06-29 2022-06-29 无特征数据的路径追溯方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210745155.2A CN114817968B (zh) 2022-06-29 2022-06-29 无特征数据的路径追溯方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114817968A CN114817968A (zh) 2022-07-29
CN114817968B true CN114817968B (zh) 2022-10-14

Family

ID=82523474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210745155.2A Active CN114817968B (zh) 2022-06-29 2022-06-29 无特征数据的路径追溯方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114817968B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115426299B (zh) * 2022-10-20 2023-03-21 深圳红途科技有限公司 无特征数据标识方法、装置、计算机设备及存储介质
CN116346473B (zh) * 2023-03-29 2024-03-26 贝壳找房(北京)科技有限公司 调用链路的识别方法、设备、存储介质及计算机程序产品
CN116721134B (zh) * 2023-08-10 2023-10-10 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪系统及其方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107809346A (zh) * 2016-09-09 2018-03-16 太阳风环球有限责任公司 路由追踪节点和相关联的设备的标识
CN111784320A (zh) * 2020-07-27 2020-10-16 支付宝(杭州)信息技术有限公司 数据的关联方法、装置和电子设备
CN112115023A (zh) * 2020-09-02 2020-12-22 厦门安胜网络科技有限公司 一种用于数据链路的获取方法和系统
CN112448969A (zh) * 2019-08-29 2021-03-05 北京京东尚科信息技术有限公司 链路追踪方法、装置、系统、设备及可读存储介质
CN113360800A (zh) * 2021-06-03 2021-09-07 深圳红途科技有限公司 无特征数据处理方法、装置、计算机设备及存储介质
CN113360799A (zh) * 2021-06-03 2021-09-07 深圳红途科技有限公司 访问行为日志采集方法、装置、计算机设备及存储介质
CN114117311A (zh) * 2022-01-25 2022-03-01 深圳红途科技有限公司 数据访问风险检测方法、装置、计算机设备及存储介质
CN114649033A (zh) * 2020-12-17 2022-06-21 美光科技公司 用于异构存储器技术的存储器系统架构

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244961A (ja) * 2001-02-19 2002-08-30 Nec System Technologies Ltd アクセス経路情報取得方法、トラッキングサーバプログラム及びコンピュータ
JP2016031733A (ja) * 2014-07-30 2016-03-07 富士通株式会社 推論容易性算出プログラム、装置、及び方法
CN111431773B (zh) * 2020-05-18 2022-01-28 江苏电力信息技术有限公司 一种基于OpenTracing的链路跟踪方法
CN112711496A (zh) * 2020-12-31 2021-04-27 杭州未名信科科技有限公司 日志信息全链路追踪方法、装置、计算机设备和存储介质
CN112738137B (zh) * 2021-03-30 2021-06-11 深圳红途创程科技有限公司 数据采集和链路处理方法、装置、计算机设备及存储介质
CN113760647A (zh) * 2021-04-15 2021-12-07 北京京东乾石科技有限公司 Sql的追踪方法、装置、设备、系统及存储介质
CN113839952B (zh) * 2021-09-27 2023-07-14 深信服科技股份有限公司 一种日志访问关系的威胁追踪方法、装置及电子设备
CN114201513A (zh) * 2021-12-09 2022-03-18 兴业银行股份有限公司 全链路追踪服务适配方法及系统
CN114422564A (zh) * 2022-01-18 2022-04-29 深圳红途科技有限公司 访问数据审计溯源方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107809346A (zh) * 2016-09-09 2018-03-16 太阳风环球有限责任公司 路由追踪节点和相关联的设备的标识
CN112448969A (zh) * 2019-08-29 2021-03-05 北京京东尚科信息技术有限公司 链路追踪方法、装置、系统、设备及可读存储介质
CN111784320A (zh) * 2020-07-27 2020-10-16 支付宝(杭州)信息技术有限公司 数据的关联方法、装置和电子设备
CN112115023A (zh) * 2020-09-02 2020-12-22 厦门安胜网络科技有限公司 一种用于数据链路的获取方法和系统
CN114649033A (zh) * 2020-12-17 2022-06-21 美光科技公司 用于异构存储器技术的存储器系统架构
CN113360800A (zh) * 2021-06-03 2021-09-07 深圳红途科技有限公司 无特征数据处理方法、装置、计算机设备及存储介质
CN113360799A (zh) * 2021-06-03 2021-09-07 深圳红途科技有限公司 访问行为日志采集方法、装置、计算机设备及存储介质
CN114117311A (zh) * 2022-01-25 2022-03-01 深圳红途科技有限公司 数据访问风险检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN114817968A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114817968B (zh) 无特征数据的路径追溯方法、装置、设备及存储介质
CN112162965B (zh) 一种日志数据处理的方法、装置、计算机设备及存储介质
CN112491602A (zh) 行为数据的监控方法、装置、计算机设备及介质
CN111078776A (zh) 数据表的标准化方法、装置、设备及存储介质
CN105426759A (zh) Url的合法性识别方法及装置
CN111859076B (zh) 数据爬取方法、装置、计算机设备及计算机可读存储介质
CN114244611B (zh) 异常攻击检测方法、装置、设备及存储介质
US20210174221A1 (en) Natural language processing and machine learning assisted cataloging and recommendation engine
CN112232881A (zh) 一种数据检测方法、装置、电子设备及存储介质
CN112181835A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN114528457A (zh) Web指纹检测方法及相关设备
CN114493255A (zh) 基于知识图谱的企业异常监控方法及其相关设备
CN114218110A (zh) 财务数据的对账测试方法、装置、计算机设备及存储介质
CN112328486A (zh) 接口自动化测试方法、装置、计算机设备及存储介质
CN115794437A (zh) 微服务的调用方法、装置、计算机设备及存储介质
CN112860662B (zh) 自动化生产数据血缘关系建立方法、装置、计算机设备及存储介质
CN111797297B (zh) 页面数据处理方法、装置、计算机设备及存储介质
CN111767161A (zh) 远程调用深度识别方法、装置、计算机设备及可读存储介质
CN115291762A (zh) 业务项目的触发方法及装置、存储介质、计算机设备
CN115858320A (zh) 操作日志记录方法、装置、介质及产品
CN115544558A (zh) 敏感信息检测方法、装置、计算机设备及存储介质
CN111045983B (zh) 核电站电子文件管理方法、装置、终端设备及介质
CN114201376A (zh) 基于人工智能的日志解析方法、装置、终端设备及介质
CN108021696B (zh) 一种数据关联分析方法及系统
CN114765599A (zh) 子域名采集方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant