CN114422564A

CN114422564A - 访问数据审计溯源方法、装置、计算机设备及存储介质

Info

Publication number: CN114422564A
Application number: CN202210052524.XA
Authority: CN
Inventors: 董伟杰; 刘小龙
Original assignee: Shenzhen Hongtu Technology Co ltd
Current assignee: Shenzhen Hongtu Technology Co ltd
Priority date: 2022-01-18
Filing date: 2022-01-18
Publication date: 2022-04-29

Abstract

本发明实施例公开了访问数据审计溯源方法、装置、计算机设备及存储介质。所述方法包括：识别并采集访问数据；对所述访问数据进行处理，以得到处理结果；对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志；获取待溯源数据；根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路。通过实施本发明实施例的方法可实现从用户到应用系统再到数据库的全链路日志记录，日志内可记录所有细节，可精准快速地进行溯源工作，不会出现审计环节缺失以及日志断层问题。

Description

访问数据审计溯源方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据审计溯源方法，更具体地说是指访问数据审计溯源方法、装置、计算机设备及存储介质。

背景技术

在较为常见的信息系统中，大部分业务系统服务模式基本采用浏览器-应用系统-数据库的三层架构方式设计，用户通过浏览器操作应用系统进行数据的写入或者读取，在这个过程中，不同的用户登录应用系统，应用系统能够审计记录相关的登录登出和操作信息，但从数据库审计角度来讲，仅仅能够审计到应用系统对数据库的访问记录，无法具体到某个用户；而从用户来看，操作对象为相关应用系统，具体操作了哪个数据库，同样无法知晓。用户-应用系统-数据库三层架构无法建立完整的访问关系，无法进行精确、快速的溯源工作，同时在相对复杂的系统中，应用系统之间涉及大量调用访问关系，如果仅仅依赖应用系统自身日志记录，容易也必然出现审计环节缺失以及日志断层问题。

因此，有必要设计一种新的方法，实现从用户到应用系统再到数据库的全链路日志记录，可精准快速地进行溯源工作，不会出现审计环节缺失以及日志断层问题。

发明内容

本发明的目的在于克服现有技术的缺陷，提供访问数据审计溯源方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：访问数据审计溯源方法，包括：

识别并采集访问数据；

对所述访问数据进行处理，以得到处理结果；

对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志；

获取待溯源数据；

根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路。

其进一步技术方案为：所述识别并采集访问数据，包括：

采用代码插桩方式识别并采集所插入的相关方法和位置的读写数据，以得到访问数据。

其进一步技术方案为：所述访问数据包括应用系统数据传输协议、访问接口、接口访问参数、访问方法、数据库连接协议、数据库表以及数据库字段中至少一个。

其进一步技术方案为：所述对所述访问数据进行处理，以得到处理结果，包括；

对所述访问数据按照指定的格式进行格式化处理，以得到处理结果。

其进一步技术方案为：所述对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志，包括：

对所述处理结果根据应用系统、服务、接口之间相互调用的访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志。

其进一步技术方案为：所述根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路，包括：

将所述待溯源数据作为查询条件，在所述访问链路日志进行关键词查询，确定所述待溯源数据所在的位置，并根据所述待溯源数据所在的位置筛选出所述待溯源数据的相关链路。

本发明还提供了访问数据审计溯源装置，包括：

采集单元，用于识别并采集访问数据；

处理单元，用于对所述访问数据进行处理，以得到处理结果；

日志生成单元，用于对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志；

数据获取单元，用于获取待溯源数据；

查询单元，用于根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路。

其进一步技术方案为：所述采集单元，用于采用代码插桩方式识别并采集所插入的相关方法和位置的读写数据，以得到访问数据。

本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明与现有技术相比的有益效果是：本发明通过代码插桩技术识别并采集访问数据，并对访问数据进行处理，且结合分布式链路跟踪技术生成访问链路信息，生成访问链路日志，当需要进行数据待溯源时，根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路，实现从用户到应用系统再到数据库的全链路日志记录，日志内可记录所有细节，可精准快速地进行溯源工作，不会出现审计环节缺失以及日志断层问题。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的访问数据审计溯源方法的应用场景示意图；

图2为本发明实施例提供的访问数据审计溯源方法的流程示意图；

图3为本发明实施例提供的访问数据审计溯源装置的示意性框图；

图4为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的访问数据审计溯源方法的应用场景示意图。图2为本发明实施例提供的访问数据审计溯源方法的示意性流程图。该访问数据审计溯源方法应用于服务器中。可在互联网、运营商、数据安全等行业推广应用过程中，该服务器与终端进行数据交互，其中，服务器识别并采集访问数据，并依据该访问数据构建数据流转链路并形成相关日志记录，能够实现从用户到应用系统再到数据库的全链路日志记录，当需要进行审计溯源时，从终端获取待溯源数据，依据生成的访问链路日志进行相关链路的查询，在完整日志记录的前提下实现一键快速审计溯源。在本实施例中，应用系统内置于服务器内。

图2是本发明实施例提供的访问数据审计溯源方法的流程示意图。如图2 所示，该方法包括以下步骤S110至S150。

S110、识别并采集访问数据。

在本实施例中，所述访问数据包括应用系统数据传输协议、访问接口、接口访问参数、访问方法、数据库连接协议、数据库表以及数据库字段中至少一个。

具体地，采用代码插桩方式识别并采集所插入的相关方法和位置的读写数据，以得到访问数据。

利用AOP(面向切面编程，Aspect Oriented Programming)的编程思想，采用代码插桩方式在程序运行时，动态地将代码切入到类的指定方法、指定位置上，从而获取相关方法、位置的读写数据。采用代码插桩方法，能够获取应用系统的相关代码的代码级实现方法及接口访问信息，明确其访问对象和传输数据。

S120、对所述访问数据进行处理，以得到处理结果。

在本实施例中，处理结果是指将访问数据按照不同内容不同格式的方式进行格式化处理，以形成标准的日志数据源，以便于通过特定协议上传到服务器的管理端。

具体地，用户通过浏览器或中间件访问应用系统时，代码插桩技术会发现、识别并采集对应的访问数据，并由服务器进行处理后，比如访问数据为方法、对象和数据时，进行数据格式化，形成who、when、where、what以及how的格式，并根据特定协议传递至服务器的管理端。

具体地，为获取完整的访问数据，需要在应用系统上安装客户端代理，客户端代理的形态采用jar包方式。服务器的管理平台即管理端采用C/S方式集中管理客户端代理，客户端代理随着应用系统加载而启动，启动完毕后会自动采集系统的数据信息，此过程无需人工进行干预。客户端代理工作在JVM层，可实现底层数据获取识别及分析。其可识别内容十分丰富，如应用系统数据传输协议、访问接口、接口访问参数、访问方法、数据库连接协议、数据库表、数据库字段等。通过对上述信息的获取，用户所有围绕应用系统的操作均能被一一记录。除了进行本地数据发现、分析外，还支持数据上传功能，可根据配置文件或者服务器的管理平台定义的策略，将本地识别的内容即访问数据格式化特定格式后上传到服务器的管理平台，为降低因上传数据导致的网络流量压力，可灵活定义数据压缩率及上传时间。

S130、对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志。

在本实施例中，访问链路日志是指整个访问过程所涉及的链路，日志内包括操作的终端、具体到对哪个位置的哪个内容进行访问和操作等细节。

具体地，对所述处理结果根据应用系统、服务、接口之间相互调用的访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志。

通过代码插桩方式可确定应用系统中所有方法及数据的全部访问信息，通过访问关系自动梳理后可形成完整的和无间断的访问链路信息。访问链路主要借助于分布式链路跟踪技术。对于分布式链路跟踪技术而言，trace是请求在分布式系统中的整个链路视图，span则代表整个链路中不同服务内部的视图，span 组合在一起就是整个trace的视图，在整个请求的调用链中，请求会一直携带 traceid下游服务传递，每个服务内部也会生成自己的spanid于生成自己的内部调用视图，并和traceid一起传递给下游服务；traceid在请求的整个调用链中始终保持不变，所以在访问链路日志中可以通过traceid查询到整个请求期间系统记录下来的所有日志；请求到达每个服务后，服务都会为请求生成spanid，而随请求一起从上游传过来的上游服务的spanid会被记录成parent-spanid；当前服务生成的spanid随着请求一起再传到下游服务时，这个spanid又会被下游服务当作parent-spanid记录。通过这种方式能够完整的还原出整个请求的调用链路视图。服务器管理平台可根据上述关系构建直观的文件访问链路，明确应用系统、服务、接口的相互调用访问关系，根据实际请求进行链路梳理，举个例子：访问链路日志可以为数据库：simenv，数据表：t_user，字段：p3——应用：ProA ——应用：maotai-ser-app——应用：maotai-client-app——应用：maotai-client-app。

S140、获取待溯源数据。

在本实施例中，待溯源数据是指由终端输入的需要进行审计溯源的相关内容。

S150、根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路。

具体地，将所述待溯源数据作为查询条件，在所述访问链路日志进行关键词查询，确定所述待溯源数据所在的位置，并根据所述待溯源数据所在的位置筛选出所述待溯源数据的相关链路。

操作人员可以依据文件访问链路梳理应用系统各个组件、模块的访问调用关系，并支持基于应用、接口、字段等内容的筛选。通过记录应用系统的操作行为、数据内容、数据库连接关系，可以实现全链路日志记录。

当进行数据溯源时，可通过终端输入相关数据要素进行溯源分析，举个例子：想查询某个应用系统中对字段值“13912345678”的所有访问行为，可将该值作为查询选项，这样系统中所有关于该数值的操作，均能进行溯源展示。

服务器的管理端及客户端代理构成了完整的、平行于应用系统的数据审计溯源系统。当客户端代理将本地数据上传后，从逻辑上与应用系统脱离关系，不影响应用系统正常使用，同时不占用相关计算资源。

本实施例的方法通过在应用系统安装客户端代理，采用代码插桩技术实现代码级方法的识别与数据采集，能够较为完整、全面的获取应用系统运行时的相关数据信息，为进行日志审计及溯源提供了可靠的数据支撑，同时采用分布式链路跟踪技术可较为便捷的勾画出应用系统数据访问关系及链路，提供直观的查看方式，在数据完整和链路完整的基础上，可实现较为便捷的一键溯源功能；数据完整、精确，保证可靠性；链路完整，支持多应用交叉调用记录；可有效解决链路缺失、要素不全问题。

上述的访问数据审计溯源方法，通过代码插桩技术识别并采集访问数据，并对访问数据进行处理，且结合分布式链路跟踪技术生成访问链路信息，生成访问链路日志，当需要进行数据待溯源时，根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路，实现从用户到应用系统再到数据库的全链路日志记录，日志内可记录所有细节，可精准快速地进行溯源工作，不会出现审计环节缺失以及日志断层问题。

图3是本发明实施例提供的一种访问数据审计溯源装置300的示意性框图。如图3所示，对应于以上访问数据审计溯源方法，本发明还提供一种访问数据审计溯源装置300。该访问数据审计溯源装置300包括用于执行上述访问数据审计溯源方法的单元，该装置可以被配置于服务器中。具体地，请参阅图3，该访问数据审计溯源装置300包括采集单元301、处理单元302、日志生成单元303、数据获取单元304以及查询单元305。

采集单元301，用于识别并采集访问数据；处理单元302，用于对所述访问数据进行处理，以得到处理结果；日志生成单元303，用于对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志；数据获取单元304，用于获取待溯源数据；查询单元305，用于根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路。

在一实施例中，所述采集单元301，用于采用代码插桩方式识别并采集所插入的相关方法和位置的读写数据，以得到访问数据。

在一实施例中，所述处理单元302，用于对所述访问数据按照指定的格式进行格式化处理，以得到处理结果。

在一实施例中，所述日志生成单元303，用于对所述处理结果根据应用系统、服务、接口之间相互调用的访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志。

在一实施例中，所述查询单元305，用于将所述待溯源数据作为查询条件，在所述访问链路日志进行关键词查询，确定所述待溯源数据所在的位置，并根据所述待溯源数据所在的位置筛选出所述待溯源数据的相关链路。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述访问数据审计溯源装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述访问数据审计溯源装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。

请参阅图4，图4是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器 504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种访问数据审计溯源方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种访问数据审计溯源方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：

识别并采集访问数据；对所述访问数据进行处理，以得到处理结果；对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志；获取待溯源数据；根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路。

在一实施例中，处理器502在实现所述识别并采集访问数据步骤时，具体实现如下步骤：

其中，所述访问数据包括应用系统数据传输协议、访问接口、接口访问参数、访问方法、数据库连接协议、数据库表以及数据库字段中至少一个。

在一实施例中，处理器502在实现所述对所述访问数据进行处理，以得到处理结果步骤时，具体实现如下步骤：

在一实施例中，处理器502在实现所述对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志步骤时，具体实现如下步骤：

在一实施例中，处理器502在实现所述根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路步骤时，具体实现如下步骤：

应当理解，在本申请实施例中，处理器502可以是中央处理单元302(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述识别并采集访问数据步骤时，具体实现如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述访问数据进行处理，以得到处理结果步骤时，具体实现如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志步骤时，具体实现如下步骤：

在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路步骤时，具体实现如下步骤：

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元302中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等) 执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.访问数据审计溯源方法，其特征在于，包括：

识别并采集访问数据；

对所述访问数据进行处理，以得到处理结果；

获取待溯源数据；

2.根据权利要求1所述的访问数据审计溯源方法，其特征在于，所述识别并采集访问数据，包括：

3.根据权利要求2所述的访问数据审计溯源方法，其特征在于，所述访问数据包括应用系统数据传输协议、访问接口、接口访问参数、访问方法、数据库连接协议、数据库表以及数据库字段中至少一个。

4.根据权利要求1所述的访问数据审计溯源方法，其特征在于，所述对所述访问数据进行处理，以得到处理结果，包括；

5.根据权利要求1所述的访问数据审计溯源方法，其特征在于，所述对所述处理结果根据访问关系采用分布式链路跟踪技术生成访问链路信息，以得到访问链路日志，包括：

6.根据权利要求1所述的访问数据审计溯源方法，其特征在于，所述根据所述待溯源数据查询所述访问链路日志，以生成所述待溯源数据的相关链路，包括：

7.访问数据审计溯源装置，其特征在于，包括：

采集单元，用于识别并采集访问数据；

数据获取单元，用于获取待溯源数据；

8.根据权利要求7所述的访问数据审计溯源装置，其特征在于，所述采集单元，用于采用代码插桩方式识别并采集所插入的相关方法和位置的读写数据，以得到访问数据。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。