CN113691423A - 数据流转路径的绘制方法、装置、存储介质及电子设备 - Google Patents
数据流转路径的绘制方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113691423A CN113691423A CN202111016082.5A CN202111016082A CN113691423A CN 113691423 A CN113691423 A CN 113691423A CN 202111016082 A CN202111016082 A CN 202111016082A CN 113691423 A CN113691423 A CN 113691423A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- traffic data
- flow
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种数据流转路径的绘制方法、装置、存储介质及电子设备,其中方法包括:采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;确定流量数据集合中涉及敏感信息的流量数据为目标流量数据;基于各目标流量数据的访问时间,从流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;目标流量数据的访问时间早于第一流量数据的访问时间;基于各目标流量数据以及与各目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。本申请中通过结合流转节点的节点属性,能够绘制出不同节点属性的流转路径,实现了绘制不同维度的数据流转路径图,由此能精确的绘制出数据的流转流向,便于展示。
Description
技术领域
本申请涉及数据安全分析技术领域,尤其涉及一种数据流转路径的绘制方法、装置、存储介质及电子设备。
背景技术
在针对流量进行数据安全分析和数据安全治理的过程中,数据流转路径的绘制至关重要。数据流转路径测绘的目的在于帮助使用者在海量动态流量数据中,快速了解数据的流向和流转路径,帮助使用者形成快速分析和治理能力。
在现有技术中,数据流转路径的绘制通常是利用源目IP关联法来直接进行测绘的,即通过客户端访问应用的目标IP,和应用访问数据库的源IP,进行匹配去重处理,从而形成单一维度的数据链路流转测绘。但是这种方法测绘颗粒度较大、测绘维度单一,由此无法精确的绘制出数据的流转流向。在面对海量数据时,测绘出的结果由于线性关联导致展示上无法控制而溢出,往往无法落地应用。
发明内容
有鉴于此,本发明提供了一种数据流转路径的绘制方法、装置、存储介质及电子设备,主要目的在于解决目前数据流转路径绘制过程中测绘颗粒度较大、无法精确的绘制出数据的流转流向的问题。
为解决上述问题,本申请提供一种数据流转路径的绘制方法,包括:
采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。
可选的,所述数据流转路径的绘制方法还包括:
创建与各应用对应的应用日志表;
实时采集访问目标服务器的应用所产生的流量数据;
将采集的所述流量数据存储在对应的应用日志表中,以基于各所述应用日志表获取预定时间段内访问目标服务器所产生的流量数据。
可选的,所述敏感信息包括如下任意一种或几种:身份证号、手机号以及银行卡号;
所述流量数据中包含如下任意一种或几种信息:目标应用名称、源网络地址、目的网络地址、目标访问接口名称、目标访问接口地址、源访问接口地址、访问时间、登录账户、访问的数据库名称、访问的列表名称。
可选的,所述节点属性信息包括如下任意一种或几种:应用名称、接口名称以及账号名称;
所述基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径,具体包括:
基于所述目标流量数据中的目的网络地址、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的应用名称,绘制与目标流量数据对应的、以应用为节点的第一路径图;
和/或,基于所述目标流量数据中的目标访问接口地址、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址以及数据流转的接口名称,绘制与目标流量对应的、以接口为节点的第二路径图;
和/或,基于所述目标流量数据中的账号名称、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的账号名称,绘制与目标流量数据对应的、以账号为节点的第三路径图。
可选的,所述基于所述目标流量数据中的目的网络地址、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的应用名称,绘制与目标流量数据对应的、以应用为节点的第一路径图,具体包括:
基于所述目标流量数据中的目标应用名称、目标流量数据中的目的网络地址、第一流量数据中的第一应用名称、第一流量数据中的源网络地址以及第一流量数据中的目的网络地址,确定目标应用直接访问和/或间接访问的目标第一应用;
建立所述目标应用与各所述目标第一应用的第一层级访问关系;
基于所述第一层级访问关系绘制与目标流量数据对应的、以应用为节点的第一路径图。
可选的,所述基于所述目标流量数据中的目标访问接口地址、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址以及数据流转的接口名称,绘制与目标流量对应的、以接口为节点的第二路径图,具体包括:
基于所述目标流量数据中的目标访问接口名称、目标流量数据中的目标访问接口地址、第一流量数据中的第一接口名称、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址,确定目标接口直接访问和/或间接访问的目标第一接口;
建立所述目标接口与各所述目标第一接口的第二层级访问关系;
基于所述第二层级访问关系绘制与目标流量数据对应的、以接口为节点的第二路径图。
可选的,所述基于所述目标流量数据中的账号名称、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的账号名称,绘制与目标流量对应的、以账号为节点的第三路径图,具体包括:
基于所述目标流量数据中的目标账号名称、目标流量数据中的目的网络地址、第一流量数据中的第一账号名称、第一流量数据中的源网络地址以及第一流量数据中的目的网络地址,确定目标账号直接访问和/或间接访问的目标第一账号;
建立所述目标账号与各所述目标第一账号的第三层级访问关系;
基于所述第三层级访问关系绘制与目标流量对应的、以账号为节点的第三路径图。
可选的,所述数据流转路径的绘制方法还包括:
基于各目标流量数据中携带的敏感信息的类型、敏感信息的类型与标签类型的对应关系为各所述目标流量数据添加标签;
基于各所述目标流量数据的标签类型,对与各所述目标流量数据对应的第一路径图、第二路径图以及第三路径图中的一种或几种进行标记。
可选的,所述数据流转路径的绘制方法还包括:
基于所述标签类型,将属于同一标签类型的第一路径图进行合并;
和/或,基于所述标签类型,将属于同一标签类型的第二路径图进行合并;
和/或,基于所述标签类型,将属于同一标签类型的第三路径图进行合并。
为解决上述技术问题,本申请提供一种数据流转路径的绘制装置,包括:
采集模块,用于采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
确定模块,用于确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
筛选模块,用于基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
绘制模块,用于基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。
为解决上述技术问题,本申请提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述数据流转路径的绘制方法的步骤。
为解决上述技术问题,本申请提供一种电子设备,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述数据流转路径的绘制方法的步骤。
本申请中的数据流转路径的绘制方法、装置、存储介质和电子设备,通过结合流转节点的节点属性,能够绘制出不同节点属性的流转路径,实现了绘制不同维度的数据流转路径图,由此能够精确的绘制出数据的流转流向,并且便于展示。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例一种数据流转路径的绘制方法的流程图;
图2为本申请实施例中以应用为节点的数据流转路径绘制的原理图;
图3为本申请实施例以应用为节点的数据流转路径图;
图4为本申请实施例以接口为节点的数据流转路径图;
图5为本申请实施例以接口为节点的数据流转路径的示意图;
图6为本申请实施例以账号为节点的数据流转路径图;
图7为本申请又一实施例经过合并处理后的以应用为节点的数据流转路径图;
图8为本申请又一实施例经过合并处理后的以接口为节点的数据流转路径图;
图9为本申请又一实施例经过合并处理后的以账号为节点的数据流转路径图;
图10为本申请实施中第三方服务平台的工作流程图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式。
当结合附图时,鉴于以下详细说明,本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例;然而,应当理解,所申请的实施例仅仅是本申请的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请实施例提供一种数据流转路径的绘制方法,具体可以应用于第三方服务平台中,该第三方服务平台通过与企业服务器通信连接,能够实时采集获得终端设备在访问服务器时所产生的流量数据,由此获得流量数据集合,然后第三方服务平台可以根据采集获得的流量数据集合来对敏感信息流经流向和流转路径进行绘制。具体如图1所示,包括如下步骤:
步骤S101,采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
本步骤中,目标服务器设置有若干应用APP,第三方服务平台可以根据目标服务器设置的应用APP来预先创建与各应用对应的应用日志表。这样当客户端访问目标服务器的应用而产生流量数据时,第三方服务平台就可以采集该流量数据,并将采集的所述流量数据存储在对应的应用日志表中。这样后续在进行数据流转路径绘制时,就可以基于各所述应用日志表获取预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合,然后基于获得的流量数据集合完成一次数据流转路径的测绘任务。
步骤S102,确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
本步骤中敏感信息包括如下任意一种或几种:身份证号、手机号以及银行卡号。所述流量数据中包含如下任意一种或几种信息:目标应用名称、源网络地址、目的网络地址、目标访问接口名称、目标访问接口地址、源访问接口地址、访问时间、登录账户、访问的数据库名称、访问的列表名称。即本申请中当某个流量数据中包含有身份证号、手机号或者银行卡号时,则可以认为该流量数据中涉及敏感数据,因此可以将该流量数据确定为目标流量数据。本步骤在具体实施过程中,由于客户端向应用访问数据时,应用会向数据库请求获取对应的数据,由此可以以数据库为起点,检测数据库流出的敏感信息,然后根据敏感信息的流向来确定流量集合中对应的流量数据为目标流量数据。
步骤S103,基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
本步骤中,当确定了目标流量数据之后,就可以根据目标流量数据的访问时间,从流量数据集合中筛选出访问时间晚于目标流量数据的流量数据为第一流量数据,为后续基于目标流量数据以及与目标流量数据对应的第一流量数据来绘制敏感信息流向流转路径图奠定了基础。
步骤S104,基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。
本步骤中,节点属性信息包括如下任意一种或几种:应用名称、接口名称以及账号名称。即通过获取不同的节点属性信息,能够绘制不同维度的数据流转路径,例如可以绘制应用维度的数据流转路径、绘制接口维度的数据流转路径以及绘制账号维度的数据流转路径。具体的本步骤在绘制不同维度的数据流转路径时可以分别采用如下方式:
方式一:基于所述目标流量数据中的目的网络地址、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的应用名称,绘制与目标流量数据对应的、以应用为节点的第一路径图。更进一步的,是基于所述目标流量数据中的目标应用名称、目标流量数据中的目的网络地址、与目标流量数据对应的各第一流量数据中的第一应用名称、与目标流量数据对应的各第一流量数据中的源网络地址以及与目标流量数据对应的各第一流量数据中的目的网络地址,确定目标应用直接访问和/或间接访问的目标第一应用;建立所述目标应用与各所述目标第一应用的第一层级访问关系;基于所述第一层级访问关系绘制与目标流量数据对应的、以应用为节点的第一路径图。
具体的,可以如图2所示,在获得了用户/终端Client访问服务器的应用而产生了涉及敏感信息的目标流量数据后,就可以基于目标流量数据先确定该终端访问的目标应用名称为应用A,然后根据获得的与该目标流量数据对应的各第一流量数据来确定后续应用调用过程中,涉及敏感信息的应用A又直接访问和/或间接访问了哪些应用,应用A与哪些应用有过数据流转,由此获得若干第一应用,即确定通过应用A的访问而涉及敏感信息的应用为第一应用,然后绘制应用A与各第一应用之间的数据流转路径。如图2所述在确定目标应用为应用A之后,可以根据各第一流量数据的src_ip源IP和dest_ip目的IP来确定应用A直接访问以及间接访问的应用为第一应用,如应用A直接访问应用B以及数据库,应用B访问了应用C和应用D,应用C又访问了应用D和应用F,应用D又访问了应用E,应用E又访问了应用F和应用G,应用F访问了应用G。那么就可以确定应用A直接访问了应用B,应用A间接访问了C、应用D、应用E、应用F以及应用G,则确定应用B、应用C、应用D、应用E、应用F以及应用G为第一应用,然后建立应用A与应用B、应用C、应用D、应用E、应用F以及应用G的之间的第一层级访问关系,然后根据第一层级访问关系绘制以应用A、应用B、应用C、应用D、应用E、应用F以及应用G为节点的第一路径图。再如,如图3所示,当确定目标应用为应用APP1之后,可以根据各第流量数据的src_ip源IP和dest_ip目的IP来确定应用APP1直接访问以及间接访问的应用为第一应用,即确定应用APP3为第一应用,然后建立应用APP1与应用APP3的第一层级访问关系,以绘制数据流转路径图。
方式二:基于所述目标流量数据中的目标访问接口地址、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址以及数据流转的接口名称,绘制与目标流量对应的、以接口为节点的第二路径图。更进一步的,是基于所述目标流量数据中的目标访问接口名称、目标流量数据中的目标访问接口地址、第一流量数据中的第一接口名称、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址,确定目标接口直接访问和/或间接访问的目标第一接口;建立所述目标接口与各所述目标第一接口的第二层级访问关系;基于所述第二层级访问关系绘制与目标流量数据对应的、以接口为节点的第二路径图。
具体可以如图4所示,在获得了用户/终端访问服务器的应用,产生了涉及敏感信息的目标流量数据后,就可以基于目标流量数据先确定该终端访问应用中的接口为目标接口,即确定接口A为目标接口,然后根据获得的与该目标流量数据对应的第一流量数据来确定后续应用调用过程中,涉及敏感信息的接口A又直接访问和/或间接访问了哪些接口、与哪些接口有过数据流转,由此获得若干目标第一接口,即确定通过接口A的访问而涉及敏感信息的接口为目标第一接口,然后绘制接口A与各目标第一接口之间的数据流转路径。本实施例中以接口维度的数据流转路径也可以如图5所示,敏感信息为手机号,通过监测数据库确定敏感信息手机号流向接口A,即确定客户端访问应用APP1的接口A的产生的流量数据中涉及敏感信息手机号,由此就可以确定APP1的接口A为目标接口,后续又根据第一流量确定接口A访问了应用APP3的接口D,由此就可以绘制接口A和接口D之间的数据流转路径图。
方式三:基于所述目标流量数据中的账号名称、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的账号名称,绘制与目标流量数据对应的、以账号为节点的第三路径图。更进一步的,是基于所述目标流量数据中的目标账号名称、目标流量数据中的目的网络地址、第一流量数据中的第一账号名称、第一流量数据中的源网络地址以及第一流量数据中的目的网络地址,确定目标账号直接访问和/或间接访问的目标第一账号;建立所述目标账号与各所述目标第一账号的第三层级访问关系;基于所述第三层级访问关系绘制与目标流量对应的、以账号为节点的第三路径图。
具体的,如图6所示,在获得了用户/终端访问服务器的应用,产生了涉及敏感信息的目标流量数据后,就可以基于目标流量数据先确定该终端访问应用所使用的账户为目标账号,即确定账号张A为目标账号,然后根据获得的与该目标流量数据对应的第一流量数据来确定后续应用调用过程中,涉及敏感信息的账号张A又直接和/或间接了与哪些账号,并与之有过数据流转,由此获得若干第一账号,即确定通过账号A的访问而涉及敏感信息的账号李A以及账号李B为第一账号,然后绘制账号张A与账号李A以及账号李B之间的数据流转路径。
本实施例中通过获取不同的节点属性信息能够绘制不同维度的数据路径图,细化了测绘颗粒度,增加了测绘维度,解决了测绘维度单一,无法精确的绘制出数据的流转流向的问题。
在上述实施例的基础上,在获得了与各目标流量数据对应的第一路径图、第二路径图以及第三路径图之后,可以根据目标流量数据中敏感信息的类型对相对应的第一路径图进行合并去重处理,根据目标流量数据中敏感信息的类型对相对应的第二路径图进行合并去重处理,以及根据目标流量数据中敏感信息的类型对相对应的第三路径图进行合并去重处理。在进行数据流转路径图合并过程中,具体可以采用如下两种方式:
方式一:可以基于各目标流量数据中携带的敏感信息的类型、敏感信息的类型与标签类型的对应关系为各所述目标流量数据添加标签;基于各所述目标流量数据的标签类型,对与各所述目标流量数据对应的第一路径图、第二路径图以及第三路径图中的一种或几种进行标记。由此各第一路径图、第二路径图以及第三路径图中也会添加有与敏感信息类型对应的标签,然后就可以基于所述标签类型,将属于同一标签类型的第一路径图进行合并;和/或,基于所述标签类型,将属于同一标签类型的第二路径图进行合并;和/或,基于所述标签类型,将属于同一标签类型的第三路径图进行合并。本申请中敏感信息类型包括与身份证号对应的第一类型、与手机号对应的第二类型以及与银行卡号对应的第三类型,即目标流量数据涉及不同类型的敏感信息会添加不同标签类型的标签,具体的标签类型可以为数字、大写字母、小写字母等等。例如身份证号的第一类型对应的标签类型为数字,手机号对应的标签类型为大写字母、与银行卡号对应的标签类型为小写字母,由此在获得标签类型为数字的第一路径图1、第一路径图2和第一路径图3之后,由于这三个第一路径图均是以应用为节点的路径图,且涉及的敏感信息均为同一类型(即敏感信息均为身份证号),由此就可以将这3个第一路径图进行合并去重处理,获得最终的、以应用为节点的数据流转路径图。同理,也可以根据标签类型对各第二路径图进行合并去重处理,以及根据标签类型对各第三路径图进行合并去重处理。
方式二:本实施例中,可以预先根据一种敏感信息类型来获取目标流量数据,例如获取敏感信息类型为手机号的流量数据作为目标流量数据,然后再根据访问时间获取与各目标流量数据对应的第一流量数据,根据各目标流量数据、与目标流量数据对应的第一流量数据、流量数据中的目标应用名称、流量数据中的源网络地址、流量数据中的目的网络地址、流量数据中的目标访问接口名称、流量数据中的目标访问接口地址、流量数据中的源访问接口地址、流量数据中的访问时间、流量数据中的登录账户、流量数据中的访问的数据库名称、流量数据中的访问的列表名称等信息,来分别绘制与各目标流量数据对应的以应用、接口、账号三个维度的数据流转路径图,然后再将同一维度的路径图进行合并去重处理,即将与各目标流量数据对应的应用维度的数据流转路径图进行合并处理;将与各目标流量数据对应的接口维度的数据流转路径图进行合并处理;将各目标流量数据对应的账号维度的数据流转路径图进行合并处理,由此获得最终的敏感信息类型为手机号的三个维度的数据流转路径图。具体的合并处理后的以应用为节点、以接口为节点以及以账号为节点的数据流转路径图可以分别如图7、图8和图9所示。具体的以图8为例具体说明,本实施例中第三方服务平台通过监测数据库的敏感信息的流向,来确定从流量数据集合中获取到目标流量数据1目标流量数据2和目标流量数据3,该3个目标流量数据中均携带敏感信息手机号。其中,该目标流量数据1是客户端访问了服务器中的应用APP1的接口A产生的,目标流量数据2是客户端访问了服务器中的应用APP1的接口B产生的,目标流量数据3是客户端访问了服务器中的应用APP2的接口C产生的。那么根据目标流量数据1以及对应的第一流量数据可以确定接口A后续访问了接口D,由此可以绘制第二路径图1。接着根据目标流量数据2以及对应的第一流量数据可以确定接口B后续访问了接口D,由此可以绘制第二路径图2。接着根据目标流量数据3以及对应的第一流量数据可以确定接口C后续访问了接口F,由此可以绘制第二路径图3,然后将第二路径图1、第二路径图2以及第二路径图3进行合并去重处理,就可以获得如图8所示的数据流转路径图。
本实施例中通过根据敏感信息的类型以及节点属性,来将各节点属性(各维度)下的、涉及同一类型的敏感信息的数据流转路径进行合并,由此来获得不同维度下的完整的数据流转路径,为使用者基于各维度的数据流转路径准确的进行数据安全分析奠定了基础。
本申请另一实施例提供一种数据流转路径的绘制装置,包括:
采集模块,用于采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
确定模块,用于确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
筛选模块,用于基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
绘制模块,用于基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。
具体的,本实施例中的数据流转路径的绘制装置还包括创建模块和获取模块,所述创建模块用于创建与各应用对应的应用日志表;所述获取模块用于实时采集访问目标服务器的应用所产生的流量数据;将采集的所述流量数据存储在对应的应用日志表中,以使采集模块基于各所述应用日志表获取预定时间段内访问目标服务器所产生的流量数据。
本实施例在具体实施过程中,所述敏感信息包括如下任意一种或几种:身份证号、手机号以及银行卡号;所述流量数据中包含如下任意一种或几种信息:目标应用名称、源网络地址、目的网络地址、目标访问接口名称、目标访问接口地址、源访问接口地址、访问时间、登录账户、访问的数据库名称、访问的列表名称。
本实施例中,所述节点属性信息包括如下任意一种或几种:应用名称、接口名称以及账号名称;所述绘制模块具体用于:
基于所述目标流量数据中的目的网络地址、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的应用名称,绘制与目标流量数据对应的、以应用为节点的第一路径图;
和/或,基于所述目标流量数据中的目标访问接口地址、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址以及数据流转的接口名称,绘制与目标流量对应的、以接口为节点的第二路径图;
和/或,基于所述目标流量数据中的账号名称、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的账号名称,绘制与目标流量数据对应的、以账号为节点的第三路径图。
进一步的,本实施例在具体实施过程中,绘制模块具体用于:基于所述目标流量数据中的目标应用名称、目标流量数据中的目的网络地址、第一流量数据中的第一应用名称、第一流量数据中的源网络地址以及第一流量数据中的目的网络地址,确定目标应用直接访问和/或间接访问的目标第一应用;建立所述目标应用与各所述目标第一应用的第一层级访问关系;基于所述第一层级访问关系绘制与目标流量数据对应的、以应用为节点的第一路径图。
进一步的,本实施例在具体实施过程中,绘制模块还具体用于:基于所述目标流量数据中的目标访问接口名称、目标流量数据中的目标访问接口地址、第一流量数据中的第一接口名称、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址,确定目标接口直接访问和/或间接访问的目标第一接口;建立所述目标接口与各所述目标第一接口的第二层级访问关系;基于所述第二层级访问关系绘制与目标流量数据对应的、以接口为节点的第二路径图。
进一步的,本实施例在具体实施过程中,绘制模块还具体用于:基于所述目标流量数据中的目标账号名称、目标流量数据中的目的网络地址、第一流量数据中的第一账号名称、第一流量数据中的源网络地址以及第一流量数据中的目的网络地址,确定目标账号直接访问和/或间接访问的目标第一账号;建立所述目标账号与各所述目标第一账号的第三层级访问关系;基于所述第三从层级访问关系绘制与目标流量对应的、以账号为节点的第三路径图。
本实施例中数据流转路径的绘制装置还包括标记模块,所述标记模块用于:基于各目标流量数据中携带的敏感信息的类型、敏感信息的类型与标签类型的对应关系为各所述目标流量数据添加标签;基于各所述目标流量数据的标签类型,对与各所述目标流量数据对应的第一路径图、第二路径图以及第三路径图中的一种或几种进行标记。
本实施例中数据流转路径的绘制装置还包括合并模块,所述合并模块用于:基于所述标签类型,将属于同一标签类型的第一路径图进行合并;和/或,基于所述标签类型,将属于同一标签类型的第二路径图进行合并;和/或,基于所述标签类型,将属于同一标签类型的第三路径图进行合并。
本申请中,通过获取带有敏感信息的流量数据,将敏感信息作为标记,即将敏感信息作为标记点,对敏感信息流过的所有节点,包括客户端、应用、接口、数据库等,进行标记测绘,每个出现且被标记的节点,均会带上该敏感信息信息存储在数据库中,形成历史路径信息,通过敏感信息的数据流向,拼接流转路径,进而完成测绘。
本申请中通过从账号、接口、应用3个维度呈现和查看某种敏感信息/敏感数据或敏感场景的流向线路。采用定时任务方式进行测绘,每轮测绘结果入库保存,通过多次测绘结果进行归类合并,获取最终某种敏感规则的完整流向图。本申请中第三方服务平台或系统执行测绘任务的工作流程可以如图10所示。流转测绘选用定时测绘方式,发起测绘任务,测绘任务管理模块查询当前任务状态,若当前没有测绘任务,则查询敏感信息流量、敏感信息类型,时间范围根据测绘任务参数配置,以数据库表为起点来获取流量中的数据流向,即获取敏感信息的流向,然后利用流量APP日志表(应用日志表)根据src_ip遍历各流量数据、向下挖掘,获得涉及敏感信息的节点,然后进行路径测绘,并将测绘结果入库保存,从而完成本轮测绘任务。本申请中第三方服务平台或系统通过定时任务的方式自动完成测绘,并将每次测绘结果入库保存,定时任务每T分钟执行一次,针对某个目标流量数据涉及的目标节点(目标接口或目标应用或目标账号)、某种敏感类型、近N分钟时间范围从数据库中查找符合条件的数据集合,将相同流向的记录进行汇总归类,再从APP日志表中挖掘流向关系。本申请中的第三方服务平台或系统采用定时任务采用串行方式,当上一轮任务处于运行状态时,后续任务跳过执行测绘。本申请中的第三方服务平台或系统,在进行测绘之前会发起测绘任务,然后通过测绘任务管理模块来查询当前任务状态,然后根据流量数据库表来查询敏感信息以及时间范围,然后进一步通过从APP日志表中获取相应时间段内的流量数据集合,根据敏感信息确定目标流量数据以及第一流量数据,然后基于流量数据中的src_ip(源IP)和dest_ip(目的IP)挖掘数据流转流向,数据流转路径图,即获得测绘结果,最后将结果存入数据库进行保存,并返回测绘本次任务完成信息给定时测绘模块。
本申请能够解决动态流量数据的安全治理和分析中,敏感信息流向和流转不清晰、不完整以及不准确问题,能够帮助以可视化方式,将敏感信息流动的黑盒化进行透明化处理,从而使得使用者能够对敏感信息流转中的异常进行一目了然的知悉、判断。
本申请又一实施例提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下数据流转路径的绘制方法的步骤:
步骤一、采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
步骤二、确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
步骤三、基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
步骤四、基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径
上述方法步骤的具体实施过程可参见上述任意数据流转路径的绘制方法的实施例,本实施例在此不再重复赘述。
本申请能够解决动态流量数据的安全治理和分析中,敏感信息流向和流转不清晰、不完整以及不准确问题,能够帮助以可视化方式,将敏感信息流动的黑盒化进行透明化处理,从而使得使用者能够对敏感信息流转中的异常进行一目了然的知悉、判断。
为解决上述技术问题,本申请提供一种电子设备,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现如下数据流转路径的绘制方法的步骤:
步骤一、采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
步骤二、确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
步骤三、基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
步骤四、基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。
上述方法步骤的具体实施过程可参见上述任意数据流转路径的绘制方法的实施例,本实施例在此不再重复赘述。
本申请能够解决动态流量数据的安全治理和分析中,敏感信息流向和流转不清晰、不完整以及不准确问题,能够帮助以可视化方式,将敏感信息流动的黑盒化进行透明化处理,从而使得使用者能够对敏感信息流转中的异常进行一目了然的知悉、判断。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (12)
1.一种数据流转路径的绘制方法,其特征在于,所述方法包括如下步骤:
采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
创建与各应用对应的应用日志表;
实时采集访问目标服务器的应用所产生的流量数据;
将采集的所述流量数据存储在对应的应用日志表中,以基于各所述应用日志表获取预定时间段内访问目标服务器所产生的流量数据。
3.如权利要求1所述的方法,其特征在于,所述敏感信息包括如下任意一种或几种:身份证号、手机号以及银行卡号;
所述流量数据中包含如下任意一种或几种信息:目标应用名称、源网络地址、目的网络地址、目标访问接口名称、目标访问接口地址、源访问接口地址、访问时间、登录账户、访问的数据库名称、访问的列表名称。
4.如权利要求1所述的方法,其特征在于,所述节点属性信息包括如下任意一种或几种:应用名称、接口名称以及账号名称;
所述基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径,具体包括:
基于所述目标流量数据中的目的网络地址、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的应用名称,绘制与目标流量数据对应的、以应用为节点的第一路径图;
和/或,基于所述目标流量数据中的目标访问接口地址、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址以及数据流转的接口名称,绘制与目标流量对应的、以接口为节点的第二路径图;
和/或,基于所述目标流量数据中的账号名称、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的账号名称,绘制与目标流量数据对应的、以账号为节点的第三路径图。
5.如权利要求4所述的方法,其特征在于,所述基于所述目标流量数据中的目的网络地址、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的应用名称,绘制与目标流量数据对应的、以应用为节点的第一路径图,具体包括:
基于所述目标流量数据中的目标应用名称、目标流量数据中的目的网络地址、第一流量数据中的第一应用名称、第一流量数据中的源网络地址以及第一流量数据中的目的网络地址,确定目标应用直接访问和/或间接访问的目标第一应用;
建立所述目标应用与各所述目标第一应用的第一层级访问关系;
基于所述第一层级访问关系绘制与目标流量数据对应的、以应用为节点的第一路径图。
6.如权利要求4所述的方法,其特征在于,所述基于所述目标流量数据中的目标访问接口地址、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址以及数据流转的接口名称,绘制与目标流量对应的、以接口为节点的第二路径图,具体包括:
基于所述目标流量数据中的目标访问接口名称、目标流量数据中的目标访问接口地址、第一流量数据中的第一接口名称、第一流量数据中的源访问接口地址、第一流量数据中的目标访问接口地址,确定目标接口直接访问和/或间接访问的目标第一接口;
建立所述目标接口与各所述目标第一接口的第二层级访问关系;
基于所述第二层级访问关系绘制与目标流量数据对应的、以接口为节点的第二路径图。
7.如权利要求4所述的方法,其特征在于,所述基于所述目标流量数据中的账号名称、第一流量数据中的源网络地址、第一流量数据中的目的网络地址以及数据流转的账号名称,绘制与目标流量对应的、以账号为节点的第三路径图,具体包括:
基于所述目标流量数据中的目标账号名称、目标流量数据中的目的网络地址、第一流量数据中的第一账号名称、第一流量数据中的源网络地址以及第一流量数据中的目的网络地址,确定目标账号直接访问和/或间接访问的目标第一账号;
建立所述目标账号与各所述目标第一账号的第三层级访问关系;
基于所述第三层级访问关系绘制与目标流量对应的、以账号为节点的第三路径图。
8.如权利要求4所述的方法,其特征在于,所述方法还包括:
基于各目标流量数据中携带的敏感信息的类型、敏感信息的类型与标签类型的对应关系为各所述目标流量数据添加标签;
基于各所述目标流量数据的标签类型,对与各所述目标流量数据对应的第一路径图、第二路径图以及第三路径图中的一种或几种进行标记。
9.如权利要求8所述的方法,其特征在于,所述方法还包括:
基于所述标签类型,将属于同一标签类型的第一路径图进行合并;
和/或,基于所述标签类型,将属于同一标签类型的第二路径图进行合并;
和/或,基于所述标签类型,将属于同一标签类型的第三路径图进行合并。
10.一种数据流转路径的绘制装置,其特征在于,包括:
采集模块,用于采集预定时间段内访问目标服务器所产生的流量数据,获得流量数据集合;
确定模块,用于确定所述流量数据集合中涉及敏感信息的流量数据为目标流量数据;
筛选模块,用于基于各目标流量数据的访问时间,从所述流量数据集合中筛选获得与各目标流量数据对应的第一流量数据;其中目标流量数据的访问时间早于第一流量数据的访问时间;
绘制模块,用于基于各所述目标流量数据以及与各所述目标流量数据对应的第一流量数据以及数据流转节点的节点属性信息,绘制数据流转路径。
11.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-9中任一项所述数据流转路径的绘制方法的步骤。
12.一种电子设备,其特征在于,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现权利要求1-9中任一项所述数据流转路径的绘制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016082.5A CN113691423B (zh) | 2021-08-31 | 2021-08-31 | 数据流转路径的绘制方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016082.5A CN113691423B (zh) | 2021-08-31 | 2021-08-31 | 数据流转路径的绘制方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113691423A true CN113691423A (zh) | 2021-11-23 |
CN113691423B CN113691423B (zh) | 2023-05-26 |
Family
ID=78584530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111016082.5A Active CN113691423B (zh) | 2021-08-31 | 2021-08-31 | 数据流转路径的绘制方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113691423B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107733902A (zh) * | 2017-10-23 | 2018-02-23 | 中国移动通信集团广东有限公司 | 一种目标数据扩散过程的监控方法及装置 |
CN110011830A (zh) * | 2019-03-03 | 2019-07-12 | 北京立思辰安科技术有限公司 | 基于流量数据的通讯拓扑信息建模方法 |
CN110933128A (zh) * | 2019-10-08 | 2020-03-27 | 网宿科技股份有限公司 | 节点流量调度方法、装置、电子设备及存储介质 |
CN112671553A (zh) * | 2020-11-26 | 2021-04-16 | 中国电子科技网络信息安全有限公司 | 基于主被动探测的工控网络拓扑图生成方法 |
-
2021
- 2021-08-31 CN CN202111016082.5A patent/CN113691423B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107733902A (zh) * | 2017-10-23 | 2018-02-23 | 中国移动通信集团广东有限公司 | 一种目标数据扩散过程的监控方法及装置 |
CN110011830A (zh) * | 2019-03-03 | 2019-07-12 | 北京立思辰安科技术有限公司 | 基于流量数据的通讯拓扑信息建模方法 |
CN110933128A (zh) * | 2019-10-08 | 2020-03-27 | 网宿科技股份有限公司 | 节点流量调度方法、装置、电子设备及存储介质 |
CN112671553A (zh) * | 2020-11-26 | 2021-04-16 | 中国电子科技网络信息安全有限公司 | 基于主被动探测的工控网络拓扑图生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113691423B (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109408746B (zh) | 画像信息查询方法、装置、计算机设备和存储介质 | |
CN107798038B (zh) | 数据响应方法及数据响应设备 | |
US20160055177A1 (en) | Search recommendation method and apparatus for map search, computer storage medium, and device | |
CN109446276B (zh) | 基于关系数据模型的订单拦截方法、装置、设备及介质 | |
CN109739725A (zh) | 基于浏览器的监控方法、装置、系统及存储介质 | |
US11619761B2 (en) | Dynamic representation of exploration and/or production entity relationships | |
CN114791846B (zh) | 一种针对云原生混沌工程实验实现可观测性的方法 | |
CN111639092B (zh) | 一种人员流动分析方法、装置、电子设备及存储介质 | |
CN111445320B (zh) | 目标社群识别方法、装置、计算机设备及存储介质 | |
CN114070760B (zh) | 一种网络空间资产的测绘方法及相关装置 | |
CN112925757A (zh) | 一种追踪智能设备操作日志的方法、设备、存储介质 | |
CN111339171A (zh) | 数据查询的方法、装置及设备 | |
CN108154024B (zh) | 一种数据检索方法、装置及电子设备 | |
CN111177289A (zh) | 众源网络数据空间相关信息提取校验方法与系统 | |
CN109308258A (zh) | 测试数据的构造方法、装置、计算机设备和存储介质 | |
CN112579558A (zh) | 展示拓扑图的方法、装置、存储介质及设备 | |
KR102184048B1 (ko) | Gis 기반 토지 이용 계획 검토 시스템 및 방법 | |
CN110297849B (zh) | 员工不相容权限筛选方法、装置、计算机设备及存储介质 | |
CN114625721A (zh) | 个性化云数据库的建立方法、装置、设备及存储介质 | |
CN113641742A (zh) | 一种数据抽取方法、装置、设备和存储介质 | |
CN103605744A (zh) | 网站搜索引擎流量数据的分析方法及装置 | |
US11216894B2 (en) | Image-based semantic accommodation search | |
CN116911867A (zh) | 问题处理方法、装置、计算机设备和存储介质 | |
CN113691423B (zh) | 数据流转路径的绘制方法、装置、存储介质及电子设备 | |
CN111611322B (zh) | 一种用户信息关联的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |