CN115757995A - 无特征数据标签处理方法、装置、计算机设备及存储介质 - Google Patents

无特征数据标签处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115757995A
CN115757995A CN202211673376.XA CN202211673376A CN115757995A CN 115757995 A CN115757995 A CN 115757995A CN 202211673376 A CN202211673376 A CN 202211673376A CN 115757995 A CN115757995 A CN 115757995A
Authority
CN
China
Prior art keywords
data
user access
result
url
access information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211673376.XA
Other languages
English (en)
Inventor
黄俊辉
刘新凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongtu Technology Co ltd
Original Assignee
Shenzhen Hongtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongtu Technology Co ltd filed Critical Shenzhen Hongtu Technology Co ltd
Priority to CN202211673376.XA priority Critical patent/CN115757995A/zh
Publication of CN115757995A publication Critical patent/CN115757995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了无特征数据标签处理方法、装置、计算机设备及存储介质。所述方法包括:获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;获取浏览器插件自定义的数据标签内容;根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;获取用户访问行为日志;根据所述用户访问行为日志定位用户访问信息;将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;展示所述链路组装结果。通过实施本发明实施例的方法可以解决数据无法通过正则表达式、关键字、字典或者机器学习模型来进行识别和标识的难题,方便和深入了解敏感数据在业务系统中的流转使用情况。

Description

无特征数据标签处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据标签,更具体地说是指无特征数据标签处理方法、装置、计算机设备及存储介质。
背景技术
随着新型技术和概念的演变和推出,企业逐渐走向数字化转型的趋势,数据作为新型的核心生产要素,正在驱动着企业业务的转型以及组织的变革,越来越多的企业由信息化转变为数字化,根本目的是为了通过数据的价值为业务赋能。一方面需要通过数据安全治理更深地挖掘数据,另一方面利用数据驱动赋能企业生产、研发、销售、服务等全流程,将业务要素转化成数据要素,以流程驱动业务转变成数据驱动业务,提升企业生产效率,增强企业的核心竞争力。
目前现有的数据标签标识手段,虽然有自动化的技术和手段,但是数据识别的技术体系普遍基于关键字和正则规则匹配,通过利用自然语言处理等技术扩大识别范围,提高识别精度,为了提升敏感数据识别的智能化程度,以现有技术结合聚类分析等机器学习技术融合大数据积累训练;现有的数据标签技术逐渐趋于成熟,对于身份证号、手机号、性别、地址、邮箱等个人信息数据的识别率较高,但对于经营数据或其他一些无法通过正则表达式、关键字、字典或者机器学习模型来进行识别和标识的数据,现有数据标签技术识别率低或者无法识别,对于成功识别的数据,现有技术难以将该数据的流转路径信息关联至用户、应用、数据、数据库,从而了解被识别的敏感数据在应用系统中的流转使用情况。
因此,有必要设计一种新的方法,以解决数据无法通过正则表达式、关键字、字典或者机器学习模型来进行识别和标识的难题,方便和深入了解敏感数据在业务系统中的流转使用情况。
发明内容
本发明的目的在于克服现有技术的缺陷,提供无特征数据标签处理方法、装置、计算机设备及存储介质。
为实现上述目的,本发明采用以下技术方案:无特征数据标签处理方法,包括:
获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;
获取浏览器插件自定义的数据标签内容;
根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;
获取用户访问行为日志;
根据所述用户访问行为日志定位用户访问信息;
将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;
展示所述链路组装结果。
其进一步技术方案为:所述相关数据是当应用之间调用产生的数据流和用户访问产生的数据流经过客户端的Agent时,Agent采用字节码增强技术根据管理端配置的数据采集策略对流经的数据流进行拦截,并对拦截的数据流进行数据解析,以形成的用户访问信息和应用调用数据。
其进一步技术方案为:所述数据标签内容是通过浏览器插件对访问页面执行请求和响应的交互动作的信息进行拦截,定位访问URL以及对应的字段,并对所述访问URL以及对应的字段进行数据标签操作形成的;所述数据标签操作包括对数据标识、数据分类、数据分级。
其进一步技术方案为:所述根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果,包括:
获取用户访问的URL,以得到待关联URL;
对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果。
其进一步技术方案为:所述对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果,包括:
对所述待关联URL匹配对应的API接口,以得到目标API接口;
将所述待关联URL对应的字段与所述目标API接口对应的字段进行关联;
将所述数据标签内容中关于所述待关联URL对应的字段所对应的数据标签内容关联至所述目标API接口对应的字段,以得到关联结果;
根据所述关联结果生成所述目标API接口所采集的相关数据对应的标签列表,以得到标识结果。
其进一步技术方案为:所述用户访问信息包括:用户账号、IP、时间、应用接口、访问链路、数据库或数据表或字段以及查询语句。
其进一步技术方案为:所述将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果,包括:
对所述用户访问信息、所述相关数据以及标识结果进行关联,以得到关联结果;
将所述关联结果按照用户发起访问行为、访问应用、访问数据库、访问数据顺序组装链路,以得到链路组装结果。
本发明还提供了无特征数据标签处理装置,包括:
相关数据获取单元,用于获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;
标签内容获取单元,用于获取浏览器插件自定义的数据标签内容;
关联单元,用于根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;
日志获取单元,用于获取用户访问行为日志;
访问信息定位单元,用于根据所述用户访问行为日志定位用户访问信息;
链路组装单元,用于将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;
展示单元,用于展示所述链路组装结果。
本发明还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是:本发明通过利用客户端所采集用户访问信息和应用调用数据,结合浏览器插件自定义的数据标签内容进行关联,再根据用户访问行为日志,进行链路组装,将数据标签以链路流转的形式展示,以解决数据无法通过正则表达式、关键字、字典或者机器学习模型来进行识别和标识的难题,方便和深入了解敏感数据在业务系统中的流转使用情况。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无特征数据标签处理方法的应用场景示意图;
图2为本发明实施例提供的无特征数据标签处理方法的流程示意图;
图3为本发明实施例提供的无特征数据标签处理方法的子流程示意图;
图4为本发明实施例提供的无特征数据标签处理方法的子流程示意图;
图5为本发明实施例提供的无特征数据标签处理方法的子流程示意图;
图6为本发明实施例提供的无特征数据标签处理方法的流转链路示意图;
图7为本发明实施例提供的无特征数据标签处理装置的示意性框图;
图8为本发明实施例提供的无特征数据标签处理装置的关联单元的示意性框图;
图9为本发明实施例提供的无特征数据标签处理装置的关联分析子单元的示意性框图;
图10为本发明实施例提供的无特征数据标签处理装置的链路组装单元的示意性框图;
图11为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的无特征数据标签处理方法的应用场景示意图。图2为本发明实施例提供的无特征数据标签处理方法的示意性流程图。该无特征数据标签处理方法应用于管理服务器中。该管理服务器与终端以及应用服务器进行数据交互,其中,应用服务器拦截应用之间调用产生的数据流和用户访问产生的数据流,并对流经的数据流进行解析,形成用户访问信息和应用调用数据,终端则用于数据标签的定义,管理服务器结合用户访问信息和应用调用数据以及终端所定义的数据标签进行关联,并进行链路组装,以链路的形式展示数据标签,另外,在应用服务器上安装有agent,即应用客户端,应用客户端与管理端进行通讯,管理端一般为单独的服务器,通过管理端内设置的采集策略,实时推给应用客户端,结合应用客户端内置的采集开关进行实际采集策略的设定,当有用户通过用户终端发起的数据经过应用客户端的指定接口时,应用客户端采用字节增强技术对数据进行拦截,并采用实际采集策略对拦截的数据进行采集,并对采集到的数据进行缓存。
图2是本发明实施例提供的无特征数据标签处理方法的流程示意图。如图2所示,该方法包括以下步骤S110至S170。
S110、获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据。
在本实施例中,相关数据是当应用之间调用产生的数据流和用户访问产生的数据流经过客户端的Agent时,Agent采用字节码增强技术根据管理端配置的数据采集策略对流经的数据流进行拦截,并对拦截的数据流进行数据解析,以形成的用户访问信息和应用调用数据。
具体地,应用服务器在使用过程中,所访问和关联的数据流转于应用和数据库之间;应用服务器通过Web页面访问应用系统,产生访问行为;管理端进行独立部署安装,配置数据采集策略,设置所需采集数据的应用、接口、用户、频率和采集数据量;在应用服务器上安装完成客户端Agent插件;管理端与客户端建立双向的通讯通道,可以随时发送指令给Agent插件,Agent插件可根据指令执行并返回执行结果,客户端也可通过这个双向的通讯通道主动发送客户端的状态等信息给管理端;管理端将数据采集策略推送到客户端;当应用之间调用产生的数据流和用户访问产生的数据流经过Agent插件时,使用字节码增强技术对流经的访问数据进行拦截;根据数据采集策略对拦截的数据流进行数据解析,采集所需的用户行为数据和应用传输数据,如用户标识、协议、请求和响应等数据;Agent发送采集的用户访问数据和应用调用数据并管理平台中进行存储。
S120、获取浏览器插件自定义的数据标签内容。
在本实施例中,所述数据标签内容是通过浏览器插件对访问页面执行请求和响应的交互动作的信息进行拦截,定位访问URL以及对应的字段,并对所述访问URL以及对应的字段进行数据标签操作形成的;所述数据标签操作包括对数据标识、数据分类、数据分级。
具体地,在终端的浏览器上安装数据标签自定义插件,安装完成后启动数据标签自定义插件,用户在浏览器的Web页面上选择进行数据标签的数据;应用服务器在浏览器的Web页面正常进行业务操作,基于访问页面执行请求(Request)和响应(Response)的交互动作,以下针对Request和Response的使用以下示例进行说明Request:业务系统录入客户个人信息(姓名、手机号码、地址、邮箱)并执行提交动作;Response:查询客户的个人信息,如手机号码并获取列表信息;
终端的浏览器插件会对业务系统用户交互动作的请求(Request)或响应(Response)信息进行拦截;此时插件将拦截到用户访问的URL(统一资源定位器,UniformResource Locator),URL格式为‘协议类型://服务器地址[:端口号]/路径/文件名[参数=值]’,获取Request/Response中的数据以及数据对应的字段;从用户访问的Web页面复制请求/响应数据,请求或响应返回的数据会与Agent插件拦截到的数据通过使用正则表达式进行精准匹配,如果匹配到数据,则获取匹配的请求数据所对应字段和URL,如果页面上不同字段对应的数据并不相同,一般可以一次定位,大部分时候会定位到一个URL和一个字段,如果页面上存在不同字段对应的数据有相同值,则用户可以再次执行页面交互和定位动作,需定位字段取数尽量不要与其它字段取数相同,直至完成字段和URL定位。
当Web页面上的数据被成功定位后,用户即可对相应的数据进行数据标签操作,可自定义数据的数据标识、数据分类和数据分级;数据标签的结果信息将会同步至管理平台进行存储,以用作后续分析和展示。
S130、根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果。
在本实施例中,标识结果是指相关数据以及数据标签内容进行自定义标签的关联的结果。
在一实施例中,请参阅图3,上述的步骤S130可包括步骤S131~ S132。
S131、获取用户访问的URL,以得到待关联URL。
在本实施例中,待关联URL是指用户访问的URL。
管理服务器从浏览器插件获取到用户访问的URL,在根据存储在管理服务器上的API接口数据,根据用户访问URL去匹配对应的API接口。
S132、对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果。
在一实施例中,请参阅图4,上述的步骤S132可包括步骤S1321~ S1324。
S1321、对所述待关联URL匹配对应的API接口,以得到目标API接口;
S1322、将所述待关联URL对应的字段与所述目标API接口对应的字段进行关联;
S1323、将所述数据标签内容中关于所述待关联URL对应的字段所对应的数据标签内容关联至所述目标API接口对应的字段,以得到关联结果;
S1324、根据所述关联结果生成所述目标API接口所采集的相关数据对应的标签列表,以得到标识结果。
在本实施例中,URL对应的字段与API接口对应的字段对比关联;当用户访问URL与API接口关联对应后,此时对比字段名称,将用户访问URL下的字段名称与API接口下的字段名称进行,值相同即进行关联;根据此前用户对访问URL下字段所定义的数据标签,如数据标识、数据分类、数据分级,将其关联到API接口下已经对应关联的字段下。
S140、获取用户访问行为日志。
在本实施例中,用户访问行为日志是指用户访问管理服务器的行为记录而成的日志。
具体地,按照管理服务器的用户访问行为的策略配置,对用户访问进行日志采集,过程无需对应用进行埋点改造。
S150、根据所述用户访问行为日志定位用户访问信息。
在本实施例中,所述用户访问信息包括:用户账号、IP、时间、应用接口、访问链路、数据库或数据表或字段以及查询语句。
S160、将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果。
在本实施例中,链路组装结果是指以数据标签作为关联点形成的链路。
在一实施例中,请参阅图5,上述的步骤S160可包括步骤S161~ S162。
S161、对所述用户访问信息、所述相关数据以及标识结果进行关联,以得到关联结果。
在本实施例中,关联结果是指以相关数据与用户访问信息关联,在结合相关数据与标识结果的关系,实现用户访问信息与标识结果的关联。
S162、将所述关联结果按照用户发起访问行为、访问应用、访问数据库、访问数据顺序组装链路,以得到链路组装结果。
在本实施例中,管理服务器对用户访问信息与相关数据进行组装,将用户访问信息和数据标签结果进行结合;组成完整的从用户发起访问行为、访问应用、访问数据库、访问数据的全链路信息。
S170、展示所述链路组装结果。
通过浏览器插件进行自定义数据标签以流转链路的形式进行展示;在管理服务器能够按照具体的某个分类、分级、数据标签查看该分类分级、数据标签所流经的数据库、应用以及关联用户账号等信息,如图6所示。
本实施例的方法形成新型的基于全链路数据流转的数据标签方法,解决数据无法通过正则表达式、关键字、字典或者机器学习模型来进行识别和标识的难题,方便和深入了解敏感数据在业务系统中的流转使用情况,以一个全新且前面的视角分析数据和数据对象,为提升企业整体的数据安全风险能力提供支撑的基础。
基于全链路数据流转进行数据标签方法中,管理端与Agent插件进行双向通讯,Agent插件按照管理端的数据采集配置进行数据采集和解析,数Web页面直接进行数据标签的手段,数据标签结果回传至管理服务器,管理服务器将URL字段与API接口关联,实现数据标签自动化;重新组装链路信息后,展示完整全链路信息;一方面解决难以被传统技术和工具识别的数据的数据标签难题,另一方面将数据标签结果以全链路的形式呈现,清晰地了解数据流转的过程;Agent插件多个节点采集数据,信息更完整;创新的数据标签方法,Web页面直接操作,无需繁琐流程;从全链路的视角了解数据标签的流程和使用过程。
上述的无特征数据标签处理方法,通过利用客户端所采集用户访问信息和应用调用数据,结合浏览器插件自定义的数据标签内容进行关联,再根据用户访问行为日志,进行链路组装,将数据标签以链路流转的形式展示,以解决数据无法通过正则表达式、关键字、字典或者机器学习模型来进行识别和标识的难题,方便和深入了解敏感数据在业务系统中的流转使用情况。
图7是本发明实施例提供的一种无特征数据标签处理装置300的示意性框图。如图7所示,对应于以上无特征数据标签处理方法,本发明还提供一种无特征数据标签处理装置300。该无特征数据标签处理装置300包括用于执行上述无特征数据标签处理方法的单元,该装置可以被配置于服务器中。具体地,请参阅图7,该无特征数据标签处理装置300包括相关数据获取单元301、标签内容获取单元302、关联单元303、日志获取单元304、访问信息定位单元305、链路组装单元306以及展示单元307。
相关数据获取单元301,用于获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;标签内容获取单元302,用于获取浏览器插件自定义的数据标签内容;关联单元303,用于根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;日志获取单元304,用于获取用户访问行为日志;访问信息定位单元305,用于根据所述用户访问行为日志定位用户访问信息;链路组装单元306,用于将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;展示单元307,用于展示所述链路组装结果。
在一实施例中,如图8所示,所述关联单元303包括URL获取子单元3031以及关联分析子单元3032。
URL获取子单元3031,用于获取用户访问的URL,以得到待关联URL;关联分析子单元3032,用于对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果。
在一实施例中,如图9所示,所述关联分析子单元3032包括匹配模块30321、字段关联模块30322、内容关联模块30323以及列表形成模块30324。
匹配模块30321,用于对所述待关联URL匹配对应的API接口,以得到目标API接口;字段关联模块30322,用于将所述待关联URL对应的字段与所述目标API接口对应的字段进行关联;内容关联模块30323,用于将所述数据标签内容中关于所述待关联URL对应的字段所对应的数据标签内容关联至所述目标API接口对应的字段,以得到关联结果;列表形成模块30324,用于根据所述关联结果生成所述目标API接口所采集的相关数据对应的标签列表,以得到标识结果。
在一实施例中,如图10所示,所述链路组装单元306包括关联结果确定子单元3061以及组装子单元3062。
关联结果确定子单元3061,用于对所述用户访问信息、所述相关数据以及标识结果进行关联,以得到关联结果;组装子单元3062,用于将所述关联结果按照用户发起访问行为、访问应用、访问数据库、访问数据顺序组装链路,以得到链路组装结果。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述无特征数据标签处理装置300和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述无特征数据标签处理装置300可以实现为一种计算机程序的形式,该计算机程序可以在如图11所示的计算机设备上运行。
请参阅图11,图11是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器,其中,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图11,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种无特征数据标签处理方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种无特征数据标签处理方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;获取浏览器插件自定义的数据标签内容;根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;获取用户访问行为日志;根据所述用户访问行为日志定位用户访问信息;将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;展示所述链路组装结果。
其中,所述相关数据是当应用之间调用产生的数据流和用户访问产生的数据流经过客户端的Agent时,Agent采用字节码增强技术根据管理端配置的数据采集策略对流经的数据流进行拦截,并对拦截的数据流进行数据解析,以形成的用户访问信息和应用调用数据。
所述数据标签内容是通过浏览器插件对访问页面执行请求和响应的交互动作的信息进行拦截,定位访问URL以及对应的字段,并对所述访问URL以及对应的字段进行数据标签操作形成的;所述数据标签操作包括对数据标识、数据分类、数据分级。
所述用户访问信息包括:用户账号、IP、时间、应用接口、访问链路、数据库或数据表或字段以及查询语句。
在一实施例中,处理器502在实现所述根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果步骤时,具体实现如下步骤:
获取用户访问的URL,以得到待关联URL;对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果。
在一实施例中,处理器502在实现所述对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果步骤时,具体实现如下步骤:
对所述待关联URL匹配对应的API接口,以得到目标API接口;将所述待关联URL对应的字段与所述目标API接口对应的字段进行关联;将所述数据标签内容中关于所述待关联URL对应的字段所对应的数据标签内容关联至所述目标API接口对应的字段,以得到关联结果;根据所述关联结果生成所述目标API接口所采集的相关数据对应的标签列表,以得到标识结果。
在一实施例中,处理器502在实现所述将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果步骤时,具体实现如下步骤:
对所述用户访问信息、所述相关数据以及标识结果进行关联,以得到关联结果;将所述关联结果按照用户发起访问行为、访问应用、访问数据库、访问数据顺序组装链路,以得到链路组装结果。
应当理解,在本申请实施例中,处理器502可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:
获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;获取浏览器插件自定义的数据标签内容;根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;获取用户访问行为日志;根据所述用户访问行为日志定位用户访问信息;将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;展示所述链路组装结果。
其中,所述相关数据是当应用之间调用产生的数据流和用户访问产生的数据流经过客户端的Agent时,Agent采用字节码增强技术根据管理端配置的数据采集策略对流经的数据流进行拦截,并对拦截的数据流进行数据解析,以形成的用户访问信息和应用调用数据。
所述数据标签内容是通过浏览器插件对访问页面执行请求和响应的交互动作的信息进行拦截,定位访问URL以及对应的字段,并对所述访问URL以及对应的字段进行数据标签操作形成的;所述数据标签操作包括对数据标识、数据分类、数据分级。
所述用户访问信息包括:用户账号、IP、时间、应用接口、访问链路、数据库或数据表或字段以及查询语句。
在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果步骤时,具体实现如下步骤:
获取用户访问的URL,以得到待关联URL;对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果。
在一实施例中,所述处理器在执行所述计算机程序而实现所述对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果步骤时,具体实现如下步骤:
对所述待关联URL匹配对应的API接口,以得到目标API接口;将所述待关联URL对应的字段与所述目标API接口对应的字段进行关联;将所述数据标签内容中关于所述待关联URL对应的字段所对应的数据标签内容关联至所述目标API接口对应的字段,以得到关联结果;根据所述关联结果生成所述目标API接口所采集的相关数据对应的标签列表,以得到标识结果。
在一实施例中,所述处理器在执行所述计算机程序而实现所述将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果步骤时,具体实现如下步骤:
对所述用户访问信息、所述相关数据以及标识结果进行关联,以得到关联结果;将所述关联结果按照用户发起访问行为、访问应用、访问数据库、访问数据顺序组装链路,以得到链路组装结果。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.无特征数据标签处理方法,其特征在于,包括:
获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;
获取浏览器插件自定义的数据标签内容;
根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;
获取用户访问行为日志;
根据所述用户访问行为日志定位用户访问信息;
将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;
展示所述链路组装结果。
2.根据权利要求1所述的无特征数据标签处理方法,其特征在于,所述相关数据是当应用之间调用产生的数据流和用户访问产生的数据流经过客户端的Agent时,Agent采用字节码增强技术根据管理端配置的数据采集策略对流经的数据流进行拦截,并对拦截的数据流进行数据解析,以形成的用户访问信息和应用调用数据。
3.根据权利要求1所述的无特征数据标签处理方法,其特征在于,所述数据标签内容是通过浏览器插件对访问页面执行请求和响应的交互动作的信息进行拦截,定位访问URL以及对应的字段,并对所述访问URL以及对应的字段进行数据标签操作形成的;所述数据标签操作包括对数据标识、数据分类、数据分级。
4.根据权利要求1所述的无特征数据标签处理方法,其特征在于,所述根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果,包括:
获取用户访问的URL,以得到待关联URL;
对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果。
5.根据权利要求4所述的无特征数据标签处理方法,其特征在于,所述对所述待关联URL匹配对应的API接口,并对所述相关数据以及数据标签内容进行关联分析,以得到标识结果,包括:
对所述待关联URL匹配对应的API接口,以得到目标API接口;
将所述待关联URL对应的字段与所述目标API接口对应的字段进行关联;
将所述数据标签内容中关于所述待关联URL对应的字段所对应的数据标签内容关联至所述目标API接口对应的字段,以得到关联结果;
根据所述关联结果生成所述目标API接口所采集的相关数据对应的标签列表,以得到标识结果。
6.根据权利要求1所述的无特征数据标签处理方法,其特征在于,所述用户访问信息包括:用户账号、IP、时间、应用接口、访问链路、数据库或数据表或字段以及查询语句。
7.根据权利要求6所述的无特征数据标签处理方法,其特征在于,所述将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果,包括:
对所述用户访问信息、所述相关数据以及标识结果进行关联,以得到关联结果;
将所述关联结果按照用户发起访问行为、访问应用、访问数据库、访问数据顺序组装链路,以得到链路组装结果。
8.无特征数据标签处理装置,其特征在于,包括:
相关数据获取单元,用于获取客户端根据管理端配置的数据采集策略所采集用户访问信息和应用调用数据,以得到相关数据;
标签内容获取单元,用于获取浏览器插件自定义的数据标签内容;
关联单元,用于根据所述相关数据以及数据标签内容进行数据标签的关联,以得到标识结果;
日志获取单元,用于获取用户访问行为日志;
访问信息定位单元,用于根据所述用户访问行为日志定位用户访问信息;
链路组装单元,用于将所述用户访问信息、所述相关数据以及标识结果进行链路组装,以得到链路组装结果;
展示单元,用于展示所述链路组装结果。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202211673376.XA 2022-12-26 2022-12-26 无特征数据标签处理方法、装置、计算机设备及存储介质 Pending CN115757995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211673376.XA CN115757995A (zh) 2022-12-26 2022-12-26 无特征数据标签处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211673376.XA CN115757995A (zh) 2022-12-26 2022-12-26 无特征数据标签处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115757995A true CN115757995A (zh) 2023-03-07

Family

ID=85347535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211673376.XA Pending CN115757995A (zh) 2022-12-26 2022-12-26 无特征数据标签处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115757995A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756092A (zh) * 2023-08-23 2023-09-15 深圳红途科技有限公司 系统下载文件打标方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756092A (zh) * 2023-08-23 2023-09-15 深圳红途科技有限公司 系统下载文件打标方法、装置、计算机设备及存储介质
CN116756092B (zh) * 2023-08-23 2024-01-05 深圳红途科技有限公司 系统下载文件打标方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US20210318866A1 (en) Auto-generation of api documentation via implementation-neutral analysis of api traffic
US10956834B2 (en) Tool for machine-learning data analysis
US10997192B2 (en) Data source correlation user interface
US20060288015A1 (en) Electronic content classification
CN104850546B (zh) 移动媒介信息的展示方法和系统
US11244328B2 (en) Discovery of new business openings using web content analysis
KR20140009483A (ko) 원격 모듈용 메시지 목록
CN105550206B (zh) 结构化查询语句的版本控制方法及装置
US11676345B1 (en) Automated adaptive workflows in an extended reality environment
WO2019061664A1 (zh) 电子装置、基于用户上网数据的产品推荐方法及存储介质
WO2021072742A1 (en) Assessing an impact of an upgrade to computer software
AU2014400621A1 (en) System and method for providing contextual analytics data
CN113360800A (zh) 无特征数据处理方法、装置、计算机设备及存储介质
CN110727857A (zh) 针对业务对象识别潜在用户的关键特征的方法及装置
CN110188291A (zh) 基于代理日志的文档处理
CN115757995A (zh) 无特征数据标签处理方法、装置、计算机设备及存储介质
CN110765552A (zh) 三维地质模型的属性信息展示方法及装置
CN110245357A (zh) 主实体识别方法和装置
CN111813816B (zh) 数据处理方法、装置、计算机可读存储介质和计算机设备
CN115426299B (zh) 无特征数据标识方法、装置、计算机设备及存储介质
US9843559B2 (en) Method for determining validity of command and system thereof
CN116383234A (zh) 一种搜索语句生成方法、装置、计算机设备及存储介质
CN113672497B (zh) 无埋点事件的生成方法、装置、设备及存储介质
US11704219B1 (en) Performance monitoring of distributed ledger nodes
US11562121B2 (en) AI driven content correction built on personas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination