CN112671849A - 基于实时流量分析的敏感数据处理方法及装置 - Google Patents
基于实时流量分析的敏感数据处理方法及装置 Download PDFInfo
- Publication number
- CN112671849A CN112671849A CN202011461846.7A CN202011461846A CN112671849A CN 112671849 A CN112671849 A CN 112671849A CN 202011461846 A CN202011461846 A CN 202011461846A CN 112671849 A CN112671849 A CN 112671849A
- Authority
- CN
- China
- Prior art keywords
- data
- determining
- returned
- real
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000005206 flow analysis Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000004044 response Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种基于实时流量分析的敏感数据处理方法及装置,涉及计算机技术领域。包括:从消息队列MQ中获取当前采集数据,所述MQ用于存储在线实时采集得到的采集数据;从所述当前采集数据中确定返回给用户的返回数据;基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据;当所述返回数据中存在敏感数据时,确定所述当前采集数据所对应的目标微服务。以此实现基于消息队列的敏感数据识别,能够提升敏感数据识别的效率。
Description
技术领域
本发明涉及计算机技术领域,尤其是涉及一种基于实时流量分析的敏感数据处理方法及装置。
背景技术
敏感数据又称隐私数据,例如在保险业务中,常见的有姓名、身份证号码、保单号、住址、电话、银行账号、医疗信息、教育背景等。这些与个人生活、工作密切相关的信息受到不同行业和政策法规的保护。
敏感数据通常是存储在数据库系统中,如果在业务的数据传输过程中,将其暴露在数据流中,则会存在敏感数据泄露的风险,尤其是从数据库系统中获取敏感数据这一情况,不但可能会造成敏感数据泄露,还有可能造成信任危机,对业务产生不良影响。
目前,针对数据库系统中敏感数据的泄露情况一般会采用一些检测措施,例如,可以从访问日志中提取HTTP响应信息;检测HTTP响应信息是否包括数据库系统的敏感信息;若包括,则确定HTTP请求信息指向Webshell。但是,该方案只能对业务系统打印的访问日志进行分析HTTP响应,处理效率低。
发明内容
本发明的目的在于提供一种基于实时流量分析的敏感数据处理方法及装置,以缓解了现有技术中存在的处理效率低的技术问题。
第一方面,本发明实施例提供一种基于实时流量分析的敏感数据处理方法。包括:从消息队列MQ中获取当前采集数据,所述MQ用于存储在线实时采集得到的采集数据;从所述当前采集数据中确定返回给用户的返回数据;基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据;当所述返回数据中存在敏感数据时,确定所述当前采集数据所对应的目标微服务。
在一些可能的实现中,所述从所述当前采集数据中确定返回给用户的返回数据,包括:从所述当前采集数据中进行内容识别,确定返回给用户的返回数据。
在一些可能的实现中,所述从所述当前采集数据中进行内容识别,确定返回给用户的返回数据,包括:从所述当前采集数据中确定HTTP响应;对所述HTTP响应进行内容识别,确定所述HTTP响应中的载荷中的返回给用户的返回数据。
在一些可能的实现中,所述预先配置的匹配规则存储于配置数据库中,所述基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据包括:在所述配置数据库中确定目标微服务对应的目标匹配规则,所述目标微服务为所述返回数据对应的微服务;基于所述目标匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据。
在一些可能的实现中,还包括:确定待更新的匹配规则;基于所述待更新的匹配规则,更新所述配置数据库。
在一些可能的实现中,还包括:向所述目标微服务的后台或负责人发送告警信息。
在一些可能的实现中,所述确定所述当前采集数据所对应的目标微服务,包括:所述确定当前采集数据中携带的目标流标识;基于预先配置的流标识与微服务的对应关系,确定所述目标流标识对应的目标微服务。
在一些可能的实现中,在从消息队列MQ中获取当前采集数据的步骤之前,还包括:对在线实时流量按照指定的采样率进行采集得到采集数据;将所述采集数据存储在所述MQ中。
在一些可能的实现中,所述指定的采样率为预先配置,所述指定的采样率为全流量的百分之一至万分之一。
在一些可能的实现中,该实时流量为HTTP报文。
第二方面,本发明实施例提供了一种基于实时流量分析的敏感数据处理装置。包括:获取模块,用于从消息队列MQ中获取当前采集数据,所述MQ用于存储在线实时采集得到的采集数据;第一确定模块,用于从所述当前采集数据中确定返回给用户的返回数据;分析模块,基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据;第二确定模块,用于当所述返回数据中存在敏感数据时,确定所述当前采集数据所对应的目标微服务。
第三方面,本发明实施例提供一种计算机设备,包括存储器、处理器;存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述前述实施方式任一项的方法的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质存储有机器可运行指令,计算机可运行指令在被处理器调用和运行时,计算机可运行指令促使处理器运行前述实施方式任一项的方法。
本发明提供的一种基于实时流量分析的敏感数据处理方法及装置。通过从消息队列MQ中获取当前采集数据,MQ用于存储在线实时采集得到的采集数据;从当前采集数据中确定返回给用户的返回数据;基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据;当返回数据中存在敏感数据时,确定当前采集数据所对应的目标微服务。以此实现基于消息队列的敏感数据识别,能够提升敏感数据识别的效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于实时流量分析的敏感数据处理方法流程示意图;
图2为本申请实施例提供的一种基于实时流量分析的敏感数据处理方法的一个示例;
图3为本申请实施例提供的一种基于实时流量分析的敏感数据处理装置结构示意图;
图4为本申请实施例提供的一种计算机设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种基于实时流量分析的敏感数据处理方法流程示意图。如图1所示,该方法应用于计算机设备,该方法可以包括:
步骤S110,从消息队列MQ中获取当前采集数据,MQ用于存储在线实时采集得到的采集数据。
例如,该方法可以应用在保险业务的场景下,可以先对保险业务的实时流量按照指定的采样率进行在线实时采集得到采集数据;然后将采集数据存储在MQ中。
其中,该指定的采样率为预先配置,指定的采样率为全流量的百分之一至万分之一。
该在线实时流量可以为HTTP报文,在具体实现时,可以仅针对响应报文进行采集。
在将实时采集的采集数据导入MQ后,可以基于消息队列的规则对MQ中的采集数据进行处理。其中,该MQ可以理解为一个用于存放采集数据的中间件,通过该MQ可以异步处理提高系统性能和削峰、降低系统耦合性。
该保险业务可以包括多种业务数据,该多种业务数据可以实时产生,该业务数据可以值客户端上传到服务器,或由服务器发送至客户端的数据,其中,该服务器和客户端可以与该保险业务对应。在一些实施例中,该业务数据还可以称为实时流量。基于此,可以对客户端与服务器之间传输的实时流量进行采集,以便得到采集数据。该采集方式可以包括多种,例如,可以将被采集的数据复制一份,也及时直接截获被采集的数据。
步骤S120,从当前采集数据中确定返回给用户的返回数据。
在本申请实施例中,对于敏感信息的泄露,通常是由业务内泄露至用户,也就是从服务器中泄露,该种泄露一般是存在于返回给用户的客户端的返回数据中。例如,该返回数据中可能携带有敏感数据,所以可以在当前采集数据中确定返回数据。
可以从当前采集数据中进行内容识别,确定返回给用户的返回数据。例如,对于如果该采集数据包括HTTP响应,则可以从该HTTP响应中获取载荷中的内容。例如,可以通过如下步骤来实现返回数据的确定:从当前采集数据中确定HTTP响应;对HTTP响应进行内容识别,确定HTTP响应中的载荷中的返回给用户的返回数据。
对于返回数据的确定,可以根据采集数据中报文的结构以及报文头对应的报文指令来确定,基于报文的结构可以确定报文头以及载荷,基于报文指令,可以确定该报文是否为响应报文。例如,可以基于报文结构对采集数据进行内容识别,确定该采集数据所包括的各个部分内容,例如,可以对报文的结构进行划分,区分报文头以及载荷部分。可以仅获取载荷中的内容,以此降低计算量,提升计算准确度,提升运算效率。
步骤S130,基于预先配置的匹配规则对返回数据进行分析,确定返回数据中是否存在敏感数据。
该敏感数据可以包括下述一项或多项:身份信息、位置信息以及银行信息。
该身份信息可以包括身份证号、手机号、保单号以及姓名等中的一项或多项;该银行信息可以包括银行卡号;该位置信息可以包括经纬度和/或家庭住址。该经纬度信息可以为该用户的定位信息,该家庭住址可以为该用户的邮寄地址。
在一些实施例中,该敏感数据还可以包括医疗信息,该医疗信息可以包括疾病的诊断、治疗以及相关消费等的信息。
该预先配置的匹配规则的数量和类型不限,在一些实施例中,该预先配置的匹配规则可以根据实际需要进行增删。
具体地,在一个实施例中,利用正则匹配来处理返回数据,以智能识别该返回数据中是否存在业务敏感数据。
作为一个示例,由于在微服务架构下,配置文件会随着微服务的增多变的越来越多,而且分散在各个微服务中,不好统一配置和管理,且配置文件无法区分环境。通常微服务项目可能会有多个环境,例如:测试环境、预发布环境、生产环境等等。每一个环境所使用的配置理论上都是不同的。
此时可以把各个微服务中各种配置全部都放到配置数据库中进行统一管理,并提供一套标准的接口。当各个微服务需要获取配置的时候,就可以从配置数据库中的接口拉取与其对应的配置。当配置数据库中的各种参数有更新的时候,也能通知到各个微服务实时同步最新的信息。
基于此,该预先配置的匹配规则可以存储于配置数据库中,该步骤S130具体可以通过如下步骤来实现:在配置数据库中确定目标微服务对应的目标匹配规则,该目标微服务为返回数据对应的微服务;基于目标匹配规则对返回数据进行分析,确定返回数据中是否存在敏感数据。
另外,还可以确定待更新的匹配规则;基于待更新的匹配规则,更新配置数据库。例如,可以接收来自客户端的匹配规则更新请求,该客户端可以为运营方的客户端,例如,可以为开发客户端或者发布客户端。基于该匹配规则更新请求中携带的新的匹配规则,对本地存储的匹配规则进行更新。
例如,可以通过配置数据库来实现匹配规则的存储,该配置数据库中的匹配规则可以来自于匹配规则更新请求。该配置数据库可以为DB数据库。例如,用户可以通过终端提供的用户界面输入需要增删的匹配规则,客户端可以将该增删的信息携带在匹配规则更新请求中发送至配置数据库。换句话说,用户可以通过终端实现对配置数据库中的匹配规则进行管理以及发布。再例如,还可以通过私人服务(PrivateWord)来获取增删的配置,此时,可以通过配置服务集群(ConfigService)来实现对配置数据库中的匹配规则进行管理以及发布等操作。其中,ConfigService集群可以是一个独立的微服务,服务于PrivateWord服务进行配置获取。作为一个示例,PrivateWord服务和ConfigService可以保持长连接,通过一种推拉结合(push&pull)的模式,实现配置实时更新(配置热加载),以及实现配置更新不丢失。用户还可以通过管理UI进行配置管理,推送到ConfigDB进行配置管理和发布。ConfigService和管理UI共享ConfigDB,ConfigDB中存放项目在某个环境的配置信息。
步骤S140,当返回数据中存在敏感数据时,确定当前采集数据所对应的目标微服务。
例如,以保险业务为例,该保险业务包括多个微服务,每个微服务对应一个或多个负责人,每个微服务对应一个负责人群。在确定返回数据中存在敏感数据时,可以向目标微服务的后台或负责人发送告警信息。
其中,可以根据该采集数据中携带的信息确定目标微服务。例如,该采集数据中可以携带有流标识,每个流标识可以对应一个微服务,可以确定当前采集数据中携带的目标流标识;基于预先配置的流标识与微服务的对应关系,可以确定目标流标识对应的目标微服务。另外,该采集数据还可以包括五元组信息,该五元组信息可以包括数据源信息,每个微服务可以对应一个数据源,基于该数据源信息可以确定该目标微服务。其中,该数据源信息可以为源IP。
在确定目标微服务后,可以确定目标微服务对应的负责人群;将针对返回数据的敏感数据提醒消息发送至负责人群中。
其中,该负责人群可以为基于即时通信技术实现的用户群,该用户群可以对应一个群ID,基于该群ID可以向该用户群中发送通知。另外,该负责人群还可以为组播群,基于组播技术可以向其对应的负责人发送消息提醒。
作为一个示例,如图2所示,图2为本发明实施例提供的一种系统架构图。如图2所示,该系统可以包括多个网关,例如网关实例1和网关实例2。每个网关上均可以设置流量网关以及流量采集代理。其中,该流量采集代理用于采集在线实时流量。该流量采集代理可以将采集到的采集数据导入异步MQ队列中。该系统还可以包括多个敏感服务实例,每个敏感服务实例均可以从异步MQ队列中获取采集数据,并基于获取的采集数据进行消费。具体的,可以消费topic(采集数据)获取响应,基于该响应机械能自动识别敏感数据,针对敏感数据,定位微服务,以及该定位的微服务(目标微服务)负责人,以便进行报警。
本发明实施例通过,实时采集出口流量数据,针对保险所有业务返回Response进行拦截,进而对相关数据智能识别敏感数据,同时,支持其他定制类型的敏感数据,整体识别敏感数据效率提升,实现敏感数据识别无侵入方案(区别于探针等技术方案);智能发现所有业务API返回的敏感数据(身份证、手机号、银行卡号、经纬度等),实现报警到产品线负责人并及时整改,避免了可能的保险用户隐私数据泄漏。该方法采用无侵入的通用性技术方案,通过采集流量进行旁路分析,可以降低对业务的影响,并且提升业务的稳定性。
图3为本发明实施例提供的一种基于实时流量分析的敏感数据处理装置结构示意图。如图3所示,该装置包括:
获取模块301,用于从消息队列MQ中获取当前采集数据,MQ用于存储在线实时采集得到的采集数据;
第一确定模块302,用于从当前采集数据中确定返回给用户的返回数据;
分析模块303,用于基于预先配置的匹配规则对返回数据进行分析,确定返回数据中是否存在敏感数据;
第二确定模块304,用于当返回数据中存在敏感数据时,确定当前采集数据所对应的目标微服务。
在一些实施例中,第一确定模块302,具体用于:
从当前采集数据中进行内容识别,确定返回给用户的返回数据。
在一些实施例中,第一确定模块302,具体用于:
从当前采集数据中确定HTTP响应;
对HTTP响应进行内容识别,确定HTTP响应中的载荷中的返回给用户的返回数据。
在一些实施例中,预先配置的匹配规则存储于配置数据库中,分析模块303具体用于:
在配置数据库中确定目标微服务对应的目标匹配规则,目标微服务为返回数据对应的微服务;
基于目标匹配规则对返回数据进行分析,确定返回数据中是否存在敏感数据。
在一些实施例中,还包括更新模块用于:
确定待更新的匹配规则;
基于待更新的匹配规则,更新配置数据库。
在一些实施例中,还包括告警模块,用于:
向目标微服务的后台或负责人发送告警信息。
在一些实施例中,第二确定模块304,具体用于:
确定当前采集数据中携带的目标流标识;
基于预先配置的流标识与微服务的对应关系,确定目标流标识对应的目标微服务。
在一些实施例中,还包括采样模块,用于:
对在线实时流量按照指定的采样率进行采集得到采集数据;
将采集数据存储在MQ中。
其中,指定的采样率为预先配置,指定的采样率为全流量的百分之一至万分之一。
在本发明实施例中,实时流量为HTTP报文。
本申请实施例提供的基于实时流量分析的敏感数据处理装置,与上述实施例提供的基于实时流量分析的敏感数据处理方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
如图4所示,本申请实施例提供的一种计算机设备700,包括:处理器701、存储器702和总线,存储器702存储有处理器701可执行的机器可读指令,当电子设备运行时,处理器701与存储器702之间通过总线通信,处理器701执行机器可读指令,以执行如上述基于实时流量分析的敏感数据处理方法、装置及计算机设备方法的步骤。
具体地,上述存储器702和处理器701能够为通用的存储器和处理器,这里不做具体限定,当处理器701运行存储器702存储的计算机程序时,能够执行上述基于实时流量分析的敏感数据处理方法。
对应于上述基于实时流量分析的敏感数据处理方法,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有机器可运行指令,计算机可运行指令在被处理器调用和运行时,计算机可运行指令促使处理器运行上述基于实时流量分析的敏感数据处理方法、装置及计算机设备方法的步骤。
本申请实施例所提供的基于实时流量分析的敏感数据处理方法、装置及计算机设备装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备执行本申请各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。
Claims (13)
1.一种基于实时流量分析的敏感数据处理方法,其特征在于,包括:
从消息队列MQ中获取当前采集数据,所述MQ用于存储在线实时采集得到的采集数据;
从所述当前采集数据中确定返回给用户的返回数据;
基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据;
当所述返回数据中存在敏感数据时,确定所述当前采集数据所对应的目标微服务。
2.根据权利要求1所述的方法,其特征在于,所述从所述当前采集数据中确定返回给用户的返回数据,包括:
从所述当前采集数据中进行内容识别,确定返回给用户的返回数据。
3.根据权利要求2所述的方法,其特征在于,所述从所述当前采集数据中进行内容识别,确定返回给用户的返回数据,包括:
从所述当前采集数据中确定HTTP响应;
对所述HTTP响应进行内容识别,确定所述HTTP响应中的载荷中的返回给用户的返回数据。
4.根据权利要求1所述的方法,其特征在于,所述预先配置的匹配规则存储于配置数据库中,所述基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据包括:
在所述配置数据库中确定目标微服务对应的目标匹配规则,所述目标微服务为所述返回数据对应的微服务;
基于所述目标匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据。
5.根据权利要求4所述的方法,其特征在于,还包括:
确定待更新的匹配规则;
基于所述待更新的匹配规则,更新所述配置数据库。
6.根据权利要求1所述的方法,其特征在于,还包括:
向所述目标微服务的后台或负责人发送告警信息。
7.根据权利要求1所述的方法,其特征在于,所述确定所述当前采集数据所对应的目标微服务,包括:
确定当前采集数据中携带的目标流标识;
基于预先配置的流标识与微服务的对应关系,确定所述目标流标识对应的目标微服务。
8.根据权利要求1所述的方法,其特征在于,在从消息队列MQ中获取当前采集数据的步骤之前,所述方法还包括:
对在线实时流量按照指定的采样率进行采集得到采集数据;
将所述采集数据存储在所述MQ中。
9.根据权利要求8所述的方法,其特征在于,所述指定的采样率为预先配置,所述指定的采样率为全流量的百分之一至万分之一。
10.根据权利要求1所述的方法,其特征在于,所述实时流量为HTTP报文。
11.一种基于实时流量分析的敏感数据处理装置,其特征在于,包括:
获取模块,用于从消息队列MQ中获取当前采集数据,所述MQ用于存储在线实时采集得到的采集数据;
第一确定模块,用于从所述当前采集数据中确定返回给用户的返回数据;
分析模块,基于预先配置的匹配规则对所述返回数据进行分析,确定所述返回数据中是否存在敏感数据;
第二确定模块,用于当所述返回数据中存在敏感数据时,确定所述当前采集数据所对应的目标微服务。
12.一种计算机设备,其特征在于,包括存储器、处理器;所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1至10任一项所述的方法的步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011461846.7A CN112671849A (zh) | 2020-12-08 | 2020-12-08 | 基于实时流量分析的敏感数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011461846.7A CN112671849A (zh) | 2020-12-08 | 2020-12-08 | 基于实时流量分析的敏感数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112671849A true CN112671849A (zh) | 2021-04-16 |
Family
ID=75405311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011461846.7A Pending CN112671849A (zh) | 2020-12-08 | 2020-12-08 | 基于实时流量分析的敏感数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112671849A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107454109A (zh) * | 2017-09-22 | 2017-12-08 | 杭州安恒信息技术有限公司 | 一种基于http流量分析的网络窃密行为检测方法 |
CN107733834A (zh) * | 2016-08-10 | 2018-02-23 | 中国移动通信集团甘肃有限公司 | 一种数据泄露防护方法及装置 |
CN107908959A (zh) * | 2017-11-10 | 2018-04-13 | 北京知道创宇信息技术有限公司 | 网站信息检测方法、装置、电子设备及存储介质 |
CN111061804A (zh) * | 2019-10-30 | 2020-04-24 | 平安科技(深圳)有限公司 | 基于大数据的异步数据处理方法、装置、设备和存储介质 |
CN111198983A (zh) * | 2019-12-30 | 2020-05-26 | 中国银行股份有限公司 | 一种敏感资讯信息检测方法、装置及存储介质 |
CN112035531A (zh) * | 2020-09-02 | 2020-12-04 | 中国平安人寿保险股份有限公司 | 敏感数据处理方法、装置、设备及介质 |
-
2020
- 2020-12-08 CN CN202011461846.7A patent/CN112671849A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107733834A (zh) * | 2016-08-10 | 2018-02-23 | 中国移动通信集团甘肃有限公司 | 一种数据泄露防护方法及装置 |
CN107454109A (zh) * | 2017-09-22 | 2017-12-08 | 杭州安恒信息技术有限公司 | 一种基于http流量分析的网络窃密行为检测方法 |
CN107908959A (zh) * | 2017-11-10 | 2018-04-13 | 北京知道创宇信息技术有限公司 | 网站信息检测方法、装置、电子设备及存储介质 |
CN111061804A (zh) * | 2019-10-30 | 2020-04-24 | 平安科技(深圳)有限公司 | 基于大数据的异步数据处理方法、装置、设备和存储介质 |
CN111198983A (zh) * | 2019-12-30 | 2020-05-26 | 中国银行股份有限公司 | 一种敏感资讯信息检测方法、装置及存储介质 |
CN112035531A (zh) * | 2020-09-02 | 2020-12-04 | 中国平安人寿保险股份有限公司 | 敏感数据处理方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
JEFF-Y: "Spring boot 集成apollo达到配置的热加载", CSDN社区,HTTPS://BLOG.CSDN.NET/WEIXIN_40413961/ARTICLE/DETAILS/106678795, pages 1 - 2 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8195757B2 (en) | Method, apparatus and computer program for controlling retention of publications | |
CN113176978B (zh) | 基于日志文件的监控方法、系统、设备及可读存储介质 | |
CN111581054A (zh) | 一种基于elk的日志埋点的业务分析告警系统及方法 | |
US6754704B1 (en) | Methods, systems, and computer program product for remote monitoring of a data processing system events | |
US20140344273A1 (en) | System and method for categorizing time expenditure of a computing device user | |
CN111352808B (zh) | 告警数据处理方法、装置、设备及存储介质 | |
CN112765152B (zh) | 用于合并数据表的方法和装置 | |
CN112162965A (zh) | 一种日志数据处理的方法、装置、计算机设备及存储介质 | |
CN111884843B (zh) | 一种消息处理方法、装置、电子设备及存储介质 | |
CN112347165A (zh) | 日志处理方法、装置及服务器和计算机可读存储介质 | |
CN110928934A (zh) | 一种用于业务分析的数据处理方法和装置 | |
CN109409948B (zh) | 交易异常检测方法、装置、设备及计算机可读存储介质 | |
CN110515750B (zh) | 一种应用拓扑生成方法、系统及集群 | |
CN114971714A (zh) | 一种基于大数据标签的精准客户运营方法和计算机设备 | |
CN117093627A (zh) | 信息挖掘的方法、装置、电子设备和存储介质 | |
CN112671849A (zh) | 基于实时流量分析的敏感数据处理方法及装置 | |
CN111711668A (zh) | 基于poi的实时推送服务的方法、装置、计算机设备 | |
CN111538616A (zh) | 异常定位方法、装置、系统与计算机可读存储介质 | |
CN107730380B (zh) | 联名账户处理方法、系统及服务器 | |
JP6834703B2 (ja) | 業務利用ファイル管理システム、業務利用ファイルの管理方法、および、プログラム | |
CN111913821B (zh) | 一种实现跨数据源实时数据流生产消费的方法 | |
CN111800409B (zh) | 接口攻击检测方法及装置 | |
CN112347066B (zh) | 日志处理方法、装置及服务器和计算机可读存储介质 | |
CN111144091B (zh) | 客服成员的确定方法、装置以及群成员身份的确定方法 | |
CN114371980A (zh) | 调用链路性能监控方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100102 201 / F, block C, 2 lizezhong 2nd Road, Chaoyang District, Beijing Applicant after: Beijing Shuidi Technology Group Co.,Ltd. Address before: 100102 201 / F, block C, 2 lizezhong 2nd Road, Chaoyang District, Beijing Applicant before: Beijing Health Home Technology Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |