CN115086052B - 一种基于http流量自动化解析账号的方法 - Google Patents

一种基于http流量自动化解析账号的方法 Download PDF

Info

Publication number
CN115086052B
CN115086052B CN202210715914.0A CN202210715914A CN115086052B CN 115086052 B CN115086052 B CN 115086052B CN 202210715914 A CN202210715914 A CN 202210715914A CN 115086052 B CN115086052 B CN 115086052B
Authority
CN
China
Prior art keywords
log
account
certificate
account number
login interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210715914.0A
Other languages
English (en)
Other versions
CN115086052A (zh
Inventor
唐鹏
杨明帅
王伟光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhi Technology Hangzhou Co ltd
Original Assignee
Quanzhi Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhi Technology Hangzhou Co ltd filed Critical Quanzhi Technology Hangzhou Co ltd
Priority to CN202210715914.0A priority Critical patent/CN115086052B/zh
Publication of CN115086052A publication Critical patent/CN115086052A/zh
Application granted granted Critical
Publication of CN115086052B publication Critical patent/CN115086052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明公开了一种基于HTTP流量自动化解析账号的方法，具体涉及数据安全、网络数据分析技术领域，包括以下内容：日志格式化：将HTTP流量还原为日志；登陆接口识别：从HTTP流量还原的日志中找到登陆接口；账号、凭证路径识别：登陆接口识别后，我们可以从该接口中提取出账号和凭证的字段；账号、凭证配置验证：验证账号和凭证的路径这些配置是否正确，将错误的配置丢弃掉；账号提取：根据准确率达标的配置提取对应的账号和凭证，将它们关联起来，再通过其他接口上的凭证字段，找到对应的账号。本发明提供了一种新的方式通过接口特征自动学习出账号和凭证路径，根据这个对应关系解析出流量中的账号，从而实现自动化解析账号的功能。

Description

一种基于HTTP流量自动化解析账号的方法
技术领域
本发明实施例涉及数据安全、网络数据分析领域，具体涉及一种基于HTTP流量自动化解析账号的方法。
背景技术
目前每年都发生着大量的数据泄露事件，给公司造成巨大的损失，根据威瑞森的《数据泄露调查报告》，其中85%的事件涉及人的因素。账号是在数据泄露场景中能关联到具体人的重要标识，只有在流量中识别出账号，后续才能更好的发现、审计、溯源人员的行为是否存在数据泄露风险。现有的账号解析需要依赖人工找寻登陆接口上的账号和凭证等自动的路径进行配置，效率低且投入成本大。
发明内容
为了解决账号解析依赖人工配置导致配置效率低投入成本大的问题，本发明所描述的一种基于HTTP流量自动化解析账号的方法，提供了一种新的方式通过接口特征自动学习出账号和凭证路径，根据这个对应关系解析出流量中的账号，从而实现自动化解析账号的功能。
为了实现上述目的，本发明实施例提供如下技术方案：一种基于HTTP流量自动化解析账号的方法，包括以下内容：
S1、日志格式化：将HTTP流量还原为日志，日志中包含HTTP的请求头、请求体、请求URL、请求方法、返回头和返回内容；
S2、登陆接口识别：从HTTP流量还原的日志中找到登陆接口，流程如下：
a)从日志中获取URL，判断是否符合登陆特征；
b)如果符合，判断请求参数中是否为账号密码，通过键值对做校验；
c)如果校验通过，则说明这个接口是登陆接口；
S3、账号、凭证路径识别：登陆接口识别后，我们可以从该接口中提取出账号和凭证的字段，流程如下：
a)提取日志中的请求参数；
b)遍历参数的键值对，从中筛选出符合特征的参数；
c)将符合条件的参数路径以jsonpath的语法存储起来；
S4、账号、凭证配置验证：当账号和凭证的路径识别完成后，可能会存在推荐多个账号和凭证的路径的情况，我们需要验证这些配置是否正确，将错误的配置丢弃掉，流程如下：
a)历史日志流量中筛选出该接口的所有事件，根据上一步识别出的路径去提取对应的账号和凭证，校验正确率达标才能将此配置保留，正确率未达标的配置删除；
b)校验正确率=校验成功的事件数/事件数；
S5、账号提取：根据正确率达标的配置提取对应的账号和凭证，将它们关联起来，再通过其他接口上的凭证字段，找到对应的账号，流程如下：
a)日志进来后，判断是否是登陆接口的日志,如果是登陆接口，根据登陆接口上的配置提取出账号和凭证，将它们作为键值对保存起来；
b) 如果不是登陆接口的日志，则提取该日志的凭证字段，再尝试从内存中查找此凭证对应的账号，实现流量中的账号解析。
本发明所描述的一种基于HTTP流量自动化解析账号的方法，采用不同数据类型的加权去重数量统计方法来进行量化评估数据安全风险影响面；基于loglogcounting、linear counting、adaptivecounting等概率计数的大数据去重算法在数据安全风险影响面评估场景中的应用，针对海量主体进行高性能的数据安全风险影响面计算的方法；通过各层级的筛选打标，将登陆接口上的账号字段和凭证字段的路径自动推荐出来，保障配置的完整性和一定的准确性；再通过历史流量中的日志，验证配置的准确性，通过这种方式保障配置的正确率和效率，从而摆脱人工配置的依赖。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明流程示意图。
实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
该实施例的一种基于HTTP流量自动化解析账号的方法，如图1所示，包括以下几部分内容：
S1、日志格式化：将HTTP流量还原为日志，日志中包含HTTP的请求头、请求体、请求URL、请求方法、返回头和返回内容；
S2、登陆接口识别：从HTTP流量还原的日志中找到登陆接口，流程如下：
a)从日志中获取URL，判断是否符合登陆特征；
b)如果符合，判断请求参数中是否为账号密码，通过键值对做校验；
c)如果校验通过，则说明这个接口是登陆接口；
S3、账号、凭证路径识别：登陆接口识别后，我们可以从该接口中提取出账号和凭证的字段，流程如下：
a)提取日志中的请求参数；
b)遍历参数的键值对，从中筛选出符合特征的参数；
c)将符合条件的参数路径以jsonpath的语法存储起来；
S4、账号、凭证配置验证：当账号和凭证的路径识别完成后，可能会存在推荐多个账号和凭证的路径的情况，我们需要验证这些配置是否正确，将错误的配置丢弃掉，流程如下：
a)历史日志流量中筛选出该接口的所有事件，根据上一步识别出的路径去提取对应的账号和凭证，校验正确率达标才能将此配置保留，正确率未达标的配置删除；
b)校验正确率=校验成功的事件数/事件数；
S5、账号提取：根据正确率达标的配置提取对应的账号和凭证，将它们关联起来，再通过其他接口上的凭证字段，找到对应的账号，流程如下：
a)日志进来后，判断是否是登陆接口的日志。如果是登陆接口，根据登陆接口上的配置提取出账号和凭证，比如张三和凭证A，将它们作为键值对保存起来；
b) 如果不是登陆接口的日志，则提取该日志的凭证字段，再尝试从内存中查找此凭证对应的账号，实现流量中的账号解析。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (1)

1.一种基于HTTP流量自动化解析账号的方法，其特征在于，包括以下内容：
S1、日志格式化：将HTTP流量还原为日志，日志中包含HTTP的请求头、请求体、请求URL、请求方法、返回头和返回内容；
S2、登陆接口识别：从HTTP流量还原的日志中找到登陆接口，流程如下：
从日志中获取URL，判断是否符合登陆特征；
如果符合，判断请求参数中是否为账号密码，通过键值对做校验；
如果校验通过，则说明这个接口是登陆接口；
S3、账号、凭证路径识别：登陆接口识别后，我们可以从该接口中提取出账号和凭证的字段，流程如下：
提取日志中的请求参数；
遍历参数的键值对，从中筛选出符合特征的参数；
将符合条件的参数路径以jsonpath的语法存储起来；
S4、账号、凭证配置验证：当账号和凭证的路径识别完成后，可能会存在推荐多个账号和凭证的路径的情况，我们需要验证这些配置是否正确，将错误的配置丢弃掉，流程如下：
历史日志流量中筛选出该接口的所有事件，根据上一步识别出的路径去提取对应的账号和凭证，校验正确率达标才能将此配置保留，正确率未达标的配置删除；
校验正确率=校验成功的事件数/事件数；
S5、账号提取：根据正确率达标的配置提取对应的账号和凭证，将它们关联起来，再通过其他接口上的凭证字段，找到对应的账号，流程如下：
日志进来后，判断是否是登陆接口的日志,如果是登陆接口，根据登陆接口上的配置提取出账号和凭证，将它们作为键值对保存起来；
如果不是登陆接口的日志，则提取该日志的凭证字段，再尝试从内存中查找此凭证对应的账号，实现流量中的账号解析。
CN202210715914.0A 2022-06-23 2022-06-23 一种基于http流量自动化解析账号的方法 Active CN115086052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210715914.0A CN115086052B (zh) 2022-06-23 2022-06-23 一种基于http流量自动化解析账号的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210715914.0A CN115086052B (zh) 2022-06-23 2022-06-23 一种基于http流量自动化解析账号的方法

Publications (2)

Publication Number Publication Date
CN115086052A CN115086052A (zh) 2022-09-20
CN115086052B true CN115086052B (zh) 2023-07-18

Family

ID=83253756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210715914.0A Active CN115086052B (zh) 2022-06-23 2022-06-23 一种基于http流量自动化解析账号的方法

Country Status (1)

Country Link
CN (1) CN115086052B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426743A (zh) * 2015-10-28 2016-03-23 腾讯科技（深圳）有限公司 账号的权限授权方法、账号登陆方法、服务器及客户端
CN110035087A (zh) * 2019-04-24 2019-07-19 全知科技(杭州)有限责任公司 一种从流量还原账号信息的方法、装置、设备及存储介质
CN110113358A (zh) * 2019-05-24 2019-08-09 全知科技(杭州)有限责任公司 一种识别基于单点登录的应用系统的操作账号的方法
CN110636038A (zh) * 2019-07-29 2019-12-31 奇安信科技集团股份有限公司 账号解析方法、装置、安全网关及系统
CN110661776A (zh) * 2019-07-29 2020-01-07 奇安信科技集团股份有限公司 敏感数据溯源方法、装置、安全网关及系统
WO2020087778A1 (zh) * 2018-11-02 2020-05-07 深圳壹账通智能科技有限公司 多系统登录方法、装置、计算机设备和存储介质
CN112417401A (zh) * 2020-11-26 2021-02-26 深圳创维－Rgb电子有限公司 账号验证方法、装置、系统及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426743A (zh) * 2015-10-28 2016-03-23 腾讯科技（深圳）有限公司 账号的权限授权方法、账号登陆方法、服务器及客户端
WO2020087778A1 (zh) * 2018-11-02 2020-05-07 深圳壹账通智能科技有限公司 多系统登录方法、装置、计算机设备和存储介质
CN110035087A (zh) * 2019-04-24 2019-07-19 全知科技(杭州)有限责任公司 一种从流量还原账号信息的方法、装置、设备及存储介质
CN110113358A (zh) * 2019-05-24 2019-08-09 全知科技(杭州)有限责任公司 一种识别基于单点登录的应用系统的操作账号的方法
CN110636038A (zh) * 2019-07-29 2019-12-31 奇安信科技集团股份有限公司 账号解析方法、装置、安全网关及系统
CN110661776A (zh) * 2019-07-29 2020-01-07 奇安信科技集团股份有限公司 敏感数据溯源方法、装置、安全网关及系统
CN112417401A (zh) * 2020-11-26 2021-02-26 深圳创维－Rgb电子有限公司 账号验证方法、装置、系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
统一身份认证日志集中管理与账号风险检测;章思宇;黄保青;姜开达;;东南大学学报(自然科学版)(第S1期);全文 *

Also Published As

Publication number Publication date
CN115086052A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN107302547B (zh) 一种web业务异常检测方法及装置
CN110213227B (zh) 一种网络数据流检测方法及装置
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
WO2020119430A1 (zh) 协议接口测试方法、装置、计算机设备和存储介质
CN108234347B (zh) 一种提取特征串的方法、装置、网络设备及存储介质
CN108768883B (zh) 一种网络流量识别方法及装置
CN106649831B (zh) 一种数据过滤方法及装置
CN106209862A (zh) 一种盗号防御实现方法及装置
CN109194677A (zh) 一种sql注入攻击检测方法、装置及设备
CN109635564A (zh) 一种检测暴力破解行为的方法、装置、介质及设备
CN106230602B (zh) 数字证书的证书链的完整性检测系统及方法
CN115967504A (zh) 加密恶意流量检测方法、装置、存储介质及电子装置
CN105100023B (zh) 数据包特征提取方法及装置
CN112003869A (zh) 一种基于流量的漏洞识别方法
CN107209834A (zh) 恶意通信模式提取装置、恶意通信模式提取系统、恶意通信模式提取方法及恶意通信模式提取程序
US11412063B2 (en) Method and apparatus for setting mobile device identifier
CN109857842B (zh) 一种报障文本识别的方法及装置
CN115086052B (zh) 一种基于http流量自动化解析账号的方法
US11539730B2 (en) Method, device, and computer program product for abnormality detection
CN109977328A (zh) 一种url分类方法及装置
CN108650145A (zh) 一种家庭宽带WiFi下手机号码特征自动提取方法
CN107391551B (zh) 一种基于数据挖掘的web业务数据分析方法及系统
CN116232696A (zh) 基于深度神经网络的加密流量分类方法
Zaman et al. A heuristic correlation algorithm for data reduction through noise detection in stream-based communication management systems
CN113076355A (zh) 一种数据安全流动态势感知的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant