CN114338171A - 一种黑产攻击检测方法和装置 - Google Patents
一种黑产攻击检测方法和装置 Download PDFInfo
- Publication number
- CN114338171A CN114338171A CN202111640236.8A CN202111640236A CN114338171A CN 114338171 A CN114338171 A CN 114338171A CN 202111640236 A CN202111640236 A CN 202111640236A CN 114338171 A CN114338171 A CN 114338171A
- Authority
- CN
- China
- Prior art keywords
- access
- interface
- abnormal
- preset
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 116
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 13
- 239000000523 sample Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000010191 image analysis Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002547 anomalous effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 210000002268 wool Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005206 flow analysis Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种黑产攻击检测方法和装置，涉及人工智能识别分类技术领域。该方法的一具体实施方式包括：获取与接口对应的访问记录，提取每个访问记录中的访问参数；在接口为查询业务信息接口的情况下，使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征；或在接口为下单接口的情况下，获取在预设历史时长内对接口的历史访问记录集，获取每个历史访问记录中的历史访问参数，以计算每个访问参数相对于历史访问记录集的访问特征，筛选出超出第二预设访问特征范围的异常访问特征；将与异常访问特征对应的访问记录，标记为异常访问记录。该实施方式使用聚类方式或规则模型，实现黑产攻击感知及监控。
Description
技术领域
本发明涉及人工智能识别分类技术领域，尤其涉及一种黑产攻击检测方法和装置。
背景技术
黑产攻击，主要指黑产团伙利用互联网系统的业务逻辑漏洞，实现包括非法获取敏感信息、盗取用户资金等恶意活动。目前大部分黑产攻击检测主要依靠传统网络安全设备进行，通过预制规则，提取流量中的请求字段进行关键字匹配，若命中则触发攻击告警。
在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
1、黑产攻击与普通网络攻击具有较大区别，多数情况下黑产攻击流量不包含传统的攻击报文特征，且大多没有固定特征，因此传统网络安全设备难以做到有效监测；
2、传统网络安全设备对现有黑产攻击方案的分析力欠缺，基本无法有效实现用户风险画像分析；
3、传统网络安全设备的检测规则一般固定且具备时效性，主要由其厂商负责定时更新，否则无法应对新型攻击，但目前更新速度较慢，当出现新型攻击时无法检测到。
发明内容
有鉴于此，本发明实施例提供一种黑产攻击检测方法和装置，至少能够解决现有技术中依靠固定特征规则监测，规则更新速度较慢、难以有效监测，且无法有效分析风险画像的现象。
为实现上述目的，根据本发明实施例的一个方面，提供了一种黑产攻击检测方法，包括：
获取与接口对应的访问记录，提取每个访问记录中的访问参数；
在接口为查询业务信息接口的情况下，使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征；或
在接口为下单接口的情况下，获取在预设历史时长内对接口的历史访问记录集，获取每个历史访问记录中的历史访问参数，以计算每个访问参数相对于历史访问记录集的访问特征，筛选出超出第二预设访问特征范围的异常访问特征；
将与所述异常访问特征对应的访问记录，标记为异常访问记录。
可选的，在接口为查询业务信息接口的情况下，所述访问参数包括用户标识、客户端网络之间互连的协议IP地址、请求参数、接口IP地址、访问接口使用的统一资源定位符URL地址和访问时间；
所述使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征，包括：
使用聚类方式处理访问参数，得到每个对象对接口的访问次数和/或访问频率，以筛选出大于预设访问次数阈值的异常访问次数、和/或大于预设访问频率阈值的异常访问频率；其中，对象为用户标识或客户端IP地址；以及
通过分析接口IP地址、对接口的访问URL地址、访问时间和请求参数，得到每个对象对不同接口的访问时序，获取对所述不同接口配置的预设访问时序，以筛选与所述预设访问时序不同的异常访问时序。
可选的，在将与所述异常访问特征对应的访问记录，标记为异常访问记录之后，还包括：
根据异常访问记录中的访问参数，进行全渠道溯源追踪，得到与异常对象对应的溯源风险信息。
可选的，在接口为下单接口的情况下，所述计算每个访问参数相对于历史访问记录集的访问特征，以筛选出超出第二预设访问特征范围的异常访问特征，包括：
将所述历史访问参数和所述访问参数，一同输入到预设规则模型中，以计算每个访问记录相对于历史访问记录集的安全偏离度，进而筛选出超出预设安全偏离度阈值的异常安全偏离度。
可选的，所述访问参数包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、物品标识和交易信息；
在将与所述异常访问特征对应的访问记录，标记为异常访问记录之后，还包括：
确定异常访问参数中的异常对象，根据异常对象访问不同接口的访问时间和访问时序、访问的物品标识、物品信息和交易信息，生成风险画像分析报告；其中，对象为用户标识或客户端IP地址。
可选的，在将与所述异常访问特征对应的访问记录，标记为异常访问记录之后，还包括：生成与异常对象对应的告警信息。
可选的，所述获取与接口对应的访问记录，包括：
使用数据探针实时采集访问一个或多个接口的流量，解析所述流量，得到对每个接口的访问记录。
为实现上述目的，根据本发明实施例的另一方面，提供了一种黑产攻击检测装置，包括：
参数提取模块，用于获取与接口对应的访问记录，提取每个访问记录中的访问参数；
异常检测模块，用于在接口为查询业务信息接口的情况下，使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征；或
在接口为下单接口的情况下，获取在预设历史时长内对接口的历史访问记录集，获取每个历史访问记录中的历史访问参数，以计算每个访问参数相对于历史访问记录集的访问特征，筛选出超出第二预设访问特征范围的异常访问特征；
异常标记模块，用于将与所述异常访问特征对应的访问记录，标记为异常访问记录。
可选的，在接口为查询业务信息接口的情况下，所述访问参数包括用户标识、客户端网络之间互连的协议IP地址、请求参数、接口IP地址、访问接口使用的统一资源定位符URL地址和访问时间；
所述异常检测模块，用于：
使用聚类方式处理访问参数，得到每个对象对接口的访问次数和/或访问频率，以筛选出大于预设访问次数阈值的异常访问次数、和/或大于预设访问频率阈值的异常访问频率；其中，对象为用户标识或客户端IP地址；以及
通过分析接口IP地址、对接口的访问URL地址、访问时间和请求参数，得到每个对象对不同接口的访问时序，获取对所述不同接口配置的预设访问时序，以筛选与所述预设访问时序不同的异常访问时序。
可选的，还包括风险溯源模块，用于：
根据异常访问记录中的访问参数，进行全渠道溯源追踪，得到与异常对象对应的溯源风险信息。
可选的，在接口为下单接口的情况下，所述异常检测模块，用于：
将所述历史访问参数和所述访问参数，一同输入到预设规则模型中，以计算每个访问记录相对于历史访问记录集的安全偏离度，进而筛选出超出预设安全偏离度阈值的异常安全偏离度。
可选的，所述访问参数包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、物品标识和交易信息；
还包括画像分析模块，用于：
确定异常访问参数中的异常对象，根据异常对象访问不同接口的访问时间和访问时序、访问的物品标识、物品信息和交易信息，生成风险画像分析报告；其中，对象为用户标识或客户端IP地址。
可选的，还包括告警模块，用于：生成与异常对象对应的告警信息。
可选的，所述参数提取模块，用于：
使用数据探针实时采集访问一个或多个接口的流量，解析所述流量，得到对每个接口的访问记录。
为实现上述目的，根据本发明实施例的再一方面，提供了一种黑产攻击检测电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的黑产攻击检测方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的黑产攻击检测方法。
为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算程序产品。本发明实施例的一种计算程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的黑产攻击检测方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：不再单纯依赖网络攻击请求特征来进行匹配，而是通过提取流量中的关键参数，使用聚类方式或规则引擎，以筛选出异常访问记录，且对传统网络安全防护设备无法覆盖的黑产常用业务安全漏洞实现有效监控，以此基于流量分析实现溯源追踪分析、风险画像分析。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种黑产攻击检测方法的主要流程示意图；
图2是根据本发明实施例的一种可选的黑产攻击检测方法的流程示意图；
图3是根据本发明实施例的另一种可选的黑产攻击检测方法的流程示意图；
图4是本发明实施例的框架示意图；
图5是根据本发明实施例的一种黑产攻击检测装置的主要模块示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
参见图1，示出的是本发明实施例提供的一种黑产攻击检测方法的主要流程图，包括如下步骤：
S101：获取与接口对应的访问记录，提取每个访问记录中的访问参数；
S102：在接口为查询业务信息接口的情况下，使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征；
S103：在接口为下单接口的情况下，获取在预设历史时长内对接口的历史访问记录集，获取每个历史访问记录中的历史访问参数，以计算每个访问参数相对于历史访问记录集的访问特征，筛选出超出第二预设访问特征范围的异常访问特征；
S104：将与所述异常访问特征对应的访问记录，标记为异常访问记录。
上述实施方式中，对于步骤S101，确定API(Application ProgrammingInterface，应用程序编程接口)接口，接口数量可以是一个，也可以是多个，通过分光器(一种流量分配工具)将接口上的流量引接到数据探针上，然后在数据探针上配置一个流量采集规则，例如每天12点或实时对某个接口采集100条流量，最后通过探针解析流量，得到流量中的访问记录(或称为原始http协议请求报文)。
进一步的，当采集到的流量过多时，可以随机或按照采集顺序，选取部分流量，如上述100条流量中的50条，该数值支持参数化配置，也可以预先设置为默认值。
对于步骤S102～S104，本方案分为两个场景，越权攻击全渠道溯源追踪场景、黑产薅羊毛/刷单风险画像分析场景。
实施例一，越权攻击全渠道溯源追踪场景
越权攻击：指利用系统逻辑漏洞，非法获取他人敏感信息的攻击行为。全渠道溯源追踪：通过综合利用各种手段主动追踪网络攻击发起者、定位攻击源，结合网络取证和威胁情报，有针对性地减缓或反制各类型网络攻击。
具体参见图2所示
S201：获取与查询业务信息接口对应的访问记录，提取每个访问记录中的访问参数；其中，访问参数包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、请求参数；
S202：使用聚类方式处理访问参数，得到每个对象对接口的访问次数和/或访问频率、对不同接口的访问时序；其中，对象为用户标识或客户端IP地址，访问时序通过分析接口IP地址、对接口的访问URL地址、访问时间和请求参数得到；
S203：确定大于预设访问次数阈值的异常访问次数；
S204：确定大于预设访问频率阈值的异常访问频率；
S205：获取对所述不同接口配置的预设访问时序，确定与所述预设访问时序不同的异常访问时序；
S206：将与异常访问次数、异常访问频率和/或异常访问时序对应的访问记录，标记为异常访问记录；
S207：根据异常访问记录中的访问参数，进行全渠道溯源追踪，得到与异常对象对应的溯源风险信息。
对于步骤S201，本场景中的访问参数包含用户标识(如登陆账号、银行账号、身份证号、电话号码)、客户端IP(Internet Protocol，网络之间互连的协议)地址、接口IP地址、访问接口使用的URL(Uniform Resource Locator，统一资源定位符)地址和访问时间、请求参数，不同业务所需的请求参数不同。
对于步骤S202，此处的接口IP地址、URL地址用于区分接口。在综合分析引擎中，根据访问参数可以建立多种对应关系，如：
1)可以建立同一用户标识与不同被访问接口之间的对应关系，如用户标识1-接口A、接口B；也可以建立不同用户标识与同一被访问接口之间的对应关系，如用户标识1、用户标识3-接口A。本次主要从用户角度分析，因此主要考虑每个用户对每个接口的访问次数和/或访问频率，访问频率＝访问次数/一定时长，该一定时长依据工作人员设定。
2)不同用户可能使用同一客户端或者同一客户端下的子终端(子终端显示仍为客户端的IP地址)访问同一接口，因此可以建立同一客户端IP地址与不同被访问接口之间的对应关系，如客户端IP地址1-接口A、接口B；也可以建立不同客户端IP地址与同一被访问接口之间的对应关系，如客户端IP地址1、客户端IP地址3-接口A。本次主要从客户端角度分析，因此主要考虑每个客户端IP地址对每个接口的访问次数和/或访问频率。
3)同一用户对不同接口的访问时序，例如，用户a访问接口A的时间点为19:55，访问接口C的时间点为20:00，访问接口B的时间点为20:15，因此用户a对这几个接口的访问时序为A-C-B。确定所访问的接口，可以通过接口IP地址、访问接口使用URL地址分析。
进一步的，可以将上述关系记录为日志二维表，然后进行后续数据分析，例如聚类、统计等。本方案优选K-Means聚类法，以对日志二维表中的对应关系进行聚类分析，以确定每个用户标识/客户端IP地址对接口的查询特征。此处主要包含：1)每个用户标识/客户端IP地址，对同一接口的访问次数和访问频率；2)每个用户标识/客户端IP地址对不同接口的访问时序。
对于步骤S203～S206，使用聚类方式对访问记录分组，找出具有攻击特征的一组进行告警。例如，接口A在过往30天内访问特征都是一对一的，且每日访问量在100次内，今日有个客户端IP地址对应多个接口，且对这些接口的访问总量达10000次，超出了当日预设访问次数阈值，或者对其中一个或多个接口的访问次数大于相应预设访问次数阈值、或者访问频率大于预设访问频率阈值(不同接口设置的预设访问次数阈值、预设访问频率阈值可能不同)，则表示该客户端IP地址访问异常，需将与该客户端IP地址对应的访问记录均标记为异常访问记录。对于用户标识同理，在此不做赘述。
对于接口访问时序，例如预设接口访问时序应当为A-B-C，但实际用户操作顺序为A-C-B，两者访问时序不同，是存在问题的，因此将该用户标识/客户端IP地址确定异常，将与其对应的访问记录标记为异常访问记录。
对于步骤S207，所得异常访问记录可以同步至管理平台，在管理平台实现高风险访问记录的汇聚计算，包括对客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、用户标识、历史访问记录等要素进行全渠道溯源追踪，得出溯源风险信息。
例如，针对一个可疑攻击客户端IP地址进行溯源分析，获取该客户端IP地址对接口的完整访问记录，并且生成根据综合分析引擎处理得到的分析结果，如存在越权攻击特征。
实施例二，黑产薅羊毛、刷单风险画像分析
薅羊毛、刷单：利用业务规则上的漏洞，进行特定序列的高频交易，以此获利。风险画像分析：根据用户在系统中的各类行为等信息而抽象出的一个标签化的用户模型，用以给用户打“标签”以及各类信息的详细描述，而标签是通过对用户信息分析而来的高度精炼的特征标识。
具体参见图3所示
S301：获取与下单接口对应的访问记录，提取每个访问记录中的访问参数；其中，访问参数包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、物品标识、交易信息；
S302：获取在预预设历史时长内对接口的历史访问记录集，提取每个历史访问记录中的历史访问参数；
S303：将所述历史访问参数和所述访问参数，一同输入到预设规则模型中，以计算每个访问记录相对于历史访问记录集的安全偏离度；
S304：确定超出预设安全偏离度范围的异常安全偏离度，将与所述异常安全偏离度对应的访问记录，标记为异常访问记录；
S305：确定异常访问参数中的异常对象，根据异常对象访问不同接口的访问时间和访问时序、访问的物品标识、物品信息和交易信息，生成风险画像分析报告；其中，对象为用户标识或客户端IP地址。
对于步骤S301～S304，此处针对下单场景，因此接口为下单接口，访问参数中除了包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间外，还包括被访问的商品ID、交易信息，如交易金额。
获取接口在预定历史时长内的历史访问记录集合，确定当前业务场景，查询预先为当前业务场景定制的规则模型；其中，规则模型为根据业务场景特征，利用访问时序/访问频率等要素，建立的多种风险匹配规则组合。
不同业务场景的威胁定义会不同，支持参数化配置，例如下单场景和浏览页面场景允许的正常交易频率是不同的，是需要动态配置的，或者根据商品属性(如体积、品类、价值)自动生成安全标准。
将历史访问记录数据和每个接口的访问参数，输入到规则模型中，结合当前业务场景参数，计算出每个被访问接口的安全偏离度，进而确定超出预设安全偏离度范围的异常安全偏离度。将与异常安全偏离度对应的访问记录，标记为异常访问记录，并将结果同步至管理平台。
对于步骤S305，风险画像，例如某个客户端IP地址访问的物品内容、交易信息、访问时间、访问时序、账户信息、风险分析信息等组合成的一个报告。因而在管理平台可以实现画像分析计算，将风险度较高的异常接口记录进行打标签、并且发送风险画像分析报告。
上述实施例所提供的方法，不再单纯依赖网络攻击请求特征来进行匹配，而是通过提取流量中的访问参数，使用聚类方式或规则模型分析，以筛选出异常访问记录，以此基于流量分析实现黑产攻击感知及监控。
参见图4，示出了本发明实施例提供一种框架图，包括数据探针、综合分析引擎、管理平台、客户端和业务系统；
1、数据探针，用于对接口进行流量采样，解析流量得到接口访问记录。数据探针可以支持两种流量获取方式，一种是前述通过分光器的镜像流量直接接入，另一种在不同环境的应用中，可以通过现有流量采集工具导出离线流量数据包，提供至数据探针进行解析。
2、综合分析引擎，是整个方案的核心部分，根据数据探针解析到的接口访问记录进行计算分析，分为越权攻击全渠道溯源追踪场景、黑产薅羊毛/刷单风险画像分析场景，以分析并确定异常访问记录。
3、管理平台，接收综合分析引擎同步的异常访问记录，进行全渠道溯源追踪以生成可疑报告，或者根据异常客户端IP地址访问不同接口的物品信息、访问时间、访问时序生成风险画像分析报告。无论哪种均需要生成与用户标识和/或客户端IP地址对应的告警信息，可以仅存储但不告警，也可以既存储又告警。
4、客户端，用户在客户端上输入账号和密码登陆，使用客户端IP地址访问业务系统中的接口URL地址，以调用接口，得到访问流量。
参见图5，示出了本发明实施例提供的一种黑产攻击检测装置500的主要模块示意图，包括：
参数提取模块501，用于获取与接口对应的访问记录，提取每个访问记录中的访问参数；
异常检测模块502，用于在接口为查询业务信息接口的情况下，使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征；或
在接口为下单接口的情况下，获取在预设历史时长内对接口的历史访问记录集，获取每个历史访问记录中的历史访问参数，以计算每个访问参数相对于历史访问记录集的访问特征，筛选出超出第二预设访问特征范围的异常访问特征；
异常标记模块503，用于将与所述异常访问特征对应的访问记录，标记为异常访问记录。
本发明实施装置中，在接口为查询业务信息接口的情况下，所述访问参数包括用户标识、客户端网络之间互连的协议IP地址、请求参数、接口IP地址、访问接口使用的统一资源定位符URL地址和访问时间；
所述异常检测模块502，用于：
使用聚类方式处理访问参数，得到每个对象对接口的访问次数和/或访问频率，以筛选出大于预设访问次数阈值的异常访问次数、和/或大于预设访问频率阈值的异常访问频率；其中，对象为用户标识或客户端IP地址；以及
通过分析接口IP地址、对接口的访问URL地址、访问时间和请求参数，得到每个对象对不同接口的访问时序，获取对所述不同接口配置的预设访问时序，以筛选与所述预设访问时序不同的异常访问时序。
本发明实施装置还包括风险溯源模块，用于：
根据异常访问记录中的访问参数，进行全渠道溯源追踪，得到与异常对象对应的溯源风险信息。
本发明实施装置中，在接口为下单接口的情况下，所述异常检测模块502，用于：
将所述历史访问参数和所述访问参数，一同输入到预设规则模型中，以计算每个访问记录相对于历史访问记录集的安全偏离度，进而筛选出超出预设安全偏离度阈值的异常安全偏离度。
本发明实施装置所述访问参数包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、物品标识和交易信息；
还包括画像分析模块，用于：
确定异常访问参数中的异常对象，根据异常对象访问不同接口的访问时间和访问时序、访问的物品标识、物品信息和交易信息，生成风险画像分析报告；其中，对象为用户标识或客户端IP地址。
本发明实施装置还包括告警模块，用于：生成与异常对象对应的告警信息。
本发明实施装置中，所述参数提取模块501，用于：
使用数据探针实时采集访问一个或多个接口的流量，解析所述流量，得到对每个接口的访问记录。
另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
图6示出了可以应用本发明实施例的示例性系统架构600，包括终端设备601、602、603，网络604和服务器605(仅仅是示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，安装有各种通讯客户端应用，用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。
网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
服务器605可以是提供各种服务的服务器，需要说明的是，本发明实施例所提供的方法一般由服务器605执行，相应地，装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括参数提取模块、异常检测模块、异常标记模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，异常标记模块还可以被描述为“异常记录标记模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行本发明实施例中的黑产攻击检测方法。
本发明的计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明实施例中的黑产攻击检测方法。
根据本发明实施例的技术方案，不再单纯依赖网络攻击请求特征来进行匹配，而是通过提取流量中的关键参数，使用聚类方式或规则引擎，以筛选出异常访问记录，且对传统网络安全防护设备无法覆盖的黑产常用业务安全漏洞(例如越权、刷单等)实现有效监控，以此基于流量分析实现溯源追踪分析、风险画像分析。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (16)
1.一种黑产攻击检测方法，其特征在于，包括：
获取与接口对应的访问记录，提取每个访问记录中的访问参数；
在接口为查询业务信息接口的情况下，使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征；或
在接口为下单接口的情况下，获取在预设历史时长内对接口的历史访问记录集，获取每个历史访问记录中的历史访问参数，以计算每个访问参数相对于历史访问记录集的访问特征，筛选出超出第二预设访问特征范围的异常访问特征；
将与所述异常访问特征对应的访问记录，标记为异常访问记录。
2.根据权利要求1所述的方法，其特征在于，在接口为查询业务信息接口的情况下，所述访问参数包括用户标识、客户端网络之间互连的协议IP地址、请求参数、接口IP地址、访问接口使用的统一资源定位符URL地址和访问时间；
所述使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征，包括：
使用聚类方式处理访问参数，得到每个对象对接口的访问次数和/或访问频率，以筛选出大于预设访问次数阈值的异常访问次数、和/或大于预设访问频率阈值的异常访问频率；其中，对象为用户标识或客户端IP地址；以及
通过分析接口IP地址、对接口的访问URL地址、访问时间和请求参数，得到每个对象对不同接口的访问时序，获取对所述不同接口配置的预设访问时序，以筛选与所述预设访问时序不同的异常访问时序。
3.根据权利要求2所述的方法，其特征在于，在将与所述异常访问特征对应的访问记录，标记为异常访问记录之后，还包括：
根据异常访问记录中的访问参数，进行全渠道溯源追踪，得到与异常对象对应的溯源风险信息。
4.根据权利要求1所述的方法，其特征在于，在接口为下单接口的情况下，所述计算每个访问参数相对于历史访问记录集的访问特征，以筛选出超出第二预设访问特征范围的异常访问特征，包括：
将所述历史访问参数和所述访问参数，一同输入到预设规则模型中，以计算每个访问记录相对于历史访问记录集的安全偏离度，进而筛选出超出预设安全偏离度阈值的异常安全偏离度。
5.根据权利要求4所述的方法，其特征在于，所述访问参数包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、物品标识和交易信息；
在将与所述异常访问特征对应的访问记录，标记为异常访问记录之后，还包括：
确定异常访问参数中的异常对象，根据异常对象访问不同接口的访问时间和访问时序、访问的物品标识、物品信息和交易信息，生成风险画像分析报告；其中，对象为用户标识或客户端IP地址。
6.根据权利要求2或5所述的方法，其特征在于，在将与所述异常访问特征对应的访问记录，标记为异常访问记录之后，还包括：生成与异常对象对应的告警信息。
7.根据权利要求1所述的方法，其特征在于，所述获取与接口对应的访问记录，包括：
使用数据探针实时采集访问一个或多个接口的流量，解析所述流量，得到对每个接口的访问记录。
8.一种黑产攻击检测装置，其特征在于，包括：
参数提取模块，用于获取与接口对应的访问记录，提取每个访问记录中的访问参数；
异常检测模块，用于在接口为查询业务信息接口的情况下，使用聚类方式分析每个访问参数的访问特征，以筛选出超出第一预设访问特征范围的异常访问特征；或
在接口为下单接口的情况下，获取在预设历史时长内对接口的历史访问记录集，获取每个历史访问记录中的历史访问参数，以计算每个访问参数相对于历史访问记录集的访问特征，筛选出超出第二预设访问特征范围的异常访问特征；
异常标记模块，用于将与所述异常访问特征对应的访问记录，标记为异常访问记录。
9.根据权利要求8所述的装置，其特征在于，在接口为查询业务信息接口的情况下，所述访问参数包括用户标识、客户端网络之间互连的协议IP地址、请求参数、接口IP地址、访问接口使用的统一资源定位符URL地址和访问时间；
所述异常检测模块，用于：
使用聚类方式处理访问参数，得到每个对象对接口的访问次数和/或访问频率，以筛选出大于预设访问次数阈值的异常访问次数、和/或大于预设访问频率阈值的异常访问频率；其中，对象为用户标识或客户端IP地址；以及
通过分析接口IP地址、对接口的访问URL地址、访问时间和请求参数，得到每个对象对不同接口的访问时序，获取对所述不同接口配置的预设访问时序，以筛选与所述预设访问时序不同的异常访问时序。
10.根据权利要求9所述的装置，其特征在于，还包括风险溯源模块，用于：
根据异常访问记录中的访问参数，进行全渠道溯源追踪，得到与异常对象对应的溯源风险信息。
11.根据权利要求8所述的装置，其特征在于，在接口为下单接口的情况下，所述异常检测模块，用于：
将所述历史访问参数和所述访问参数，一同输入到预设规则模型中，以计算每个访问记录相对于历史访问记录集的安全偏离度，进而筛选出超出预设安全偏离度阈值的异常安全偏离度。
12.根据权利要求11所述的装置，其特征在于，所述访问参数包括用户标识、客户端IP地址、接口IP地址、访问接口使用的URL地址和访问时间、物品标识和交易信息；
还包括画像分析模块，用于：
确定异常访问参数中的异常对象，根据异常对象访问不同接口的访问时间和访问时序、访问的物品标识、物品信息和交易信息，生成风险画像分析报告；其中，对象为用户标识或客户端IP地址。
13.根据权利要求9或12所述的装置，其特征在于，还包括告警模块，用于：生成与异常对象对应的告警信息。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111640236.8A CN114338171A (zh) | 2021-12-29 | 2021-12-29 | 一种黑产攻击检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111640236.8A CN114338171A (zh) | 2021-12-29 | 2021-12-29 | 一种黑产攻击检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114338171A true CN114338171A (zh) | 2022-04-12 |
Family
ID=81017884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111640236.8A Pending CN114338171A (zh) | 2021-12-29 | 2021-12-29 | 一种黑产攻击检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114338171A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115664845A (zh) * | 2022-12-07 | 2023-01-31 | 北京市大数据中心 | 基于多源数据协同的安全画像方法、设备、介质 |
| CN116609606A (zh) * | 2023-07-17 | 2023-08-18 | 北京四方必施恩科技有限公司 | 一种基于人工智能的铁路动环实时安全检测系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100064366A1 (en) * | 2008-09-11 | 2010-03-11 | Alibaba Group Holding Limited | Request processing in a distributed environment |
| CN103856920A (zh) * | 2012-11-28 | 2014-06-11 | 中国移动通信集团河南有限公司 | 一种数据处理方法和装置 |
| CN108377241A (zh) * | 2018-02-12 | 2018-08-07 | 平安普惠企业管理有限公司 | 基于访问频率的监测方法、装置、设备和计算机存储介质 |
| CN110417778A (zh) * | 2019-07-30 | 2019-11-05 | 中国工商银行股份有限公司 | 访问请求的处理方法和装置 |
| CN113051558A (zh) * | 2021-03-17 | 2021-06-29 | 贾帅 | 一种面向Slow HTTP POST攻击的数据包检测系统 |
| CN113438249A (zh) * | 2021-06-30 | 2021-09-24 | 北京科东电力控制系统有限责任公司 | 一种基于策略的攻击溯源方法 |
| CN113656473A (zh) * | 2021-07-30 | 2021-11-16 | 平安消费金融有限公司 | 接口访问方法、装置、设备及介质 |
| CN113763057A (zh) * | 2020-05-28 | 2021-12-07 | 北京金山云网络技术有限公司 | 用户身份画像的数据处理方法和装置 |
-
2021
- 2021-12-29 CN CN202111640236.8A patent/CN114338171A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100064366A1 (en) * | 2008-09-11 | 2010-03-11 | Alibaba Group Holding Limited | Request processing in a distributed environment |
| CN103856920A (zh) * | 2012-11-28 | 2014-06-11 | 中国移动通信集团河南有限公司 | 一种数据处理方法和装置 |
| CN108377241A (zh) * | 2018-02-12 | 2018-08-07 | 平安普惠企业管理有限公司 | 基于访问频率的监测方法、装置、设备和计算机存储介质 |
| CN110417778A (zh) * | 2019-07-30 | 2019-11-05 | 中国工商银行股份有限公司 | 访问请求的处理方法和装置 |
| CN113763057A (zh) * | 2020-05-28 | 2021-12-07 | 北京金山云网络技术有限公司 | 用户身份画像的数据处理方法和装置 |
| CN113051558A (zh) * | 2021-03-17 | 2021-06-29 | 贾帅 | 一种面向Slow HTTP POST攻击的数据包检测系统 |
| CN113438249A (zh) * | 2021-06-30 | 2021-09-24 | 北京科东电力控制系统有限责任公司 | 一种基于策略的攻击溯源方法 |
| CN113656473A (zh) * | 2021-07-30 | 2021-11-16 | 平安消费金融有限公司 | 接口访问方法、装置、设备及介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115664845A (zh) * | 2022-12-07 | 2023-01-31 | 北京市大数据中心 | 基于多源数据协同的安全画像方法、设备、介质 |
| CN115664845B (zh) * | 2022-12-07 | 2023-05-23 | 北京市大数据中心 | 基于多源数据协同的安全画像方法、设备、介质 |
| CN116609606A (zh) * | 2023-07-17 | 2023-08-18 | 北京四方必施恩科技有限公司 | 一种基于人工智能的铁路动环实时安全检测系统 |
| CN116609606B (zh) * | 2023-07-17 | 2023-10-17 | 北京四方必施恩科技有限公司 | 一种基于人工智能的铁路动环实时安全检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11785040B2 (en) | Systems and methods for cyber security alert triage | |
| US10601848B1 (en) | Cyber-security system and method for weak indicator detection and correlation to generate strong indicators | |
| CN108471429B (zh) | 一种网络攻击告警方法及系统 | |
| CN208227074U (zh) | 电力监控系统网络安全监测终端 | |
| US10721245B2 (en) | Method and device for automatically verifying security event | |
| EP2892197B1 (en) | Determination of a threat score for an IP address | |
| US9154516B1 (en) | Detecting risky network communications based on evaluation using normal and abnormal behavior profiles | |
| US10165005B2 (en) | System and method providing data-driven user authentication misuse detection | |
| JP4808703B2 (ja) | 改良型侵入検出監査およびインテリジェント・セキュリティ分析の比較を使用して関連するネットワーク・セキュリティの脅威を識別するための方法およびシステム | |
| CN114584405A (zh) | 一种电力终端安全防护方法及系统 | |
| CN111786966A (zh) | 浏览网页的方法和装置 | |
| CN110210213B (zh) | 过滤恶意样本的方法及装置、存储介质、电子装置 | |
| CN113691566B (zh) | 基于空间测绘和网络流量统计的邮件服务器窃密检测方法 | |
| CN103338211A (zh) | 一种恶意url鉴定方法及装置 | |
| CN109347806A (zh) | 一种基于主机监控技术的挖矿恶意软件检测系统及方法 | |
| CN114338171A (zh) | 一种黑产攻击检测方法和装置 | |
| CN110188538B (zh) | 采用沙箱集群检测数据的方法及装置 | |
| US20230283641A1 (en) | Dynamic cybersecurity scoring using traffic fingerprinting and risk score improvement | |
| CN113452656A (zh) | 用于识别异常行为的方法和装置 | |
| CN113411297A (zh) | 基于属性访问控制的态势感知防御方法及系统 | |
| CN104640105A (zh) | 手机病毒分析和威胁关联的方法和系统 | |
| CN113783886A (zh) | 一种基于情报和数据的电网智慧运维方法及其系统 | |
| CN112651021A (zh) | 一种基于大数据的信息安全防御系统 | |
| CN110716973A (zh) | 基于大数据的安全事件上报平台及方法 | |
| CN117220994A (zh) | 一种基于网络安全服务的数据处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |