CN112202807B - Ip黑名单的灰度替换方法、装置、电子设备及存储介质 - Google Patents

Ip黑名单的灰度替换方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112202807B
CN112202807B CN202011089915.6A CN202011089915A CN112202807B CN 112202807 B CN112202807 B CN 112202807B CN 202011089915 A CN202011089915 A CN 202011089915A CN 112202807 B CN112202807 B CN 112202807B
Authority
CN
China
Prior art keywords
blacklist
list
replaced
new
ips
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011089915.6A
Other languages
English (en)
Other versions
CN112202807A (zh
Inventor
刘洋
田丹丹
丁若谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202011089915.6A priority Critical patent/CN112202807B/zh
Publication of CN112202807A publication Critical patent/CN112202807A/zh
Application granted granted Critical
Publication of CN112202807B publication Critical patent/CN112202807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101Access control lists [ACL]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种IP黑名单的灰度替换方法、装置、电子设备及存储介质。其中,该方法包括:根据访问日志的抽取指令触发信息获得旧IP黑名单和新IP黑名单,根据旧IP黑名单和新IP黑名单提取出IP名单,从IP名单中选取出第一待替换名单;根据访问日志,对新IP黑名单中的IP按在某一点位的流量大小进行排序,选取其中的前k个IP;将IP在各个点位上的流量与第一待替换名单中的IP在对应点位产生的流量分别进行比较,获得待检测点位名单;根据IP及待检测点位名单获得第二待替换名单;根据第一待替换名单和第二待替换名单对旧IP黑名单进行替换。实现了在不引起流量产生较大波动的前提下,逐步进行IP黑名单的替换。

Description

IP黑名单的灰度替换方法、装置、电子设备及存储介质
技术领域
本申请涉及异常流量识别技术领域,特别是涉及一种IP黑名单的灰度替换方法、装置、电子设备和计算机可读存储介质。
背景技术
随着智能手机、平板电脑等移动终端设备的普及,第三方应用程序(Application,APP)客户端逐渐成为广告主投放广告的主要载体。App厂商将App中广告位托管给广告网络(AdNetWork,ADN),借助ADN的销售和代理团队进行变现。但是,部分群体通过伪造广告的浏览和点击流量攫取巨额利益,严重损害了广告主的利益,这种伪造的浏览称之为“异常流量”。为了维护广告主的合法权益,需要对产生异常流量的IP进行替换,快速构建IP黑名单,是解决异常流量的重要手段。但随着技术不断发展,IP黑名单的生成方案与其中的IP内容也会频繁变化,因此就会出现这种情况:使用前后相邻两版IP黑名单识别异常流量时,在某些活动或点位上来自于IP黑名单的流量会有较大波动。
公开号为CN201811041535.8的中国专利文献基于网络安全的可疑IP配置方法、装置、设备及存储介质公开了一种生成可疑IP黑名单的方法和装置,该方法无法解决波动问题,相邻两个预置时间段内的访问次数可能差异很大,因此可疑IP的差异也会很大。
为解决上述技术问题,本发明提出了一种IP黑名单的灰度替换方法、装置、电子设备及存储介质。
发明内容
本申请实施例提供了一种IP黑名单的灰度替换方法、装置、电子设备及存储介质,以至少解决相关技术中IP黑名单替换过程中流量变化过大的问题。
第一方面,本申请实施例提供了一种IP黑名单的灰度替换方法,包括以下步骤:
获得第一待替换名单步骤,根据访问日志的抽取指令触发信息获得旧IP黑名单和新IP黑名单,根据所述旧IP黑名单和所述新IP黑名单提取出IP名单,从所述IP名单中选取出第一待替换名单;
排序步骤,根据所述访问日志,对所述新IP黑名单中的IP按在某一点位的流量大小进行排序,选取其中的前k个IP;
获得待检测点位名单步骤,将所述IP在各个点位上的流量与所述第一待替换名单中的IP在对应点位产生的流量分别进行比较,获得待检测点位名单,
获得第二待替换名单步骤,根据所述IP及所述待检测点位名单获得第二待替换名单;
替换步骤,根据所述第一待替换名单和所述第二待替换名单对所述旧IP黑名单进行替换。
在其中一些实施例中,所述获得第二待替换名单步骤具体包括:
判断所述IP、其关联点位、待检测点位及所述IP产生的流量是否满足预设条件,当满足所述预设条件的其中一条时,将所述IP加入所述第二待替换名单,所述预设条件包括:
所述IP的所述关联点位的数量与所述待检测点位名单中的数量差值小于等于1;
所述IP在所述关联点位上产生的流量和与该IP在所述待检测点位名单中点位上产生的流量和的差值小于等于1。
在其中一些实施例中,所述排序步骤具体包括:
根据所述访问日志,对所述新IP黑名单中的IP按在某一点位的流量大小进行降序排序,选取其中的前k个IP,所述前k个IP在该点位产生的总流量与所述第一待替换名单中的IP在该点位产生的流量和的差值的绝对值小于设定阈值,所述设定阈值设置为0、1或2。
在其中一些实施例中,所述获得待检测点位名单步骤具体包括:
分别对所述前k个IP进行分析,将所述IP在各个点位上的流量与所述第一待替换名单中的IP在对应点位产生的流量分别进行比较,当该IP在某一点位上的流量小于等于所述第一待替换名单中的IP在对应所述点位产生的流量时,将所述点位加入到待检测点位名单中。
在其中一些实施例中,所述替换步骤具体包括:
在旧IP黑名单的基础上去除所述第一待替换名单的IP,再将所述第二待替换名单中IP加入,完成旧IP黑名单的一次替换。
在其中一些实施例中,所述获得第一待替换名单步骤具体包括:
根据所述旧IP黑名单和所述新IP黑名单提取出IP名单,所述IP名单位于所述旧IP黑名单但不位于所述新IP黑名单内,从所述IP名单中随机选取出第一待替换名单,所述第一待替换名单的个数为所述IP名单的个数的1/n;
当所述第一待替换名单的数量小于预设值时,所述第一待替换名单等于所述IP名单。
第二方面,本申请实施例提供了一种IP黑名单的灰度替换装置,应用上述IP黑名单的灰度替换方法,包括:
获取模块,根据访问日志的抽取指令触发信息获得旧IP黑名单和新IP黑名单,根据所述旧IP黑名单和所述新IP黑名单提取出IP名单,从所述IP名单中选取出第一待替换名单;
第一处理模块,根据所述日志,对所述新IP黑名单中的IP按在某一点位的流量大小进行降序排序,选取其中的前k个IP;
第二处理模块,将所述IP在各个点位上的流量与所述第一待替换名单中的IP在对应点位产生的流量分别进行比较,获得待检测点位名单;
第三处理模块,根据所述IP及所述待检测点位名单获得第二待替换名单;
替换模块,根据所述第一待替换名单和所述第二待替换名单对所述旧IP黑名单进行替换。
在其中一些实施例中,所述第三处理模块通过判断所述IP、其关联点位、待检测点位及所述IP产生的流量是否满足预设条件,当满足所述预设条件的其中一条时,将所述IP加入所述第二待替换名单,所述预设条件包括:
所述IP的所述关联点位的数量与所述待检测点位名单中的数量差值小于等于1;
所述IP在所述关联点位上产生的流量和与该IP在所述待检测点位名单中点位上产生的流量和的差值小于等于1。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的IP黑名单的灰度替换方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的IP黑名单的灰度替换方法。
相比于相关技术,本申请实施例提供的IP黑名单的灰度替换方法,通过在选择黑名单替换名单的过程中,设置流量阈值,并对IP进行迭代替换,解决了IP黑名单的替换,同时保证在替换的过程中,不会引起某些点位(或活动)的流量的较大波动,实现了在保证IP黑名单在某些点位(或活动)上产生的流量不产生较大波动的前提下,逐步进行IP黑名单的替换。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的IP黑名单的灰度替换的流程图;
图2是根据本申请实施例中IP黑名单的灰度替换的结构示意图;
图3是根据本申请实施例中提出的电子设备的结构示意图。
以上图中,
11、获取模块;12、第一处理模块;13、第二处理模块;
14、第三处理模块;15、替换模块;30、总线;
31、处理器;32、存储器;33、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
IP(Internet Protocol,网络协议)是为计算机网络相互连接进行通信而设计的协议,是为了使连接到因特网上的所有计算机实现相互通信的一套规则。每个连接在因特网上的设备都会被分配一个或多个IP地址用于在网络上进行通讯。
在互联网广告领域,通常需要区分活动和点位。一个广告主通常会安排若干波活动,每个活动达成不一样的目的,例如建立品牌认知、促进特定品牌提升销量等等;每个活动里通常包括若干个点位,每个点位通常安排一种广告投放方式,例如新浪首页通投是一个点位、优酷视频前贴定向母婴人群是另一个点位等等。
某些设备会收到黑产控制,在网络上生成异常流量,从而牟取不正当的利益。因而快速构建IP黑名单,是解决异常流量的重要手段。但随着技术不断发展,IP黑名单的生成方案与其中的IP内容也会频繁变化,因此就会出现这种情况:使用前后相邻两版IP黑名单识别异常流量时,在某些活动或点位上来自于IP黑名单的流量会有较大波动。为了保证IP黑名单在某些点位或活动上产生的流量不产生较大波动,需要一种技术方案,逐步进行IP黑名单的替换。
本实施例提供了一种IP黑名单的灰度替换方法。图1是根据本申请实施例的IP黑名单的灰度替换方法的流程图,如图1所示,该流程包括如下步骤:
获得第一待替换名单步骤,根据访问日志的抽取指令触发信息获得旧IP黑名单和新IP黑名单,根据旧IP黑名单和新IP黑名单提取出IP名单,从IP名单中选取出第一待替换名单;
本实施例中,各个服务器在运行过程中,检测客户端发送的业务访问请求,并当监测到客户端发送的业务访问请求时,生成对应的一条请求访问日志,该请求访问日志有业务访问请求的时间、访问流量、访问URL地址、访问IP和服务器域名等,设备实时收集各个服务器生成的请求访问日志。根据访问日志的抽取指令触发信息确定旧IP黑名单和新IP黑名单,旧IP黑名单和新IP黑名单为连续的两个IP黑名单,抽取指令触发信息包括但不限于手动触发和自动触发,自动触发设置为在一定时间段内设置阈值,当超过阈值时,触发,阈值根据具体的应用场景进行设置;手动触发为开发人员基于具体应用场景进行人为的设置触发。
在一些实施例中,获得第一待替换名单步骤具体包括:
根据旧IP黑名单和新IP黑名单提取出IP名单,IP名单位于旧IP黑名单但不位于新IP黑名单内,从IP名单中随机选取出第一待替换名单,第一待替换名单的个数为IP名单的个数的1/n;
当第一待替换名单的数量小于预设值时,第一待替换名单等于IP名单。
从IP黑名单中随机选取1/n作为第一待替换名单,n的取值作为迭代次数的重要依据,n的取值可由本领域技术人员根据实际应用场景进行设置。通过合理设置n的大小,一方面可以防止迭代次数过多,另一方面可以防止依次替换过多的IP,流量波动过大。
排序步骤,根据访问日志,对新IP黑名单中的IP按在某一点位的流量大小进行排序,选取其中的前k个IP;
在一些实施例中,排序步骤具体包括:
根据访问日志,对新IP黑名单中的IP按在某一点位的流量大小进行降序排序,选取其中的前k个IP,前k个IP在该点位产生的总流量与第一待替换名单中的IP在该点位产生的流量和的差值的绝对值小于设定阈值,设定阈值设置为0、1或2。
在此过程中,对降序排序的IP所产生的流量进行逐步叠加直至前k个IP在该点位产生的总流量和第一待替换名单中的IP在该点位产生的流量和的差值的绝对值小于设定阈值。当出现叠加至一个IP所产生的流量导致差值的绝对值大于设定阈值时,将该IP放置,对产生的流量在其后的IP继续叠加以满足条件。这样做的目的是为了维持在IP黑名单替换的过程中不产生较大的流量波动。
由于一个IP可能在多个点位上产生流量,因此,这一步需要后续步骤的进一步筛选,以保证替换IP在各个点位上的流量都能基本与该点位的targetPv相等,此步骤首先对IP进行了筛选,缩小了后续步骤的筛选范围。
获得待检测点位名单步骤,将IP在各个点位上的流量与第一待替换名单中的IP在对应点位产生的流量分别进行比较,获得待检测点位名单,
在一些实施例中,,获得待检测点位名单步骤具体包括:
分别对前k个IP进行分析,将IP在各个点位上的流量与第一待替换名单中的IP在对应点位产生的流量分别进行比较,当该IP在某一点位上的流量小于等于第一待替换名单中的IP在对应点位产生的流量时,将点位加入到待检测点位名单中。
获得第二待替换名单步骤,根据IP及待检测点位名单获得第二待替换名单;
在一些实施例中,获得第二待替换名单步骤具体包括:
判断IP、其关联点位、待检测点位及IP产生的流量是否满足预设条件,当满足预设条件的其中一条时,将IP加入第二待替换名单,预设条件包括:
IP的关联点位的数量与待检测点位名单中的数量差值小于等于1;
IP在关联点位上产生的流量和与该IP在待检测点位名单中点位上产生的流量和的差值小于等于1。
替换步骤,根据第一待替换名单和第二待替换名单对旧IP黑名单进行替换。
在一些实施例中,替换步骤具体包括:
在旧IP黑名单的基础上去除第一待替换名单的IP,再将第二待替换名单中IP加入,完成旧IP黑名单的一次替换。
具体的,根据第一待替换名单和第二待替换名单进行IP黑名单的一次替换,重复上述步骤至全部替换完成。
通过上述步骤,通过在替换IP的过程中设置设定阈值、预设条件,保证在逐步进行IP黑名单的替换的过程中,IP黑名单在某些点位或活动上产生的流量不产生较大波动。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机装置中执行。
本实施例还提供了一种IP黑名单的灰度替换装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例的IP黑名单的灰度替换装置,如图2所示,该装置包括:
获取模块11,根据访问日志的抽取指令触发信息获得旧IP黑名单和新IP黑名单,根据旧IP黑名单和新IP黑名单提取出IP名单,从IP名单中选取出第一待替换名单;
第一处理模块12,根据日志,对新IP黑名单中的IP按在某一点位的流量大小进行降序排序,选取其中的前k个IP;
第二处理模块13,将IP在各个点位上的流量与第一待替换名单中的IP在对应点位产生的流量分别进行比较,获得待检测点位名单;
第三处理模块14,根据IP及待检测点位名单获得第二待替换名单;
替换模块15,根据第一待替换名单和第二待替换名单对旧IP黑名单进行替换。
在一些实施例中,第三处理模块通过判断IP、其关联点位、待检测点位及IP产生的流量是否满足预设条件,当满足预设条件的其中一条时,将IP加入第二待替换名单,预设条件包括:
IP的关联点位的数量与待检测点位名单中的数量差值小于等于1;
IP在关联点位上产生的流量和与该IP在待检测点位名单中点位上产生的流量和的差值小于等于1。
在一些实施例中,第二处理模块13中的设定阈值设置为0、1或2。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
下面通过优选实施例对本申请实施例进行描述和说明。
获取模块11收集并根据访问日志得到旧IP黑名单和新IP黑名单,并得到其中IP在指定时间段内在各点位产生的流量,生成关于IP、点位和流量的日志;
第一处理模块12首先将在旧IP黑名单中,而不在新IP黑名单中的IP选取出来,作为IP名单,随机选取IP名单中的1/n,放入第一待替换名单中。
第二处理模块13再对新IP黑名单中的IP进行筛选,以一个点位为例,假设第一待替换名单中的所有IP在该点位的流量和为targetPv,按流量大小对新IP黑名单中的IP进行降序排序,选取前k个IP,使得这k个IP在该点位上的流量和与targetPv之间的差的绝对值小于设定阈值,设定阈值通常为0,1或2。
第三处理模块14分别对上述选择的前k个IP进行分析,根据上述中挑选出的IP,获得这些IP的“IP+点位+流量”日志,对于每一个IP,依次判断该IP在各个点位上的流量是否小于等于该点位的targetPv。若小于等于,则将该点位加入待检测点位名单keySet中。最终判断该IP是否满足如下两个条件,如果满足下述两个条件其中之一,就将该IP加入名单D1,同时将该IP关联的点位的targetPv减掉相应的流量。
1.该IP的关联点位的数量与keySet中的点位数量的差值小于等于1
2.该IP在所有关联点位上产生的流量和与该IP在keySet中的点位上产生的流量和的差值小于等于1
替换模块15将第一待替换名单中的IP从旧IP黑名单中去除并将第二待替换名单中的IP加入,即,旧的IP黑名单–名单C1+名单D1=本次灰度替换得到的IP黑名单,完成一次IP黑名单的替换,重新进行上述步骤,直到全部替换完成。
另外,结合图1描述的本申请实施例IP黑名单的灰度替换方法可以由电子设备来实现。图3为根据本申请实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器31以及存储有计算机程序指令的存储器32。
具体地,上述处理器31可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器32可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器32可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器32可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器32可在数据处理装置的内部或外部。在特定实施例中,存储器32是非易失性(Non-Volatile)存储器。在特定实施例中,存储器32包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器32可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器31所执行的可能的计算机程序指令。
处理器31通过读取并执行存储器32中存储的计算机程序指令,以实现上述实施例中的任意一种IP黑名单的灰度替换方法。
在其中一些实施例中,电子设备还可包括通信接口33和总线30。其中,如图3所示,处理器31、存储器32、通信接口33通过总线30连接并完成相互间的通信。
通信接口33用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口33还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线30包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线30包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线30可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线30可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到的IP黑名单替换名单,实现结合图1描述的IP黑名单的灰度替换方法。
另外,结合上述实施例中的IP黑名单的灰度替换方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种IP黑名单的灰度替换方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种IP黑名单的灰度替换方法,其特征在于,包括以下步骤:
获得第一待替换名单步骤,根据访问日志的抽取指令触发信息获得旧IP黑名单和新IP黑名单,根据所述旧IP黑名单和所述新IP黑名单提取出IP名单,从所述IP名单中选取出第一待替换名单,其中,所述IP名单位于所述旧IP黑名单但不位于所述新IP黑名单内;
排序步骤,根据所述访问日志,对所述新IP黑名单中的IP按在某一点位的流量大小进行排序,选取其中的前K个IP;
获得待检测点位名单步骤,将所述新IP黑名单中的前K个所述IP在各个点位上的流量与所述第一待替换名单中的IP在对应点位产生的流量分别进行比较,获得待检测点位名单;
获得第二待替换名单步骤,根据所述新IP黑名单中的前K个所述IP及所述待检测点位名单获得第二待替换名单;
替换步骤,根据所述第一待替换名单和所述第二待替换名单对所述旧IP黑名单进行替换;
其中,所述获得第二待替换名单步骤具体包括:
判断所述新IP黑名单中的前K个所述IP、其关联点位、待检测点位及所述新IP黑名单中的前K个所述IP产生的流量是否满足预设条件,当满足所述预设条件的其中一条时,将所述新IP黑名单中的前K个所述IP加入所述第二待替换名单,所述预设条件包括:
所述新IP黑名单中的前K个所述IP的所述关联点位的数量与所述待检测点位名单中的数量差值小于等于1;
所述新IP黑名单中的前K个所述IP在所述关联点位上产生的流量和与该IP在所述待检测点位名单中点位上产生的流量和的差值小于等于1。
2.根据权利要求1所述的IP黑名单的灰度替换方法,其特征在于,所述排序步骤具体包括:
根据所述访问日志,对所述新IP黑名单中的IP按在某一点位的流量大小进行降序排序,选取其中的前K个IP,所述前K个IP在该点位产生的总流量与所述第一待替换名单中的IP在该点位产生的流量和的差值的绝对值小于设定阈值,所述设定阈值设置为0、1或2。
3.根据权利要求1所述的IP黑名单的灰度替换方法,其特征在于,所述获得待检测点位名单步骤具体包括:
分别对所述前K个IP进行分析,将所述新IP黑名单中的前K个所述IP在各个点位上的流量与所述第一待替换名单中的IP在对应点位产生的流量分别进行比较,当该IP在某一点位上的流量小于等于所述第一待替换名单中的IP在对应所述点位产生的流量时,将所述点位加入到待检测点位名单中。
4.根据权利要求1所述的IP黑名单的灰度替换方法,其特征在于,所述替换步骤具体包括:
在旧IP黑名单的基础上去除所述第一待替换名单的IP,再将所述第二待替换名单中IP加入,完成旧IP黑名单的一次替换。
5.根据权利要求1所述的IP黑名单的灰度替换方法,其特征在于,所述获得第一待替换名单步骤具体包括:
根据所述旧IP黑名单和所述新IP黑名单提取出IP名单,所述IP名单位于所述旧IP黑名单但不位于所述新IP黑名单内,从所述IP名单中随机选取出第一待替换名单,所述第一待替换名单的个数为所述IP名单的个数的1/n;
当所述第一待替换名单的数量小于预设值时,所述第一待替换名单等于所述IP名单。
6.一种IP黑名单的灰度替换装置,应用上述权利要求1-5任一项所述的IP黑名单的灰度替换方法,其特征在于,包括:
获取模块,根据访问日志的抽取指令触发信息获得旧IP黑名单和新IP黑名单,根据所述旧IP黑名单和所述新IP黑名单提取出IP名单,从所述IP名单中选取出第一待替换名单,其中,所述IP名单位于所述旧IP黑名单但不位于所述新IP黑名单内;
第一处理模块,根据所述日志,对所述新IP黑名单中的IP按在某一点位的流量大小进行降序排序,选取其中的前K个IP;
第二处理模块,将所述新IP黑名单中的前K个所述IP在各个点位上的流量与所述第一待替换名单中的IP在对应点位产生的流量分别进行比较,获得待检测点位名单;
第三处理模块,根据所述新IP黑名单中的前K个所述IP及所述待检测点位名单获得第二待替换名单;
替换模块,根据所述第一待替换名单和所述第二待替换名单对所述旧IP黑名单进行替换;
其中,所述第三处理模块通过判断所述新IP黑名单中的前K个所述IP、其关联点位、待检测点位及所述新IP黑名单中的前K个所述IP产生的流量是否满足预设条件,当满足所述预设条件的其中一条时,将所述新IP黑名单中的前K个所述IP加入所述第二待替换名单,所述预设条件包括:
所述新IP黑名单中的前K个所述IP的所述关联点位的数量与所述待检测点位名单中的数量差值小于等于1;
所述新IP黑名单中的前K个所述IP在所述关联点位上产生的流量和与该IP在所述待检测点位名单中点位上产生的流量和的差值小于等于1。
7.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的IP黑名单的灰度替换方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任意一项所述的IP黑名单的灰度替换方法。
CN202011089915.6A 2020-10-13 2020-10-13 Ip黑名单的灰度替换方法、装置、电子设备及存储介质 Active CN112202807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011089915.6A CN112202807B (zh) 2020-10-13 2020-10-13 Ip黑名单的灰度替换方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011089915.6A CN112202807B (zh) 2020-10-13 2020-10-13 Ip黑名单的灰度替换方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112202807A CN112202807A (zh) 2021-01-08
CN112202807B true CN112202807B (zh) 2023-05-12

Family

ID=74009096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011089915.6A Active CN112202807B (zh) 2020-10-13 2020-10-13 Ip黑名单的灰度替换方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112202807B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212680A1 (en) * 2012-01-12 2013-08-15 Arxceo Corporation Methods and systems for protecting network devices from intrusion
JP6258553B2 (ja) * 2015-02-20 2018-01-10 日本電信電話株式会社 ブラックリスト生成装置、ブラックリスト生成システム、ブラックリスト生成方法及びブラックリスト生成プログラム
US10462166B2 (en) * 2016-10-11 2019-10-29 Arbor Networks, Inc. System and method for managing tiered blacklists for mitigating network attacks
CN107948168A (zh) * 2017-11-29 2018-04-20 四川无声信息技术有限公司 网页检测方法及装置
US20190333099A1 (en) * 2018-04-30 2019-10-31 Affle (India) Limited Method and system for ip address traffic based detection of fraud
CN109146574A (zh) * 2018-09-06 2019-01-04 深圳市木瓜移动科技有限公司 广告点击作弊监测方法及装置
CN110011999B (zh) * 2019-03-29 2021-02-26 东北大学 基于深度学习的IPv6网络DDoS攻击检测系统及方法
CN110913396B (zh) * 2019-12-10 2022-05-17 秒针信息技术有限公司 虚假流量识别方法、装置、服务器及可读存储介质

Also Published As

Publication number Publication date
CN112202807A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN108810116B (zh) 消息处理方法及相关产品
CN109669795B (zh) 崩溃信息处理方法及装置
CN104219230B (zh) 识别恶意网站的方法及装置
CN113127723B (zh) 用户画像处理方法、装置、服务器及存储介质
CN110826799B (zh) 业务预测方法、装置、服务器及可读存储介质
CN108985048B (zh) 模拟器识别方法及相关装置
CN113435328B (zh) 视频片段处理方法、装置、电子设备及可读存储介质
CN111126928A (zh) 对发布内容审核的方法和装置
CN109714393A (zh) 一种应用程序推荐的方法及装置
CN108809943B (zh) 网站监控方法及其装置
CN111488529A (zh) 信息处理方法、装置、服务器及存储介质
CN111815368A (zh) 广告推送方法、装置、终端及存储介质
CN112202807B (zh) Ip黑名单的灰度替换方法、装置、电子设备及存储介质
CN113065748A (zh) 业务风险评估方法、装置、设备及存储介质
CN106682130B (zh) 相似图片检测方法和装置
CN111163078A (zh) 一种网络链接拦截方法、装置、设备及介质
CN113364702B (zh) 广告流量异常检测方法、系统、存储介质及电子设备
CN113783855B (zh) 站点评估方法、装置、电子设备、存储介质和程序产品
CN112491939B (zh) 多媒体资源调度方法及系统
CN109784226B (zh) 人脸抓拍方法及相关装置
CN112288528A (zh) 恶意社群发现方法、装置、计算机设备和可读存储介质
CN111143644B (zh) 物联网设备的识别方法及装置
CN111932243A (zh) 乘车码插件管理方法、装置、服务器、终端设备及介质
CN112491660A (zh) 异常流量的识别方法、装置、电子设备及可读存储介质
CN112822680B (zh) 用户移动端的虚假流量识别方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant