CN111049837A - 基于通信运营商网络传送层的恶意网址识别和拦截技术 - Google Patents
基于通信运营商网络传送层的恶意网址识别和拦截技术 Download PDFInfo
- Publication number
- CN111049837A CN111049837A CN201911295678.6A CN201911295678A CN111049837A CN 111049837 A CN111049837 A CN 111049837A CN 201911295678 A CN201911295678 A CN 201911295678A CN 111049837 A CN111049837 A CN 111049837A
- Authority
- CN
- China
- Prior art keywords
- malicious
- data
- malicious website
- website
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 230000000903 blocking effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000006855 networking Effects 0.000 claims abstract description 6
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 30
- 238000007726 management method Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 241000544061 Cuculus canorus Species 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于通信运营商网络传送层的恶意网址识别和拦截技术，具体为恶意网址数据采集：互联网中存在大量的恶意网址,隐藏在海量的互联网,通过用户访问痕迹收集快速发现恶意网址；恶意网址识别和阻断：恶意URL两级检测模块机制确保及时性和准确性，建立本地恶意网址识别模块，能够快速有效的进行恶意网址阻断；建立云端恶意网址识别模块，对本地无法识别的恶意网址进行深度联网分析，集中处理减少资源消耗；恶意网址识别效率：恶意网址识别需要对海量的网址数据进行比对处理，本发明搭建强大的硬件系统和算法优化，识别速度可达到毫秒。
Description
技术领域
本发明属于通信技术、信息技术、网络安全领域，具体涉及一种基于通信运营商的恶意网址识别和拦截技术。
背景技术
互联网中大量的安全事件都与恶意网络链接相关，如电信诈骗、恶意程序嵌入等。特别是近年以来，假冒网掌厅进行的网络钓鱼事件直接导致大量移动用户的经济利益受损，引发社会不良舆情，继而造成中国电信企业形象严重受损。不法分子以伪基站发送垃圾短信等方式散播恶意钓鱼网址，用充话费、送流量、积分兑换等各种手段来引诱用户点击，骗取用户的银行卡或信用卡账号、密码等私人资料，从事非法经济诈骗活动已成为威胁用户上网安全的顽疾之一。
当前，恶意网址被海量用户上网行为完全“淹没”，其识别、预警及封堵仅靠客户投诉反馈、客服人员手工拨测及网管人工封堵，其治理成本高、效率低、见效不明显。为了减少类似安全事件的发生，建立一套集自动化发现、预警并阻断传播的完整治理体系，对访问恶意网络链接的用户及时做出预警提醒阻断，直接避免用户经济利益受损、降低用户投诉、减少公司法律风险并提升客户体验；同时也能打击不法分子诈骗活动的气焰，净化我公司互联网的安全环境。
同时国内互联网信息内容管理的加强，大量的恶意网站为了逃避管理和打击进而向境外转移，严重危害用户上网安全。在互联网安全环境发生变化的情况下，如何持续保护用户的上网安全，净化网络环境。如何进行有害网址自动发现、用户告警提醒、大数据分析于一体的技术尤为重要。
发明内容
发明目的：本发明提供一种采集更精准，恶意网址识别和阻断效率和准确性高，阻断的反馈时间更短的基于通信运营商的恶意网址识别和拦截技术。
技术方案：一种基于通信运营商网络传送层的恶意网址识别和拦截技术，包括系统由管理中心、恶意网址阻断引擎、智能检测引擎、网址采集模块、云端检测模块、数据管理模块、数据统计模块、策略审计模块、安全管理模块组成；管理中心为各个引擎模组提供界面化集成管控途径，配置和分发一系列指令使得各个模块可以完成相应的业务操作；
包括以下步骤：
步骤1，建立本地恶意网址库，支持图像识别、关键字检测，可根据存量数据反向链接等方式，进行互联网范收集、支持与业主方其他来源数据进行对接；可与互联网开放的第三方的恶意URL接口建立，通过智能学习恶意URL；
步骤2，恶意网址数据采集，通过对用户请求和访问的网址进行访问数据收集，包含伪基站发送的链接，从而快速发现恶意网址；
步骤3，恶意网址识别和阻断，可根据建立的本地恶意网址库对用户访问URL 进行快速实时检测，支持自定义基于域名特性的模糊匹配检测规则；对未命中本地恶意网址库和本地检测算法检测的未知URL，传送到云端利用云端检测模型进行深度的分析检测，判断是否为恶意网址；云端通过自主分析或联网分析返回未知URL检测结果，通过恶意URL检测模块将结果反馈到本地端；本地检测算法主要是通过对符合要求的字符串后缀进行判断，采用优化过后的正则匹配以及 sunday单模式字符串匹配算法，在报文数据中相比传统字符串匹配更加高效适用，sunday算法的其核心思想是：在匹配过程中，模式串发现不匹配时，算法能跳过尽可能多的字符以进行下一步的匹配，从而提高了匹配效率；如果该字符没有在匹配串中出现则直接跳过，即移动步长＝匹配串长度+1；否则，同BM算法一样其移动步长＝匹配串中最右端的该字符到末尾的距离+1；在sunday算法中我们需要预先对模式串进行预处理也就是计算偏移表：
根据计算公式计算大小为|∑|的偏移表；
P为模式串，m为模式串长度，
例如：P＝“search”
m＝6
shift[s]＝6-max(s的位置)＝6-0＝6
shift[e]＝6-max(e的位置)＝6-1＝5
shift[a]＝6-max(a的位置)＝6-2＝4
shift[r]＝6-max(r的位置)＝6-3＝3
shift[c]＝6-max(c的位置)＝6-4＝2
shift[h]＝6-max(h的位置)＝6-5＝1
shift[其他]＝m+1＝6+1＝7
步骤4，根据恶意URL检测模块返回的检测结果类型，在用户点击恶意页面时基于当前浏览器的浏览窗口弹提示告警窗，支持安全告警方式功能的扩展为页面跳转提醒方式；
步骤5，统计危害用户个人信息安全的内容，提供阶段性态势分析报告；
步骤6，系统出现异常情况，被攻击、数据超过警界值、服务器异常等情况，实时通过预留的各种消息系统接口上报信息，第一时间得到系统运行情况，及时处理相关问题。
具体地，所述步骤2中的数据采集可针对接入CMNET和CMWAP所有2/3/4G 移动用户。
具体地，所述步骤3中对利用云端检测模型进行深度的分析检测，将检测结果同步下载至本地检测系统存储，不断丰富本地检测系统的恶意网址库。
具体地，所述步骤3中云端通过自主分析或联网分析需要在5分钟内返回未知URL检测结果，不超过15分钟，将结果反馈到本地端。
具体地，所述步骤3中在50毫秒内完成100万条网址请求数据与1000万条恶意网址数据的比对；在请求数据与恶意网址数据的对比中采用高效的hash查找算法来进行网址的实时比对匹配，时间复杂度大大降低，采用布谷鸟散列解决 hash冲突，利用较少的计算换取较大的空间；占用时间少，查询速度非常快；该布谷鸟散列算法的具体描述：算法使用hashA和hashB计算对应key的位置；当两个哈希任意位置为空，则选择一个位置插入，让两个哈希有位置为空时，则插入到空位置；当两个哈希位置均不为空时，随机选择两者之一的位置上keyx 踢出，计算踢出的keyx另一个哈希值对应的位置进行插入，转至2执行，即当再次插入位置为空时插入，仍旧不为空时，踢出这个keyy；
针对高并发的网址请求数据，采用DPDK通过在多核设备上，创建多个线程，每个线程绑定到单独的核上，减少线程调度的开销，以提高性能；DPDK不使用常规内存分配函数，如malloc()；相反，DPDK管理自己的内存；更具体地说，DPDK分配大页并在此内存中创建一个堆并将其提供给用户应用程序并用于存取应用程序内部的数据结构；将使终端应用程序的性能具有优势：DPDK创建应用程序要使用的内存区域，并且应用程序可以原生支持大页、NUMA节点亲和性、对DMA地址的访问、IOVA连续性等等性能优势，而无需任何额外的开发；
DPDK内存分配总是在CPU高速缓存行的边界上对齐，每个分配的起始地址将是系统高速缓存行大小的倍数；这种方法防止了许多常见的性能问题，例如未对齐的访问和错误的数据共享，其中单个高速缓存行无意中包含可能不相关的多个内核同时访问的数据；对于需要这种对齐的用例，也支持任何其他二次幂值，其中，当然>＝高速缓存行大小；
DPDK的共享内存实现不仅通过映射不同进程中的相同资源，类似于shmget ()机制来实现，还通过复制另一个进程中主进程的地址空间来实现；因此，由于两个进程中的所有内容都位于相同的地址，指向DPDK内存对象的任何指针都将跨进程工作，无需任何地址转换；这对于跨进程传递数据时的性能非常重要；另外使用了轮询而不是中断来处理数据包；在收到数据包时，经DPDK重载的网卡驱动不会通过中断通知CPU，而是直接将数据包存入内存，交付应用层软件通过DPDK提供的接口来直接处理。
具体地，所述步骤2中个人信息安全的内容包括恶意URL的总数、来源、类别、访问次数、阻断次数、预警次数、网站所在地、备案信息。
有益效果：与现有技术相比，本发明的优点在于：
(1)恶意网址采集更精准，效率更高。
(2)恶意网址识别和阻断效率和准确性高。
(3)恶意网址阻断的反馈时间更短。
附图说明
图1是恶意网址识别和拦截流程图；
图2是系统架构示意图；
图3是系统检测数据走势图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
一种基于通信运营商网络传送层的恶意网址识别和拦截技术，包括系统由管理中心、恶意网址阻断引擎、智能检测引擎、网址采集模块、云端检测模块、数据管理模块、数据统计模块、策略审计模块、安全管理模块组成；管理中心为各个引擎模组提供界面化集成管控途径，配置和分发一系列指令使得各个模块可以完成相应的业务操作；
包括以下步骤：
步骤1，建立本地恶意网址库，支持图像识别、关键字检测，可根据存量数据反向链接等方式，进行互联网范收集、支持与业主方其他来源数据进行对接；可与互联网开放的第三方的恶意URL接口建立，通过智能学习恶意URL；
步骤2，恶意网址数据采集，通过对用户请求和访问的网址进行访问数据收集，包含伪基站发送的链接，从而快速发现恶意网址，数据采集可针对接入CMNET 和CMWAP所有2/3/4G移动用户，个人信息安全的内容包括恶意URL的总数、来源、类别、访问次数、阻断次数、预警次数、网站所在地、备案信息；
步骤3，恶意网址识别和阻断，可根据建立的本地恶意网址库对用户访问URL 进行快速实时检测，支持自定义基于域名特性的模糊匹配检测规则；对未命中本地恶意网址库和本地检测算法检测的未知URL，传送到云端利用云端检测模型进行深度的分析检测，判断是否为恶意网址；云端通过自主分析或联网分析返回未知URL检测结果，通过恶意URL检测模块将结果反馈到本地端；对利用云端检测模型进行深度的分析检测，将检测结果同步下载至本地检测系统存储，不断丰富本地检测系统的恶意网址库；本地检测算法主要是通过对符合要求的字符串后缀进行判断，采用优化过后的正则匹配以及sunday单模式字符串匹配算法，在报文数据中相比传统字符串匹配更加高效适用，sunday算法的其核心思想是：在匹配过程中，模式串发现不匹配时，算法能跳过尽可能多的字符以进行下一步的匹配，从而提高了匹配效率；如果该字符没有在匹配串中出现则直接跳过，即移动步长＝匹配串长度+1；否则，同BM算法一样其移动步长＝匹配串中最右端的该字符到末尾的距离+1；在sunday算法中我们需要预先对模式串进行预处理也就是计算偏移表：
根据计算公式计算大小为|∑|的偏移表；
P为模式串，m为模式串长度，
例如：P＝“search”
m＝6
shift[s]＝6-max(s的位置)＝6-0＝6
shift[e]＝6-max(e的位置)＝6-1＝5
shift[a]＝6-max(a的位置)＝6-2＝4
shift[r]＝6-max(r的位置)＝6-3＝3
shift[c]＝6-max(c的位置)＝6-4＝2
shift[h]＝6-max(h的位置)＝6-5＝1
shift[其他]＝m+1＝6+1＝7
其中，在50毫秒内完成100万条网址请求数据与1000万条恶意网址数据的比对；在请求数据与恶意网址数据的对比中采用高效的hash查找算法来进行网址的实时比对匹配，时间复杂度大大降低，采用布谷鸟散列解决hash冲突，利用较少的计算换取较大的空间；占用时间少，查询速度非常快；该布谷鸟散列算法的具体描述：算法使用hashA和hashB计算对应key的位置；当两个哈希任意位置为空，则选择一个位置插入，让两个哈希有位置为空时，则插入到空位置；当两个哈希位置均不为空时，随机选择两者之一的位置上keyx踢出，计算踢出的keyx另一个哈希值对应的位置进行插入，转至2执行，即当再次插入位置为空时插入，仍旧不为空时，踢出这个keyy；
针对高并发的网址请求数据，采用DPDK通过在多核设备上，创建多个线程，每个线程绑定到单独的核上，减少线程调度的开销，以提高性能；DPDK不使用常规内存分配函数，如malloc()；相反，DPDK管理自己的内存；更具体地说， DPDK分配大页并在此内存中创建一个堆并将其提供给用户应用程序并用于存取应用程序内部的数据结构；将使终端应用程序的性能具有优势：DPDK创建应用程序要使用的内存区域，并且应用程序可以原生支持大页、NUMA节点亲和性、对DMA地址的访问、IOVA连续性等等性能优势，而无需任何额外的开发；
DPDK内存分配总是在CPU高速缓存行的边界上对齐，每个分配的起始地址将是系统高速缓存行大小的倍数；这种方法防止了许多常见的性能问题，例如未对齐的访问和错误的数据共享，其中单个高速缓存行无意中包含可能不相关的多个内核同时访问的数据；对于需要这种对齐的用例，也支持任何其他二次幂值，其中，当然>＝高速缓存行大小；
DPDK的共享内存实现不仅通过映射不同进程中的相同资源，类似于shmget ()机制来实现，还通过复制另一个进程中主进程的地址空间来实现；因此，由于两个进程中的所有内容都位于相同的地址，指向DPDK内存对象的任何指针都将跨进程工作，无需任何地址转换；这对于跨进程传递数据时的性能非常重要；另外使用了轮询而不是中断来处理数据包；在收到数据包时，经DPDK重载的网卡驱动不会通过中断通知CPU，而是直接将数据包存入内存，交付应用层软件通过DPDK提供的接口来直接处理。
步骤4，根据恶意URL检测模块返回的检测结果类型，在用户点击恶意页面时基于当前浏览器的浏览窗口弹提示告警窗，支持安全告警方式功能的扩展为页面跳转提醒方式；
步骤5，统计危害用户个人信息安全的内容，提供阶段性态势分析报告；
步骤6，系统出现异常情况，被攻击、数据超过警界值、服务器异常等情况，实时通过预留的各种消息系统接口上报信息，第一时间得到系统运行情况，及时处理相关问题。
安全123管理系统包含了对审核库、解封库、恶意网址、黑白名单的一个界面化的管理和信息的多维度展示。
(1)通过人工、机器人的采集分析可将新发现的恶意网址关键字添加到恶意关键字库以便为恶意关键字搜索引擎提供查询种子来源；对来自核心分析模块经过恶意网址判断为疑似的数据交由审核库的机器人采集分析；另外审核库还支持用户举报的方式进行多渠道的采集分析。
(2)解封库展现的是历史解封网址，来源于审核库的分析结果。
(3)恶意网址管理是对恶意网址进行分类、查询等操作的一个界面化功能；对恶意网址库的进行人工管理，恶意网址库的中的恶意网址主要来源于核心分析模块以及三方的查询接口对域名库的网址进行恶意网址判断的结果。
(4)黑白名单的管理是依据黑白名单库对恶意网址进行黑白名单过滤与清理；主要是通过上层的恶意网址库的定期清理和底层原始域名库的过滤处理。
(5)将底层原始的域名库进行合并归属大致分为域名库、根域名库、URL 库有利于上层网址采集分析工具的处理，从而更加高效的进行针对性处理，降低重复性操作；
域名相关信息库包含了域名的一些基本元素和复合信息，包含备案信息、IP、注册信息、IP归属恶意代码特征、访问状态、截图快照、网页源码快照等；该库主要为核心分析模块提供判断依据；定期的检查恶意网址库的恶意网址相关信息变化并及时更新；并对上层域名库的网址进行信息的自动分析处理。
Claims (6)
1.一种基于通信运营商网络传送层的恶意网址识别和拦截技术，其特征在于，包括系统由管理中心、恶意网址阻断引擎、智能检测引擎、网址采集模块、云端检测模块、数据管理模块、数据统计模块、策略审计模块、安全管理模块组成；管理中心为各个引擎模组提供界面化集成管控途径，配置和分发一系列指令使得各个模块可以完成相应的业务操作；
包括以下步骤：
步骤1，建立本地恶意网址库，支持图像识别、关键字检测，可根据存量数据反向链接等方式，进行互联网范收集、支持与业主方其他来源数据进行对接；可与互联网开放的第三方的恶意URL接口建立，通过智能学习恶意URL；
步骤2，恶意网址数据采集，通过对用户请求和访问的网址进行访问数据收集，包含伪基站发送的链接，从而快速发现恶意网址；
步骤3，恶意网址识别和阻断，可根据建立的本地恶意网址库对用户访问URL进行快速实时检测，支持自定义基于域名特性的模糊匹配检测规则；对未命中本地恶意网址库和本地检测算法检测的未知URL，传送到云端利用云端检测模型进行深度的分析检测，判断是否为恶意网址；云端通过自主分析或联网分析返回未知URL检测结果，通过恶意URL检测模块将结果反馈到本地端；本地检测算法主要是通过对符合要求的字符串后缀进行判断，采用优化过后的正则匹配以及sunday单模式字符串匹配算法，在报文数据中相比传统字符串匹配更加高效适用，sunday算法的其核心思想是：在匹配过程中，模式串发现不匹配时，算法能跳过尽可能多的字符以进行下一步的匹配，从而提高了匹配效率；如果该字符没有在匹配串中出现则直接跳过，即移动步长＝匹配串长度+1；否则，同BM算法一样其移动步长＝匹配串中最右端的该字符到末尾的距离+1；在sunday算法中我们需要预先对模式串进行预处理也就是计算偏移表：
根据计算公式计算大小为|∑|的偏移表；
P为模式串，m为模式串长度，
例如：P＝“search”
m＝6
shift[s]＝6-max(s的位置)＝6-0＝6
shift[e]＝6-max(e的位置)＝6-1＝5
shift[a]＝6-max(a的位置)＝6-2＝4
shift[r]＝6-max(r的位置)＝6-3＝3
shift[c]＝6-max(c的位置)＝6-4＝2
shift[h]＝6-max(h的位置)＝6-5＝1
shift[其他]＝m+1＝6+1＝7
步骤4，根据恶意URL检测模块返回的检测结果类型，在用户点击恶意页面时基于当前浏览器的浏览窗口弹提示告警窗，支持安全告警方式功能的扩展为页面跳转提醒方式；
步骤5，统计危害用户个人信息安全的内容，提供阶段性态势分析报告；
步骤6，系统出现异常情况，被攻击、数据超过警界值、服务器异常等情况，实时通过预留的各种消息系统接口上报信息，第一时间得到系统运行情况，及时处理相关问题。
2.根据权利要求1所述的一种基于通信运营商网络传送层的恶意网址识别和拦截技术，其特征在于：所述步骤2中的数据采集可针对接入CMNET和CMWAP所有2/3/4G移动用户。
3.根据权利要求1所述的一种基于通信运营商网络传送层的恶意网址识别和拦截技术，其特征在于：所述步骤3中对利用云端检测模型进行深度的分析检测，将检测结果同步下载至本地检测系统存储，不断丰富本地检测系统的恶意网址库。
4.根据权利要求1所述的一种基于通信运营商网络传送层的恶意网址识别和拦截技术，其特征在于：所述步骤3中云端通过自主分析或联网分析需要在5分钟内返回未知URL检测结果，不超过15分钟，将结果反馈到本地端。
5.根据权利要求1所述的一种基于通信运营商网络传送层的恶意网址识别和拦截技术，其特征在于：所述步骤3中在50毫秒内完成100万条网址请求数据与1000万条恶意网址数据的比对；在请求数据与恶意网址数据的对比中采用高效的hash查找算法来进行网址的实时比对匹配，时间复杂度大大降低，采用布谷鸟散列解决hash冲突，利用较少的计算换取较大的空间；占用时间少，查询速度非常快；该布谷鸟散列算法的具体描述：算法使用hashA和hashB计算对应key的位置；当两个哈希任意位置为空，则选择一个位置插入，让两个哈希有位置为空时，则插入到空位置；当两个哈希位置均不为空时，随机选择两者之一的位置上keyx踢出，计算踢出的keyx另一个哈希值对应的位置进行插入，转至2执行，即当再次插入位置为空时插入，仍旧不为空时，踢出这个keyy；
针对高并发的网址请求数据，采用DPDK通过在多核设备上，创建多个线程，每个线程绑定到单独的核上，减少线程调度的开销，以提高性能；DPDK不使用常规内存分配函数，如malloc()；相反，DPDK管理自己的内存；更具体地说，DPDK分配大页并在此内存中创建一个堆并将其提供给用户应用程序并用于存取应用程序内部的数据结构；将使终端应用程序的性能具有优势：DPDK创建应用程序要使用的内存区域，并且应用程序可以原生支持大页、NUMA节点亲和性、对DMA地址的访问、IOVA连续性等等性能优势，而无需任何额外的开发；
DPDK内存分配总是在CPU高速缓存行的边界上对齐，每个分配的起始地址将是系统高速缓存行大小的倍数；这种方法防止了许多常见的性能问题，例如未对齐的访问和错误的数据共享，其中单个高速缓存行无意中包含可能不相关的多个内核同时访问的数据；对于需要这种对齐的用例，也支持任何其他二次幂值，其中，当然>＝高速缓存行大小；
DPDK的共享内存实现不仅通过映射不同进程中的相同资源，类似于shmget()机制来实现，还通过复制另一个进程中主进程的地址空间来实现；因此，由于两个进程中的所有内容都位于相同的地址，指向DPDK内存对象的任何指针都将跨进程工作，无需任何地址转换；这对于跨进程传递数据时的性能非常重要；另外使用了轮询而不是中断来处理数据包；在收到数据包时，经DPDK重载的网卡驱动不会通过中断通知CPU，而是直接将数据包存入内存，交付应用层软件通过DPDK提供的接口来直接处理。
6.根据权利要求1所述的一种基于通信运营商网络传送层的恶意网址识别和拦截技术，其特征在于：所述步骤2中个人信息安全的内容包括恶意URL的总数、来源、类别、访问次数、阻断次数、预警次数、网站所在地、备案信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295678.6A CN111049837A (zh) | 2019-12-16 | 2019-12-16 | 基于通信运营商网络传送层的恶意网址识别和拦截技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295678.6A CN111049837A (zh) | 2019-12-16 | 2019-12-16 | 基于通信运营商网络传送层的恶意网址识别和拦截技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111049837A true CN111049837A (zh) | 2020-04-21 |
Family
ID=70236821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911295678.6A Pending CN111049837A (zh) | 2019-12-16 | 2019-12-16 | 基于通信运营商网络传送层的恶意网址识别和拦截技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111049837A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923011A (zh) * | 2021-09-30 | 2022-01-11 | 北京恒安嘉新安全技术有限公司 | 一种网络诈骗的预警方法、装置、计算机设备及存储介质 |
| CN113965392A (zh) * | 2021-10-25 | 2022-01-21 | 杭州安恒信息技术股份有限公司 | 恶意服务器检测方法、系统、可读介质及电子设备 |
| CN114745722A (zh) * | 2022-06-15 | 2022-07-12 | 安徽创瑞信息技术有限公司 | 一种短信平台安全审核检验方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491543A (zh) * | 2013-09-30 | 2014-01-01 | 北京奇虎科技有限公司 | 通过无线终端检测恶意网址的方法、无线终端 |
| CN105574146A (zh) * | 2015-12-15 | 2016-05-11 | 北京奇虎科技有限公司 | 网址拦截方法及装置 |
| CN105959280A (zh) * | 2016-04-28 | 2016-09-21 | 北京奇虎科技有限公司 | 恶意网址的拦截方法及装置 |
| US20160294862A1 (en) * | 2014-01-03 | 2016-10-06 | Tencent Technology (Shenzhen) Company Limited | Malicious website address prompt method and router |
-
2019
- 2019-12-16 CN CN201911295678.6A patent/CN111049837A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491543A (zh) * | 2013-09-30 | 2014-01-01 | 北京奇虎科技有限公司 | 通过无线终端检测恶意网址的方法、无线终端 |
| US20160294862A1 (en) * | 2014-01-03 | 2016-10-06 | Tencent Technology (Shenzhen) Company Limited | Malicious website address prompt method and router |
| CN105574146A (zh) * | 2015-12-15 | 2016-05-11 | 北京奇虎科技有限公司 | 网址拦截方法及装置 |
| CN105959280A (zh) * | 2016-04-28 | 2016-09-21 | 北京奇虎科技有限公司 | 恶意网址的拦截方法及装置 |
Non-Patent Citations (6)
| Title |
|---|
| COBBLIU: "cuckoo hash", 《HTTPS://WWW.CNBLOGS.COM/COBBLIU/ARCHIVE/2013/01/08/2850979.HTML》 * |
| MERLIN_J: "DPDK多核多线程机制简析", 《HTTPS://WWW.CNBLOGS.COM/MERLINJ/P/4103790.HTML》 * |
| SDNLAB君: "DPDK内存篇（一）：基本概念", 《HTTPS://ACCOUNT.FNEDU.COM/23475.HTML》 * |
| SWITCHVOV: "字符串匹配——Sunday算法", 《HTTPS://BLOG.CSDN.NET/Q547550831/ARTICLE/DETAILS/51860017》 * |
| 俊跑起来RUNNING: "dpdk简述", 《HTTPS://BLOG.CSDN.NET/QQ_27652231/ARTICLE/DETAILS/82381059》 * |
| 杨建: "电信运营商互联网诈骗信息防治的研究和实践", 《江苏通信》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923011A (zh) * | 2021-09-30 | 2022-01-11 | 北京恒安嘉新安全技术有限公司 | 一种网络诈骗的预警方法、装置、计算机设备及存储介质 |
| CN113923011B (zh) * | 2021-09-30 | 2023-10-17 | 北京恒安嘉新安全技术有限公司 | 一种网络诈骗的预警方法、装置、计算机设备及存储介质 |
| CN113965392A (zh) * | 2021-10-25 | 2022-01-21 | 杭州安恒信息技术股份有限公司 | 恶意服务器检测方法、系统、可读介质及电子设备 |
| CN113965392B (zh) * | 2021-10-25 | 2024-05-28 | 杭州安恒信息技术股份有限公司 | 恶意服务器检测方法、系统、可读介质及电子设备 |
| CN114745722A (zh) * | 2022-06-15 | 2022-07-12 | 安徽创瑞信息技术有限公司 | 一种短信平台安全审核检验方法及系统 |
| CN114745722B (zh) * | 2022-06-15 | 2022-08-12 | 安徽创瑞信息技术有限公司 | 一种短信平台安全审核检验方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107087001B (zh) | 一种分布式的互联网重要地址空间检索系统 | |
| CN103297435B (zh) | 一种基于web日志的异常访问行为检测方法与系统 | |
| CN102801697B (zh) | 基于多url的恶意代码检测方法和系统 | |
| CN103685575B (zh) | 一种基于云架构的网站安全监控方法 | |
| CN109274632B (zh) | 一种网站的识别方法及装置 | |
| CN111049837A (zh) | 基于通信运营商网络传送层的恶意网址识别和拦截技术 | |
| CN104363253B (zh) | 网站安全检测方法与装置 | |
| CN109688097A (zh) | 网站防护方法、网站防护装置、网站防护设备及存储介质 | |
| CN109033403B (zh) | 用于搜索区块链数据的方法、装置及存储介质 | |
| CN102436564A (zh) | 一种识别被篡改网页的方法及装置 | |
| CN103581363A (zh) | 对恶意域名和非法访问的控制方法及装置 | |
| CN107835132B (zh) | 一种流量来源跟踪的方法及装置 | |
| CN109768992A (zh) | 网页恶意扫描处理方法及装置、终端设备、可读存储介质 | |
| CN103493061A (zh) | 用于应对恶意软件的方法和装置 | |
| WO2020171410A1 (ko) | 멀티 도메인에서 데이터를 수집하는 방법, 장치 및 컴퓨터 프로그램 | |
| CN102833111B (zh) | 一种可视化http数据监管方法及装置 | |
| CN103067387B (zh) | 一种反钓鱼监测系统和方法 | |
| CN104378389B (zh) | 网站安全检测方法与装置 | |
| CN103248677B (zh) | 互联网行为分析系统及其工作方法 | |
| CN109101607B (zh) | 用于搜索区块链数据的方法、装置及存储介质 | |
| CN102073960A (zh) | 一种网站营销过程中运行效果的评估方法 | |
| WO2020024903A1 (zh) | 用于搜索区块链数据的方法、设备及计算机可读存储介质 | |
| CN104363252B (zh) | 网站安全检测方法与装置 | |
| CN104933069A (zh) | 一种桌面终端上网浏览统计的分析方法和系统 | |
| CN114244564B (zh) | 攻击防御方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Deng Li Inventor after: Chen Peng Inventor after: Zhu Kun Inventor after: Kang Zhongxing Inventor after: Wu Guowen Inventor after: Yang Cheng Inventor before: Deng Li Inventor before: Chen Peng Inventor before: Zhu Kun Inventor before: Kang Zhongxing Inventor before: Wu Guowen |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |