CN103544316A - Url过滤的系统及其实现方法 - Google Patents
Url过滤的系统及其实现方法 Download PDFInfo
- Publication number
- CN103544316A CN103544316A CN201310542996.4A CN201310542996A CN103544316A CN 103544316 A CN103544316 A CN 103544316A CN 201310542996 A CN201310542996 A CN 201310542996A CN 103544316 A CN103544316 A CN 103544316A
- Authority
- CN
- China
- Prior art keywords
- url
- module
- filtering
- cbf
- initialization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及URL过滤的系统及实现方法,包含初始化模块、存储模块、匹配模块和管理模块,互相配合实现URL过滤,初始化阶段由管理模块调用初始化模块和存储模块,在程序运行阶段,管理模块调用存储模块进行URL集合的修改以及过滤策略的设置,在具体的匹配阶段,匹配模块根据管理模块设置的过滤策略进行相应的URL过滤管理。存储效率高,将URL映射到CBF,不实际存储URL,能满足不断增大的URL黑名单存储要求。匹配速度快,性能稳定,不用遍历URL集合,不管URL集合的大小,每次查找都只需要m次hash计算,查找一次。
Description
技术领域
本发明涉及一种URL过滤的系统及其实现方法。
背景技术
随着互联网的快速发展,保障网络安全已成为急需解决的问题。目前,URL黑名单过滤是一种简单而有效的方案,得到了广泛的使用。
然而,目前大多数URL过滤系统的设计在URL黑名单集合方面越来越大的时候,出现了明显的性能瓶颈,其主要表现在存储和查找匹配的效率上不够理想。
发明内容
本发明的目的是克服现有技术存在的不足,提供一种URL过滤的系统及其实现方法。
本发明的目的通过以下技术方案来实现:
URL过滤的系统,特点是:包含初始化模块、存储模块、匹配模块和管理模块,其中:
初始化模块,用于对URL集合的预处理, 获取URL集合,对URL集合分类;在系统初始化阶段,由管理模块调用初始化模块对URL集合预处理;
管理模块,用于URL过滤系统的初始化,设置过滤策略、修改URL或URL集合、删除URL或URL集合、添加URL或URL集合、修改过滤策略;在系统初始化阶段,管理模块调用初始化模块对URL集合预处理,调用存储模块将URL集合及对应的过滤策略添加至CBF中;在系统运行阶段,管理模块通过调用存储模块修改URL或URL集合、删除URL或URL集合、添加URL或URL集合、修改过滤策略;
存储模块,用于对URL集合分配CBF,对CBF的操作,即修改URL或URL集合、删除URL或URL集合、添加URL或URL集合、设置过滤策略;在系统初始化阶段,由管理模块调用存储模块进行系统初始化;在系统运行阶段,由管理模块调用存储模块对URL或URL集合进行修改、删除、添加、修改过滤策略;
匹配模块,对被监控用户的URL获取、URL查找、过滤策略执行;在系统运行阶段,当被监控用户访问互联网,匹配模块首先获得用户访问的URL,然后在系统保存的CBF中查找,再按照匹配结果和所属CBF的过滤策略执行相应的动作,允许访问或禁止访问,其中过滤策略由管理模块控制。
进一步地,上述的URL过滤的系统,所述初始化模块包含URL集合获取子模块和URL集合分类子模块,其中URL集合获取子模块用于获取程序初始化所需的URL集合,URL集合分类子模块用于对URL集合进行分类,在URL集合预处理阶段由URL集合获取子模块获取原始URL集合,然后交由URL集合分类子模块进行分类。
更进一步地,上述的URL过滤的系统,所述存储模块包含命令解析模块和命令实施模块,在系统运行时,管理模块和匹配模块调用存储模块提供的命令来完成设置URL集合和匹配URL的功能,命令解析模块用于解析发给存储模块的命令,命令实施模块用于根据不同的命令操作CBF并返回结果。
更进一步地,上述的URL过滤的系统,所述匹配模块包含URL获取模块、URL查询模块和URL过滤管理模块, URL获取模块获取用户访问的URL,URL查询模块用于向存储模块发送查询命令,URL过滤模块根据存储模块返回的结果执行具体过滤功能,允许访问或禁止访问。
更进一步地,上述的URL过滤的系统,所述管理模块包含URL集合管理模块和URL策略管理模块,其中URL集合管理模块用于整个系统的URL集合管理,在初始化阶段负责添加URL集合,在运行时负责修改URL集合,即添加、删除、修改,URL策略管理模块用于管理不同URL集合的过滤策略。
本发明实现URL过滤的方法,包括以下步骤:
1)系统初始化,由初始化模块通过抓取互联网上的URL,获得URL集合,然后对获得的URL集合进行分类,获得分类后的URL;管理模块获得初始化模块预处理后的URL集合,调用存储模块提供的接口,通过hash计算将URL集合映射进CBF中,并设置过滤策略,允许或禁止;
2)存储,采用n位可计数型布隆过滤器nbit-CBF,对每个URL计算m个key,存储模块在接收到管理模块的命令负责分配CBF、添加URL、修改URL、删除URL、设置每个CBF的过滤策略、回收CBF;
如果接收到添加URL命令,首先检测URL分类是否存在,若不存在,则新建一个CBF,将URL映射进CBF,并设置过滤策略,返回添加成功,若存在,则直接将URL映射进CBF,返回添加成功;
如果接收到删除URL命令,首先检测URL分类是否存在,若不存在,则直接返回不存在该分类,若存在,则计算m个key值,按照key值去查询CBF中是否存储过该URL,若没有存储过该URL,则直接返回不存在该URL,如果存储过该URL,则将CBF相应位减1,返回删除成功;
如果接收到修改URL命令,则将旧的URL做删除操作,新的URL做添加操作;
如果接收到设置URL集合过滤策略命令,则首先查询是否存在该URL分类,若不存在,则直接返回不存在该分类,若存在,则将相应的CBF的过滤策略设置为新的过滤策略,返回设置策略成功;
3)URL匹配,当用户在网络中浏览互联网时,系统监听网内所有用户的网络行为,当用户浏览互联网时,捕获到用户访问的URL,匹配模块查找系统保存的CBF,判断是否存在该URL,并根据CBF的过滤策略决定用户是否可以访问该URL;
4)系统运行时管理, 在系统运行时,可添加新的URL、删除URL、修改URL、设置新的过滤策略,通过调用存储模块提供的接口完成。
再进一步地,上述的URL过滤的方法,所述hash计算的Hash函数由key和valve组成,将URL字符串映射成m个整数key值,其中URL字符串为Value。
本发明技术方案突出的实质性特点和显著的进步主要体现在:
本发明存储效率高,将URL映射到CBF,不实际存储URL,能满足不断增大的URL黑名单存储要求。匹配速度快,性能稳定,不用遍历URL集合,不管URL集合的大小,每次查找都只需要m次hash计算,查找一次。
附图说明
下面结合附图对本发明技术方案作进一步说明:
图1:本发明系统的模块关系架构图;
图2:本发明实现方法的流程示意图;
图3:采用的算法坐标示意图。
具体实施方式
如图1所示,URL过滤的系统,包含初始化模块1、存储模块2、匹配模块3和管理模块4,其中:
初始化模块1:用于URL过滤系统的初始化,对URL集合的获取、URL集合分类,在系统初始化阶段,由管理模块4调用初始化模块进行URL集合预处理。
管理模块4:用于URL过滤系统的管理功能,对系统初始化、设置过滤策略、修改URL(URL集合)、删除URL(集合)、添加URL(集合)、修改过滤策略。在系统初始化阶段,管理模块4调用初始化模块1进行URL集合预处理,调用存储模块2将URL集合及对应的过滤策略添加至CBF中;在系统运行阶段,管理模块4通过调用存储模块2修改URL(集合)、删除URL(集合)、添加URL(集合)、修改过滤策略。
存储模块2:用于URL过滤系统的存储功能,对URL集合分配CBF、提供对CBF的操作(修改、删除、添加URL(集合))、设置过滤策略。在系统初始化阶段,由管理模块4调用存储模块2进行系统初始化工作;在系统运行阶段,由管理模块4调用存储模块2进行URL(集合)修改、删除、添加、修改过滤策略等。比如:
URL数量 | 误判率 | CBF大小 |
m | n | Y |
N*m*n=Y,其中N为参数,根据公式可以很好的计算出CBF的大小,提高了存储效率。
匹配模块3:用于URL过滤系统的匹配过滤功能,对被监控用户的URL获取、URL查找、过滤策略执行。在系统运行阶段,当被监控用户访问互联网,匹配模块3首先获得用户访问的URL,然后在系统保存的CBF中查找,再按照匹配结果和所属CBF的过滤策略执行相应的动作(允许访问、禁止访问)。其中过滤策略由管理模块控制。
采用的算法如图3,是时间复杂度中O(1)算法,其中纵坐标是查找时间t,横坐标是个数n,个数的不断增加,查找时间不变,提高了匹配效率。
四个模块互相配合实现URL过滤功能,初始化阶段由管理模块4调用初始化模块1和存储模块2,在程序运行阶段,管理模块4调用存储模块2进行URL集合的修改以及过滤策略的设置,在具体的匹配阶段,匹配模块3根据管理模块4设置的过滤策略进行相应的URL过滤管理。
如图2所示,具体实现流程如下:
系统初始化:初始化模块1通过抓取互联网上的URL,获得URL集合,然后对获得的URL集合进行分类,获得分类后的URL;管理模块4获得初始化模块1预处理后的URL集合,调用存储模块2提供的接口,通过hash计算将URL集合映射进CBF中,并设置过滤策略(允许或者禁止)。
存储模块处理流程:采用n位可计数型布隆过滤器(nbit-CBF),对每个URL计算m个key。存储模块2在接收到管理模块4的命令负责分配CBF、添加URL、修改URL、删除URL、设置每个CBF的过滤策略、回收CBF。 如果接收到添加URL命令,首先检测URL分类是否存在,若不存在,则新建一个CBF,将URL映射进CBF,并设置过滤策略,返回添加成功,若存在,则直接将URL映射进CBF,返回添加成功。 如果接收到删除URL命令,首先检测URL分类是否存在,若不存在,则直接返回不存在该分类,若存在,则计算m个key值,按照key值去查询CBF中是否存储过该URL,若没有存储过该URL,则直接返回不存在该URL,如果存储过该URL,则将CBF相应位减1,返回删除成功。如果接收到修改URL命令,则将旧的URL做删除操作,新的URL做添加操作。如果接收到设置URL集合过滤策略命令,则首先查询是否存在该URL分类,若不存在,则直接返回不存在该分类,若存在,则将相应的CBF的过滤策略设置为新的过滤策略,返回设置策略成功。
URL匹配流程:当用户在部署了该系统的网络中浏览互联网时,系统监听网内所有用户的网络行为,当用户浏览互联网时,捕获到用户访问的URL,匹配模块3查找系统保存的CBF,判断是否存在该URL,并根据CBF的过滤策略决定该用户是否可以访问该URL。
系统运行时管理模块处理流程:在系统运行时,管理员可以添加新的URL、删除URL、修改URL、设置新的过滤策略。都是通过调用存储模块2提供的接口完成。
综上所述,本发明存储效率高,将URL映射到CBF,不实际存储URL,能满足不断增大的URL黑名单存储要求。匹配速度快,性能稳定,不用遍历URL集合,不管URL集合的大小,每次查找都只需要m次hash计算,查找一次。
需要理解到的是:以上所述仅是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.URL过滤的系统,其特征在于:包含初始化模块(1)、存储模块(2)、匹配模块(3)和管理模块(4), 其中:
初始化模块(1),用于对URL集合的预处理, 获取URL集合,对URL集合分类;在系统初始化阶段,由管理模块(4)调用初始化模块对URL集合预处理;
管理模块(4),用于URL过滤系统的初始化,设置过滤策略、修改URL或URL集合、删除URL或URL集合、添加URL或URL集合、修改过滤策略;在系统初始化阶段,管理模块(4)调用初始化模块(1)对URL集合预处理,调用存储模块(2)将URL集合及对应的过滤策略添加至CBF中;在系统运行阶段,管理模块(4)通过调用存储模块(2)修改URL或URL集合、删除URL或URL集合、添加URL或URL集合、修改过滤策略;
存储模块(2),用于对URL集合分配CBF,对CBF的操作,即修改URL或URL集合、删除URL或URL集合、添加URL或URL集合、设置过滤策略;在系统初始化阶段,由管理模块(4)调用存储模块(2)进行系统初始化;在系统运行阶段,由管理模块(4)调用存储模块(2)对URL或URL集合进行修改、删除、添加、修改过滤策略;
匹配模块(3),对被监控用户的URL获取、URL查找、过滤策略执行;在系统运行阶段,当被监控用户访问互联网,匹配模块(3)首先获得用户访问的URL,然后在系统保存的CBF中查找,再按照匹配结果和所属CBF的过滤策略执行相应的动作,允许访问或禁止访问,其中过滤策略由管理模块(4)控制。
2.根据权利要求1所述的URL过滤的系统,其特征在于:所述初始化模块(1)包含URL集合获取子模块和URL集合分类子模块,其中URL集合获取子模块用于获取程序初始化所需的URL集合,URL集合分类子模块用于对URL集合进行分类,在URL集合预处理阶段由URL集合获取子模块获取原始URL集合,然后交由URL集合分类子模块进行分类。
3.根据权利要求1所述的URL过滤的系统,其特征在于:所述存储模块(2)包含命令解析模块和命令实施模块,在系统运行时,管理模块和匹配模块调用存储模块提供的命令来完成设置URL集合和匹配URL的功能,命令解析模块用于解析发给存储模块的命令,命令实施模块用于根据不同的命令操作CBF并返回结果。
4.根据权利要求1所述的URL过滤的系统,其特征在于:所述匹配模块(3)包含URL获取模块、URL查询模块和URL过滤管理模块, URL获取模块获取用户访问的URL,URL查询模块用于向存储模块发送查询命令,URL过滤模块根据存储模块返回的结果执行具体过滤功能,允许访问或禁止访问。
5.根据权利要求1所述的URL过滤的系统,其特征在于:所述管理模块(4)包含URL集合管理模块和URL策略管理模块,其中URL集合管理模块用于整个系统的URL集合管理,在初始化阶段负责添加URL集合,在运行时负责修改URL集合,即添加、删除、修改,URL策略管理模块用于管理不同URL集合的过滤策略。
6.利用权利要求1所述系统实现URL过滤的方法,其特征在于:包括以下步骤:
1)系统初始化,由初始化模块通过抓取互联网上的URL,获得URL集合,然后对获得的URL集合进行分类,获得分类后的URL;管理模块获得初始化模块预处理后的URL集合,调用存储模块提供的接口,通过hash计算将URL集合映射进CBF中,并设置过滤策略,允许或禁止;
2)存储,采用n位可计数型布隆过滤器nbit-CBF,对每个URL计算m个key,存储模块在接收到管理模块的命令负责分配CBF、添加URL、修改URL、删除URL、设置每个CBF的过滤策略、回收CBF;
如果接收到添加URL命令,首先检测URL分类是否存在,若不存在,则新建一个CBF,将URL映射进CBF,并设置过滤策略,返回添加成功,若存在,则直接将URL映射进CBF,返回添加成功;
如果接收到删除URL命令,首先检测URL分类是否存在,若不存在,则直接返回不存在该分类,若存在,则计算m个key值,按照key值去查询CBF中是否存储过该URL,若没有存储过该URL,则直接返回不存在该URL,如果存储过该URL,则将CBF相应位减1,返回删除成功;
如果接收到修改URL命令,则将旧的URL做删除操作,新的URL做添加操作;
如果接收到设置URL集合过滤策略命令,则首先查询是否存在该URL分类,若不存在,则直接返回不存在该分类,若存在,则将相应的CBF的过滤策略设置为新的过滤策略,返回设置策略成功;
3)URL匹配,当用户在网络中浏览互联网时,系统监听网内所有用户的网络行为,当用户浏览互联网时,捕获到用户访问的URL,匹配模块查找系统保存的CBF,判断是否存在该URL,并根据CBF的过滤策略决定用户是否可以访问该URL;
4)系统运行时管理,在系统运行时,可添加新的URL、删除URL、修改URL、设置新的过滤策略,通过调用存储模块提供的接口完成。
7.根据权利要求6所述的URL过滤的方法,其特征在于:所述hash计算的Hash函数由key和valve组成,将URL字符串映射成m个整数key值,其中URL字符串为Value。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310542996.4A CN103544316B (zh) | 2013-11-06 | 2013-11-06 | Url过滤的系统及其实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310542996.4A CN103544316B (zh) | 2013-11-06 | 2013-11-06 | Url过滤的系统及其实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103544316A true CN103544316A (zh) | 2014-01-29 |
CN103544316B CN103544316B (zh) | 2017-02-08 |
Family
ID=49967768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310542996.4A Active CN103544316B (zh) | 2013-11-06 | 2013-11-06 | Url过滤的系统及其实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103544316B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103995773A (zh) * | 2014-02-28 | 2014-08-20 | 上海斐讯数据通信技术有限公司 | 一种url过滤功能的自动测试方法 |
CN105162780A (zh) * | 2015-08-21 | 2015-12-16 | 上海斐讯数据通信技术有限公司 | 一种url过滤地址设置方法及系统 |
CN105550232A (zh) * | 2015-12-04 | 2016-05-04 | 珠海多玩信息技术有限公司 | 多重策略的信息过滤系统及方法 |
WO2016127625A1 (zh) * | 2015-02-13 | 2016-08-18 | 小米科技有限责任公司 | 地址过滤方法及装置 |
CN106970917A (zh) * | 2016-01-13 | 2017-07-21 | 中国科学院声学研究所 | 一种黑名单url的哈希表的建立及请求url的查找方法 |
CN107870925A (zh) * | 2016-09-26 | 2018-04-03 | 华为技术有限公司 | 一种字符串过滤方法和相关装置 |
CN107888659A (zh) * | 2017-10-12 | 2018-04-06 | 北京京东尚科信息技术有限公司 | 用户请求的处理方法及系统 |
RU2697739C2 (ru) * | 2015-06-05 | 2019-08-19 | Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд. | Устройство и способ персонализированного поиска на основе признаков изображения продукта |
CN111272669A (zh) * | 2020-01-23 | 2020-06-12 | 深圳市大拿科技有限公司 | 基于粪便信息检测的健康评估方法及相关设备 |
CN114143083A (zh) * | 2021-11-30 | 2022-03-04 | 北京天融信网络安全技术有限公司 | 黑名单策略匹配方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102253991A (zh) * | 2011-05-25 | 2011-11-23 | 北京星网锐捷网络技术有限公司 | Url存储方法、网页过滤方法、装置及系统 |
JP2012094071A (ja) * | 2010-10-28 | 2012-05-17 | Nippon Telegr & Teleph Corp <Ntt> | フィルタリング方法、フィルタリングシステム及びフィルタリングプログラム |
CN103136372A (zh) * | 2013-03-21 | 2013-06-05 | 陕西通信信息技术有限公司 | 网络可信性行为管理中url快速定位、分类和过滤方法 |
-
2013
- 2013-11-06 CN CN201310542996.4A patent/CN103544316B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012094071A (ja) * | 2010-10-28 | 2012-05-17 | Nippon Telegr & Teleph Corp <Ntt> | フィルタリング方法、フィルタリングシステム及びフィルタリングプログラム |
CN102253991A (zh) * | 2011-05-25 | 2011-11-23 | 北京星网锐捷网络技术有限公司 | Url存储方法、网页过滤方法、装置及系统 |
CN103136372A (zh) * | 2013-03-21 | 2013-06-05 | 陕西通信信息技术有限公司 | 网络可信性行为管理中url快速定位、分类和过滤方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103995773B (zh) * | 2014-02-28 | 2019-11-22 | 上海斐讯数据通信技术有限公司 | 一种url过滤功能的自动测试方法 |
CN103995773A (zh) * | 2014-02-28 | 2014-08-20 | 上海斐讯数据通信技术有限公司 | 一种url过滤功能的自动测试方法 |
WO2016127625A1 (zh) * | 2015-02-13 | 2016-08-18 | 小米科技有限责任公司 | 地址过滤方法及装置 |
RU2697739C2 (ru) * | 2015-06-05 | 2019-08-19 | Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд. | Устройство и способ персонализированного поиска на основе признаков изображения продукта |
CN105162780B (zh) * | 2015-08-21 | 2018-04-06 | 上海斐讯数据通信技术有限公司 | 一种url过滤地址设置方法及系统 |
CN105162780A (zh) * | 2015-08-21 | 2015-12-16 | 上海斐讯数据通信技术有限公司 | 一种url过滤地址设置方法及系统 |
CN105550232A (zh) * | 2015-12-04 | 2016-05-04 | 珠海多玩信息技术有限公司 | 多重策略的信息过滤系统及方法 |
CN106970917B (zh) * | 2016-01-13 | 2019-11-19 | 中国科学院声学研究所 | 一种黑名单url的哈希表的建立及请求url的查找方法 |
CN106970917A (zh) * | 2016-01-13 | 2017-07-21 | 中国科学院声学研究所 | 一种黑名单url的哈希表的建立及请求url的查找方法 |
CN107870925A (zh) * | 2016-09-26 | 2018-04-03 | 华为技术有限公司 | 一种字符串过滤方法和相关装置 |
CN107888659A (zh) * | 2017-10-12 | 2018-04-06 | 北京京东尚科信息技术有限公司 | 用户请求的处理方法及系统 |
CN111272669A (zh) * | 2020-01-23 | 2020-06-12 | 深圳市大拿科技有限公司 | 基于粪便信息检测的健康评估方法及相关设备 |
CN114143083A (zh) * | 2021-11-30 | 2022-03-04 | 北京天融信网络安全技术有限公司 | 黑名单策略匹配方法、装置、电子设备及存储介质 |
CN114143083B (zh) * | 2021-11-30 | 2023-11-14 | 北京天融信网络安全技术有限公司 | 黑名单策略匹配方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103544316B (zh) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103544316A (zh) | Url过滤的系统及其实现方法 | |
CN104598631B (zh) | 分布式数据处理平台 | |
CN102541875B (zh) | 有向无环图的关系型节点数据的存取方法、装置及系统 | |
CN106445413A (zh) | 集群系统中数据处理方法及装置 | |
CN103177005A (zh) | 一种数据访问的处理方法和系统 | |
CN105138621B (zh) | 一种Sybase ASE数据库配置优化系统及方法 | |
CN104252528B (zh) | 基于标识符空间映射的大数据二级索引构建方法 | |
CN102033882B (zh) | 一种性能数据的存储方法及系统 | |
CN101369267B (zh) | 一种基于内存库的模糊查询方法 | |
CN109344153A (zh) | 业务数据的处理方法及终端设备 | |
CN102946320B (zh) | 一种分布式用户行为日志预测网络监管方法及系统 | |
CN108460102A (zh) | 社交网络数据查询方法、装置、计算机设备和存储介质 | |
CN104392010A (zh) | 一种子图匹配的查询方法 | |
US20160034505A1 (en) | Systems and methods for large-scale link analysis | |
CN106202581A (zh) | 一种数据搜索方法及装置 | |
CN102508872A (zh) | 一种基于内存的联机处理系统的数据处理方法及系统 | |
CN103294822A (zh) | 一种基于主动哈希和布隆过滤器的高效缓存方法 | |
CN1851696A (zh) | 一种关联查询的系统及其方法 | |
CN109635037A (zh) | 一种关系型分布式数据库的分片存储方法及装置 | |
CN104618304A (zh) | 数据处理方法及数据处理系统 | |
CN102214235A (zh) | 一种基于实时权限控制的企业管理软件搜索引擎集成方法 | |
CN103116641A (zh) | 获取排序的统计数据的方法及排序装置 | |
CN107704475A (zh) | 多层分布式非结构化数据存储方法、查询方法及装置 | |
CN101729929A (zh) | 一种智能网业务库存取海量数据的系统、装置及方法 | |
CN102594787B (zh) | 数据抓取方法、系统和路由服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20170714 Address after: The streets of Shenzhen city in Guangdong province 518057 Keyuan Road No. 15 Nanshan District Guangdong Kexing Science Park building B4 room 1102 Patentee after: SHENZHEN DANALE TECHNOLOGY CO., LTD. Address before: Suzhou City, Jiangsu province 215021 Xinghu Park Street No. 328 Creative Industry Park 3-B302 unit Patentee before: Suzhou Dana Information Technology Co., Ltd. |