CN106326258B - Url匹配方法及装置 - Google Patents
Url匹配方法及装置 Download PDFInfo
- Publication number
- CN106326258B CN106326258B CN201510362772.4A CN201510362772A CN106326258B CN 106326258 B CN106326258 B CN 106326258B CN 201510362772 A CN201510362772 A CN 201510362772A CN 106326258 B CN106326258 B CN 106326258B
- Authority
- CN
- China
- Prior art keywords
- url
- matched
- matching
- preset
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
Abstract
本发明提供了一种URL匹配方法及装置。其中,该方法包括:根据待匹配统一资源定位符(URL)的哈希值,精确匹配待匹配URL的处理策略;判断精确匹配待匹配URL的处理策略是否成功;在精确匹配待匹配URL的处理策略失败的情况下,多模匹配待匹配URL的处理策略。通过本发明,解决了采用多模匹配算法进行URL匹配时空间消耗大的问题,降低了空间消耗。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种URL匹配方法及装置。
背景技术
在移动通信网关中,需要对报文中的统一资源定位符(Uniform ResourceLocator,简称为URL)进行识别匹配,根据识别结果对应的策略对报文进行相应的处理。
目前已有的URL匹配方法主要有三种:
第一,使用哈希表存放URL信息,这种方法只适用于精确匹配,且当哈希值存在匹配冲突时,匹配将变慢。
第二,使用字符串匹配算法,查找速度比较慢。
第三,使用多模匹配算法,在大容量URL的情况下,空间消耗大。
以上匹配方法都不能同时满足网关对于空间、效率、功能方面的要求。
针对相关技术中采用多模匹配算法进行URL匹配时空间消耗大的问题,目前尚未提出有效的解决方案。
发明内容
本发明提供了一种URL匹配方法及装置,以至少解决相关技术中采用多模匹配算法进行URL匹配时空间消耗大的问题。
根据本发明的一个方面,提供了一种URL匹配方法,包括:根据待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略;判断精确匹配所述待匹配URL的处理策略是否成功;在精确匹配所述待匹配URL的处理策略失败的情况下,多模匹配所述待匹配URL的处理策略。
优选地,根据所述待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略包括:加载预设哈希规则文件,其中,所述预设哈希规则文件包括:URL的哈希值及该URL对应的处理策略;使用一种预设哈希算法计算所述待匹配URL的一个哈希值,或者,使用多种预设哈希算法计算所述待匹配URL的多个哈希值;根据所述一个哈希值或者所述多个哈希值,在所述预设哈希规则文件中为所述待匹配URL精确匹配处理策略。
优选地,在精确匹配所述待匹配URL的处理策略失败的情况下,多模匹配所述待匹配URL的处理策略包括:加载预设多模规则文件,其中,所述预设多模规则包括:URL的字符串信息及该URL对应的处理策略;根据所述待匹配URL的字符串信息,在所述预设多模规则文件中为所述待匹配URL多模匹配处理策略。
优选地,在根据待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略之前,所述方法还包括:生成预设哈希规则文件和/或预设多模规则文件。
优选地,在生成预设哈希规则文件和/或预设多模规则文件之前,所述方法还包括:确定URL将采用精确匹配还是将采用多模匹配;其中,生成预设哈希规则文件和/或预设多模规则文件包括:根据将采用精确匹配的第一URL及所述第一URL对应的处理策略生成所述预设哈希规则文件,和/或,根据将采用多模匹配的第二URL及所述第二URL对应的处理策略生成所述预设多模规则文件。
优选地,根据将采用精确匹配的第一URL及所述第一URL对应的处理策略生成所述预设哈希规则文件包括:使用一种预设哈希算法计算所述第一URL的一个哈希值,或者,使用多种预设哈希算法计算所述第一URL的多个哈希值;根据计算得到的一个哈希值及所述第一URL对应的处理策略生成所述预设哈希规则文件,或者,根据计算得到的多个哈希值及所述第一URL对应的处理策略生成所述预设哈希规则文件。
优选地,根据将采用多模匹配的第二URL及所述第二URL对应的处理策略生成所述预设多模规则文件包括:提取所述第二URL的字符串信息;根据所述第二URL的字符串信息及所述第二URL对应的处理策略,生成所述预设多模规则文件。
根据本发明的另一个方面,还提供了一种URL匹配装置,包括:第一匹配模块,用于根据待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略;判断模块,用于判断精确匹配所述待匹配URL的处理策略是否成功;第二匹配模块,用于在精确匹配所述待匹配URL的处理策略失败的情况下,多模匹配所述待匹配URL的处理策略。
优选地,所述第一匹配模块包括:第一加载单元,用于加载预设哈希规则文件,其中,所述预设哈希规则文件包括:URL的哈希值及该URL对应的处理策略;计算单元,用于使用一种预设哈希算法计算所述待匹配URL的一个哈希值,或者,使用多种预设哈希算法计算所述待匹配URL的多个哈希值;第一匹配单元,用于根据所述一个哈希值或者所述多个哈希值,在所述预设哈希规则文件中为所述待匹配URL精确匹配处理策略。
优选地,所述第二匹配模块包括:第二加载单元,用于加载预设多模规则文件,其中,所述预设多模规则包括:URL的字符串信息及该URL对应的处理策略;第二匹配单元,用于在精确匹配所述待匹配URL的处理策略失败的情况下,根据所述待匹配URL的字符串信息,在所述预设多模规则文件中为所述待匹配URL多模匹配处理策略。
通过本发明,采用根据待匹配URL的哈希值,精确匹配待匹配URL的处理策略;判断精确匹配待匹配URL的处理策略是否成功;在精确匹配待匹配URL的处理策略失败的情况下,多模匹配待匹配URL的处理策略的方式,解决了采用多模匹配算法进行URL匹配时空间消耗大的问题,降低了空间消耗。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的URL匹配方法的流程图;
图2是根据本发明实施例的URL匹配装置的结构框图;
图3是根据本发明实施例的URL匹配装置的优选结构框图一;
图4是根据本发明实施例的URL匹配装置的优选结构框图二;
图5是根据本发明优选实施例的一种大容量URL匹配方法规则生成流程图;
图6是根据本发明优选实施例的一种大容量URL匹配的方法报文匹配流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种URL匹配方法,图1是根据本发明实施例的URL匹配方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,根据待匹配URL的哈希值,精确匹配待匹配URL的处理策略;
步骤S104,判断精确匹配待匹配URL的处理策略是否成功;
步骤S106,在精确匹配待匹配URL的处理策略失败的情况下,多模匹配待匹配URL的处理策略。
通过上述步骤,首先对待匹配URL进行精确匹配,由于大部分的URL可以实现精确匹配且精确匹配占用空间小,因此可以降低其它匹配方式造成的大量的空间消耗;再在精确匹配失败的情况下,对待匹配URL进行多模匹配,可以保障不能精确匹配的URL的匹配效率。可见,采用上述步骤,相对于现有技术中仅采用精确匹配的方式,由于还可以对需多模匹配的URL进行处理,因而提高了匹配效率;相对于现有技术中仅采用多模匹配的方式,由于精确匹配的引入减小了对空间的占用。通过本发明实施例的上述步骤,在保障匹配效率的前提下,采用多模匹配算法进行URL匹配时空间消耗大的问题,降低了空间消耗。
优选地,上述步骤可以由网关设备实现。
优选地,可以通过加载预设哈希规则文件,其中,预设哈希规则文件包括:URL的哈希值及该URL对应的处理策略;使用一种预设哈希算法计算待匹配URL的一个哈希值,或者,使用多种预设哈希算法计算待匹配URL的多个哈希值;根据一个哈希值或者多个哈希值,在预设哈希规则文件中为待匹配URL精确匹配处理策略的方式根据待匹配URL的哈希值,精确匹配待匹配URL的处理策略。
优选地,可以使用多种预设哈希算法计算待匹配URL的多个哈希值,对得到的多个哈希值进行组合,生成待匹配URL的关键(key)值,再根据待匹配URL的key值进行精确匹配。例如,使用一种哈希算法计算待匹配URL的哈希值为1,使用另一种哈希算法计算待匹配URL的哈希值为2,对这两个哈希值进行组合,例如,生成待匹配URL的key值为1.2,根据待匹配URL的key值1.2对待匹配URL进行精确匹配。通过上述方法,使用多个哈希值组合的方式进行精确匹配,可以减小仅采用一种哈希算法导致的匹配冲突问题,从而提高了精确匹配的效率。
优选地,在精确匹配待匹配URL的处理策略失败的情况下,可以多模匹配待匹配URL的处理策略,例如,加载预设多模规则文件,其中,预设多模规则包括:URL的字符串信息及该URL对应的处理策略;根据待匹配URL的字符串信息,在预设多模规则文件中为待匹配URL多模匹配处理策略。
优选地,在上述步骤S102之前,可以生成预设哈希规则文件和/或预设多模规则文件,可选地,在生成预设哈希规则文件和/或预设多模规则文件之前,还可以确定URL将采用精确匹配还是将采用多模匹配;其中,生成预设哈希规则文件和/或预设多模规则文件包括:根据将采用精确匹配的第一URL及第一URL对应的处理策略生成预设哈希规则文件,和/或,根据将采用多模匹配的第二URL及第二URL对应的处理策略生成预设多模规则文件。
优选地,根据将采用精确匹配的第一URL及第一URL对应的处理策略生成的预设哈希规则文件可以通过使用一种预设哈希算法计算第一URL的一个哈希值,或者,使用多种预设哈希算法计算第一URL的多个哈希值;根据计算得到的一个哈希值及第一URL对应的处理策略生成预设哈希规则文件,或者,根据计算得到的多个哈希值及第一URL对应的处理策略生成预设哈希规则文件的方式生成。
优选地,根据将采用多模匹配的第二URL及第二URL对应的处理策略生成的预设多模规则文件可以通过提取第二URL的字符串信息;根据第二URL的字符串信息及第二URL对应的处理策略,生成预设多模规则文件的方式生成。
在本实施例中还提供了一种URL匹配装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的URL匹配装置的结构框图,如图2所示,该装置包括;第一匹配模块22、判断模块24、第二匹配模块26,其中,第一匹配模块22,用于根据待匹配URL的哈希值,精确匹配待匹配URL的处理策略;判断模块24,耦合至第一匹配模块22,用于判断精确匹配待匹配URL的处理策略是否成功;第二匹配模块26,耦合至判断模块24,用于在精确匹配待匹配URL的处理策略失败的情况下,多模匹配待匹配URL的处理策略。
图3是根据本发明实施例的URL匹配装置的优选结构框图一,如图3所示,优选地,第一匹配模块包括:第一加载单元32、计算单元34、第一匹配单元36,其中,第一加载单元32,用于加载预设哈希规则文件,其中,预设哈希规则文件包括:URL的哈希值及该URL对应的处理策略;计算单元34,耦合至第一加载单元32,用于使用一种预设哈希算法计算待匹配URL的一个哈希值,或者,使用多种预设哈希算法计算待匹配URL的多个哈希值;第一匹配单元36,耦合至计算单元34,用于根据一个哈希值或者多个哈希值,在预设哈希规则文件中为待匹配URL精确匹配处理策略。
图4是根据本发明实施例的URL匹配装置的优选结构框图二,如图4所示,优选地,第二匹配模块包括:第二加载单元42、第二匹配单元44,其中,第二加载单元42,用于加载预设多模规则文件,其中,预设多模规则包括:URL的字符串信息及该URL对应的处理策略;第二匹配单元44,耦合至第二加载单元42,用于在精确匹配待匹配URL的处理策略失败的情况下,根据待匹配URL的字符串信息,在预设多模规则文件中为待匹配URL多模匹配处理策略。
优选地,该装置还可以包括:生成模块,用于生成预设哈希规则文件和/或预设多模规则文件。
优选地,该装置还可以包括:确定模块,用于确定URL将采用精确匹配还是将采用多模匹配;其中,上述生成模块可以包括:第一生成单元,用于根据将采用精确匹配的第一URL及第一URL对应的处理策略生成预设哈希规则文件,和/或,第二生成单元,用于根据将采用多模匹配的第二URL及第二URL对应的处理策略生成预设多模规则文件。
优选地,上述第一生成单元可以用于使用一种预设哈希算法计算第一URL的一个哈希值,或者,使用多种预设哈希算法计算第一URL的多个哈希值;根据计算得到的一个哈希值及第一URL对应的处理策略生成预设哈希规则文件,或者,根据计算得到的多个哈希值及第一URL对应的处理策略生成预设哈希规则文件。
优选地,上述第二生成单元可以用于提取第二URL的字符串信息;根据第二URL的字符串信息及第二URL对应的处理策略,生成预设多模规则文件。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述模块分别位于多个处理器中。
本发明的实施例还提供了一种软件,该软件用于执行上述实施例及优选实施方式中描述的技术方案。
本发明的实施例还提供了一种存储介质。在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S200,根据待匹配URL的哈希值,精确匹配待匹配URL的处理策略;
S400,判断精确匹配待匹配URL的处理策略是否成功;
S600,在精确匹配待匹配URL的处理策略失败的情况下,多模匹配待匹配URL的处理策略。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S220,加载预设哈希规则文件,其中,所述预设哈希规则文件包括:URL的哈希值及该URL对应的处理策略;
S240,使用一种预设哈希算法计算所述待匹配URL的一个哈希值,或者,使用多种预设哈希算法计算所述待匹配URL的多个哈希值;
S260,根据所述一个哈希值或者所述多个哈希值,在所述预设哈希规则文件中为所述待匹配URL精确匹配处理策略。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S620,加载预设多模规则文件,其中,所述预设多模规则包括:URL的字符串信息及该URL对应的处理策略;
S640,根据所述待匹配URL的字符串信息,在所述预设多模规则文件中为所述待匹配URL多模匹配处理策略。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S000,生成预设哈希规则文件和/或预设多模规则文件。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S100,确定URL将采用精确匹配还是将采用多模匹配;其中,生成预设哈希规则文件和/或预设多模规则文件包括:根据将采用精确匹配的第一URL及所述第一URL对应的处理策略生成所述预设哈希规则文件,和/或,根据将采用多模匹配的第二URL及所述第二URL对应的处理策略生成所述预设多模规则文件。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S020,使用一种预设哈希算法计算所述第一URL的一个哈希值,或者,使用多种预设哈希算法计算所述第一URL的多个哈希值;
S022,根据计算得到的一个哈希值及所述第一URL对应的处理策略生成所述预设哈希规则文件,或者,根据计算得到的多个哈希值及所述第一URL对应的处理策略生成所述预设哈希规则文件。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S040,提取所述第二URL的字符串信息;
S042,根据所述第二URL的字符串信息及所述第二URL对应的处理策略,生成所述预设多模规则文件。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
为了使本发明实施例的描述更加清楚,下面结合优选实施例进行描述和说明。
本发明优选实施例针对的是移动通信网关中需要匹配的URL数量达到百万级,URL占用的空间膨胀,不能满足网关对空间的限制要求的问题。
在研究过程中对用户行为、需求和大量URL的分析,发现在配置的百万级URL中,大部分是完整的URL,是精确匹配,少部分需要使用多模匹配。因此,为了改善上述问题,本发明优选实施例提供了一种大容量URL匹配的方法,可以应用于对报文规则匹配的通信设备,采用哈希算法的改进使用和多模匹配相结合的方法,实现在功能同等的情况下,减少海量URL在网关上占用的空间的效果;也可以应用于对报文规则匹配的通信设备进行URL过滤和识别的方法及系统。
通过本发明优选实施例,可以减少大容量URL的存储,满足多个模式字符串匹配的功能,同时将对效率的影响降到最小。
本发明优选实施例提供的一种将哈希算法的改进使用和多模匹配相结合的URL匹配方法,包括如下步骤:
步骤一,将精确匹配的URL分别使用两种不同的哈希算法,为每个URL生成两个哈希值,将这两个值组合作为新的key值保存在哈希规则文件中;
步骤二,将多模匹配的URL使用多模的方式保存在多模规则文件中;
步骤三,网关分别加载两个规则文件,在收到报文并得到URL后,先计算URL的哈希值,匹配哈希表中的规则,哈希表中匹配不成功,则再进行多模匹配。
下面结合附图对本发明优选实施例进行说明。
图5是根据本发明优选实施例的一种大容量URL匹配方法规则生成流程图,如图5所示,该流程包括以下步骤:
步骤S502,采用网关规则文件生成工具,将配置的URL以及对应的策略生成规则文件,其中精确匹配的URL生成由哈希值组成的规则文件,多模匹配的URL生成多模的规则文件;
步骤S504,移动通信网关分别加载两个规则文件,根据哈希规则文件中的URL哈希值生成哈希表,多模规则文件中的内容生成多模匹配条件;
步骤S506,接收报文,将报文中的URL使用与步骤S502中同样的方法计算哈希值;
步骤S508,在由步骤S504生成的哈希表中查找步骤S506中得出的哈希值;
步骤S510,在哈希表中找到步骤S506中的哈希值,则进入步骤S512;没有找到则进入步骤S514;
步骤S512,根据找到的哈希值对应的策略处理报文;
步骤S514,对报文中的URL进行多模匹配,根据多模匹配结果对应的策略处理报文。
图6是根据本发明优选实施例的一种大容量URL匹配的方法报文匹配流程图,如图6所示,该流程包括以下步骤:
步骤S602,网关接收报文;
步骤S604,判断是否解析得到报文中的URL字段,在判断结果为是的情况下,执行步骤S606,否则,执行步骤S608;
步骤S606,对报文中的URL进行两次哈希值计算,得出key值;
步骤S608,不需要URL匹配处理;
步骤S610,在网关加载的规则文件生成的哈希表中查找哈希值;
步骤S612,判断是否查找到key值,在判断结果为是的情况下,执行步骤S614,否则,执行步骤S616;
步骤S614,根据key值对应的策略处理报文;
步骤S616,进入多模匹配;
步骤S618,根据多模匹配结果对应的策略处理报文。
综上所述,通过本发明的上述实施例和优选实施例,新增了一种URL匹配模式,利用精确匹配与多模匹配结合的方式进行URL匹配,在空间方面,大部分的URL只需要存储根据URL计算得出的哈希值,远远小于多模匹配中需存储的URL字符串的长度,从而有效减少空间的占用,并且保持了功能的完整性;此外,在哈希表部分,两种哈希算法结合使用有效的减少匹配冲突的概率。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种统一资源定位符URL匹配方法,其特征在于包括:
根据待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略;
判断精确匹配所述待匹配URL的处理策略是否成功;
在精确匹配所述待匹配URL的处理策略失败的情况下,多模匹配所述待匹配URL的处理策略;其中,
根据所述待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略包括:
加载预设哈希规则文件,其中,所述预设哈希规则文件包括:URL的哈希值及该URL对应的处理策略;
使用一种预设哈希算法计算所述待匹配URL的一个哈希值,或者,使用多种预设哈希算法计算所述待匹配URL的多个哈希值;
根据所述一个哈希值或者所述多个哈希值,在所述预设哈希规则文件中为所述待匹配URL精确匹配处理策略;
在精确匹配所述待匹配URL的处理策略失败的情况下,多模匹配所述待匹配URL的处理策略包括:
加载预设多模规则文件,其中,所述预设多模规则包括:URL的字符串信息及该URL对应的处理策略;
根据所述待匹配URL的字符串信息,在所述预设多模规则文件中为所述待匹配URL多模匹配处理策略。
2.根据权利要求1所述的方法,其特征在于,在根据待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略之前,所述方法还包括:
生成预设哈希规则文件和/或预设多模规则文件。
3.根据权利要求2所述的方法,其特征在于,在生成预设哈希规则文件和/或预设多模规则文件之前,所述方法还包括:
确定URL将采用精确匹配还是将采用多模匹配;
其中,生成预设哈希规则文件和/或预设多模规则文件包括:根据将采用精确匹配的第一URL及所述第一URL对应的处理策略生成所述预设哈希规则文件,和/或,根据将采用多模匹配的第二URL及所述第二URL对应的处理策略生成所述预设多模规则文件。
4.根据权利要求3所述的方法,其特征在于,根据将采用精确匹配的第一URL及所述第一URL对应的处理策略生成所述预设哈希规则文件包括:
使用一种预设哈希算法计算所述第一URL的一个哈希值,或者,使用多种预设哈希算法计算所述第一URL的多个哈希值;
根据计算得到的一个哈希值及所述第一URL对应的处理策略生成所述预设哈希规则文件,或者,根据计算得到的多个哈希值及所述第一URL对应的处理策略生成所述预设哈希规则文件。
5.根据权利要求4所述的方法,其特征在于,根据将采用多模匹配的第二URL及所述第二URL对应的处理策略生成所述预设多模规则文件包括:
提取所述第二URL的字符串信息;
根据所述第二URL的字符串信息及所述第二URL对应的处理策略,生成所述预设多模规则文件。
6.一种URL匹配装置,其特征在于包括:
第一匹配模块,用于根据待匹配URL的哈希值,精确匹配所述待匹配URL的处理策略;
判断模块,用于判断精确匹配所述待匹配URL的处理策略是否成功;
第二匹配模块,用于在精确匹配所述待匹配URL的处理策略失败的情况下,多模匹配所述待匹配URL的处理策略;其中,
所述第一匹配模块包括:
第一加载单元,用于加载预设哈希规则文件,其中,所述预设哈希规则文件包括:URL的哈希值及该URL对应的处理策略;
计算单元,用于使用一种预设哈希算法计算所述待匹配URL的一个哈希值,或者,使用多种预设哈希算法计算所述待匹配URL的多个哈希值;
第一匹配单元,用于根据所述一个哈希值或者所述多个哈希值,在所述预设哈希规则文件中为所述待匹配URL精确匹配处理策略;
所述第二匹配模块包括:
第二加载单元,用于加载预设多模规则文件,其中,所述预设多模规则包括:URL的字符串信息及该URL对应的处理策略;
第二匹配单元,用于在精确匹配所述待匹配URL的处理策略失败的情况下,根据所述待匹配URL的字符串信息,在所述预设多模规则文件中为所述待匹配URL多模匹配处理策略。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362772.4A CN106326258B (zh) | 2015-06-26 | 2015-06-26 | Url匹配方法及装置 |
PCT/CN2016/073887 WO2016206389A1 (zh) | 2015-06-26 | 2016-02-16 | Url匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362772.4A CN106326258B (zh) | 2015-06-26 | 2015-06-26 | Url匹配方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106326258A CN106326258A (zh) | 2017-01-11 |
CN106326258B true CN106326258B (zh) | 2022-04-08 |
Family
ID=57584658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510362772.4A Active CN106326258B (zh) | 2015-06-26 | 2015-06-26 | Url匹配方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106326258B (zh) |
WO (1) | WO2016206389A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108737470B (zh) * | 2017-04-19 | 2020-03-13 | 贵州白山云科技股份有限公司 | 一种访问请求回源方法和装置 |
CN110489701A (zh) * | 2019-08-19 | 2019-11-22 | 安徽三实信息技术服务有限公司 | 提取cms识别特征的方法、装置及cms识别方法 |
CN112416875B (zh) * | 2020-11-24 | 2024-04-09 | 平安消费金融有限公司 | 日志管理方法、装置、计算机设备及存储介质 |
CN114625929A (zh) * | 2022-03-17 | 2022-06-14 | 北京启明星辰信息安全技术有限公司 | 一种抽样采集报文的方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020230A (zh) * | 2012-12-14 | 2013-04-03 | 中国科学院声学研究所 | 一种语义模糊匹配方法 |
CN103377259A (zh) * | 2012-04-28 | 2013-10-30 | 北京新媒传信科技有限公司 | 一种多模式字符串匹配方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8145710B2 (en) * | 2003-06-18 | 2012-03-27 | Symantec Corporation | System and method for filtering spam messages utilizing URL filtering module |
US7523171B2 (en) * | 2003-09-09 | 2009-04-21 | International Business Machines Corporation | Multidimensional hashed tree based URL matching engine using progressive hashing |
KR20090017054A (ko) * | 2007-08-13 | 2009-02-18 | 주영재 | 사용자 매칭 콘텐츠 제공장치, 방법 및 그 기록매체 |
US8495735B1 (en) * | 2008-12-30 | 2013-07-23 | Uab Research Foundation | System and method for conducting a non-exact matching analysis on a phishing website |
CN101605129B (zh) * | 2009-06-23 | 2012-02-01 | 北京理工大学 | 一种用于url过滤系统的url查找方法 |
CN101996139B (zh) * | 2009-08-28 | 2015-11-25 | 百度在线网络技术(北京)有限公司 | 数据匹配方法和数据匹配装置 |
CN102510330B (zh) * | 2011-11-02 | 2014-07-09 | 杭州电子科技大学 | 一种基于指纹特征数据与匹配算法的新型模糊金库方法 |
-
2015
- 2015-06-26 CN CN201510362772.4A patent/CN106326258B/zh active Active
-
2016
- 2016-02-16 WO PCT/CN2016/073887 patent/WO2016206389A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103377259A (zh) * | 2012-04-28 | 2013-10-30 | 北京新媒传信科技有限公司 | 一种多模式字符串匹配方法和装置 |
CN103020230A (zh) * | 2012-12-14 | 2013-04-03 | 中国科学院声学研究所 | 一种语义模糊匹配方法 |
Non-Patent Citations (1)
Title |
---|
"面向内容安全的多模精确匹配算法性能分析";张冬艳 等;《通信学报》;20040731;第25卷(第7期);第128-135页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106326258A (zh) | 2017-01-11 |
WO2016206389A1 (zh) | 2016-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106326258B (zh) | Url匹配方法及装置 | |
CN108875364B (zh) | 未知文件的威胁性判定方法、装置、电子设备及存储介质 | |
US8706711B2 (en) | Descriptor storage and searches of k-dimensional trees | |
CN113412608B (zh) | 内容推送方法、装置、服务端及存储介质 | |
CN106534268B (zh) | 一种数据共享方法及装置 | |
CN111260220B (zh) | 群控设备识别方法、装置、电子设备和存储介质 | |
CN103544172A (zh) | 一种电子书的章节目录处理方法及装置 | |
CN106227893A (zh) | 一种文件类型获取方法及装置 | |
CN110457704B (zh) | 目标字段的确定方法、装置、存储介质及电子装置 | |
CN112364014A (zh) | 数据查询方法、装置、服务器及存储介质 | |
CN115905309A (zh) | 相似实体搜索方法、装置、计算机设备及可读存储介质 | |
CN104700030A (zh) | 一种病毒数据查找方法、装置及服务器 | |
CN109376362A (zh) | 一种纠错文本的确定方法以及相关设备 | |
CN112511612A (zh) | 云存储数据存储方法、装置、系统、设备及存储介质 | |
CN105610596B (zh) | 一种资源目录管理方法和网络终端 | |
CN114338102B (zh) | 安全检测方法、装置、电子设备及存储介质 | |
CN110020040B (zh) | 查询数据的方法、装置和系统 | |
CN111159509B (zh) | 数据处理方法及相关产品 | |
CN113992625A (zh) | 域名源站探测方法、系统、计算机及可读存储介质 | |
CN113792232A (zh) | 页面特征计算方法、装置、电子设备、介质及程序产品 | |
CN113064898A (zh) | 一种基于链上合约微型索引的检索方法、装置和电子设备 | |
CN112016466A (zh) | 人脸识别方法、系统、电子设备和计算机存储介质 | |
CN112767348B (zh) | 一种检测信息的确定方法和装置 | |
CN109542906B (zh) | 设备判定方法及装置 | |
CN111258969B (zh) | 一种互联网访问日志解析方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |