CN104683496B - 地址过滤方法及装置 - Google Patents

地址过滤方法及装置 Download PDF

Info

Publication number
CN104683496B
CN104683496B CN201510079200.5A CN201510079200A CN104683496B CN 104683496 B CN104683496 B CN 104683496B CN 201510079200 A CN201510079200 A CN 201510079200A CN 104683496 B CN104683496 B CN 104683496B
Authority
CN
China
Prior art keywords
url addresses
cache list
address
url
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510079200.5A
Other languages
English (en)
Other versions
CN104683496A (zh
Inventor
范金松
於飞
於一飞
左景龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Millet Communication Technology Co Ltd
Original Assignee
Millet Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Millet Communication Technology Co Ltd filed Critical Millet Communication Technology Co Ltd
Priority to CN201510079200.5A priority Critical patent/CN104683496B/zh
Publication of CN104683496A publication Critical patent/CN104683496A/zh
Priority to JP2016574327A priority patent/JP6302098B2/ja
Priority to MX2015015404A priority patent/MX357349B/es
Priority to PCT/CN2015/088632 priority patent/WO2016127625A1/zh
Priority to BR112015028941A priority patent/BR112015028941A2/pt
Priority to KR1020157031176A priority patent/KR101777035B1/ko
Priority to RU2015147593A priority patent/RU2630746C2/ru
Priority to EP15196172.9A priority patent/EP3057006A1/en
Priority to US14/960,446 priority patent/US20160241674A1/en
Application granted granted Critical
Publication of CN104683496B publication Critical patent/CN104683496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0236Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/58Caching of addresses or names
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开是关于一种地址过滤方法及装置,属于互联网技术领域。所述方法包括:获取网页素材资源所对应的URL地址,该网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;在地址缓存列表中查找是否存储有该URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址。本公开达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。

Description

地址过滤方法及装置
技术领域
本公开涉及互联网技术领域,特别涉及一种地址过滤方法及装置。
背景技术
网页上显示的广告资源,不但影响用户的浏览体验,而且浪费用户的流量。
相关技术对广告资源进行过滤,首先通过预设匹配算法构建过滤匹配表,再根据过滤匹配表中的至少一个正则表达式对网页素材资源所对应的URL(Uniform ResourceLocator,统一资源定位符)地址进行匹配,当匹配成功时,即确定该URL地址为需要过滤的广告地址并进行过滤。由于同一网页中的相同广告资源对应的URL地址通常相同,当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源。
发明内容
本公开实施例提供了一种地址过滤方法及装置,该技术方案如下:
根据本公开实施例的第一方面,提供一种地址过滤方法,该方法包括:
获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;
向服务器发送地址缓存列表,服务器用于根据地址缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息;
接收更新信息,并根据更新信息更新地址缓存列表。
根据本公开实施例的第二方面,提供一种地址过滤装置,该装置包括:
第一获取模块,被配置为获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块,被配置为在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
匹配模块,被配置为当地址缓存列表中未存储有URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址;
列表发送模块,被配置为向服务器发送地址缓存列表,服务器用于根据地址缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息;
接收模块,被配置为接收更新信息,并根据更新信息更新地址缓存列表。
根据本公开实施例的第三方面,提供一种地址过滤装置,该装置包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,该处理器被配置为:
获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有该URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;
向服务器发送地址缓存列表,服务器用于根据地址缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息;
接收更新信息,并根据更新信息更新地址缓存列表。
本公开实施例提供的技术方案可以包括以下有益效果:
通过在地址缓存列表中查找是否存储有获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开各个实施例所涉及的实施环境的环境示意图;
图2A是根据一示例性实施例示出的地址过滤方法的方法流程图;
图2B是根据一示例性实施例示出的地址过滤方法的方法流程图;
图2C是根据一示例性实施例示出的地址过滤方法的方法流程图;
图2D是根据一示例性实施例示出的地址过滤方法的方法流程图;
图3A是根据另一示例性实施例示出的地址过滤方法的方法流程图;
图3B是根据另一示例性实施例示出的地址过滤方法所涉及的获取URL地址过程的方法流程图;
图4是根据再一示例性实施例示出的地址过滤方法的方法流程图;
图5是根据又一示例性实施例示出的地址过滤方法的方法流程图;
图6是根据一示例性实施例示出的地址过滤装置的结构方框图;
图7是根据另一示例性实施例示出的地址过滤装置的结构方框图;
图8是根据一示例性实施例示出的地址过滤装置的框图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开各个实施例所涉及的实施环境的环境示意图,该实施环境包括电子设备110、网页资源服务器120和服务器130。
电子设备110可以由安装有网页浏览客户端的电子设备来实现。该电子设备可以是智能手机、平板电脑、电子书阅读器和膝上型便携计算机(相机、摄像机)等等。
电子设备110与网页资源服务器120之间通过有线或无线网络相连。
网页资源服务器120可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。该网页资源服务器120用于根据电子设备120发送的网页访问请求返回相应的网页代码,并根据电子设备120发送的网页素材资源获取请求,返回相应的网页素材。
服务器130与电子设备120之间通过有线或无线网络相连。
服务器130可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。该服务器130用于接收发送多个电子设备120发送的地址缓存列表。
为了简化描述,下文中仅以地址过滤方法由客户端执行来举例说明,但对此不构成限定。
图2A是根据一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于安装有网页浏览客户端的电子设备来进行说明,该地址过滤方法可以包括如下步骤。
在步骤201中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在步骤202中,在地址缓存列表中查找是否存储有该URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
该地址缓存列表包括第一缓存列表和第二缓存列表中的至少一个,其中,第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址。
在步骤203中,当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
作为一种可能的实施方式,客户端可以将地址缓存列表中的各个URL地址采用哈希表进行存储,从而提高在地址缓存列表中的查找URL地址的效率。如图2B所示,该地址过滤方法还可以包括如下步骤:
在步骤204中,将地址缓存列表中的各个URL地址采用哈希表存储。
作为另一种可能的实施方式,客户端可以按照地址缓存列表中各个URL地址被查找出的次数,对各个URL地址进行查找优先级排序,使得客户端访问经常访问的网页时,能够更快的在地址缓存列表中进行查找,提高过滤URL地址的效率。如图2C所示,该地址过滤方法还可以包括如下步骤:
在步骤205中,获取地址缓存列表中各个URL地址被查找出的次数;根据次数对地址缓存列表中各个URL地址进行查找优先级排序,查找优先级用于标识各个URL地址在查找时的查找先后顺序。
作为再一种可能的实施方式,客户端还可以通过将生成的地址缓存列表发送至服务器,由服务器根据不同客户端发送的地址缓存列表,生成针对不同客户端的更新信息,使得不同客户端能够根据该更新信息完善地址缓存列表中存储的URL地址,从而提高过滤的效率。如图2D所示,该地址过滤方法还可以包括如下步骤:
在步骤206中,向服务器发送地址缓存列表,服务器用于根据地址缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息;
在步骤207中,接收更新信息,并根据更新信息更新地址缓存列表。
当地址缓存列表包括第一缓存列表时,客户端优先查找该第一缓存列表中是否存储有获取到的网页素材资源对应的URL地址,当该第一缓存列表中未存储有该URL地址时,再通过预设匹配算法对该URL进行匹配;且为了提高过滤的效率,第一缓存列表中的各个URL地址采用哈希表存储。下面采用一个示例性实施例进行说明。
图3A是根据另一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于图1所示的电子设备110来进行说明,该地址过滤方法可以包括如下步骤。
在步骤301中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种。
网页中包含大量的网页素材资源,这些网页素材资源可以是网页上的文字、视频、图片和音频等等。但是这些网页素材资源中包含了部分广告资源,在网页上显示这些广告资源会影响用户的浏览体验,所以客户端需要对网页素材资源中的广告资源进行过滤。
由于广告资源对应的URL地址具有一些特定的标识,所以客户端可以获取网页素材资源中的URL地址,并根据该URL地址判断该网页素材资源是否为广告资源。
作为一种可能的实现方式,如图3B所示,本步骤可以包括如下步骤:
在步骤301A中,向网页资源服务器发送网页访问请求,网页访问请求携带有网页的网址,网页资源服务器用于根据网址查找网页对应的网页代码。
用户向通过客户端浏览网页时,需要在地址栏中输入相应的网址,客户端根据该网址,生成携带有该网址的网页访问请求,并将该网页访问请求发送至相应的网页资源服务器。
网页资源服务器接收到该网页访问请求后,将该网址随影网页的网页代码发送至客户端,其中,该网页代码可以是HTML(HyperText Markup language,超级文本标记语言)编写的代码。
在步骤301B中,接收网页资源服务器发送的网页代码,网页代码包括至少一个网页素材资源所对应的URL地址。
由于一个网页中包含大量的网页素材资源,而每个网页素材资源有对应一个URL地址,所以该网页代码中包含大量的网页素材资源所对应的URL地址。
在步骤301C中,获取网页代码中包括的网页素材资源的URL地址。
客户端逐一获取网页代码中网页素材资源的URL地址,并通过该地址判断对应的网页素材资源是否为广告资源。
在步骤302中,将URL地址进行哈希化操作,得到哈希化操作后的URL地址。
由于通过预设过滤算法匹配出的需要过滤的URL地址使用哈希表进行存储,即第一缓存列表中存储的URL地址都经过哈希化操作,所以当在第一缓存列表中查找是否存储有该URL地址时,需要对该URL地址进行哈希化操作。其中,该第一缓存列表的表结构可以如表一所示:
表一
关键码值 URL地址
Hash A http://example.com/ads/110
Hash B http://example.com/ads/120
Hash C http://example.com/ads/130
其中,该关键码值是URL地址经过哈希化操作后得到的。
客户端在获取到网页素材资源中的URL地址后,通过哈希化操作得到该URL地址对应的关键码值。需要说明的是,本实施例仅以该URL地址经过哈希化操作后得到的是相应的关键码值为例进行说明,并不对本公开构成限定。
在步骤303中,根据经过哈希化操作的URL地址在第一缓存列表中查找是否存储有该URL地址。
当根据经过哈希化操作的URL地址在第一缓存列表中查找到存储有该URL地址时,执行步骤304;当根据经过哈希化操作的URL地址未在第一缓存列表中查找到该URL地址时,执行步骤305。
在步骤304中,当第一缓存列表中存储有该URL地址时,根据第一缓存列表的记录直接过滤该URL地址。
当第一缓存列表中存储有该URL地址时,客户端可以确定该URL地址是预设匹配算法匹配出的需要过滤的URL地址,即该URL地址对应的网页素材资源为广告资源,客户端即对该URL地址进行过滤。
比如,客户端对获取到的URL地址进行哈希化操作,得到关键码值为“Hash B”,并根据该关键码值在表一所示的第一缓存列表中进行查找,查找到第一缓存列表中存在该关键码值,即第一缓存列表中存储有该URL地址,此时,客户端不再需要根据预设匹配算法对该URL地址进行匹配,而是直接将该URL地址进行过滤。
在步骤305中,当第一缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
当第一缓存列表中未存储有该URL地址时,客户端不能确定该URL地址是否为需要过滤的URL地址,所以需要根据预设匹配算法对该URL地址进行匹配。
客户端根据预设匹配算法构建过滤匹配表,其中,该过滤匹配表中存储有至少一个正则表达式,客户端将获取到的URL地址与过滤匹配表中的正则表达式进行匹配,当该URL地址与过滤匹配表中正则表达式匹配时,则确定该URL地址为需要过滤的URL地址,执行步骤306。其中,该过滤匹配表可以如表二所示。
表二
编号 正则表达式
1 http://example.com/ads/*
2 http://example.com/adv/*
3 http://example.com/banner*.gif
比如,获取到的URL地址为“http://example.com/adv/123”,通过与过滤匹配表中的正则表达式进行匹配,发现该URL地址与编号为2的正则表达式匹配,即确定该URL地址为需要过滤的URL地址。
在步骤306中,当根据预设匹配算法检测到该URL地址是需要过滤的URL地址时,过滤该URL地址。
当根据预设匹配算法检测到该URL地址是需要过滤的URL地址时,客户端即确定该网页素材资源为广告资源,并对该URL请求进行过滤。
在步骤307中,将该URL地址添加到第一缓存列表中。
由于该URL地址是预设匹配算法匹配出的需要过滤的URL地址,所以客户端将该URL地址添加到第一缓存列表中。需要说明的是,由于该第一缓存列表中各个URL地址采用哈希表存储,所以客户端需要先对该URL地址进行哈希化操作,再存入第一缓存列表中。
当客户端再次获取到该URL地址时,由于第一缓存列表中已经存储有该URL地址,所以客户端直接对该URL地址进行过滤,不再需要经过预设匹配算法进行匹配,从而节省了计算资源。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤方法,还通过将预设匹配算法匹配出的需要过滤的URL地址存储在第一缓存列表中,并在该第一缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第一缓存列表中存储有该URL地址时,直接对该URL地址进行过滤,当该第一缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤方法,还通过对地址缓存列表中的各个URL地址采用哈希表存储,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
当地址缓存列表包括第二缓存列表时,客户端优先查找该第二缓存列表中是否存储有获取到的网页素材资源对应URL地址,当该第二缓存列表中未存储有该URL地址时,再通过预设匹配算法对该URL进行匹配;且为了提高过滤的效率,客户端还可以根据第二缓存列表中的各个URL地址被查找出的次数,对第二缓存列表中的各个URL地址进行查找优先级排序。下面采用一个示例性实施例进行说明。
图4是根据再一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于图1所示电子设备110来进行说明,该地址过滤方法可以包括如下步骤。
在步骤401中,获取第二缓存列表中各个URL地址被查找出的次数。
第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址,且第二缓存列表中的URL地址每被查找到一次时,客户端将该URL地址对应的被查找处的次数加一。显而易见的,URL地址对应的被查找出的次数越多,表明用户获取该URL地址对应网页素材资源的次数也越多。所以,客户端可以根据获取到的第二缓存列表中各个URL地址被查找出的次数,确定用户获取对应网页素材资源的次数。
在步骤402中,根据该次数对第二缓存列表中各个URL地址进行查找优先级排序,查找优先级用于标识各个URL地址在查找时的查找先后顺序。
客户端根据获取的各个URL地址被查找出的次数,对第二缓存列表中存储的URL地址进行查找优先级排序,其中,该第二缓存列表可以如表三所示。
表三
查找优先级 URL地址 被查找出的次数
4 URL A 100
3 URL B 80
2 URL C 60
1 URL D 20
其中,客户端在第二缓存列表中查找URL地址时,根据查找优先级,由大到小依次进行查找。需要说明的是,不同的URL地址也可以对应相同的查找优先级,本实施例仅以不同的URL地址对应不同的查找优先级为例进行说明,并不对本公开构成限定。
显而易见的,对于客户端经常访问的网页,其中包含的网页素材资源对应URL地址的查找优先级较高,当用户访问这些经常访问的网页时,在第二缓存列表中的查找效率也较高,从而提高了网页资源获取的效率。
在步骤403中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种。
与上述步骤301相似的,客户端获取网页素材资源对应的URL地址,并根据该URL地址判断该网页素材资源是否为广告资源。
在步骤404中,在第二缓存列表中查找是否存储有该URL地址。
客户端获取第二缓存列表中各个URL的查找优先级,按照查找优先级从大到小的顺序,将该URL地址与第二缓存列表中的各个URL地址进行对比,从而确定第二缓存列表中是否存储有该URL地址。
当第二缓存列表中存储有该URL地址时,执行步骤405;当第二缓存列表中未存储有该URL地址时,执行步骤406。
在步骤405中,当第二缓存列表中存储有该URL地址时,根据URL地址向网页资源服务器发送网页素材资源获取请求。
当第二缓存列表中存储有该URL地址时,即可确定该URL地址为不需要过滤的URL地址,客户端根据该URL地址生成网页素材资源获取请求,并向网页资源服务器发送该网页素材资源获取请求。
在步骤406中,当第二缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
当第二缓存列表中未存储有该URL地址时,客户端不能确定该URL地址是否为需要过滤的URL地址,所以需要根据预设匹配算法对该URL地址进行进一步匹配。其中,根据预设匹配算法匹配该URL地址的步骤与上述步骤305相似,在此不再赘述。
在步骤407中,当根据预设匹配算法检测到该URL地址是不需要过滤的URL地址时,根据URL地址向网页资源服务器发送网页素材资源获取请求。
当根据预设匹配算法检测到该URL地址是不需要过滤的URL地址时,客户端即确定该网页素材资源不是广告资源,并向网页资源服务器发送网页素材资源获取请求。对应的,网页资源服务器根据该网页素材资源获取请求返回相应的网页素材资源。
在步骤408中,将该URL地址添加到第二缓存列表中。
由于该URL地址是预设匹配算法匹配出的不需要过滤的URL地址,所以客户端将该URL地址添加到第二缓存列表中。需要说明的是,在将该URL地址添加到第二缓存列表中后,客户端需要检测查找优先级是否需要进行变化,并在查找优先级发生变化时进行调整,从而保证了第二缓存列表中查找优先级的时效性。
当客户端再次获取到该URL地址时,由于第二缓存列表中已经存储有该URL地址,客户端不再需要使用预设匹配算法对该URL地址进行匹配,从而节省了计算资源。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤方法,还通过将预设匹配算法匹配出的不需要过滤的URL地址存储在第二缓存列表中,并在该第二缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第二缓存列表中存储有该URL地址时,向网页资源服务器发送网页素材资源获取请求,当该第二缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤方法,还通过按照地址缓存列表中各个URL地址被查找出的次数,对各个URL地址进行查找优先级排序,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
客户端还可以将匹配出的需要过滤的URL地址存储到第一缓存列表,并将匹配出的不需要过滤的URL地址存储到第二缓存列表,当获取到URL地址时,依次在第一缓存列表和第二缓存列表中进行查找,当第一缓存列表和第二缓存列表均为存储该URL地址时,再通过预设匹配算法进行匹配;且为了提高过滤的效率,客户端将地址缓存列表发送至服务器,服务器根据该客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息,并将该更新信息发送至客户端,是的该地址缓存列表得到进一步补充,从而进一步提高过滤的效率。下面采用一个示例性实施例进行说明。
图5是根据又一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于图1所示电子设备110来进行说明,该地址过滤方法可以包括如下步骤。
在步骤501中,向服务器发送第一缓存列表和第二缓存列表,服务器用于根据第一缓存列表和第二缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的第一缓存列表和第二缓存列表生成更新信息。
客户端可以每隔预定时间间隔向服务器发送第一缓存列表和第二缓存列表,该预定时间间隔可以相同也可以不同。比如,客户端可以每隔24小时向服务器发送第一缓存列表和第二缓存列表,也可以在每月1号向服务器发送第一缓存列表和第二缓存列表。需要说明的是,客户端也可以在检测到第一缓存列表或第二缓存列表中添加了新的URL地址时,向服务器发送第一缓存列表和第二缓存列表,本公开并不对此进行限定。
服务器接收到第一缓存列表和第二缓存列表后,根据第一缓存列表和第二缓存列表中存储的URL地址分析客户端的访问习惯,比如,可以根据存储的URL地址分析得到该客户端经常访问的网站。
由于服务器同时接收其它客户端发送的第一缓存列表和第二缓存列表,所以,服务器可以根据该客户端的访问习惯和其它客户端发送的第一缓存列表和第二缓存列表中存储的URL地址,生成更新信息。
比如,服务器分析客户端A发送的第一缓存列表A,得到客户端A经常访问的网站为网站A,且第一缓存列表A中的“URL A”和“URL B”同属于网站A;服务器分析客户端B发送的第一缓存列表B,得到客户端B经常访问的网站为网站A,且第一缓存列表A中的“URL B”和“URL C”同属于网站A;服务器即将“URL C”确定为客户端A对应的更新信息,将“URL A”确定为客户端B对应的更新信息。
服务器将生成的更新信息发送至对应的客户端。
在步骤502中,接收更新信息,并根据更新信息更新第一缓存列表和第二缓存列表。
客户端将更新信息中包含的URL地址添加到对应的地址缓存表中。
在步骤503中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种。
与上述步骤301相似的,客户端获取网页素材资源所对应的URL地址,并根据该URL地址判断该网页素材资源是否为广告资源。
在步骤504中,检测第一缓存列表中是否存储有该URL地址。
客户端检测第一缓存列表中是否存储有该URL地址,当检测到第一缓存列表中存储有该URL地址,即确定该URL地址为需要过滤的URL地址,并进行过滤;当第一缓存列表中未存储该URL地址时,执行步骤505。
在步骤505中,当第一缓存列表中未存储该URL地址时,检测第二缓存列表中是否存储该URL地址。
客户端检测第二缓存列表中是否存储有该URL地址,当检测到第二缓存列表中存储有该URL地址,即确定该URL地址为不需要过滤的URL地址;当第二缓存列表中未存储该URL地址时,执行步骤506。
在步骤506中,当第二缓存列表中未存储该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址的步骤与上述步骤305相似,在此不再赘述。
在步骤507中,当根据预设匹配算法匹配出该URL地址为需要过滤的URL地址时,过滤该URL地址;将该URL地址添加到第一缓存列表。
当根据预设匹配算法检测到该URL地址是需要过滤的URL地址时,客户端即确定该网页素材资源为广告资源,对该URL地址进行过滤,并将该URL地址添加到第一缓存列表。
在步骤508中,当根据预设匹配算法匹配出该URL地址为不需要过滤的URL地址时,根据该URL地址向网页资源服务器发送网页素材资源获取请求;将该URL地址添加到第二缓存列表。
当根据预设匹配算法检测到该URL地址是不需要过滤的URL地址时,客户端即确定该网页素材资源不是广告资源请求,向网页资源服务器发送网页素材资源获取请求,并将该URL地址添加到第二缓存列表。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤方法,还通过将地址缓存列表发送至服务器,由服务器根据该地址缓存列表和其它客户端发送的地址缓存列表生成更新信息,并将该更新信息发送至客户端,客户端根据更新信息对地址缓存列表进行更新,使得具有相同访问习惯的客户端的地址缓存列表得到补充完善,提高了过滤的效率。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图6是根据一示例性实施例示出的地址过滤装置的结构方框图,该地址过滤装置可以通过软件、硬件或者两者的结合实现成为图1所示电子设备110的部分或者全部。该地址过滤装置可以包括:
第一获取模块601,被配置为获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块602,被配置为在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
匹配模块603,被配置为当地址缓存列表中未存储有URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址。
综上所述,本示例性实施例提供的地址过滤装置,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
图7是根据另一示例性实施例示出的地址过滤装置的结构方框图,该地址过滤装置可以通过软件、硬件或者两者的结合实现成为图1所示电子设备110的部分或者全部。该地址过滤装置可以包括:
第一获取模块701,被配置为获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块702,被配置为在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
匹配模块703,被配置为当地址缓存列表中未存储有URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址。
可选的,第一获取模块701,包括:
请求发送子模块701A,被配置为向网页资源服务器发送网页访问请求,网页访问请求携带有网页的网址,网页资源服务器用于根据网址查找网页对应的网页代码;
代码接收子模块701B,接收网页资源服务器发送的网页代码,网页代码包括至少一个网页素材资源所对应的URL地址;
获取子模块701C,被配置为获取网页代码中包括的网页素材资源的URL地址。
可选的,地址缓存列表中的各个URL地址采用哈希表存储;
查找模块702,包括:
操作子模块702A,被配置为将URL地址进行哈希化操作,得到哈希化操作后的URL地址;
查找子模块702B,被配置为根据经过哈希化操作的URL地址在地址缓存列表中查找是否存储有URL地址。
可选的,该装置,还包括:
第二获取模块704,被配置为获取地址缓存列表中各个URL地址被查找出的次数;
排序模块705,被配置为根据次数对地址缓存列表中各个URL地址进行查找优先级排序,查找优先级用于标识各个URL地址在查找时的查找先后顺序。
可选的,地址缓存列表包括第一缓存列表,第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,
该装置,还包括:
第一过滤模块706,被配置为当根据预设匹配算法检测到URL地址是需要过滤的URL地址时,过滤该URL地址;
第一添加模块707,被配置为将URL地址添加到第一缓存列表中。
可选的,地址缓存列表包括第二缓存列表,第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址,
该装置,还包括:
第一发送模块708,被配置为当根据预设匹配算法检测到URL地址是不需要过滤的URL地址时,根据该URL地址向网页资源服务器发送网页素材资源获取请求;
第二添加模块709,被配置为将URL地址添加到第二缓存列表中。
可选的,地址缓存列表包括第一缓存列表和第二缓存列表,第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址,
查找模块702,包括:
第一检测子模块702C,被配置为检测第一缓存列表中是否存储URL地址;
第二检测子模块702D,被配置为当第一缓存列表中未存储URL地址时,检测第二缓存列表中是否存储URL地址;
第二检测子模块702D,还被配置为当第二缓存列表中未存储URL地址时,执行根据预设匹配算法匹配URL地址是否为需要过滤的URL地址的步骤;
该装置,还包括:
第二过滤模块710,被配置为当根据预设匹配算法匹配出URL地址为需要过滤的URL地址时,过滤该URL地址;将URL地址添加到第一缓存列表;
第二发送模块711,被配置为当根据预设匹配算法匹配出URL地址为不需要过滤的URL地址时,根据URL地址向网页资源服务器发送网页素材资源获取请求;将URL地址添加到第二缓存列表。
可选的,该装置,还包括:
列表发送模块712,被配置为向服务器发送地址缓存列表,服务器用于根据地址缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息;
接收模块713,被配置为接收更新信息,并根据更新信息更新地址缓存列表。
可选的,该装置,还包括:
第三过滤模块714,被配置为当地址缓存列表中存储有URL地址时,根据地址缓存列表的记录直接过滤URL地址,或,根据该URL地址向网页资源服务器发送网页素材资源获取请求。
综上所述,本示例性实施例提供的地址过滤装置,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤装置,还通过将预设匹配算法匹配出的需要过滤的URL地址存储在第一缓存列表中,并在该第一缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第一缓存列表中存储有该URL地址时,直接对该URL地址进行过滤,当该第一缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤装置,还通过对地址缓存列表中的各个URL地址采用哈希表存储,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
本实施例提供的地址过滤装置,还通过将预设匹配算法匹配出的不需要过滤的URL地址存储在第二缓存列表中,并在该第二缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第二缓存列表中存储有该URL地址时,向网页资源服务器发送网页素材资源获取请求,当该第二缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤装置,还通过按照地址缓存列表中各个URL地址被查找出的次数,对各个URL地址进行查找优先级排序,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
本实施例提供的地址过滤装置,还通过将地址缓存列表发送至服务器,由服务器根据该地址缓存列表和其它客户端发送的地址缓存列表生成更新信息,并将该更新信息发送至客户端,客户端根据更新信息对地址缓存列表进行更新,使得具有相同访问习惯的客户端的地址缓存列表得到补充完善,提高了过滤的效率。
图8是根据一示例性实施例示出的地址过滤装置800的框图。例如,装置800可以是如图1所示的电子设备110。
参照图8,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置800的处理器执行时,使得装置800能够执行应用于如图1所示的电子设备110中的地址过滤方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种地址过滤方法,其特征在于,所述方法包括:
获取网页素材资源所对应的统一资源定位符URL地址,所述网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有所述URL地址,所述地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址,所述地址缓存列表包括第一缓存列表和第二缓存列表中的至少一个,所述第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,所述第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址;
当所述地址缓存列表中未存储有所述URL地址时,根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址;
向服务器发送所述地址缓存列表,所述服务器用于根据所述地址缓存列表分析客户端的访问习惯,并根据所述客户端的访问习惯和其它客户端发送的所述地址缓存列表生成更新信息;
接收所述更新信息,并根据所述更新信息更新所述地址缓存列表。
2.根据权利要求1所述的方法,其特征在于,所述获取网页素材资源所对应的统一资源定位符URL地址,包括:
向网页资源服务器发送网页访问请求,所述网页访问请求携带有所述网页的网址,所述网页资源服务器用于根据所述网址查找所述网页对应的网页代码;
接收所述网页资源服务器发送的所述网页代码,所述网页代码包括至少一个所述网页素材资源所对应的URL地址;
获取所述网页代码中包括的所述网页素材资源的URL地址。
3.根据权利要求1所述的方法,其特征在于,所述地址缓存列表中的各个URL地址采用哈希表存储;
所述在地址缓存列表中查找是否存储有所述URL地址,包括:
将所述URL地址进行哈希化操作,得到哈希化操作后的URL地址;
根据经过所述哈希化操作的URL地址在所述地址缓存列表中查找是否存储有所述URL地址。
4.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
获取所述地址缓存列表中各个URL地址被查找出的次数;
根据所述次数对所述地址缓存列表中各个URL地址进行查找优先级排序,所述查找优先级用于标识各个URL地址在查找时的查找先后顺序。
5.根据权利要求1所述的方法,其特征在于,所述地址缓存列表包括第一缓存列表时,所述方法,还包括:
当根据所述预设匹配算法检测到所述URL地址是所述需要过滤的URL地址时,过滤所述URL地址;
将所述URL地址添加到所述第一缓存列表中。
6.根据权利要求1所述的方法,其特征在于,所述地址缓存列表包括第二缓存列表时,所述方法,还包括:
当根据所述预设匹配算法检测到所述URL地址是所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;
将所述URL地址添加到所述第二缓存列表中。
7.根据权利要求1所述的方法,其特征在于,所述地址缓存列表包括第一缓存列表和第二缓存列表时,所述在地址缓存列表中查找是否存储所述URL地址,包括:
检测所述第一缓存列表中是否存储有所述URL地址;
当所述第一缓存列表中未存储所述URL地址时,检测所述第二缓存列表中是否存储所述URL地址;
当所述第二缓存列表中未存储所述URL地址时,执行所述根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址的步骤;
所述方法,还包括:
当根据所述预设匹配算法匹配出所述URL地址为所述需要过滤的URL地址时,过滤所述URL地址;将所述URL地址添加到所述第一缓存列表;
当根据所述预设匹配算法匹配出所述URL地址为所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;将所述URL地址添加到所述第二缓存列表。
8.根据权利要求1至7任一所述的方法,其特征在于,所述方法,还包括:
当所述地址缓存列表中存储有所述URL地址时,根据所述地址缓存列表的记录直接过滤所述URL地址,或,根据所述URL地址向所述网页资源服务器发送所述网页素材资源获取请求。
9.一种地址过滤装置,其特征在于,所述装置包括:
第一获取模块,被配置为获取网页素材资源所对应的统一资源定位符URL地址,所述网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块,被配置为在地址缓存列表中查找是否存储有所述URL地址,所述地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址,所述地址缓存列表包括第一缓存列表和第二缓存列表中的至少一个,所述第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,所述第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址;
匹配模块,被配置为当所述地址缓存列表中未存储有所述URL地址时,根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址;
列表发送模块,被配置为向服务器发送所述地址缓存列表,所述服务器用于根据所述地址缓存列表分析客户端的访问习惯,并根据所述客户端的访问习惯和其它客户端发送的所述地址缓存列表生成更新信息;
接收模块,被配置为接收所述更新信息,并根据所述更新信息更新所述地址缓存列表。
10.根据权利要求9所述的装置,其特征在于,所述第一获取模块,包括:
请求发送子模块,被配置为向网页资源服务器发送网页访问请求,所述网页访问请求携带有所述网页的网址,所述网页资源服务器用于根据所述网址查找所述网页对应的网页代码;
代码接收子模块,接收所述网页资源服务器发送的所述网页代码,所述网页代码包括至少一个所述网页素材资源所对应的URL地址;
获取子模块,被配置为获取所述网页代码中包括的所述网页素材资源的URL地址。
11.根据权利要求9所述的装置,其特征在于,所述地址缓存列表中的各个URL地址采用哈希表存储;
所述查找模块,包括:
操作子模块,被配置为将所述URL地址进行哈希化操作,得到哈希化操作后的URL地址;
查找子模块,被配置为根据经过所述哈希化操作的URL地址在所述地址缓存列表中查找是否存储有所述URL地址。
12.根据权利要求9所述的装置,其特征在于,所述装置,还包括:
第二获取模块,被配置为获取所述地址缓存列表中各个URL地址被查找出的次数;
排序模块,被配置为根据所述次数对所述地址缓存列表中各个URL地址进行查找优先级排序,所述查找优先级用于标识各个URL地址在查找时的查找先后顺序。
13.根据权利要求9所述的装置,其特征在于,所述地址缓存列表包括第一缓存列表时,所述装置,还包括:
第一过滤模块,被配置为当根据所述预设匹配算法检测到所述URL地址是所述需要过滤的URL地址时,过滤所述URL地址;
第一添加模块,被配置为将所述URL地址添加到所述第一缓存列表中。
14.根据权利要求9所述的装置,其特征在于,所述地址缓存列表包括第二缓存列表时,所述装置,还包括:
第一发送模块,被配置为当根据所述预设匹配算法检测到所述URL地址是所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;
第二添加模块,被配置为将所述URL地址添加到所述第二缓存列表中。
15.根据权利要求9所述的装置,其特征在于,所述地址缓存列表包括第一缓存列表和第二缓存列表时,所述查找模块,包括:
第一检测子模块,被配置为检测所述第一缓存列表中是否存储所述URL地址;
第二检测子模块,被配置为当所述第一缓存列表中未存储所述URL地址时,检测所述第二缓存列表中是否存储所述URL地址;
所述第二检测子模块,还被配置为当所述第二缓存列表中未存储所述URL地址时,执行所述根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址的步骤;
所述装置,还包括:
第二过滤模块,被配置为当根据所述预设匹配算法匹配出所述URL地址为所述需要过滤的URL地址时,过滤所述URL地址;将所述URL地址添加到所述第一缓存列表;
第二发送模块,被配置为当根据所述预设匹配算法匹配出所述URL地址为所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;将所述URL地址添加到所述第二缓存列表。
16.根据权利要求9至15任一所述的装置,其特征在于,所述装置,还包括:
第三过滤模块,被配置为当所述地址缓存列表中存储有所述URL地址时,根据所述地址缓存列表的记录直接过滤所述URL地址,或,根据所述URL地址向所述网页资源服务器发送所述网页素材资源获取请求。
17.一种地址过滤装置,其特征在于,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
获取网页素材资源所对应的统一资源定位符URL地址,所述网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有所述URL地址,所述地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址,所述地址缓存列表包括第一缓存列表和第二缓存列表中的至少一个,所述第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,所述第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址;
当所述地址缓存列表中未存储有所述URL地址时,根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址;
向服务器发送所述地址缓存列表,所述服务器用于根据所述地址缓存列表分析客户端的访问习惯,并根据所述客户端的访问习惯和其它客户端发送的所述地址缓存列表生成更新信息;
接收所述更新信息,并根据所述更新信息更新所述地址缓存列表。
18.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令在被执行时以实现所述权利要求1-8中任一所述的地址过滤方法。
CN201510079200.5A 2015-02-13 2015-02-13 地址过滤方法及装置 Active CN104683496B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201510079200.5A CN104683496B (zh) 2015-02-13 2015-02-13 地址过滤方法及装置
BR112015028941A BR112015028941A2 (pt) 2015-02-13 2015-08-31 método e dispositivo de filtragem de endereço
MX2015015404A MX357349B (es) 2015-02-13 2015-08-31 Método y dispositivo de filtrado de direcciones.
PCT/CN2015/088632 WO2016127625A1 (zh) 2015-02-13 2015-08-31 地址过滤方法及装置
JP2016574327A JP6302098B2 (ja) 2015-02-13 2015-08-31 アドレスフィルタリング方法、装置、プログラム及び記録媒体
KR1020157031176A KR101777035B1 (ko) 2015-02-13 2015-08-31 주소 필터링 방법, 장치, 프로그램 및 기록매체
RU2015147593A RU2630746C2 (ru) 2015-02-13 2015-08-31 Способ и устройство фильтрации адреса
EP15196172.9A EP3057006A1 (en) 2015-02-13 2015-11-25 Method and device of filtering address
US14/960,446 US20160241674A1 (en) 2015-02-13 2015-12-07 Method and device of filtering address

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510079200.5A CN104683496B (zh) 2015-02-13 2015-02-13 地址过滤方法及装置

Publications (2)

Publication Number Publication Date
CN104683496A CN104683496A (zh) 2015-06-03
CN104683496B true CN104683496B (zh) 2018-06-19

Family

ID=53318060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510079200.5A Active CN104683496B (zh) 2015-02-13 2015-02-13 地址过滤方法及装置

Country Status (9)

Country Link
US (1) US20160241674A1 (zh)
EP (1) EP3057006A1 (zh)
JP (1) JP6302098B2 (zh)
KR (1) KR101777035B1 (zh)
CN (1) CN104683496B (zh)
BR (1) BR112015028941A2 (zh)
MX (1) MX357349B (zh)
RU (1) RU2630746C2 (zh)
WO (1) WO2016127625A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683496B (zh) * 2015-02-13 2018-06-19 小米通讯技术有限公司 地址过滤方法及装置
CN107888981B (zh) * 2017-11-16 2020-12-18 北京小米移动软件有限公司 音视频预加载方法、装置、设备及存储介质
CN110825987B (zh) * 2019-11-07 2023-06-23 北京博睿宏远数据科技股份有限公司 一种流媒体资源地址获取方法、装置、设备和存储介质
CN112861030B (zh) * 2019-11-27 2024-04-05 北京金山云网络技术有限公司 Cdn的刷新方法和装置、缓存服务器以及存储介质
CN112286592A (zh) * 2020-10-29 2021-01-29 平安普惠企业管理有限公司 资源数据的加载方法及装置、存储介质、计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1475930A (zh) * 2002-08-15 2004-02-18 联想(北京)有限公司 基于状态检测的链路层资源定位信息过滤的方法
CN103838728A (zh) * 2012-11-21 2014-06-04 腾讯科技(深圳)有限公司 网页信息的处理方法及浏览器
CN104021126A (zh) * 2013-02-28 2014-09-03 深圳市世纪光速信息技术有限公司 网页内容的过滤方法及服务器
CN104144170A (zh) * 2014-08-25 2014-11-12 网神信息技术(北京)股份有限公司 网页地址的过滤方法、装置和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822759A (en) * 1996-11-22 1998-10-13 Versant Object Technology Cache system
US7194464B2 (en) * 2001-12-07 2007-03-20 Websense, Inc. System and method for adapting an internet filter
US20080086555A1 (en) * 2006-10-09 2008-04-10 David Alexander Feinleib System and Method for Search and Web Spam Filtering
GB2445764A (en) * 2007-01-22 2008-07-23 Surfcontrol Plc Resource access filtering system and database structure for use therewith
US8849838B2 (en) * 2008-01-15 2014-09-30 Google Inc. Bloom filter for storing file access history
JP4939562B2 (ja) * 2009-03-19 2012-05-30 ヤフー株式会社 Webサーバ、広告再表示方法
JP5003742B2 (ja) * 2009-10-15 2012-08-15 Necアクセステクニカ株式会社 コンテンツフィルタリングシステム、コンテンツフィルタリング方法及びゲートウェイ
WO2012009672A1 (en) * 2010-07-16 2012-01-19 Altruik, Inc. System and method for improving webpage indexing and optimization
JP5723306B2 (ja) * 2012-02-22 2015-05-27 日本電信電話株式会社 フィルタリング装置、および、フィルタリング方法
CN103428196B (zh) * 2012-12-27 2016-08-03 北京安天电子设备有限公司 一种基于url白名单的web应用入侵检测方法
CN103544316B (zh) * 2013-11-06 2017-02-08 苏州大拿信息技术有限公司 Url过滤的系统及其实现方法
CN104683496B (zh) * 2015-02-13 2018-06-19 小米通讯技术有限公司 地址过滤方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1475930A (zh) * 2002-08-15 2004-02-18 联想(北京)有限公司 基于状态检测的链路层资源定位信息过滤的方法
CN103838728A (zh) * 2012-11-21 2014-06-04 腾讯科技(深圳)有限公司 网页信息的处理方法及浏览器
CN104021126A (zh) * 2013-02-28 2014-09-03 深圳市世纪光速信息技术有限公司 网页内容的过滤方法及服务器
CN104144170A (zh) * 2014-08-25 2014-11-12 网神信息技术(北京)股份有限公司 网页地址的过滤方法、装置和系统

Also Published As

Publication number Publication date
KR101777035B1 (ko) 2017-09-19
JP2017511556A (ja) 2017-04-20
RU2630746C2 (ru) 2017-09-12
JP6302098B2 (ja) 2018-03-28
WO2016127625A1 (zh) 2016-08-18
MX2015015404A (es) 2017-03-15
MX357349B (es) 2018-07-05
KR20160110064A (ko) 2016-09-21
US20160241674A1 (en) 2016-08-18
BR112015028941A2 (pt) 2017-07-25
CN104683496A (zh) 2015-06-03
RU2015147593A (ru) 2017-05-11
EP3057006A1 (en) 2016-08-17

Similar Documents

Publication Publication Date Title
US10990623B2 (en) Information retrieval method, eletronic device and storage medium
US10739958B2 (en) Method and device for executing application using icon associated with application metadata
CN104079962B (zh) 一种推送推荐信息的方法及装置
CN104683496B (zh) 地址过滤方法及装置
CN110020148B (zh) 一种信息推荐方法、装置和用于信息推荐的装置
CN104133852B (zh) 网页访问方法、装置、服务器及终端
CN107229527B (zh) 信息资源收藏方法、装置及计算机可读存储介质
CN104731868B (zh) 拦截广告的方法及装置
CN105183513A (zh) 应用推荐方法和装置
CN104462570B (zh) 网页内容获取方法及装置
CN108874827B (zh) 一种搜索方法及相关装置
CN108874939A (zh) 一种信息搜索方法及装置
CN104331503A (zh) 信息推送的方法及装置
CN104572848B (zh) 基于浏览器的搜索方法及装置
CN104780153B (zh) 信息过滤方法及装置
CN108733397A (zh) 更新状态确定方法、设备及存储介质
CN108268507B (zh) 一种基于浏览器的处理方法、装置及电子设备
US20190026380A1 (en) Method and apparatus for processing bookmark and terminal device
CN105096162A (zh) 内容项显示方法及装置
CN110020082B (zh) 一种搜索方法及装置
CN110020335B (zh) 收藏夹的处理方法和装置
CN106055720A (zh) 网页显示方法及装置
CN105653658A (zh) 信息展示方法及装置
CN104991901A (zh) 网页访问方法和装置
CN107870941B (zh) 一种网页排序方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150930

Address after: 100085, Haidian District, Beijing Qinghe Street No. 68, Huarun colorful city shopping center two, 9 layers

Applicant after: Millet Communication Technology Co Ltd

Address before: 100085 Beijing city Haidian District Qinghe Street No. 68 Huarun colorful city shopping center two floor 13

Applicant before: Xiaomi Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant