CN105279215A - 资源的下载方法及装置 - Google Patents

资源的下载方法及装置 Download PDF

Info

Publication number
CN105279215A
CN105279215A CN201510364221.1A CN201510364221A CN105279215A CN 105279215 A CN105279215 A CN 105279215A CN 201510364221 A CN201510364221 A CN 201510364221A CN 105279215 A CN105279215 A CN 105279215A
Authority
CN
China
Prior art keywords
resource
url resource
url
dom tree
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510364221.1A
Other languages
English (en)
Inventor
曹刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of CN105279215A publication Critical patent/CN105279215A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Abstract

本发明公开了一种资源的下载方法及装置，在上述方法中，对待下载资源所在网页的DOM树进行动态检测，获取多个URL资源；从多个URL资源中滤除与广告数据对应的部分URL资源；提示用户对滤除广告数据后剩余的URL资源进行下载。根据本发明提供的技术方案，进而使得用户在仅提供在线播放的网页中可以随意获取自身感兴趣的媒体文件，从而极大地提升了用户体验。

Description

资源的下载方法及装置
本申请是申请号为201410255545.7，申请日为2014－06－10，发明名称为资源的下载方法及装置的分案申请。
技术领域
本发明涉及通信领域，具体而言，涉及一种资源的下载方法及装置。
背景技术
随着无线通讯技术和互联网技术的飞速发展，在移动终端上使用浏览器进行上网的用户越来越多。作为移动互联网入口，浏览器的重要性不言而喻。如何在移动终端上提高浏览器的用户体验，从而在白热化的市场竞争中取得亮点并占有市场份额已经成为目前浏览器技术研究的重点。
在通常情况下，用户在使用移动终端浏览器浏览一些视频、音乐网站时，发现在网页上自己喜欢的视频或音乐只能在线播放，而没有任何可以对该多媒体文件进行下载的操作按钮，从而无法将这些文件下载到本地来随时进行流畅的播放。而多次在线播放不仅消耗网络流量，而且受到网络带宽的影响经常在播放过程中会出现卡顿现象，继而降低了用户体验。基于上述问题的存在，一种被称为“嗅探”的浏览器技术应运而生，其主要原理是在网页资源加载完成后，对网页内各个标签进行检测，若检测到视频或音频等标签则获取它们对应的统一资源定位符(URL)，经过URL验证再提示给用户是否需要下载。通过用户选择提示下载选项对应的URL即可将多媒体文件下载到本地进行播放。然而，上述常规嗅探方法仍然存在以下缺陷：
(1)这是一种静态的检测方法，然而在网页加载完成后，其媒体内容经常会发生动态变化，因而常规嗅探往往会出现漏检测或误检测的情况。
(2)很多网页在打开过程中会事先播放一段广告视频等与用户需求不相关的内容，而常规的嗅探经常将这些广告嗅探出来交给用户下载，但是对于用户原本需求的媒体文件却无法嗅探。
(3)在嗅探阶段往往无法获知下载的文件名，常规办法只能采用对应URL结尾字符串来命名，用户下载后往往不确定哪个是自己下载的文件。
发明内容
本发明提供了一种资源的下载方法及装置，以至少解决相关技术中在视频或音乐等网站的媒体文件仅提供在线播放而不支持本地下载的情况下，如何使用浏览器对媒体文件进行嗅探以便向用户提供本地下载的问题。
根据本发明的一个方面，提供了一种资源的下载方法。
根据本发明实施例的资源的下载方法包括：对待下载资源所在网页的文档对象模型(DOM)树进行动态检测，获取多个统一资源定位符(URL)资源；从多个URL资源中滤除与广告数据对应的部分URL资源；提示用户对滤除广告数据后剩余的URL资源进行下载。
优选地，对DOM树进行实时检测，获取多个URL资源包括：判断DOM树中是否存在预设标签集合中的标签，其中，预设标签集合包括以下至少之一：视频(video)标签、音频(audio)标签、对象(object)标签；如果存在，则获取标签对应的超文本引用(href)属性，并从href属性中提取多个URL资源。
优选地，从多个URL资源中滤除部分URL资源包括：接收来自于服务器的最近更新的广告拦截数据信息，其中，广告拦截数据信息包括：部分URL资源的标识信息以及确定部分URL资源为待拦截的广告数据的特征信息；采用广告拦截数据信息从多个URL资源中滤除部分URL资源。
优选地，提示用户对剩余的URL资源进行下载包括：对剩余的URL资源进行命名；按照预设显示方式对剩余的URL资源的文件名进行显示。
优选地，对剩余的URL资源进行命名包括：将剩余的URL资源中的每个URL资源所在网页的标题设置为第一文件名；将每个URL资源的最后N位字符设置为第二文件名，其中，N为正整数；将第一文件名和第二文件名进行组合，对每个URL资源进行命名。
优选地，对DOM树进行动态检测包括以下之一：按照预设周期对DOM树进行检测；由网页后台脚本自动触发对DOM树进行检测；通过用户点击预设按钮引发的网页子资源加载事件被捕获后触发对DOM树进行检测。
优选地，在提示用户对剩余的URL资源进行下载之前，还包括：采用预设的URL规范对剩余的URL资源进行URL验证。
根据本发明的另一方面，提供了一种资源的下载装置。
根据本发明实施例的资源的下载装置包括：检测模块，用于对待下载资源所在网页的DOM树进行动态检测，获取多个URL资源；过滤模块，用于从多个URL资源中滤除与广告数据对应的部分URL资源；处理模块，用于提示用户对滤除广告数据后剩余的URL资源进行下载。
优选地，检测模块包括：判断单元，用于判断DOM树中是否存在预设标签集合中的标签，其中，预设标签集合包括以下至少之一：video标签、audio标签、object标签；提取单元，用于在判断单元输出为是时，获取标签对应的href属性，并从href属性中提取多个URL资源。
优选地，过滤模块包括：接收单元，用于接收来自于服务器的最近更新的广告拦截数据信息，其中，广告拦截数据信息包括：部分URL资源的标识信息以及确定部分URL资源为待拦截的广告数据的特征信息；过滤单元，用于采用广告拦截数据信息从多个URL资源中滤除部分URL资源。
优选地，处理模块包括：命名单元，用于对剩余的URL资源进行命名；显示单元，用于按照预设显示方式对剩余的URL资源的文件名进行显示。
优选地，命名单元包括：第一设置子单元，用于将剩余的URL资源中的每个URL资源所在网页的标题设置为第一文件名；第二设置子单元，用于将每个URL资源的最后N位字符设置为第二文件名，其中，N为正整数；组合子单元，用于将第一文件名和第二文件名进行组合，对每个URL资源进行命名。
优选地，检测模块，用于按照以下方式之一对DOM树进行动态检测：按照预设周期对DOM树进行检测；由网页后台脚本自动触发对DOM树进行检测；通过用户点击预设按钮引发的网页子资源加载事件被捕获后触发对DOM树进行检测。
优选地，上述装置还包括：验证模块，用于采用预设的URL规范对剩余的URL资源进行URL验证。
通过本发明实施例，采用对待下载资源所在网页的DOM树进行动态检测，获取多个URL资源；从多个URL资源中滤除与广告数据对应的部分URL资源；提示用户对滤除广告数据后剩余的URL资源进行下载，解决了相关技术中在视频或音乐等网站的媒体文件仅提供在线播放而不支持本地下载的情况下，如何使用浏览器对媒体文件进行嗅探以便向用户提供本地下载的问题，进而使得用户在仅提供在线播放的网页中可以随意获取自身感兴趣的媒体文件，从而极大地提升了用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的资源的下载方法的流程图；
图2是根据本发明优选实施例的对网页的媒体资源进行动态检测方法的流程图；
图3是根据本发明优选实施例的对网页嗅探的资源进行广告滤除和验证方法的流程图；
图4是根据本发明优选实施例的对网页嗅探下载文件进行命名和提示方法的流程图；
图5是根据本发明实施例的资源的下载装置的结构框图；
图6是根据本发明优选实施例的资源的下载装置的结构框图；
图7是根据本发明优选实施例的可滤除广告的浏览器动态嗅探的总体架构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1是根据本发明实施例的资源的下载方法的流程图。如图1所示，该方法可以包括以下处理步骤：
步骤S102：对待下载资源所在网页的DOM树进行动态检测，获取多个URL资源；
步骤S104：从多个URL资源中滤除与广告数据对应的部分URL资源；
步骤S106：提示用户对滤除广告数据后剩余的URL资源进行下载。
相关技术中，在视频或音乐等网站的媒体文件仅提供在线播放而不支持本地下载的情况下，使用现有的浏览器对媒体文件进行嗅探的方式向用户提供本地下载缺乏准确性和灵活性。采用如图1所示的方法，通过对待下载资源所在网页的DOM树进行动态检测，获取多个URL资源可以避免现有的浏览器嗅探技术中存在的漏检测或误检测，通过从多个URL资源中滤除与广告数据对应的部分URL资源可以避免广告媒体文件的严重干扰，然后提示用户对滤除广告数据后剩余的URL资源进行下载，由此解决了相关技术中在视频或音乐等网站的媒体文件仅提供在线播放而不支持本地下载的情况下，如何使用浏览器对媒体文件进行嗅探以便向用户提供本地下载的问题，进而使得用户在仅提供在线播放的网页中可以随意获取自身感兴趣的媒体文件，从而极大地提升了用户体验。
优选地，在步骤S102中，对DOM树进行实时检测，获取多个URL资源可以包括以下操作：
步骤S1：判断DOM树中是否存在预设标签集合中的标签，其中，预设标签集合包括以下至少之一：视频(video)标签、音频(audio)标签、对象(object)标签；
步骤S2：如果存在，则获取标签对应的超文本引用(href)属性，并从href属性中提取多个URL资源。
在优选实施过程中，对DOM树进行动态检测可以包括以下方式之一：
方式一、按照预设周期对DOM树进行检测；
方式二、由网页后台脚本自动触发对DOM树进行检测；
方式三、通过用户点击预设按钮引发的网页子资源加载事件被捕获后触发对DOM树进行检测。
作为本发明的一个优选实施例，图2是根据本发明优选实施例的对网页的媒体资源进行动态检测方法的流程图。如图2所示，该流程可以包括以下处理步骤：
步骤S202：在接收到浏览器内核网页加载结束信号之后，开始启动对网页的DOM树的检测操作；
步骤S204：如果检测到当前网页的DOM树中包含＜video＞和/或＜audio＞和/或＜object＞标签时，获取该标签对应节点的超文本引用(HypertextReference，简称为href)属性，即该音频或视频文件的下载URL资源，继续执行步骤S206；否则，转到步骤S208；
步骤S206：判断当前网页获取的下载资源URL是否重复，若不重复，则可以继续进行广告滤除操作，本阶段结束；若重复，则转到步骤S208；
步骤S208：启动网页子资源加载监听流程，当网页后台Java脚本(JavaScript)自动发起或者通过用户点击播放按钮引起的网页子资源加载事件被捕获后，会再次通知执行步骤S202进行检测；
通过上述动态监听检测，可以实时监控DOM树内部节点所发生的变化，从而避免出现嗅探的漏检。
优选地，在步骤S104中，从多个URL资源中滤除部分URL资源可以包括以下步骤：
步骤S3：接收来自于服务器的最近更新的广告拦截数据信息，其中，广告拦截数据信息可以包括但不限于：部分URL资源的标识信息(例如：网站宿主名(HostName)信息)以及确定部分URL资源为待拦截的广告数据的特征信息(例如：与HostName信息对应的广告数据的关键字信息)；
步骤S4：采用广告拦截数据信息从多个URL资源中滤除部分URL资源。
作为本发明的又一个优选实施例，图3是根据本发明优选实施例的对网页嗅探的资源进行广告滤除和验证方法的流程图。如图3所示，该流程可以包括以下处理步骤：
步骤S302：通过向服务器发送更新请求消息，从服务器获取最新的广告拦截数据表，该广告拦截数据表可以包括两个字段：其一是当前一些热门视频和/或音频网站的网站宿主名(即HostName)，其二是与该网站播放的广告对应的URL所包含的关键字key，其中，HostName在广告拦截数据表中是唯一的，而一个HostName可以对应多个key；
步骤S304：将获取到的备选下载资源URL与广告拦截数据进行匹配。在该优选实施例中，首先可以从当前网页自身的URL得到HostName；然后在广告拦截数据表中查找该HostName是否存在对应的key；最后检查这些key是否包含在备选下载资源URL中，如果包含则说明该下载资源URL属于广告资源直接滤除；否则继续执行步骤S306；
步骤S306：判断经过广告滤除的下载资源URL是否符合URL规范，若不符合，则直接滤除，若符合，则继续执行后续对下载文件进行命名的流程。
优选地，在步骤S106中，提示用户对剩余的URL资源进行下载可以包括以下操作：
步骤S5：对剩余的URL资源进行命名；
步骤S6：按照预设显示方式对剩余的URL资源的文件名进行显示。
优选地，在步骤S5中，对剩余的URL资源进行命名可以包括以下步骤：
步骤S51：将剩余的URL资源中的每个URL资源所在网页的标题设置为第一文件名；
步骤S52：将每个URL资源的最后N位字符设置为第二文件名，其中，N为正整数；
步骤S53：将第一文件名和第二文件名进行组合，对每个URL资源进行命名。
作为本发明的另一个优选实施例，图4是根据本发明优选实施例的对网页嗅探下载文件进行命名和提示方法的流程图。如图4所示，该流程可以包括以下处理步骤：
步骤S402：将网页标题作为下载文件名的主文件名，在通常情况下，网页标题可以包含该下载文件中较为准确的信息；
步骤S404：提取下载资源URL地址后N位(N为正整数)字符作为下载文件名的副文件名，例如：一般提取后8位，主要考虑尽可能地将文件类型后缀保留下来；
步骤S406：将主文件名和副文件名组合在一起作为该下载资源的文件名；
步骤S408：提示用户在该网页上嗅探到可下载的媒体文件，并采用列表的方式对下载资源的文件名加以显示。
优选地，在步骤S106，提示用户对剩余的URL资源进行下载之前，还可以包括以下操作：
步骤S9：采用预设的URL规范对剩余的URL资源进行URL验证。即需要对滤除广告后的URL下载资源进行验证，判断其是否符合URL规范。而通常情况下只有在滤除广告后的URL下载资源符合URL规范时，才会提示用户在该网页上嗅探到可下载的媒体文件，并采用列表的方式对下载资源的文件名加以显示，以便用户进行下载。
图5是根据本发明实施例的资源的下载装置的结构框图。如图5所示，该资源的下载装置可以包括：检测模块10，用于对待下载资源所在网页的DOM树进行动态检测，获取多个URL资源；过滤模块20，用于从多个URL资源中滤除与广告数据对应的部分URL资源；处理模块30，用于提示用户对滤除广告数据后剩余的URL资源进行下载。
采用如图5所示的装置，解决了相关技术中在视频或音乐等网站的媒体文件仅提供在线播放而不支持本地下载的情况下，如何使用浏览器对媒体文件进行嗅探以便向用户提供本地下载的问题，进而使得用户在仅提供在线播放的网页中可以随意获取自身感兴趣的媒体文件，从而极大地提升了用户体验。
优选地，如图6所示，检测模块10可以包括：判断单元100，用于判断DOM树中是否存在预设标签集合中的标签，其中，预设标签集合包括以下至少之一：video标签、audio标签、object标签；提取单元102，用于在判断单元输出为是时，获取标签对应的href属性，并从href属性中提取多个URL资源。
优选地，如图6所示，过滤模块20可以包括：接收单元200，用于接收来自于服务器的最近更新的广告拦截数据信息，其中，广告拦截数据信息包括：部分URL资源的标识信息以及确定部分URL资源为待拦截的广告数据的特征信息；过滤单元202，用于采用广告拦截数据信息从多个URL资源中滤除部分URL资源。
优选地，如图6所示，处理模块30可以包括：命名单元300，用于对剩余的URL资源进行命名；显示单元302，用于按照预设显示方式对剩余的URL资源的文件名进行显示。
优选地，命名单元300可以包括：第一设置子单元(图中未示出)，用于将剩余的URL资源中的每个URL资源所在网页的标题设置为第一文件名；第二设置子单元(图中未示出)，用于将每个URL资源的最后N位字符设置为第二文件名，其中，N为正整数；组合子单元(图中未示出)，用于将第一文件名和第二文件名进行组合，对每个URL资源进行命名。
优选地，检测模块10，用于按照以下方式之一对DOM树进行动态检测：按照预设周期对DOM树进行检测；由网页后台脚本自动触发对DOM树进行检测；通过用户点击预设按钮引发的网页子资源加载事件被捕获后触发对DOM树进行检测。
优选地，如图6所示，上述装置还可以包括：验证模块40，用于采用预设的URL规范对剩余的URL资源进行URL验证。
下面将结合图7所示的优选实施方式对上述优选实施过程做进一步的描述。
图7是根据本发明优选实施例的可滤除广告的浏览器动态嗅探的总体架构示意图。如图7所示，在上述总体架构中，可以包括：媒体检测模块(相当于上述检测模块)、子资源加载监听模块、广告拦截数据更新模块、广告拦截执行模块(相当于上述过滤模块)、URL验证模块(相当于上述验证模块)、文件命名模块(相当于上述命名单元)、提示和下载模块(相当于上述处理模块的部分功能)。各个模块实现的功能如下：
(1)媒体检测模块主要负责在网页当前的文档对象模型(ObjectDocumentModel，简称为DOM)树中检索出相关媒体标签的节点，并从该节点中获取对应的可下载的URL。
(2)子资源加载监听模块主要负责监测在网页文件的整个生命周期中是否存在待加载的子资源，以此便于通知媒体检测模块发起再次检测，从而可以对下载资源进行动态嗅探。
(3)广告拦截数据更新模块主要负责定期向服务器发送数据更新请求，以获取最新的广告拦截信息，其中，最新的广告拦截信息可以包括：当前一些主流的音频和/或视频网站上的广告URL资源的关键字。
(4)广告拦截执行模块主要负责通过服务器更新的广告拦截信息，对媒体检测模块获取到的URL进行检测，判断其是否包含在黑名单中(即与广告拦截信息中的关键字相匹配)从而对包含在黑名单中的URL进行删除拦截。
(5)URL验证模块主要负责对滤除广告后的URL下载资源进行验证，判断其是否符合URL规范。
(6)文件命名模块主要负责获取当前网页的标题信息和URL地址以便构造该下载文件的名称。
(7)提示和下载模块主要负责将嗅探到的下载资源信息展示给用户，并在用户选择下载后进行下载管理。
从以上的描述中，可以看出，上述实施例实现了如下技术效果(需要说明的是这些效果是某些优选实施例可以达到的效果)：采用本发明实施例所提供的技术方案，可以有效地解决现有的浏览器嗅探技术中存在的漏检测或误检测，尤其是广告媒体文件的严重干扰以及目前采用的下载文件命名方式使得用户无法分辨哪个下载文件才是用户自身需求的文件等问题，进而使得用户在仅提供在线播放的网页中可以随意获取自身感兴趣的媒体文件，从而极大地提升了用户体验。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种资源的下载方法，其特征在于，包括：
对待下载资源所在网页的文档对象模型DOM树进行动态检测，获取多个统一资源定位符URL资源；
从所述多个URL资源中滤除与广告数据对应的URL资源；
向用户推送滤除与所述广告数据对应的URL资源后剩余的URL资源。
2.根据权利要求1所述的方法，其特征在于，对所述DOM树进行实时检测，获取所述多个URL资源包括：
判断所述DOM树中是否存在预设标签集合中的标签，其中，所述预设标签集合包括以下至少之一：视频video标签、音频audio标签、对象object标签；
如果存在，则获取所述标签对应的超文本引用href属性，并从所述href属性中提取所述多个URL资源。
3.根据权利要求1所述的方法，其特征在于，从所述多个URL资源中滤除所述与所述广告数据对应的URL资源包括：
接收来自于服务器的最近更新的广告拦截数据信息；
采用所述广告拦截数据信息从所述多个URL资源中滤除与所述广告数据对应的URL资源。
4.根据权利要求3所述的方法，其特征在于，所述广告拦截数据信息包括：与所述广告数据对应的URL资源的标识信息以及确定与所述广告数据对应的URL资源为待拦截的广告数据的特征信息。
5.根据权利要求1所述的方法，其特征在于，向用户推送所述剩余的URL资源包括：
对所述剩余的URL资源进行命名；
按照预设显示方式对所述剩余的URL资源的文件名进行显示。
6.根据权利要求5所述的方法，其特征在于，对所述剩余的URL资源进行命名包括：
将所述剩余的URL资源中的每个URL资源所在网页的标题设置为第一文件名；
将所述每个URL资源的最后N位字符设置为第二文件名，其中，N为正整数；
将所述第一文件名和所述第二文件名进行组合，对所述每个URL资源进行命名。
7.根据权利要求1所述的方法，其特征在于，对所述DOM树进行动态检测包括以下至少之一：
按照预设周期对所述DOM树进行检测；
由网页后台脚本自动触发对所述DOM树进行检测；
通过用户点击预设按钮引发的网页子资源加载事件被捕获后触发对所述DOM树进行检测。
8.根据权利要求1至7中任一项所述的方法，其特征在于，在向所述用户推送所述剩余的URL资源之前，还包括：
采用预设的URL规范对所述剩余的URL资源进行URL验证。
9.根据权利要求1所述的方法，其特征在于，在向所述用户推送所述剩余的URL资源之前，还包括：提示所述用户对所述剩余的URL资源进行下载。
10.一种资源的下载装置，其特征在于，包括：
检测模块，用于对待下载资源所在网页的文档对象模型DOM树进行动态检测，获取多个统一资源定位符URL资源；
过滤模块，用于从所述多个URL资源中滤除与广告数据对应的URL资源；
处理模块，用于向用户推送滤除与所述广告数据对应的URL资源后剩余的URL资源。
11.根据权利要求10所述的装置，其特征在于，所述检测模块包括：
判断单元，用于判断所述DOM树中是否存在预设标签集合中的标签，其中，所述预设标签集合包括以下至少之一：视频video标签、音频audio标签、对象object标签；
提取单元，用于在所述判断单元输出为是时，获取所述标签对应的超文本引用href属性，并从所述href属性中提取所述多个URL资源。
12.根据权利要求10所述的装置，其特征在于，所述过滤模块包括：
接收单元，用于接收来自于服务器的最近更新的广告拦截数据信息；
过滤单元，用于采用所述广告拦截数据信息从所述多个URL资源中滤除与所述广告数据对应的URL资源。
13.根据权利要求12所述的方法，其特征在于，所述广告拦截数据信息包括：与所述广告数据对应的URL资源的标识信息以及确定与所述广告数据对应的URL资源为待拦截的广告数据的特征信息。
14.根据权利要求10所述的装置，其特征在于，所述处理模块包括：
命名单元，用于对所述剩余的URL资源进行命名；
显示单元，用于按照预设显示方式对所述剩余的URL资源的文件名进行显示。
15.根据权利要求14所述的装置，其特征在于，所述命名单元包括：
第一设置子单元，用于将所述剩余的URL资源中的每个URL资源所在网页的标题设置为第一文件名；
第二设置子单元，用于将所述每个URL资源的最后N位字符设置为第二文件名，其中，N为正整数；
组合子单元，用于将所述第一文件名和所述第二文件名进行组合，对所述每个URL资源进行命名。
16.根据权利要求10所述的装置，其特征在于，所述检测模块，用于按照以下方式至少之一对所述DOM树进行动态检测：
按照预设周期对所述DOM树进行检测；
由网页后台脚本自动触发对所述DOM树进行检测；
通过用户点击预设按钮引发的网页子资源加载事件被捕获后触发对所述DOM树进行检测。
17.根据权利要求10至16中任一项所述的装置，其特征在于，所述装置还包括：
验证模块，用于采用预设的URL规范对所述剩余的URL资源进行URL验证。
18.根据权利要求10所述的装置，其特征在于，所述装置还包括：
提示模块，用于提示所述用户对所述剩余的URL资源进行下载。
CN201510364221.1A 2014-06-10 2014-06-10 资源的下载方法及装置 Pending CN105279215A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410255545.7A CN105320661A (zh) 2014-06-10 2014-06-10 资源的下载方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410255545.7A Division CN105320661A (zh) 2014-06-10 2014-06-10 资源的下载方法及装置

Publications (1)

Publication Number Publication Date
CN105279215A true CN105279215A (zh) 2016-01-27

Family

ID=54832763

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410255545.7A Pending CN105320661A (zh) 2014-06-10 2014-06-10 资源的下载方法及装置
CN201510364221.1A Pending CN105279215A (zh) 2014-06-10 2014-06-10 资源的下载方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410255545.7A Pending CN105320661A (zh) 2014-06-10 2014-06-10 资源的下载方法及装置

Country Status (4)

Country Link
US (1) US10262341B2 (zh)
EP (1) EP3142020A4 (zh)
CN (2) CN105320661A (zh)
WO (1) WO2015188431A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897900A (zh) * 2016-04-22 2016-08-24 北京小米移动软件有限公司 资源获取方法及装置
CN109857953A (zh) * 2018-11-08 2019-06-07 北京达佳互联信息技术有限公司 音视频分离方法、装置、电子设备及可读存储介质
CN111400579A (zh) * 2020-03-02 2020-07-10 深圳市芯众云科技有限公司 智能硬件搜索引擎系统
CN112231578A (zh) * 2020-11-06 2021-01-15 山西三友和智慧信息技术股份有限公司 一种基于图和机器学习的广告拦截系统及方法
CN112632358A (zh) * 2020-12-29 2021-04-09 北京天融信网络安全技术有限公司 一种资源链接获取方法、装置、电子设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320661A (zh) * 2014-06-10 2016-02-10 中兴通讯股份有限公司 资源的下载方法及装置
CN105653668A (zh) * 2015-12-29 2016-06-08 武汉理工大学 云环境中基于DOMTree的网页内容分析提取优化方法
CN106095869B (zh) * 2016-06-03 2020-11-06 腾讯科技（深圳）有限公司 广告信息处理方法、用户设备、后台服务器及系统
WO2018058330A1 (zh) * 2016-09-27 2018-04-05 中兴通讯股份有限公司 广告拦截的方法、装置和浏览器、计算机存储介质
CN107220364B (zh) * 2017-06-07 2021-01-26 深圳天珑无线科技有限公司 一种信息处理的方法及装置
CN109389419B (zh) * 2018-08-20 2023-10-17 中国平安人寿保险股份有限公司 广告资源预加载方法、装置、计算机设备及存储介质
CN110430243B (zh) * 2019-07-15 2022-09-27 创维集团智能科技有限公司 一种广告节目下载方法和系统
CN110955833A (zh) * 2019-11-27 2020-04-03 百度在线网络技术（北京）有限公司 一种搜索方法、装置、服务器、终端设备和介质
CN113312572A (zh) * 2021-05-17 2021-08-27 深圳市中科明望通信软件有限公司 一种资源处理方法、装置、存储介质及电子设备
CN113626737B (zh) * 2021-10-12 2022-03-11 北京天际友盟信息技术有限公司 一种识别主体链接的方法、装置、电子设备及存储介质
US11797752B1 (en) * 2022-06-21 2023-10-24 Dropbox, Inc. Identifying downloadable objects in markup language

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080134015A1 (en) * 2006-12-05 2008-06-05 Microsoft Corporation Web Site Structure Analysis
CN102033881A (zh) * 2009-09-30 2011-04-27 国际商业机器公司 用于识别网页中的广告的方法和系统
CN102270206A (zh) * 2010-06-03 2011-12-07 北京迅捷英翔网络科技有限公司 一种有效网页内容的抓取方法及装置
US8413046B1 (en) * 2011-10-12 2013-04-02 Google Inc. System and method for optimizing rich web applications
CN103455602A (zh) * 2013-09-03 2013-12-18 小米科技有限责任公司 一种视频url抓取方法、装置及终端设备
CN103455600A (zh) * 2013-09-03 2013-12-18 小米科技有限责任公司 一种视频url抓取方法、装置及服务器设备
CN103577427A (zh) * 2012-07-25 2014-02-12 中国移动通信集团公司 基于浏览器内核的网页爬取方法、装置及包含该装置的浏览器
US20140100963A1 (en) * 2012-08-15 2014-04-10 Tencent Technology (Shenzhen) Company Limited Method, System and Device For Filtering Mobile Terminal Webpage Advertisements

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110277A1 (en) * 2001-12-10 2003-06-12 Sheng-Tzong Cheng Method and platform for using wireless multimedia files
US7814084B2 (en) * 2007-03-21 2010-10-12 Schmap Inc. Contact information capture and link redirection
CN101582075B (zh) * 2009-06-24 2011-05-11 大连海事大学 Web信息抽取系统
EP2599011A4 (en) * 2010-07-30 2017-04-26 Hewlett-Packard Development Company, L.P. Selection of main content in web pages
US9443012B2 (en) * 2012-01-31 2016-09-13 Ncr Corporation Method of determining http process information
WO2013167169A1 (en) * 2012-05-08 2013-11-14 Nokia Siemens Networks Oy Method and apparatus
US20140089786A1 (en) * 2012-06-01 2014-03-27 Atiq Hashmi Automated Processor For Web Content To Mobile-Optimized Content Transformation
US20140068411A1 (en) * 2012-08-31 2014-03-06 Scott Ross Methods and apparatus to monitor usage of internet advertising networks
GB2509773A (en) * 2013-01-15 2014-07-16 Ibm Automatic genre determination of web content
CN104636664B (zh) * 2013-11-08 2018-04-27 腾讯科技（深圳）有限公司 基于文档对象模型的跨站脚本攻击漏洞检测方法及装置
US9317694B2 (en) * 2013-12-03 2016-04-19 Microsoft Technology Licensing, Llc Directed execution of dynamic programs in isolated environments
US20150169430A1 (en) * 2013-12-13 2015-06-18 International Business Machines Corporation Selecting webpage test paths
US20150206169A1 (en) * 2014-01-17 2015-07-23 Google Inc. Systems and methods for extracting and generating images for display content
CN105320661A (zh) * 2014-06-10 2016-02-10 中兴通讯股份有限公司 资源的下载方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080134015A1 (en) * 2006-12-05 2008-06-05 Microsoft Corporation Web Site Structure Analysis
CN102033881A (zh) * 2009-09-30 2011-04-27 国际商业机器公司 用于识别网页中的广告的方法和系统
CN102270206A (zh) * 2010-06-03 2011-12-07 北京迅捷英翔网络科技有限公司 一种有效网页内容的抓取方法及装置
US8413046B1 (en) * 2011-10-12 2013-04-02 Google Inc. System and method for optimizing rich web applications
CN103577427A (zh) * 2012-07-25 2014-02-12 中国移动通信集团公司 基于浏览器内核的网页爬取方法、装置及包含该装置的浏览器
US20140100963A1 (en) * 2012-08-15 2014-04-10 Tencent Technology (Shenzhen) Company Limited Method, System and Device For Filtering Mobile Terminal Webpage Advertisements
CN103455602A (zh) * 2013-09-03 2013-12-18 小米科技有限责任公司 一种视频url抓取方法、装置及终端设备
CN103455600A (zh) * 2013-09-03 2013-12-18 小米科技有限责任公司 一种视频url抓取方法、装置及服务器设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897900A (zh) * 2016-04-22 2016-08-24 北京小米移动软件有限公司 资源获取方法及装置
CN109857953A (zh) * 2018-11-08 2019-06-07 北京达佳互联信息技术有限公司 音视频分离方法、装置、电子设备及可读存储介质
CN111400579A (zh) * 2020-03-02 2020-07-10 深圳市芯众云科技有限公司 智能硬件搜索引擎系统
CN112231578A (zh) * 2020-11-06 2021-01-15 山西三友和智慧信息技术股份有限公司 一种基于图和机器学习的广告拦截系统及方法
CN112632358A (zh) * 2020-12-29 2021-04-09 北京天融信网络安全技术有限公司 一种资源链接获取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN105320661A (zh) 2016-02-10
EP3142020A1 (en) 2017-03-15
US10262341B2 (en) 2019-04-16
WO2015188431A1 (zh) 2015-12-17
US20170132669A1 (en) 2017-05-11
EP3142020A4 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
CN105279215A (zh) 资源的下载方法及装置
CN102333122B (zh) 一种下载资源提供方法、装置及系统
CN101599156B (zh) 一种广告展现方法、装置和系统
US20110191664A1 (en) Systems for and methods for detecting url web tracking and consumer opt-out cookies
US20120066380A1 (en) Update notification method and system
CN103810176B (zh) 一种网页信息的预取访问方法和装置
CN102880654B (zh) 一种信息终端浏览器的收藏夹动态更新方法
CN102098234A (zh) 基于即时通信消息中超链接提供目标内容的方法与设备
CN104572777B (zh) 基于UIWebView组件的网页加载方法及装置
CN104063460A (zh) 一种在浏览器中加载网页的方法和装置
CN103618696B (zh) 对cookie信息进行处理的方法和服务器
CN101616166A (zh) 在互联网中用于高速下载多媒体内容的方法与装置
CN105069011A (zh) 用于管理网页收藏夹的方法、装置及系统
CN106649787A (zh) 移动终端客户端中广告过滤方法及装置
CN110929183A (zh) 一种数据处理方法、装置和机器可读介质
CN104090887A (zh) 歌曲搜索方法及装置
CN106790589A (zh) 移动终端客户端中广告过滤方法及装置
CN105956152A (zh) 一种加载网页的方法、装置及电子设备
CN104283865A (zh) 一种下载处理方法、装置、服务器及客户端设备
JP5289535B2 (ja) 検索結果提供方法及びシステム
CN105447061A (zh) 下载完成后自动重命名文件的方法及系统
CN104158697B (zh) 一种死链检测方法及装置
CN111143722A (zh) 一种网页暗链检测方法、装置、设备及介质
CN105930385A (zh) 一种数据爬取方法及系统
CN103905915A (zh) 在线视频嗅探下载方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160127

RJ01 Rejection of invention patent application after publication