CN108347460B - 资源访问方法及装置 - Google Patents

资源访问方法及装置 Download PDF

Info

Publication number
CN108347460B
CN108347460B CN201710056394.6A CN201710056394A CN108347460B CN 108347460 B CN108347460 B CN 108347460B CN 201710056394 A CN201710056394 A CN 201710056394A CN 108347460 B CN108347460 B CN 108347460B
Authority
CN
China
Prior art keywords
resource
target
target resource
type
url
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710056394.6A
Other languages
English (en)
Other versions
CN108347460A (zh
Inventor
朱向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710056394.6A priority Critical patent/CN108347460B/zh
Priority to PCT/CN2018/073073 priority patent/WO2018137528A1/zh
Publication of CN108347460A publication Critical patent/CN108347460A/zh
Application granted granted Critical
Publication of CN108347460B publication Critical patent/CN108347460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566URL specific, e.g. using aliases, detecting broken or misspelled links
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种资源访问方法及装置,属于互联网领域。方法包括:当获取到终端对目标资源的访问请求时,根据多个资源类型的通用识别特征,确定目标资源的类型;根据目标资源的类型所对应的唯一标识获取规则和目标资源的URL,获取目标资源的唯一标识;根据目标资源的唯一标识,查询缓存子系统CSS中是否存在目标资源;如果CSS中存在目标资源,则向终端发送重定向报文,由终端根据CSS的地址对目标资源进行访问。本公开通过RSS将访问请求重定向到CSS上,使得终端可以从CSS访问该目标资源。解决了需要为每个网站单独开发插件,开发量大,成本高的问题,可以大大提高RSS对资源的识别率和终端对资源的访问效率。

Description

资源访问方法及装置
技术领域
本公开涉及互联网领域,特别涉及一种资源访问方法及装置。
背景技术
随着互联网的发展,互联网上日益丰富的资源给用户生活带来便利的同时,用户对资源的大量访问给互联网的骨干网带来了拥塞,不仅影响用户对资源的访问质量,而且给ISP(Internet Service Provider,互联网服务提供商)带来了很大的成本压力,阻碍了互联网的发展。为了减少骨干网的拥塞,可以将用户访问的资源下载并缓存在本地,使得用户可以到本地来访问该资源。
目前,互联网资源服务系统包括重定向子系统(Redirection Subsystem,RSS)、统计分析子系统(Statistical Analysis Subsystem,SAS)、调度子系统(DispatchingSubsystem,DSS)、缓存子系统(Cache Subsystem,CSS)和管理子系统(ManagementSubsystem,MSS)。其中,RSS用于获取用户发送给互联网服务器的访问请求,将访问请求所携带的资源信息经由SAS和DSS发送给CSS,以通知CSS去该资源的源站下载并缓存该资源,或将该访问请求重定向到CSS,使得用户可以向该CSS请求访问该资源;CSS用于从互联网下载并缓存资源;MSS用于对各个子系统进行管理。基于该互联网资源服务系统,资源访问过程具体包括:
互联网上的每个网站对该网站的资源进行分析,找出该网站可缓存的资源,并识别它们,然后针对互联网上的每个网站开发插件,并将这些插件加载到RSS中。当用户向互联网服务器发送对某个网站的资源的访问请求时,RSS获取该访问请求,并调用各个网站的插件对该资源进行识别,如果该网站的插件识别到该资源,则通过解析访问请求得到该资源的唯一标识。进而,RSS可以将该资源的唯一标识经由SAS和DSS发送给CSS,以通知CSS根据该资源的唯一标识,去该资源的源站下载并缓存该资源。当用户再次向互联网服务器发送对该资源的访问请求时,RSS获取该访问请求后,由该RSS对该访问请求进行解析,并查询该资源在CSS已经缓存后,向用户发送重定向报文,该报文携带该CSS的地址,使得用户可以根据该CSS的地址,向该CSS请求访问该资源,由该CSS返回该资源,从而实现对该网站的资源的访问。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
上述技术中,RSS调用该网站的插件识别到该资源,并通过解析访问请求得到该资源的唯一标识后,将该资源的唯一标识发送给CSS,由CSS根据该资源的唯一标识,进行该资源的下载、缓存和重定向等操作,从而实现用户对该资源的访问。为了满足用户对互联网上大量网站的资源的访问需求,需要为每个网站单独开发插件,开发量大,成本高。
发明内容
为了解决现有技术中单独开发插件所造成的开发量大、成本高等问题,本公开实施例提供了一种资源访问方法及装置。所述技术方案如下:
第一方面,提供了一种资源访问方法,所述方法包括:当获取到终端对目标资源的访问请求时,根据多个资源类型的通用识别特征,确定所述目标资源的类型,所述访问请求携带所述目标资源的统一资源定位符URL,每个资源类型的通用识别特征通过分析多个资源样本得到;根据所述目标资源的类型所对应的唯一标识获取规则和所述目标资源的URL,获取所述目标资源的唯一标识;根据所述目标资源的唯一标识,查询缓存子系统CSS中是否存在所述目标资源;如果所述CSS中存在所述目标资源,则向所述终端发送重定向报文,所述重定向报文携带所述CSS的地址,由所述终端根据所述CSS的地址对所述目标资源进行访问。
本公开实施例提供的方法,当获取到终端对目标资源的访问请求时,RSS根据多个资源类型的通用识别特征,确定目标资源的类型,并根据该目标资源的类型所对应的唯一标识获取规则和该目标资源的URL,获取该目标资源的唯一标识,如果根据该目标资源的唯一标识,查询CSS中存在该目标资源,则向终端发送重定向报文,从而将该访问请求重定向到CSS上,使得终端可以从CSS访问该目标资源。RSS通过预先获取多个资源类型的通用识别特征和该多个资源类型的唯一标识获取规则,即可实现对目标资源的识别以及访问,解决了需要为每个网站单独开发插件,开发量大,成本高的问题。且由于该多个类型的通用识别特征根据多个资源样本统计分析得到,可以大大提高RSS对资源的识别率和终端对资源的访问效率。
在第一方面的第一种可能实现方式中,所述根据多个资源类型的通用识别特征,确定所述目标资源的类型包括:从所述目标资源的源站对所述目标资源的访问请求的响应信息中,获取所述目标资源的格式信息;根据所述目标资源的格式信息和所述目标资源的URL,确定目标通用识别特征,所述目标通用识别特征为与所述目标资源的格式信息和所述目标资源的URL匹配的通用识别特征;将所述目标通用识别特征对应的资源类型确定为所述目标资源的类型。
本公开实施例提供的方法,RSS通过获取目标资源的格式信息,并确定与该目标资源的格式信息和URL匹配的目标通用识别特征,将该目标通用识别特征对应的资源类型确定为该目标资源的类型,资源类型确定的准确性高。
在第一方面的第二种可能实现方式中,所述根据所述目标资源的类型所对应的唯一标识获取规则和所述目标资源的URL,获取所述目标资源的唯一标识包括:当所述目标资源类型为图片类型、网页文本类型、应用下载类型或音频类型时,将所述目标资源的URL的全路径获取为所述目标资源的唯一标识;当所述目标资源类型为视频类型时,如果所述目标资源的URL为静态链接或所述目标资源的URL为动态链接且所述目标资源的URL中不包含范围参数,则将所述目标资源的URL的全路径获取为所述目标资源的唯一标识,如果所述目标资源的URL为动态链接且所述目标资源的URL中包含范围参数,则将所述目标资源的URL的绝对路径获取为所述目标资源的唯一标识,所述范围参数用于指示所述访问请求所请求的数据量。
本公开实施例提供的方法,根据目标资源的URL和目标资源的类型所对应的唯一标识获取规则,来获取目标资源的唯一标识,唯一标识获取的准确性高。
在第一方面的第三种可能实现方式中,图片类型的通用识别特征的获取过程包括:获取多个图片样本的格式信息;对于每个图片样本,将所述图片样本的格式信息确定为所述图片样本的识别特征;根据所述多个图片样本的识别特征,确定所述图片类型的通用识别特征,所述图片类型的通用识别特征为在所述多个图片样本的识别特征中所占比例大于第一指定比例的识别特征。
本公开实施例提供的方法,根据多个图片样本的格式信息,确定该多个图片样本的识别特征,进而确定图片类型的通用识别特征,使得RSS可以通过该图片类型的通用识别特征,实现对图片资源的识别,提高了识别率。
在第一方面的第四种可能实现方式中,网页文本类型、下载类型、音频类型或视频类型中任一资源类型的通用识别特征的获取过程包括:对于每个资源类型,获取所述资源类型的多个目标样本的格式信息和所述多个目标样本的URL;确定所述资源类型的多个目标样本的识别特征,每个目标样本的识别特征用于描述所述目标样本的格式信息和所述目标样本的URL;根据所述多个目标样本的识别特征,确定所述资源类型的通用识别特征,所述资源类型的通用识别特征为在所述多个目标样本的识别特征中所占比例大于第二指定比例的识别特征。
本公开实施例提供的方法,对于网页文本类型、下载类型、音频类型或视频类型中任一资源类型,根据该资源类型的多个目标样本的格式信息,确定该多个目标样本的识别特征,进而确定该资源类型的通用识别特征,使得RSS可以通过该资源类型的通用识别特征,实现对该资源类型的资源的识别,提高了识别率。
第二方面,提供了一种资源访问装置,所述装置包括多个功能模块,该多个功能模块用于执行上述第一方面所提供的资源访问方法以及其任一种可能实现方式。
第三方面,提供了一种资源访问装置,该资源访问装置包括:处理器;用于存储处理器可执行指令的存储器;该可执行指令用于执行:当获取到终端对目标资源的访问请求时,根据多个资源类型的通用识别特征,确定所述目标资源的类型,所述访问请求携带所述目标资源的统一资源定位符URL,每个资源类型的通用识别特征通过分析多个资源样本得到;根据所述目标资源的类型所对应的唯一标识获取规则和所述目标资源的URL,获取所述目标资源的唯一标识;根据所述目标资源的唯一标识,查询缓存子系统CSS中是否存在所述目标资源;如果所述CSS中存在所述目标资源,则向所述终端发送重定向报文,所述重定向报文携带所述CSS的地址,由所述终端根据所述CSS的地址对所述目标资源进行访问。
在一种可能实现方式中,该可执行指令用于执行:从所述目标资源的源站对所述目标资源的访问请求的响应信息中,获取所述目标资源的格式信息;根据所述目标资源的格式信息和所述目标资源的URL,确定目标通用识别特征,所述目标通用识别特征为与所述目标资源的格式信息和所述目标资源的URL匹配的通用识别特征;将所述目标通用识别特征对应的资源类型确定为所述目标资源的类型。
在一种可能实现方式中,该可执行指令用于执行:当所述目标资源的类型为图片类型、网页文本类型、应用下载类型或音频类型时,将所述目标资源的URL的全路径获取为所述目标资源的唯一标识;当所述目标资源的类型为视频类型时,如果所述目标资源的URL为静态链接或所述目标资源的URL为动态链接且所述目标资源的URL中不包含范围参数,则将所述目标资源的URL的全路径获取为所述目标资源的唯一标识,如果所述目标资源的URL为动态链接且所述目标资源的URL中包含范围参数,则将所述目标资源的URL的绝对路径获取为所述目标资源的唯一标识,所述范围参数用于指示所述访问请求所请求的数据量。
在一种可能实现方式中,该可执行指令用于执行:获取多个图片样本的格式信息;对于每个图片样本,将所述图片样本的格式信息确定为所述图片样本的识别特征;根据所述多个图片样本的识别特征,确定所述图片类型的通用识别特征,所述图片类型的通用识别特征为在所述多个图片样本的识别特征中所占比例大于第一指定比例的识别特征。
在一种可能实现方式中,该可执行指令用于执行:对于每个资源类型,获取所述资源类型的多个目标样本的格式信息和所述多个目标样本的URL;确定所述资源类型的多个目标样本的识别特征,每个目标样本的识别特征用于描述所述目标样本的格式信息和所述目标样本的URL;根据所述多个目标样本的识别特征,确定所述资源类型的通用识别特征,所述资源类型的通用识别特征为在所述多个目标样本的识别特征中所占比例大于第二指定比例的识别特征。
附图说明
图1是本公开实施例提供的一种资源访问系统的结构示意图;
图2是本公开实施例提供的一种终端101的结构示意图;
图3是本公开实施例提供的一种资源访问装置300的结构示意图;
图4是本公开实施例提供的一种资源访问方法流程图;
图5是本公开实施例提供的一种资源访问装置的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开实施例提供的一种资源访问系统结构示意图。参见图1,该系统结构包括:终端101、RSS 102、SAS 103、DSS 104、CSS 105和MSS 106。
其中,RSS 102用于获取终端101发送给互联网服务器的访问请求,将该访问请求经由SAS 103和DSS 104发送给CSS 105或将该访问请求重定向到CSS 105,由CSS 105取代源站负责资源服务;SAS 103用于将RSS 102发送的访问请求发送给DSS 104;DSS 104用于将访问请求发送到CSS 105,并负责资源索引的同步;CSS 105用于从互联网下载并缓存资源,使得终端101可以优先从CSS 105访问所需的资源;MSS 106用于对RSS 102、SAS 103、DSS 104以及CSS 105进行管理。
图2是本公开实施例提供的一种终端101的结构示意图。参见图2,该终端101包括:
终端101可以包括RF(Radio Frequency,射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(Wireless Fidelity,无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解,图2中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器180处理;另外,将涉及上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(CodeDivision Multiple Access,码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service,短消息服务)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端101的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端101的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的,触敏表面131可覆盖显示面板141,当触敏表面131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图2中,触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端101还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在终端101移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端101还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与终端101之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与终端101的通信。
WiFi属于短距离无线传输技术,终端101通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图2示出了WiFi模块170,但是可以理解的是,其并不属于终端101的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端101的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行终端101的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
终端101还包括给各个部件供电的电源190比如电池),优选的,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端101还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端的显示单元是触摸屏显示器,终端还包括有存储器,以及可执行指令,其中可执行指令存储于存储器中,且经配置以由一个或者一个以上处理器执行。
图3是本公开实施例提供的一种资源访问装置300的结构示意图。例如,装置300可以被提供为RSS、SAS、DSS、CSS或MSS中的任一种。参照图3,装置300包括处理组件322,其进一步包括一个或多个处理器,以及由存储器332所代表的存储器资源,用于存储可由处理部件322的执行的指令,例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件322被配置为执行指令,以执行下述图4所示实施例中的方法。
装置300还可以包括一个电源组件326被配置为执行装置300的电源管理,一个有线或无线网络接口350被配置为将装置300连接到网络,和一个输入输出(I/O)接口358。装置300可以操作基于存储在存储器332的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
图4是本公开实施例提供的一种域名访问方法的流程示意图。该实施例以资源访问装置为RSS为例进行说明,参见图4,包括:
401、RSS获取多个资源类型的通用识别特征和该多个资源类型的唯一标识获取规则,每个资源类型的通用识别特征通过分析多个资源样本得到。
本公开实施例中,该多个资源类型包括图片类型、网页文本类型、下载类型、音频类型以及视频类型。每个资源类型的通用识别特征可以通过对互联网上的多个资源样本进行分析得到,得到该多个资源类型的通用识别特征后,再基于该多个资源类型的通用识别特征生成该多个资源类型的插件,RSS可以通过加载该多个资源类型的插件,来获取该多个资源类型的通用识别特征。当然,RSS还可以基于该多个资源类型的通用识别特征建立资源类型识别模型,来获取该多个资源类型的通用识别特征,本公开实施例对此不做限定。
需要说明的是,本公开实施例仅以获取上述多个资源类型的通用识别特征的为RSS为例进行说明,该获取可以是指从任一设备中获取,也可以是指由RSS或系统管理人员进行分析从而获取。
下面分别采用步骤401a和步骤401b中的过程,对该多个资源类型的通用识别特征的获取过程进行说明:
401a、对于图片类型的通用识别特征X1,该通用识别特征X1的获取过程可以包括步骤401a1至401a3:
401a1:获取多个图片样本的格式信息。
对于每个图片样本,该图片样本的格式信息用于指示该图片样本的资源类型以及资源格式。例如,图片样本的格式信息可以为image/jpg,其中,image表示该图片样本的资源类型为图片,jpg表示该图片样本的资源格式为jpg格式。
该多个图片样本的格式信息可以从该多个图片样本的下载记录中获取,每个图片样本的下载记录中保存有该图片样本的格式信息。对该多个图片样本的格式信息进行统计,统计结果如下:
链接分布维度:
Figure BDA0001219329240000071
静态链接91%,动态链接9%
从后缀和contontentype能对应上的流量:91%
后缀分布维度:
jpg,gif,png,jpeg后缀占比85%左右
suffix:
Figure BDA0001219329240000072
Figure BDA0001219329240000081
格式信息分布维度:
image/jpeg,image/png,image/gif,image/webp,image/jpg占比98%
格式信息:
Figure BDA0001219329240000082
由上述统计结果可知,该多个图片样本中URL为静态链接和动态链接的图片样本所占比例分别为91%和9%,也即是,该多个图片样本的URL几乎均为静态链接,说明图片资源一般为可缓存的静态图片资源,因此可以根据格式信息对图片资源进行识别,即可以将图片资源的格式信息确定为该图片资源的识别特征。
401a2:对于每个图片样本,将该图片样本的格式信息确定为该图片样本的识别特征。
针对步骤401a1中可以将图片资源的格式信息确定为该图片资源的识别特征,对于每个图片样本,可以将该图片样本的格式信息确定为该图片样本的识别特征。
例如,图片样本A的格式信息为image/jpg,则可以将image/jpg确定为图片样本A的识别特征。通过该步骤401a2,可以得到该多个图片样本的识别特征,参见步骤401a1中的统计结果。
401a3:根据该多个图片样本的识别特征,确定图片类型的通用识别特征,该图片类型的通用识别特征为在该多个图片样本的识别特征中所占比例大于第一指定比例的识别特征。
其中,第一指定比例可以由开发人员选取,例如,该第一指定比例可以为0.7%。根据步骤401a1中的统计结果,该多个图片样本的识别特征中所占比例大于第一指定比例(0.7%)的识别特征包括image/jpeg、image/png、image/gif、image/webp以及image/jpg,所占比例分别为64.0588%、16.9975%、15.1025%、2.31268%以及0.740895%。因此,图片类型的通用识别特征X1可以包括:格式信息为image/jpeg、image/png、image/gif、image/jpg以及image/webp。
相关技术中针对URL为静态链接且包含特定后缀(jpg、gif、png以及jpeg)的识别,识别率为85%,而本公开实施例中针对图片类型的通用识别特征X1的识别(识别image/jpeg、image/png、image/gif、image/webp以及image/jpg),识别率可以提高到98%。
401b、对于网页文本类型的通用识别特征X2、下载类型的通用识别特征X3、音频类型的通用识别特征X4以及视频类型的通用识别特征X5,该通用识别特征X2至X5的获取过程均可以包括步骤401b1至401b3:
401b1:对于每个资源类型,获取该资源类型的多个目标样本的格式信息和该多个目标样本的URL。
其中,该多个目标样本的格式信息的获取与步骤401a1同理,每个目标样本的URL为该目标样本的访问请求对应的链接,由该目标样本的访问请求携带,因此,可以从该多个目标样本的访问请求中,获取该多个目标样本的URL。
(1)以该资源类型为网页文本类型,目标样本为网页文本样本为例,对该多个网页文本样本的格式信息进行统计,统计结果如下:
链接分布维度:
Figure BDA0001219329240000091
静态链接57%,动态链接42%
流量识别:34.6217%
后缀分布维度:
htm,html,js,css的静态链接流量占比20%
Figure BDA0001219329240000092
格式信息分布维度:
text/html,text/plain,text/javascript,text/css,text/xml占总体流量99%
Figure BDA0001219329240000093
Figure BDA0001219329240000101
由上述统计结果可知,该多个网页文本样本中URL为静态链接和动态链接的网页文本样本所占比例分别为57%和42%。说明网页文本资源中可能存在不可直接缓存的动态链接资源,因此,为了保证识别的准确性,不能仅根据格式信息对网页文本资源进行识别,而需要结合格式信息以及URL对网页文本资源进行识别,即可以结合格式信息以及URL来确定网页文本资源的识别特征。
(2)以该资源类型为下载类型,目标样本为下载样本为例,对该多个下载样本的格式信息进行统计,统计结果如下:
链接分布维度:
Figure BDA0001219329240000102
静态链接51.1451%,动态链接48.8549%
后缀分布维度:
特定下载后缀的静态链接流量占比27%
Figure BDA0001219329240000103
Figure BDA0001219329240000111
格式信息分布维度:
application/octet-stream,application/vnd.android.package-archive,application/zip,application/pdf占总体流量的96%
Figure BDA0001219329240000112
由上述统计结果可知,该多个下载样本中URL为静态链接和动态链接的下载样本所占比例分别为51.1451%和48.8549%。说明下载资源中可能存在不可直接缓存的动态链接资源,因此,为了保证识别的准确性,不能仅根据格式信息对下载资源进行识别,而需要结合格式信息以及URL对下载资源进行识别,即可以结合格式信息以及URL来确定下载资源的识别特征。
(3)以该资源类型为音频类型,目标样本为音频样本为例,对该多个音频样本的格式信息进行统计,统计结果如下:
链接分布维度:
Figure BDA0001219329240000113
静态链接:87.2962%,动态链接:12.7038%
流量识别:94.0494%(MIME和URL后缀相符,无论动态还是静态链接)
后缀分布维度:
mp3,ogg,m4a后缀的流量占了87%左右,
232132067 86.3214% mp3
34162658 12.7038% dynamic_url?
2621212 0.974733% ogg
格式信息分布维度:
audio/mpeg占总体流量的97%
Figure BDA0001219329240000121
由上述统计结果可知,该多个音频样本中URL为静态链接和动态链接的音频样本所占比例分别为87.2962%和12.7038%。说明音频资源中可能存在不可直接缓存的动态链接资源,因此,为了保证识别的准确性,不能仅根据格式信息对音频资源进行识别,而需要结合格式信息以及URL对音频资源进行识别,即可以结合格式信息以及URL来确定音频资源的识别特征。
(4)以该资源类型为视频类型,目标样本为视频样本为例,对该多个视频样本的格式信息进行统计,统计结果如下:
链接分布维度:
Figure BDA0001219329240000122
静态链接:39.5552%,动态链接:60.4448%
流量识别:83.0772%(MIME和URL后缀相符,无论动态还是静态链接)
后缀分布维度:
mp4,ts,3gp,m4v,flv,webm主流后缀的静态链接流量占了39%左右
Figure BDA0001219329240000123
格式信息分布维度:
video/mp4,video/MP2T,video/mp2t,video/m2ts,video/x-flv,video/flv,video/3gpp,video/webm流量占比99%
Figure BDA0001219329240000124
Figure BDA0001219329240000131
由上述统计结果可知,该多个视频样本中URL为静态链接和动态链接的目标样本所占比例分别为39.5552%和60.4448%。说明视频资源中可能存在不可直接缓存的动态链接资源,因此,为了保证识别的准确性,不能仅根据格式信息对视频资源进行识别,而需要结合格式信息以及URL对视频资源进行识别,即可以结合格式信息以及URL来确定视频资源的识别特征。
401b2:确定该资源类型的多个目标样本的识别特征,每个目标样本的识别特征用于描述该目标样本的格式信息和该目标样本的URL。
(1)针对步骤401b1(1)中可以结合格式信息以及URL来确定网页文本资源的识别特征,对于每个网页文本样本,可以结合格式信息以及URL来确定该网页文本样本的识别特征。
例如,网页文本样本B的格式信息为text/javascript,URL为http://xxx.com/yyy.js,则可以将“格式信息为text/javascript且URL的后缀为js”确定为网页文本样本B的识别特征。通过该步骤401b2,可以得到该多个网页文本样本的识别特征,对该多个网页文本样本的识别特征的统计结果如下:
X2a、格式信息包含的文本类型和URL的后缀相同(如格式信息为text/xml,URL的后缀为xml) 4.07%
X2b、格式信息为text/javascript且URL的后缀为js(无论URL为动态链接还是静态链接) 16.99%
X2c、格式信息为text/html且URL的后缀为htm或html(无论URL为动态链接还是静态链接) 12.56%
X2d、格式信息为text/html且URL为域名加上“/”结尾的链接(类似于http://xxx.com/)或域名加上绝对路径且以“/”结尾的链接(类似于http://xxx.com/yyy/)2.38%
(2)针对步骤401b1(2)中可以结合格式信息以及URL来确定下载资源的识别特征,对于每个下载样本,可以结合格式信息以及URL来确定该下载样本的识别特征。
例如,下载样本C的格式信息为application/octet-stream,URL为http://xxx.com/yyy,则可以将“格式信息为application/octet-stream且URL为静态链接”确定为下载样本C的识别特征。通过该步骤401b2,可以得到该多个下载样本的识别特征,对该多个下载样本的识别特征的统计结果如下:
X3a、格式信息为application/octet-stream且URL为静态链接 51.15%
X3b、格式信息为application/vnd.android.package-archive或application/zip或application/pdf且URL的后缀为apk或zip或pdf(无论URL为动态链接还是静态链接)3.38%
(3)针对步骤401b1(3)中可以结合格式信息以及URL来确定音频资源的识别特征,对于每个音频样本,可以结合格式信息以及URL来确定该音频样本的识别特征。
例如,音频样本D的格式信息为audio/ogg,URL为http://xxx.com/yyy.ogg,则可以将“格式信息为audio/ogg且URL的后缀为ogg”确定为音频样本C的识别特征。通过该步骤401b2,可以得到该多个音频样本的识别特征,对该多个音频样本的识别特征的统计结果如下:
X4a、格式信息为audio/ogg且URL的后缀为ogg 1.50%
X4b、格式信息为audio/mpeg或application/octet-stream或audio/mp3且URL的后缀为mp3 96.89%
(4)针对步骤401b1(4)中可以结合格式信息以及URL来确定视频资源的识别特征,对于每个视频样本,可以结合格式信息以及URL来确定该视频样本的识别特征。
例如,视频样本E的格式信息为video/mp4,URL为http://xxx.com/yyy.MP4,则可以将“格式信息为video/mp4且URL的后缀为mp4”确定为视频样本E的识别特征。通过该步骤401b2,可以得到该多个视频样本的识别特征,对该多个视频样本的识别特征的统计结果如下:
X5a、格式信息为video/mp4且URL的后缀为mp4 71.30%
X5b、格式信息为video/MP2T或video/mp2t或video/m2ts且URL的后缀为ts8.30%
X5c、格式信息为video/x-flv或video/flv且URL的后缀为flv 1.20%
X5d、格式信息为video/3gpp且URL的后缀为3gp 2.17%
X5e、格式信息为video/webm且URL的后缀为webm 0.03%
401b3:根据该多个目标样本的识别特征,确定该资源类型的通用识别特征,该资源类型的通用识别特征为在该多个目标样本的识别特征中所占比例大于第二指定比例的识别特征。
其中,第二指定比例可以由开发人员选取,而针对不同的资源类型,第二指定比例的取值可以不同。
(1)对于网页文本类型,该第二指定比例可以为2.3%。根据步骤401b2(1)中的统计结果,该多个网页文本样本的识别特征中所占比例大于第二指定比例的识别特征包括X2a至X2d:
X2a、格式信息包含的文本类型和URL的后缀相同(如格式信息为text/xml,URL的后缀为xml);
X2b、格式信息为text/javascript且URL的后缀为js(无论URL为动态链接还是静态链接);
X2c、格式信息为text/html且URL的后缀为htm或html(无论URL为动态链接还是静态链接);
X2d、格式信息为text/html且URL为域名加上“/”结尾的链接(类似于http://xxx.com/)或域名加上绝对路径且以“/”结尾的链接(类似于http://xxx.com/yyy/)。
其中,X2a至X2d所占比例分别为4.07%、16.99%、12.56%和2.38%。因此,网页文本类型的通用识别特征X2可以包括上述X2a至X2d。
相关技术中针对URL为静态链接且包含特定后缀(htm、html、js以及css)的识别,识别率为20%,而本公开实施例中针对网页文本类型的通用识别特征X2的识别(识别X2a至X2d),识别率可以提高到36%。
(2)对于下载类型,该第二指定比例可以为3.3%。根据步骤401b2(2)中的统计结果,该多个下载样本的识别特征中所占比例大于第二指定比例的识别特征包括X3a和X3b:
X3a、格式信息为application/octet-stream且URL为静态链接;
X3b、格式信息为application/vnd.android.package-archive或application/zip或
application/pdf且URL的后缀为apk或zip或pdf(无论URL为动态链接还是静态链接)。
其中,X3a和X3b所占比例分别为51.15%和3.38%。因此,下载类型的通用识别特征X3可以包括上述X3a和X3b。
相关技术中针对URL为静态链接且包含特定后缀的识别,识别率为27%,而本公开实施例中针对下载类型的通用识别特征X3的识别(识别X3a和X3b),识别率可以提高到54%。
(3)对于音频类型,该第二指定比例可以为1.5%。根据步骤401b2(3)中的统计结果,该多个音频样本的识别特征中所占比例大于第二指定比例的识别特征包括X4a和X4b:
X4a、格式信息为audio/ogg且URL的后缀为ogg。
X4b、格式信息为audio/mpeg或application/octet-stream或audio/mp3且URL的后缀为
mp3。
其中,X4a和X4b所占比例分别为1.50%和96.89%。因此,下载类型的通用识别特征X4可以包括上述X4a和X4b。
相关技术中针对URL为静态链接且包含特定后缀的识别,识别率为87%,而本公开实施例中针对下载类型的通用识别特征X4的识别(识别X4a和X4b),识别率可以提高到98.39%。
(4)对于视频类型,该第二指定比例可以为0.03%。根据步骤401b2(4)中的统计结果,该多个视频样本的识别特征中所占比例大于第二指定比例的识别特征包括X5a至X5e:
X5a、格式信息为video/mp4且URL的后缀为mp4。
X5b、格式信息为video/MP2T或video/mp2t或video/m2ts且URL的后缀为ts。
X5c、格式信息为video/x-flv或video/flv且URL的后缀为flv。
X5d、格式信息为video/3gpp且URL的后缀为3gp。
X5e、格式信息为video/webm且URL的后缀为webm。
其中,X5a至X5e所占比例分别为71.30%,8.30%,1.20%,2.17%,0.03%。因此,视频类型的通用识别特征X5可以包括上述X5a至X5e。
相关技术中针对URL为静态链接且包含特定后缀的识别,识别率为39%,而本公开实施例中针对下载类型的通用识别特征X4的识别(识别X4a和X4b),识别率可以提高到83%。
本公开实施例中,在获取多个资源类型的通用识别特征的过程中,还可以获取该多个资源类型的唯一标识获取规则。该多个资源类型的唯一标识获取规则可以为:当资源的类型为图片类型、网页文本类型、应用下载类型或音频类型时,将该资源的URL的全路径获取为该资源的唯一标识;当资源的类型为视频类型时,如果该资源的URL为静态链接或该资源的URL为动态链接且该资源的URL中不包含范围参数,则将该资源的URL的全路径获取为该资源的唯一标识,如果该资源的URL为动态链接且该资源的URL中包含范围参数,则将该资源的URL的绝对路径获取为该资源的唯一标识。该范围参数用于指示该访问请求所请求的数据量,例如,该范围参数可以为range,范围参数的取值为1M,则表明该访问请求所请求的视频大小为1M。
其中,URL为静态链接是指URL中不包含“?”,类似http://xxx.com/yyy/zzz.jpg;URL为动态链接是指URL中包含“?”,类似http://xxx.com/yyy/zzz.mp4?userid=aaa&key=bbb,“?”后面一般是参数或者用户相关信息。URL的全路径是指整个URL;URL的绝对路径是指URL中“?”前面的部分。
需要说明的是:为了保证识别的准确性,步骤401b中采用结合格式信息以及URL的方式来确定目标样本的识别特征,进而确定网页文本类型、下载类型、音频类型以及视频类型的通用识别特征。实际上,也可以仅根据格式信息来确定目标样本的识别特征,进而确定这些资源类型的通用识别特征,此情况下的确定过程,与步骤401a中对图片类型的通用识别特征的确定过程同理。
402、终端向互联网服务器发送对目标资源的访问请求,该访问请求携带目标资源的URL。
其中,该目标资源的URL为该目标资源的访问请求对应的链接。例如,目标资源的URL可以为http://xxx.com/yyy.js。
403、RSS获取终端对目标资源的访问请求,并根据该多个资源类型的通用识别特征,确定该目标资源的类型。
本公开实施例中,在终端向互联网服务器发送对目标资源的访问请求时,RSS可以获取该访问请求,例如,在旁路组网方式中,RSS可以通过监听来获取该访问请求,或,在直路组网方式中,RSS可以作为代理服务器通过直接接收的方式来获取该访问请求,本公开实施例对RSS获取该访问请求的具体方式不做限定。该根据多个资源类型的通用识别特征,确定该目标资源的类型可以包括步骤403a至403c:
403a:从该目标资源的源站对该目标资源的访问请求的响应信息中,获取该目标资源的格式信息。
其中,该目标资源的源站可以指互联网服务器,终端向互联网服务器发送对目标资源的访问请求后,该互联网服务器会响应该访问请求,如向终端发送响应信息,该响应信息包含该目标资源的格式信息。
在互联网服务器向终端发送响应信息时,RSS可以获取该响应信息,例如,在旁路组网方式中,RSS可以通过监听来获取该响应信息,或,在直路组网方式中,RSS可以作为代理服务器通过直接接收的方式来获取该响应信息,进而得到该响应信息中包含的目标资源的格式信息。例如,目标资源的格式信息可以为text/javascript。
在一种可能实现方式中,该目标资源的格式信息位于该访问请求的响应信息的头部,用于指示该目标资源的资源格式。
403b:根据该目标资源的格式信息和该目标资源的URL,确定目标通用识别特征,该目标通用识别特征为与该目标资源的格式信息和该目标资源的URL匹配的通用识别特征。
RSS通过步骤403a获取到目标资源的格式信息后,可以将目标资源的格式信息和URL分别与步骤401中得到的该多个资源类型的通用识别特征X1至X5进行匹配,从中确定该目标资源的通用识别特征。例如,目标资源的格式信息为text/javascript,URL为http://xxx.com/yyy.js,在依次匹配过程中,RSS可以确定通用识别特征X2中的X2b能够与该目标资源的格式信息和URL匹配,因此,RSS可以将通用识别特征X2确定为目标通用识别特征。
403c:将该目标通用识别特征对应的资源类型确定为该目标资源的类型。
由步骤403b确定的目标通用识别特征(如通用识别特征X2)对应的资源类型为网页文本类型,因此,可以确定目标资源的类型为网页文本类型。
404、RSS根据该目标资源的类型所对应的唯一标识获取规则和该目标资源的URL,获取该目标资源的唯一标识。
针对步骤401获取的该多个资源类型的唯一标识获取规则,该步骤404可以包括:当该目标资源的类型为图片类型、网页文本类型、应用下载类型或音频类型时,RSS将该目标资源的URL的全路径获取为该目标资源的唯一标识;当该目标资源的类型为视频类型时,如果该目标资源的URL为静态链接或该目标资源的URL为动态链接且该目标资源的URL中不包含范围参数,则RSS将该目标资源的URL的全路径获取为该目标资源的唯一标识,如果该目标资源的URL为动态链接且该目标资源的URL中包含范围参数,则RSS将该目标资源的URL的绝对路径获取为该目标资源的唯一标识,该范围参数用于指示该访问请求所请求的数据量。
针对步骤403中的举例,该目标资源的类型为网页文本类型,该目标资源的URL为http://xxx.com/yyy.js,则将该http://xxx.com/yyy.js获取为该目标资源的唯一标识。
405、RSS向CSS发送对目标资源的下载通知,该下载通知中携带该目标资源的唯一标识。
本公开实施例中,RSS在获取该目标资源的唯一标识后,可以采用下载通知的形式,将该目标资源的唯一标识发送给CSS,用于通知CSS下载该目标资源。
需要说明的是:RSS可以将该下载通知经由SAS和DSS发送给CSS。
406、CSS接收该下载通知,并根据该目标资源的唯一标识,下载并缓存该目标资源。
CSS在接收到RSS发送的下载通知后,可以根据该下载通知中携带的该目标资源的唯一标识,从该目标资源的源站(互联网服务器)下载并缓存该目标资源。
此外,CSS下载并缓存该目标资源后,可以将该目标资源的唯一标识传送给DSS,由DSS将该目标资源的唯一标识记录在资源索引中,该DSS的资源索引用于记录该CSS所有缓存的资源的唯一标识。
步骤401至406是RSS首次获取到终端对目标资源的访问请求时,获取该目标资源的唯一标识,并将该目标资源的唯一标识发送给CSS,由CSS下载并缓存该目标资源的过程。
407、终端向互联网服务器发送对目标资源的访问请求,该访问请求携带目标资源的URL。
408、RSS获取终端对目标资源的访问请求,并根据该多个资源类型的通用识别特征,确定该目标资源的类型。
409、RSS根据该目标资源的类型所对应的唯一标识获取规则和该目标资源的URL,获取该目标资源的唯一标识。
步骤407至409与步骤402至404同理,在此不再赘述。
410、RSS根据该目标资源的唯一标识,查询CSS中是否存在该目标资源。
由步骤406可知,DSS的资源索引用于记录CSS所有缓存的资源的唯一标识。相应地,该步骤410可以包括:RSS向调度子系统DSS发送查询消息,该查询消息携带该目标资源的唯一标识,由DSS查询该资源索引中是否记录有该目标资源的唯一标识;如果RSS接收到DSS返回的指定应答消息,则确定CSS中存在该目标资源,该指定应答消息用于指示该DSS的资源索引中记录有该目标资源的唯一标识。
411、如果CSS中存在该目标资源,则向终端发送重定向报文,该重定向报文携带该CSS的地址。
RSS通过步骤410确定CSS中存在该目标资源后,可以采用向终端发送重定向报文的方式,将终端对该目标资源的访问请求重定向到CSS上。
412、终端接收该重定向报文,并根据该CSS的地址对该目标资源进行访问。
该步骤412可以包括:终端根据该重定向报文中携带的CSS的地址,向CSS发送对目标资源的访问请求;CSS向终端返回该目标资源。
步骤407至412是RSS再次获取到终端对目标资源的访问请求时,将该访问请求重定向到CSS,使得终端可以从CSS访问该目标资源的过程。
本公开实施例提供的方法,当获取到终端对目标资源的访问请求时,RSS根据多个资源类型的通用识别特征,确定目标资源的类型,并根据该目标资源的类型所对应的唯一标识获取规则和该目标资源的URL,获取该目标资源的唯一标识,如果根据该目标资源的唯一标识,查询CSS中存在该目标资源,则向终端发送重定向报文,从而将该访问请求重定向到CSS上,使得终端可以从CSS访问该目标资源。RSS通过预先获取多个资源类型的通用识别特征和该多个资源类型的唯一标识获取规则,即可实现对目标资源的识别以及访问,解决了需要为每个网站单独开发插件,开发量大,成本高的问题。且由于该多个类型的通用识别特征根据多个资源样本统计分析得到,可以大大提高RSS对资源的识别率和终端对资源的访问效率。
图5是本公开实施例提供的一种资源访问装置的结构示意图。参照图5,该装置包括确定模块501、获取模块502、查询模块503和发送模块504。
该确定模块501,用于当获取到终端对目标资源的访问请求时,根据多个资源类型的通用识别特征,确定该目标资源的类型,该访问请求携带该目标资源的统一资源定位符URL,每个资源类型的通用识别特征通过分析多个资源样本得到;
获取模块502,用于根据该目标资源的类型所对应的唯一标识获取规则和该目标资源的URL,获取该目标资源的唯一标识;
查询模块503,用于根据该目标资源的唯一标识,查询缓存子系统CSS中是否存在该目标资源;
发送模块504,用于如果该CSS中存在该目标资源,则向该终端发送重定向报文,该重定向报文携带该CSS的地址,由该终端根据该CSS的地址对该目标资源进行访问。
在另一可能实施例中,该确定模块501,用于执行上述步骤403。
在另一可能实施例中,该获取模块502,用于执行上述步骤401中的任一种获取过程。
在另一可能实施例中,该获取模块502,用于执行上述步骤404。
本公开实施例中,当获取到终端对目标资源的访问请求时,RSS根据多个资源类型的通用识别特征,确定目标资源的类型,并根据该目标资源的类型所对应的唯一标识获取规则和该目标资源的URL,获取该目标资源的唯一标识,如果根据该目标资源的唯一标识,查询CSS中存在该目标资源,则向终端发送重定向报文,从而将该访问请求重定向到CSS上,使得终端可以从CSS访问该目标资源。RSS通过预先获取多个资源类型的通用识别特征和该多个资源类型的唯一标识获取规则,即可实现对目标资源的识别以及访问,解决了需要为每个网站单独开发插件,开发量大,成本高的问题。且由于该多个类型的通用识别特征根据多个资源样本统计分析得到,可以大大提高RSS对资源的识别率和终端对资源的访问效率。
需要说明的是:上述实施例提供的资源访问装置在资源访问时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的资源访问装置与资源访问方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由资源访问装置中的处理器执行以完成上述实施例中的资源访问方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (8)

1.一种资源访问方法,其特征在于,应用于重定向子系统RSS,所述方法包括:
当获取到终端对目标资源的访问请求时,根据多个资源类型的通用识别特征,确定所述目标资源的类型,所述访问请求携带所述目标资源的统一资源定位符URL,每个资源类型的通用识别特征通过分析多个资源样本得到;
当所述目标资源的类型为图片类型、网页文本类型、应用下载类型或音频类型时,将所述目标资源的URL的全路径获取为所述目标资源的唯一标识;
当所述目标资源的类型为视频类型时,如果所述目标资源的URL为静态链接或所述目标资源的URL为动态链接且所述目标资源的URL中不包含范围参数,则将所述目标资源的URL的全路径获取为所述目标资源的唯一标识,如果所述目标资源的URL为动态链接且所述目标资源的URL中包含范围参数,则将所述目标资源的URL的绝对路径获取为所述目标资源的唯一标识,所述范围参数用于指示所述访问请求所请求的数据量;
根据所述目标资源的唯一标识,查询缓存子系统CSS中是否存在所述目标资源;
如果所述CSS中存在所述目标资源,则向所述终端发送重定向报文,所述重定向报文携带所述CSS的地址,由所述终端根据所述CSS的地址对所述目标资源进行访问。
2.根据权利要求1所述的方法,其特征在于,所述根据多个资源类型的通用识别特征,确定所述目标资源的类型包括:
从所述目标资源的源站对所述目标资源的访问请求的响应信息中,获取所述目标资源的格式信息;
根据所述目标资源的格式信息和所述目标资源的URL,确定目标通用识别特征,所述目标通用识别特征为与所述目标资源的格式信息和所述目标资源的URL匹配的通用识别特征;
将所述目标通用识别特征对应的资源类型确定为所述目标资源的类型。
3.根据权利要求1所述的方法,其特征在于,图片类型的通用识别特征的获取过程包括:
获取多个图片样本的格式信息;
对于每个图片样本,将所述图片样本的格式信息确定为所述图片样本的识别特征;
根据所述多个图片样本的识别特征,确定所述图片类型的通用识别特征,所述图片类型的通用识别特征为在所述多个图片样本的识别特征中所占比例大于第一指定比例的识别特征。
4.根据权利要求1所述的方法,其特征在于,网页文本类型、下载类型、音频类型或视频类型中任一资源类型的通用识别特征的获取过程包括:
对于每个资源类型,获取所述资源类型的多个目标样本的格式信息和所述多个目标样本的URL;
确定所述资源类型的多个目标样本的识别特征,每个目标样本的识别特征用于描述所述目标样本的格式信息和所述目标样本的URL;
根据所述多个目标样本的识别特征,确定所述资源类型的通用识别特征,所述资源类型的通用识别特征为在所述多个目标样本的识别特征中所占比例大于第二指定比例的识别特征。
5.一种资源访问装置,其特征在于,应用于重定向子系统RSS,所述装置包括:
确定模块,用于当获取到终端对目标资源的访问请求时,根据多个资源类型的通用识别特征,确定所述目标资源的类型,所述访问请求携带所述目标资源的统一资源定位符URL,每个资源类型的通用识别特征通过分析多个资源样本得到;
获取模块,用于当所述目标资源类型为图片类型、网页文本类型、应用下载类型或音频类型时,将所述目标资源的URL的全路径获取为所述目标资源的唯一标识;当所述目标资源类型为视频类型时,如果所述目标资源的URL为静态链接或所述目标资源的URL为动态链接且所述目标资源的URL中不包含范围参数,则将所述目标资源的URL的全路径获取为所述目标资源的唯一标识,如果所述目标资源的URL为动态链接且所述目标资源的URL中包含范围参数,则将所述目标资源的URL的绝对路径获取为所述目标资源的唯一标识,所述范围参数用于指示所述访问请求所请求的数据量;
查询模块,用于根据所述目标资源的唯一标识,查询缓存子系统CSS中是否存在所述目标资源;
发送模块,用于如果所述CSS中存在所述目标资源,则向所述终端发送重定向报文,所述重定向报文携带所述CSS的地址,由所述终端根据所述CSS的地址对所述目标资源进行访问。
6.根据权利要求5所述的装置,其特征在于,所述确定模块用于:从所述目标资源的源站对所述目标资源的访问请求的响应信息中,获取所述目标资源的格式信息;根据所述目标资源的格式信息和所述目标资源的URL,确定目标通用识别特征,所述目标通用识别特征为与所述目标资源的格式信息和所述目标资源的URL匹配的通用识别特征;将所述目标通用识别特征对应的资源类型确定为所述目标资源的类型。
7.根据权利要求5所述的装置,其特征在于,所述获取模块还用于:获取多个图片样本的格式信息;对于每个图片样本,将所述图片样本的格式信息确定为所述图片样本的识别特征;根据所述多个图片样本的识别特征,确定所述图片类型的通用识别特征,所述图片类型的通用识别特征为在所述多个图片样本的识别特征中所占比例大于第一指定比例的识别特征。
8.根据权利要求5所述的装置,其特征在于,所述获取模块还用于:对于每个资源类型,获取所述资源类型的多个目标样本的格式信息和所述多个目标样本的URL;确定所述资源类型的多个目标样本的识别特征,每个目标样本的识别特征用于描述所述目标样本的格式信息和所述目标样本的URL;根据所述多个目标样本的识别特征,确定所述资源类型的通用识别特征,所述资源类型的通用识别特征为在所述多个目标样本的识别特征中所占比例大于第二指定比例的识别特征。
CN201710056394.6A 2017-01-25 2017-01-25 资源访问方法及装置 Active CN108347460B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710056394.6A CN108347460B (zh) 2017-01-25 2017-01-25 资源访问方法及装置
PCT/CN2018/073073 WO2018137528A1 (zh) 2017-01-25 2018-01-17 资源访问方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710056394.6A CN108347460B (zh) 2017-01-25 2017-01-25 资源访问方法及装置

Publications (2)

Publication Number Publication Date
CN108347460A CN108347460A (zh) 2018-07-31
CN108347460B true CN108347460B (zh) 2020-04-14

Family

ID=62961861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710056394.6A Active CN108347460B (zh) 2017-01-25 2017-01-25 资源访问方法及装置

Country Status (2)

Country Link
CN (1) CN108347460B (zh)
WO (1) WO2018137528A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145220B (zh) * 2018-09-10 2022-03-29 北京知道创宇信息技术股份有限公司 数据处理方法、装置及电子设备
CN109246229B (zh) * 2018-09-28 2021-08-27 网宿科技股份有限公司 一种分发资源获取请求的方法和装置
CN109168028B (zh) * 2018-11-06 2022-11-22 北京达佳互联信息技术有限公司 视频生成方法、装置、服务器及存储介质
CN113784354B (zh) * 2021-09-17 2024-04-09 城云科技(中国)有限公司 基于网关的请求转换方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170479A (zh) * 2011-05-21 2011-08-31 成都市华为赛门铁克科技有限公司 Web缓存的更新方法及Web缓存的更新装置
CN102622454A (zh) * 2012-04-23 2012-08-01 杭州电子科技大学 一种基于文本分析的面向视频网站的互联网视频搜索方法
CN103384993A (zh) * 2012-12-14 2013-11-06 华为技术有限公司 用户设备访问网页的重定向方法、网关以及服务器
CN103841045A (zh) * 2012-11-22 2014-06-04 中国移动通信集团公司 一种互联网缓存处理方法、内容探测子系统和Cache系统
CN107015996A (zh) * 2016-01-28 2017-08-04 阿里巴巴集团控股有限公司 一种资源访问方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170479A (zh) * 2011-05-21 2011-08-31 成都市华为赛门铁克科技有限公司 Web缓存的更新方法及Web缓存的更新装置
CN102622454A (zh) * 2012-04-23 2012-08-01 杭州电子科技大学 一种基于文本分析的面向视频网站的互联网视频搜索方法
CN103841045A (zh) * 2012-11-22 2014-06-04 中国移动通信集团公司 一种互联网缓存处理方法、内容探测子系统和Cache系统
CN103384993A (zh) * 2012-12-14 2013-11-06 华为技术有限公司 用户设备访问网页的重定向方法、网关以及服务器
CN107015996A (zh) * 2016-01-28 2017-08-04 阿里巴巴集团控股有限公司 一种资源访问方法、装置及系统

Also Published As

Publication number Publication date
WO2018137528A1 (zh) 2018-08-02
CN108347460A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
US10959124B2 (en) Uplink data transmission method, terminal, network side device and system
JP6511541B2 (ja) メッセージ更新方法、装置、および端末
CN107040609B (zh) 一种网络请求处理方法和装置
CN106254436B (zh) 一种远程调试的方法、相关设备及系统
US10304461B2 (en) Remote electronic service requesting and processing method, server, and terminal
WO2015090248A1 (zh) 服务器的过载保护方法及装置
CN110716850B (zh) 页面测试方法、装置、系统及存储介质
CN108347460B (zh) 资源访问方法及装置
US10095666B2 (en) Method and terminal for adding quick link
US9742900B2 (en) Method, terminal device and storage medium for displaying information
US20160267278A1 (en) Method, apparatus, terminal and media for detecting document object model-based cross-site scripting attack vulnerability
CN110020293B (zh) 多媒体数据展示方法、装置及存储介质
CN109088844B (zh) 信息拦截方法、终端、服务器及系统
CN106293738B (zh) 一种表情图像的更新方法及装置
CN108600516B (zh) 数据采集方法、移动终端及计算机可读存储介质
CN107229618B (zh) 一种显示页面的方法及装置
WO2014032559A1 (zh) 下载文件的方法和装置
CN104239332A (zh) 网页内容处理方法、装置及浏览器客户端
US9582584B2 (en) Method, apparatus and system for filtering data of web page
CN105227598B (zh) 一种基于云存储的资源分享方法、装置和系统
CN110020338B (zh) 浏览器、网页打开方法及设备
CN110138887B (zh) 一种数据处理方法、装置及存储介质
CN107623788B (zh) 应用启动速度的提高方法、装置及计算机可读存储介质
CN107798008B (zh) 内容推送系统、方法及装置
CN106657281B (zh) 文件共享方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant