CN114443990A - 一种url归一化的方法及装置 - Google Patents

一种url归一化的方法及装置 Download PDF

Info

Publication number
CN114443990A
CN114443990A CN202210119270.9A CN202210119270A CN114443990A CN 114443990 A CN114443990 A CN 114443990A CN 202210119270 A CN202210119270 A CN 202210119270A CN 114443990 A CN114443990 A CN 114443990A
Authority
CN
China
Prior art keywords
normalization
processing
url
target url
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210119270.9A
Other languages
English (en)
Inventor
王凤娇
顾轶灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210119270.9A priority Critical patent/CN114443990A/zh
Publication of CN114443990A publication Critical patent/CN114443990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种URL归一化的方法及装置,涉及计算机技术领域,尤其涉及大数据处理技术领域。具体实现方案为:获取目标URL;判断目标URL是否与预设归一化规则中的路径配置信息相匹配,归一化规则包括:路径配置信息和参数处理规则;若是,对目标URL中的路径字段进行预设归一化处理,并根据参数处理规则处理目标URL的参数字段;若否,对目标URL进行默认归一化处理。可见,按照用户配置优先、默认归一化兜底的顺序进行处理,避免URL过度膨胀,合理聚合数据,减少日志存储和计算的损耗。能够解决基于正则表达式或向量空间中距离进行URL归一化的方案中参数处理结果不符合实际需求的问题。无需梳理并归类业务中大量的URL,显著降低了工作量。

Description

一种URL归一化的方法及装置
技术领域
本公开涉及计算机技术领域,尤其涉及大数据处理技术领域。
背景技术
URL是统一资源定位符(Uniform Resource Locator)的简称,是互联网上描述网页和其它资源的地址的一种标识。
发明内容
本公开提供了一种URL归一化的方法及装置。
根据本公开的一方面,提供了一种URL归一化的方法,包括:
获取目标URL;
判断所述目标URL是否与预设归一化规则中的路径配置信息相匹配,所述归一化规则包括:路径配置信息和参数处理规则;
若是,对所述目标URL中的路径字段进行预设归一化处理,并根据所述参数处理规则处理所述目标URL的参数字段;
若否,对所述目标URL进行默认归一化处理。
根据本公开的一方面,提供了一种URL归一化的装置,包括:
获取模块,用于获取目标URL;
判断模块,用于判断所述目标URL是否与预设归一化规则中的路径配置信息相匹配,所述归一化规则包括:路径配置信息和参数处理规则;
第一处理模块,用于若所述判断模块的判断结果为是,对所述目标URL中的路径字段进行预设归一化处理,并根据所述参数处理规则处理所述目标URL的参数字段;
第二处理模块,用于若所述判断模块的判断结果为否,对所述目标URL进行默认归一化处理。
根据本公开的又一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行URL归一化的方法。
根据本公开的又一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行URL归一化的方法。
根据本公开的又一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现URL归一化的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开实施例提供的URL归一化的方法的一种流程示意图;
图2为本公开实施例提供的归一化规则配置平台的一种界面示意图;
图3为本公开实施例提供的URL归一化的方法的一种示意图;
图4是用来实现本公开实施例的URL归一化的方法的装置的框图;
图5是用来实现本公开实施例的URL归一化的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
URL是统一资源定位符(Uniform Resource Locator)的简称,是互联网上描述网页或其它资源的地址的一种标识。
每个网页都具有唯一的名称标识,称为页面URL,API(Application ProgrammingInterface,应用程序接口)调用地址称为API URL,此外还有各类资源URL。
URL一般的语法格式为:
protocol://hostname:port/path/?parameters#Anchor。即依次包括:协议、主机名、端口号、路径、参数等字段。
在进行网页日志分析时,常常需要对URL进行统计计算,比如以页面粒度去统计天访问量,访问分布、稳定性指标等。
在对URL进行统计计算过程中,需要对URL进行归一化处理。原因在于:1)URL中参数发生变化只带来页面的局部刷新或者数据变更,本质上参数变化前后的URL均对应同一个页面。2)如果不对URL进行归一处理,将导致日志量巨大,无法合理的聚合数据,会对日志平台造成存储资源和计算资源的浪费。
因此在进行页面粒度的统计分析中,必须对页面URL进行归一化。同理API URL和各类资源URL也面临同样的问题,也需要归一化处理。
目前对URL进行归一化的方式,主要包括以下两种:
1)基于用户配置的方式。
随着网页技术发展、前端框架涌现,SPA(single-page application)单页应用的广泛出现,导致现在的URL中不同位置上都可能含有参数,例如,路径字段中也可能出现参数。基于用户配置的方式,需要分别处理路径字段和参数字段。
首先,前端开发人员梳理业务中现存的大量的URL,根据网站的软路由逻辑,制作映射表,在分析日志时根据映射表将日志中的URL的路径字段进行映射归一。或者设置正则表达式将多个页面路径进行归一化。例如使用正则表达式www\.aaa\.com/mp[1-4]将www.aaa.com/mp1、www.aaa.com/mp2、www.aaa.com/mp3和www.aaa.com/mp4归为一组。
随后,针对每组已完成路径归一化的URL,再对参数字段进行处理,设置需要排除或保留的参数,进行参数字段的归一化。例如,对于以下URL:
http://www.example.com:80/path/to/myfile.html?key1=values&key2=values#SomewhereInTheDocument,如果设置要排除的参数为key1,则对参数字段进行归一化处理后,得到:
http://www.example.com:80/path/to/myfile.html?key1=&key2=values#SomewhereInTheDocument,即删除了参数key1的具体值。
这种方式的缺点在于:需要前端开发人员梳理业务中现存的大量页面URL并进行归类,工作量较大。并且,随着业务快速发展,URL的变量可能存在路径字段和参数字段,因此需要单独、分阶段对路径字段和参数字段进行归一化处理。
2)基于抽取规则统一处理。
这种方式下,通过通用规则设计正则表达式,根据正则表达式直接对URL进行转换,直接得到归一化结果。
然而,如果表达式设置的过于简单,往往会造成过度处理,无法保留用户期望关注的重要参数信息。如果表达式追求全面复杂,也仍然可能无法覆盖全部业务场景,还会增加性能损耗。
例如,API URL中常含有诸如V1、V2等版本标记,因此对于以下两个URL:
http://www.example.com:80/api/v1/users/me
http://www.example.com:80/api/v2/users/me
期望能够分开统计,保留版本标记。但由于URL特征非常接近,很容易被默认归一,即容易删除版本标记。
还有一些方案提到,将原始URL通过深度学习等方法编码成数值型向量,使得具有同一路径但不同参数的URL在编码之后的向量空间中距离很接近。然后将数值型向量接近的URL进行合并,从而实现归一化。
然而,根据向量空间中距离进行归一化并不一定能满足实际需求。
例如,对于以下三个页面URL:
http://www.example.com:80/search/electronics
http://www.example.com:80/search/computers
http://www.example.com:80/search/luggage
最后一个片段是业务变量,希望对业务变量进行归一化,但基于正则表达式或向量空间中距离进行URL归一化的方案中,很容易保留业务变量,无法满足实际需求。
为了解决上述技术问题,本公开提供了一种URL归一化的方法及装置。
本公开的一个实施例中,提供了一种URL归一化的方法,方法包括:
获取目标URL;
判断所述目标URL是否与预设归一化规则中的路径配置信息相匹配,所述归一化规则包括:路径配置信息和参数处理规则;
若是,对所述目标URL中的路径字段进行预设归一化处理,并根据所述参数处理规则处理所述目标URL的参数字段;
如否,对所述目标URL进行默认归一化处理。
可见,本公开实施例中,预先根据业务需求自定义归一化规则,包括路径配置信息和参数处理规则,如果目标URL命中路径配置信息,则对路径字段和参数字段进行同步处理,无需分为两个阶段进行。按照自定义的参数处理规则对参数字段进行处理,能够解决基于正则表达式或向量空间中距离进行URL归一化的方案中参数处理结果不符合实际需求的问题。并且,采用配置信息匹配和按规则处理参数字段的方式,相比于基于正则表达式的归一化方式,更为简单便捷。
如果目标URL未命中路径配置信息,则对其进行默认归一化处理。从而,按照用户配置优先、默认归一化兜底的顺序进行处理,避免URL过度膨胀,合理聚合数据,减少日志存储和计算的损耗。
此外,用户(URL分析人员等)只需在平台上配置归一化规则即可,无需梳理并归类业务中大量的URL,显著降低了工作量。
下面对本公开实施例提供的URL归一化的方法、装置分别进行详细介绍。
参见图1,图1为本公开实施例提供的URL归一化的方法,如图1所示,方法可以包括以下步骤:
S101:获取目标URL。
目标URL是需要进行归一化处理的URL,例如,从前端收集大量的页面URL,均作为目标URL。
S102:判断目标URL是否与预设归一化规则中的路径配置信息相匹配,归一化规则包括:路径配置信息和参数处理规则。若是,执行S103;若否,执行S104。
本公开实施例中,可以预先根据需求设置归一化规则。
归一化规则包括:路径配置信息和参数处理规则。
获取目标URL之后,可以基于前端开发人员熟悉的路由匹配模式对目标URL的路径字段进行匹配,具体的,可以使用path-to-reqexp作为路由匹配引擎。
其中,path-to-reqexp是本领域技术人员熟知的一种路由匹配引擎,能够对路径字段进行匹配。
如果目标URL中路径字段,除了数字和/或中文之外,与预设的路径配置信息相同,则目标URL与路径配置信息相匹配。
S103:对目标URL中的路径字段进行预设归一化处理,并根据参数处理规则处理目标URL的参数字段。
本公开实施例中,如果目标URL与路径配置信息相匹配,则按照预设的归一化规则进行归一化处理。
具体的,直接进行数字和/或中文归一化处理即可,即对于目标URL中的路径字段,直接删除路径字段的数字和/或中文;或将目标URL中的路径字段的数字和/或中文映射为预设符号。
例如,将目标URL中的路径字段的数字和/或中文均更改为统一的字符“*”。
对于目标URL中的参数字段,根据参数处理规则进行处理。
本公开的一个实施例中,参数处理规则可以是:保留预设的第一类自定义参数,和/或删除预设的第二类自定义参数。
作为一个示例,参见图2,图2为本公开实施例提供的归一化规则配置平台的一种界面示意图,如图2所示,所配置的路径配置信息为:/user/:id/overview,参数处理规则为:保留参数key1和key2。
则对于以下三个URL:
/user/123/overview?key1=value1&key2=value2&key3=value3;
/user/456/overview?key1=value1&key2=value2&key3=value3&key4=value4;
/user/789/overview?key2=value2&key1=value1;
均命中路径配置信息,因此对路径字段进行预设归一化处理,均处理为/user/*/overview;对于参数字段,均保留参数key1和key2,删除其他参数,因此上述三个URL均归一化为:
/user/*/overview?key1=value1&key2=value2。
对于上文提到的场景:API URL中常含有诸如V1、V2等版本标记,期望保留版本标记。则采用本公开实施例提供的URL归一化的方法,配置参数处理规则为:保留参数V1、V2即可。可见,通过自定义的方式,能够满足实际需求。
并且,相比于基于正则表达式的归一化方式,更为简单便捷。例如,路由匹配/user/:id,对应的正则表达式配置是:/^\/user\/((?:[^\/]+?))(?:\/(?=$))?$/i,复杂度较高。
S104:对目标URL进行默认归一化处理。
本公开实施例中,如果目标URL与路径配置信息不匹配,表示目标URL未命中自定义的归一化规则,对其进行默认归一化处理即可。
本公开的一个实施例中,对目标URL进行默认归一化处理,包括:
对目标URL中的路径字段进行预设归一化处理,并删除目标URL的参数字段。
具体的,移除目标URL中的parameters字段,模糊化数字和中文。
作为一个示例,对于以下URL:
http://www.example.com:80/path/123456/myfile.html?key1=values&key2=values#SomewhereInTheDocument
对其进行默认归一化处理,将路径字段中“123456”模糊为特定符合“*”,删除参数字段包括的所有参数,处理后得到:
http://www.example.com:80/path/*/myfile.html#SomewhereInTheDocument。
可见,本公开实施例中,预先根据业务需求自定义归一化规则,包括路径配置信息和参数处理规则,如果目标URL命中路径配置信息,则对路径字段和参数字段进行同步处理,无需分为两个阶段进行。按照自定义的参数处理规则对参数字段进行处理,能够解决基于正则表达式或向量空间中距离进行URL归一化的方案中参数处理结果不符合实际需求的问题。并且,采用配置信息匹配和按规则处理参数字段的方式,相比于基于正则表达式的归一化方式,更为简单便捷。
如果目标URL未命中路径配置信息,则对其进行默认归一化处理。从而,按照用户配置优先、默认归一化兜底的顺序进行处理,避免URL过度膨胀,合理聚合数据,减少日志存储和计算的损耗。
此外,用户(URL分析人员等)只需在平台上配置归一化规则即可,无需梳理并归类业务中大量的URL,显著降低了工作量。
本公开的一个实施例中,除了平台界面配置,还可以在JSSDK(JavaScriptSoftware Development Kit)前端进行函数配置。
具体的,在页面前端的软件开发工具包中配置标准化函数,标准化函数用于对不遵循语法格式的URL进行标准化处理。
页面前端在将初始页面URL上报之前,调用标准化函数,对初始页面URL进行标准化处理,然后再发送后端。
因此本公开实施例中,目标URL可以是初始页面URL在页面前端经过标准化函数处理后得到的。
作为一个示例,对于以下URL:
http://www.example.com:80/main.html#/SomewhereInTheDocument~key1=values&key2=values。
参数字段的起始符号为“~”,并非标准的“?”,在页面前端调用标准化函数进行处理后,得到标准化的URL,随后上报至后端,作为目标URL。
标准化的URL为:
http://www.example.com:80/main.html#/SomewhereInTheDocument?key1=values&key2=values。
可见,本公开实施例中,对于前端页面存在大量不遵循语法格式的URL的场景下,可以在前端运行的软件开发工具包中预先配置一个标准化函数,在前端使用JSSDK运行页面过程中,收集初始页面URL,再调用标准化函数对初始页面URL进行标准化,然后上报给后端,实现了对不遵循语法格式的URL进行快速标准化。
参见图3,图3为本公开实施例提供的URL归一化的方法的一种示意图。
如图3所示,第一种情况下:URL命中前端的JSSDK配置,且命中平台配置的归一化规则,则在前端进行标准化处理,在平台进行归一化处理。其中,平台指的是后端用于日志处理或URL分析的平台。
第二种情况下:URL命中前端的JSSDK配置,未命中平台配置的归一化规则,则仅在前端进行处理。
第三种情况下:未进行前端的JSSDK配置,URL命中平台配置的归一化规则,在后端进行归一化处理。
第四种情况下:未进行前端的JSSDK配置,URL未命中平台配置的归一化规则,则对URL进行默认归一化处理。
可见,按照用户配置优先、默认归一化兜底的顺序进行处理,避免URL过度膨胀,合理聚合数据,减少日志存储和计算的损耗。
参见图4,图4是用来实现本公开实施例的URL归一化的方法的装置的框图,如图4所示,装置可以包括:
获取模块401,用于获取目标URL;
判断模块402,用于判断所述目标URL是否与预设归一化规则中的路径配置信息相匹配,所述归一化规则包括:路径配置信息和参数处理规则;
第一处理模块403,用于若所述判断模块的判断结果为是,对所述目标URL中的路径字段进行预设归一化处理,并根据所述参数处理规则处理所述目标URL的参数字段;
第二处理模块404,用于若所述判断模块的判断结果为否,对所述目标URL进行默认归一化处理。
本公开的一个实施例中,所述参数处理规则为:
保留预设的第一类自定义参数,和/或删除预设的第二类自定义参数。
本公开的一个实施例中,所述第一处理模块403,具体用于:
删除所述目标URL中的路径字段的数字和/或中文;
或将所述目标URL中的路径字段的数字和/或中文转换为预设符号。
本公开的一个实施例中,页面前端的软件开发工具包中配置有标准化函数,所述标准化函数用于对不遵循语法格式的URL进行标准化处理,所述目标URL是初始页面URL在页面前端经过标准化函数处理后得到的。
本公开的一个实施例中,所述第二处理模块404,具体用于:
对所述目标URL中的路径字段进行所述预设归一化处理,并删除所述目标URL的参数字段。
可见,本公开实施例中,预先根据业务需求自定义归一化规则,包括路径配置信息和参数处理规则,如果目标URL命中路径配置信息,则对路径字段和参数字段进行同步处理,无需分为两个阶段进行。按照自定义的参数处理规则对参数字段进行处理,能够解决基于正则表达式或向量空间中距离进行URL归一化的方案中参数处理结果不符合实际需求的问题。并且,采用配置信息匹配和按规则处理参数字段的方式,相比于基于正则表达式的归一化方式,更为简单便捷。
如果目标URL未命中路径配置信息,则对其进行默认归一化处理。从而,按照用户配置优先、默认归一化兜底的顺序进行处理,避免URL过度膨胀,合理聚合数据,减少日志存储和计算的损耗。
此外,用户(URL分析人员等)只需在平台上配置归一化规则即可,无需梳理并归类业务中大量的URL,显著降低了工作量。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
本公开提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行URL归一化的方法。
本公开提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行URL归一化的方法。
本公开提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现URL归一化的方法。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如URL归一化的方法。例如,在一些实施例中,URL归一化的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的URL归一化的方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行URL归一化的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (13)

1.一种URL归一化的方法,包括:
获取目标URL;
判断所述目标URL是否与预设归一化规则中的路径配置信息相匹配,所述归一化规则包括:路径配置信息和参数处理规则;
若是,对所述目标URL中的路径字段进行预设归一化处理,并根据所述参数处理规则处理所述目标URL的参数字段;
若否,对所述目标URL进行默认归一化处理。
2.根据权利要求1所述的方法,其中,所述参数处理规则为:
保留预设的第一类自定义参数,和/或删除预设的第二类自定义参数。
3.根据权利要求1所述的方法,其中,所述对所述目标URL中的路径字段进行预设归一化处理的步骤,包括:
删除所述目标URL中的路径字段的数字和/或中文;
或将所述目标URL中的路径字段的数字和/或中文转换为预设符号。
4.根据权利要求1所述的方法,其中,页面前端的软件开发工具包中配置有标准化函数,所述标准化函数用于对不遵循语法格式的URL进行标准化处理,所述目标URL是初始页面URL在页面前端经过标准化函数处理后得到的。
5.根据权利要求1所述的方法,其中,所述对所述目标URL进行默认归一化处理的步骤,包括:
对所述目标URL中的路径字段进行所述预设归一化处理,并删除所述目标URL的参数字段。
6.一种URL归一化的装置,包括:
获取模块,用于获取目标URL;
判断模块,用于判断所述目标URL是否与预设归一化规则中的路径配置信息相匹配,所述归一化规则包括:路径配置信息和参数处理规则;
第一处理模块,用于若所述判断模块的判断结果为是,对所述目标URL中的路径字段进行预设归一化处理,并根据所述参数处理规则处理所述目标URL的参数字段;
第二处理模块,用于若所述判断模块的判断结果为否,对所述目标URL进行默认归一化处理。
7.根据权利要求6所述的装置,其中,所述参数处理规则为:
保留预设的第一类自定义参数,和/或删除预设的第二类自定义参数。
8.根据权利要求6所述的装置,其中,所述第一处理模块,具体用于:
删除所述目标URL中的路径字段的数字和/或中文;
或将所述目标URL中的路径字段的数字和/或中文转换为预设符号。
9.根据权利要求6所述的装置,其中,页面前端的软件开发工具包中配置有标准化函数,所述标准化函数用于对不遵循语法格式的URL进行标准化处理,所述目标URL是初始页面URL在页面前端经过标准化函数处理后得到的。
10.根据权利要求6所述的装置,其中,所述第二处理模块,具体用于:
对所述目标URL中的路径字段进行所述预设归一化处理,并删除所述目标URL的参数字段。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。
CN202210119270.9A 2022-02-08 2022-02-08 一种url归一化的方法及装置 Pending CN114443990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210119270.9A CN114443990A (zh) 2022-02-08 2022-02-08 一种url归一化的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210119270.9A CN114443990A (zh) 2022-02-08 2022-02-08 一种url归一化的方法及装置

Publications (1)

Publication Number Publication Date
CN114443990A true CN114443990A (zh) 2022-05-06

Family

ID=81371318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210119270.9A Pending CN114443990A (zh) 2022-02-08 2022-02-08 一种url归一化的方法及装置

Country Status (1)

Country Link
CN (1) CN114443990A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900546A (zh) * 2022-07-08 2022-08-12 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900546A (zh) * 2022-07-08 2022-08-12 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及可读存储介质
CN114900546B (zh) * 2022-07-08 2022-09-16 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN106919555B (zh) 用于日志流内包含的数据的字段提取的系统和方法
EP3451192A1 (en) Text classification method and apparatus
CN110689268B (zh) 一种提取指标的方法和装置
CN108228875B (zh) 基于完美哈希的日志解析方法及装置
CN111078776A (zh) 数据表的标准化方法、装置、设备及存储介质
CN114911465B (zh) 算子的生成方法、装置、设备以及存储介质
CN112507102B (zh) 基于预训练范式模型的预测部署系统、方法、装置及介质
JP2023036681A (ja) タスク処理方法、処理装置、電子機器、記憶媒体及びコンピュータプログラム
CN113656124A (zh) 登录页面的生成方法及其装置
CN112084179A (zh) 一种数据处理的方法、装置、设备及存储介质
CN114443990A (zh) 一种url归一化的方法及装置
CN114861059A (zh) 资源推荐方法、装置、电子设备及存储介质
CN114201242A (zh) 用于处理数据的方法、装置、设备以及存储介质
CN112883088B (zh) 一种数据处理方法、装置、设备及存储介质
CN111142863A (zh) 一种页面生成的方法及装置
CN114065784B (zh) 训练方法、译文方法、装置、电子设备以及存储介质
CN114969444A (zh) 数据的处理方法、装置、电子设备和存储介质
CN115222444A (zh) 用于输出模型信息的方法、装置、设备、介质和产品
CN115421922A (zh) 一种分布式系统的限流方法、装置、设备、介质及产品
CN113961797A (zh) 资源推荐方法、装置、电子设备和可读存储介质
CN113691403A (zh) 拓扑节点配置方法、相关装置及计算机程序产品
CN113779018A (zh) 一种数据处理方法和装置
CN113760240A (zh) 一种生成数据模型的方法和装置
CN113760343A (zh) 一种处理业务请求的方法和装置
CN111639260A (zh) 内容推荐方法及其装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination