CN113434790B - 重复链接的识别方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种重复链接的识别方法、装置及电子设备，涉及人工智能领域，具体涉及深度学习、大数据及智能推荐技术领域。该方案为：获取待审核链接；对待审核链接在每个审核维度下进行切割，以获取待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量；获取每个审核维度的审核标准参数；根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，判断待审核链接是否为重复链接。由此，本公开能够基于连接的字符信息和链接片段的数量，结合动态设定的多个审核维度，判断待审核链接是否为重复链接，能够更加准确、高效地识别低质、泛滥的重复链接，降低了重复链接识别的成本。

Description

重复链接的识别方法、装置及电子设备

技术领域

本公开的实施例总体上涉及数据处理技术领域，并且更具体地涉及人工智能领域，具体涉及深度学习、大数据及智能推荐技术领域。

背景技术

互联网每天生产着海量的数据，这些数据通过URL(Uniform Resource Locator，统一资源定位符)链接展现给用户，链接的生产成本相对页面内容生成成本较低。因此，往往存在大量泛滥的链接指向相同内容、页面内容被反复拼接复用，以及对应大量链接、大量虚假、低价值垃圾链接的现象。这种低质泛滥链接大量挤占浪费了互联网资源，也严重影响了用户体验。

然而，相关技术中，通常会采用逐个清理链接内参数，然后确认页面内容是否一致的方式进行重复链接的识别。这样一来，往往会导致重复链接的识别过程中存在耗时久、效率低、可靠性差等技术问题。因此，如何提高重复链接的识别过程中的效率及可靠性，已成为了重要的研究方向之一。

发明内容

本公开提供了一种重复链接的识别方法、装置及电子设备。

根据第一方面，提供了一种重复链接的识别方法，包括：

获取待审核链接；

对所述待审核链接在每个审核维度下进行切割，以获取所述待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量；

获取每个所述审核维度的审核标准参数；

根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和/或所述链接片段的数量，判断所述待审核链接是否为重复链接。

根据第二方面，提供了一种重复链接的识别装置，包括：

第一获取模块，用于获取待审核链接；

第二获取模块，用于对所述待审核链接在每个审核维度下进行切割，以获取所述待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量；

第三获取模块，用于获取每个所述审核维度的审核标准参数；

判断模块，用于根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和/或所述链接片段的数量，判断所述待审核链接是否为重复链接。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的重复链接的识别方法。

根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面所述的重复链接的识别方法。

根据第五方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如本公开第一方面所述的重复链接的识别方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是根据本公开第五实施例的示意图；

图6是一种统计曲线的示意图；

图7是根据本公开第六实施例的示意图；

图8是根据本公开第七实施例的示意图；

图9是用来实现本公开实施例的重复链接的识别方法的重复链接的识别装置的框图；

图10是用来实现本公开实施例的重复链接的识别方法的重复链接的识别装置的框图；

图11是用来实现本公开实施例的重复链接的识别或者重复链接的识别的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

以下对本公开的方案涉及的技术领域进行简要说明：

数据处理(Data Processing)，是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。

AI(Artificial Intelligence，人工智能)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。

深度学习(Deep Learning)，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

大数据(Big Data)，指的是无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

智能推荐，指的是基于大数据和人工智能技术，结合在电商、内容、新闻资讯、视频直播和社交等多个行业领域的积累，为全球企业及开发者提供个性化推荐服务的技术。

下面参考附图描述本公开实施例的一种重复链接的识别方法、装置及电子设备。

图1是根据本公开第一实施例的示意图。其中，需要说明的是，本实施例的重复链接的识别方法的执行主体为重复链接的识别装置，重复链接的识别装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。如图1所示，本实施例提出的重复链接的识别方法，包括如下步骤：

S101、获取待审核链接。

其中，待审核链接，可以为任一URL(Uniform Resource Locator，统一资源定位符)链接。

URL是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。用户可以通过URL访问互联网上的各种资源。

需要说明的是，本公开中对于获取待审核链接的具体方式不作限定，可以根据实际情况进行选取。例如，可以通过网络爬虫(Web Crawler)等抓取程序获取待审核链接。

S102、对待审核链接在每个审核维度下进行切割，以获取待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量。

本申请实施例中，在获取待审核链接后，可以对待审核链接在每个审核维度下进行切割，以获取待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量。

需要说明的是，本公开中对于审核维度的具体设定方式不作限定，可以根据实际情况进行选取。

作为一种可能的实现方式，由于低质泛滥的重复链接往往集中出现在同主域、同站点、同目录下，因此，可以设定审核维度分别为主域、站点以及目录。

需要说明的是，本公开中对于审核维度的具体选取数量亦不作限定，可以根据实际情况进行选取。

例如，可以选取主域、站点以及目录，共3个审核维度；又例如，可以选取主域、站点、目录以及pattern(正则)属性，共4个审核维度。

需要说明的是，本公开中对于切割后得到的链接片段的数量的具体获取方式不作限定，可以根据实际情况进行选取。

例如，可以采用；、/、？、:、@、&、＝、+、$等URL保留字符对待审核链接进行分段切割；又例如，可以采用-、_、.、！、～、*、'、(、)等URL非保留字符对待审核链接进行分段切割。

需要说明的是，本公开中，针对每个审核维度，均可获取到一个字符长度和一个链接片段的数量。例如，若共有3个审核维度，此种情况下，共可以获取到3个字符长度和3个链接片段的数量。

S103、获取每个审核维度的审核标准参数。

其中，审核标准参数，可以为期望、标准差。

需要说明的是，每个审核维度的审核标准参数可能是不同的，因此每个审核维度的期望和标准差也可能是不同的。

S104、根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，判断待审核链接是否为重复链接。

可选地，可以根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度，判断待审核链接是否为重复链接。

可选地，可以根据每个审核维度下的审核标准参数，以及每个审核维度下的链接片段的数量，判断待审核链接是否为重复链接。

可选地，可以根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度和链接片段的数量，判断待审核链接是否为重复链接。

根据本公开实施例的重复链接的识别方法，可以通过获取待审核链接，并对待审核链接在每个审核维度下进行切割，以获取待审核链接在每个审核维度下的字符长度和链接片段的数量，然后获取每个审核维度的审核标准参数，进而根据审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，判断待审核链接是否为重复链接。由此，本公开能够基于连接的字符信息和链接片段的数量，结合动态设定的多个审核维度，判断待审核链接是否为重复链接，能够更加准确、高效地识别低质、泛滥的重复链接，降低了重复链接识别的成本。

需要说明的是，本公开中，在试图根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，判断待审核链接是否为重复链接时，可以对待审核链接进行打分。

作为一种可能的实现方式，如图2所示，在上述实施例的基础上，具体包括以下步骤：

S201、获取待审核链接。

S202、对待审核链接在每个审核维度下进行切割，以获取待审核链接在每个审核维度下的字符长度和链接片段的数量。

S203、获取每个审核维度的审核标准参数。

该步骤S201～203与上一实施例中的步骤S101～103相同，此处不再赘述。

上述步骤S104具体包括以下步骤S204～205。

S204、根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，获取待审核链接的最终评分。

作为一种可能的实现方式，如图3所示，在上述实施例的基础上，上述步骤S204中根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，获取待审核链接的最终评分的具体过程，包括以下步骤：

S301、根据期望、标准差、字符长度和/或链接片段的数量，获取待审核链接在每个审核维度上的评分。

本申请实施例中，可以通过以下公式获取待审核链接在每个审核维度上的评分：

Score₁＝(v-μ)/σ

其中，Score₁可以为待审核链接在任一审核维度上的评分，v可以为对应审核维度的字符长度和/或链接片段的数量，μ可以为对应审核维度的期望，σ可以为对应审核维度的标准差。

S302、根据待审核链接在每个审核维度上的评分，获取待审核链接的最终评分。

本申请实施例中，可以将每个审核维度的评分进行加权计算，以获取待审核链接的最终评分。可选地，可以通过以下公式获取待审核链接的最终评分：

Score＝sigmoid(∑(w*Score₁))

其中，Score为待审核链接综合了审核维度上的评分的最终评分，w为各审核维度的权重参数，且所有审核维度的权重参数的和为1。

需要说明的是，本公开中对于各审核维度的权重参数的具体设定方式不作限定，可以根据实际情况进行设定。

举例而言，若共有主域、站点和目录，3个审核维度，此种情况下，前述3个审核维度对应的权重参数可以分别为0.3、0.4和0.3。

S205、响应于最终评分未处于目标评分范围内，则识别待审核链接为重复链接。

下面对目标评分范围的获取过程进行解释说明。

作为一种可能的实现方式，如图4所示，在上述实施例的基础上，具体包括以下步骤：

S401、获取样本链接和样本链接对应的样本字符长度和样本链接片段的数量。

其中，样本链接可以预先收集，样本链接的数量可预先设定，例如获取1000个样本链接。

需要说明的是，样本链接对应的样本字符长度和样本链接片段的数量与前述字符长度和链接片段的数量的获取方式一致，此处不再赘述。

S402、根据样本字符长度和样本链接片段的数量，获取目标评分范围。

作为一种可能的实现方式，如图5所示，在上述实施例的基础上，上述步骤S402中根据样本字符长度和样本链接片段的数量，获取目标评分范围的具体过程，包括以下步骤：

S501、根据样本字符长度和样本链接片段的数量，生成统计曲线，其中，统计曲线包括由样本字符长度和/或样本链接片段的数量在每个审核维度上的统计信息构成的子曲线。

举例而言，若共有主域、站点和目录，3个审核维度，此种情况下，根据样本字符长度和样本链接片段的数量，可以生成如图6所示的统计曲线。其中，统计曲线中共包括6条子曲线。

S502、获取每个子曲线的峰值，并根据峰值获取目标评分范围。

需要说明的是，本公开中对于根据峰值获取目标评分范围的具体方式不作限定，可以根据实际情况进行选取。例如，峰值为8，此种情况下，可以选取8±1作为目标评分范围，即(7,9)。

根据本公开实施例的重复链接的识别方法，可以通过根据每个审核维度下的审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，获取待审核链接的最终评分，进而响应于最终评分未处于目标评分范围内，则识别待审核链接为重复链接。由此，本公开能够从多个审核维度对待审核链接进行评分，进而结合所有评分获取到更加准确的最终评分，进一步提高了重复链接的识别过程中的有效性和可靠性。

进一步地，在识别待审核链接为重复链接后，可以对重复链接进行处理。

作为一种可能的实现方式，如图7所示，在上述实施例的基础上，具体包括以下步骤：

S701、获取重复链接以及重复链接对应的目标页面内容。

需要说明的是，不同的重复链接对应的目标页面内容可能是相同的，也可能是不同的。特别地，针对低质、泛滥的重复链接，往往存在多个重复链接对应一致的目标页面内容的情况。

S702、根据目标页面内容的相似度，对待审核链接进行删除。

作为一种可能的实现方式，如图8所示，在上述实施例的基础上，上述步骤S702中根据目标页面内容的相似度，对待审核链接进行删除的具体过程，包括以下步骤：

S801、根据目标页面内容的相似度，获取目标页面内容对应的重复链接的第一数量。

本申请实施例中，可以将目标页面内容的相似度以及预设相似度阈值进行比较，响应于存在相似度大于或者等于预设相似度阈值的重复链接，则将前述重复链接的数量作为第一数量。

举例而言，若存在100个目标页面内容的相似度均大于预设相似度阈值，则获取此100个目标页面内容分别对应的100个重复链接，此种情况下，第一数量为100。

其中，预设相似度阈值可以根据实际情况进行设定，例如，95％。

S802、响应于第一数量大于预设数量阈值，则删除第二数量的重复链接，其中，第二数量小于或者等于第一数量。

可选地，响应于第一数量大于预设数量阈值，则将第一数量的重复链接全部删除；可选地，响应于第一数量大于预设数量阈值，则按照第一数量的一定比例对重复链接进行删除。

其中，预设数量阈值可以根据实际情况进行设定，例如，50。

根据本公开实施例的重复链接的识别方法，可以通过获取重复链接以及重复链接对应的目标页面内容，进而根据目标页面内容的相似度，对待审核链接进行删除。由此，本公开能够在识别重复链接后，对重复链接进行进一步清理，已减少低质、泛滥的链接，维护了健康的网络环境，提升了用户体验。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用，均符合相关法律法规的规定，且不违背公序良俗。本公开的意图是，应以使无意或未经授权的使用访问风险最小化的方式来管理和处理个人信息数据。通过限制数据收集并在不再需要时删除数据，从而将风险降到最低。需要说明的是，本公开中与人员有关的所有信息，均在人员知情且同意的情况下收集。

与上述几种实施例提供的重复链接的识别方法相对应，本公开的一个实施例还提供一种重复链接的识别装置，由于本公开实施例提供的重复链接的识别装置与上述几种实施例提供的重复链接的识别方法相对应，因此在重复链接的识别方法的实施方式也适用于本实施例提供的重复链接的识别装置，在本实施例中不再详细描述。

图9是根据本公开一个实施例的重复链接的识别装置的结构示意图。

如图9所示，该重复链接的识别装置900，包括：第一获取模块910、第二获取模块920、第三获取模块930和判断模块940。其中：

第一获取模块910，用于获取待审核链接；

第二获取模块920，用于对所述待审核链接在每个审核维度下进行切割，以获取所述待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量；

第三获取模块930，用于获取每个所述审核维度的审核标准参数；

判断模块940，用于根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和/或所述链接片段的数量，判断所述待审核链接是否为重复链接。

图10是根据本公开另一个实施例的重复链接的识别装置的结构示意图。

如图10所示，该重复链接的识别装置1000，包括：第一获取模块1010、第二获取模块1020、第三获取模块1030和判断模块1040。

其中，判断模块1040，还用于：

根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和/或所述链接片段的数量，获取所述待审核链接的最终评分；

响应于所述最终评分未处于目标评分范围内，则识别所述待审核链接为所述重复链接。

其中，判断模块1040，还用于：

根据所述期望、所述标准差、所述字符长度和/或所述链接片段的数量，获取所述待审核链接在每个所述审核维度上的评分；

根据所述待审核链接在每个所述审核维度上的所述评分，获取所述待审核链接的所述最终评分。

其中，判断模块1040，还用于：

获取所述字符长度和/或所述链接片段的数量与所述期望之间的差值，并将所述差值除以所述标准差，以获取所述待审核链接在每个所述审核维度上的所述评分。

其中，判断模块1040，还用于：

将每个所述审核维度的所述评分进行加权计算，以获取所述待审核链接的所述最终评分。

其中，重复链接的识别装置1000，还包括，第四获取模块1050，用于：

获取样本链接和所述样本链接对应的样本字符长度和样本链接片段的数量；

根据所述样本字符长度和所述样本链接片段的数量，获取所述目标评分范围。

其中，第四获取模块1050，还用于：

根据所述样本字符长度和所述样本链接片段的数量，生成统计曲线，其中，所述统计曲线包括由所述样本字符长度和/或所述样本链接片段的数量在每个所述审核维度上的统计信息构成的子曲线；

获取每个所述子曲线的峰值，并根据所述峰值获取所述目标评分范围。

其中，判断模块1040，还用于：

获取重复链接以及所述重复链接对应的目标页面内容；

根据所述目标页面内容的相似度，对所述待审核链接进行删除。

其中，判断模块1040，还用于：

根据所述目标页面内容的所述相似度，获取所述目标页面内容对应的所述重复链接的第一数量；

响应于所述第一数量大于预设数量阈值，则删除第二数量的所述重复链接，其中，所述第二数量小于或者等于所述第一数量。

需要说明的是，第一获取模块1010、第二获取模块1020、第三获取模块1030与第一获取模块910、第二获取模块920、第三获取模块930具有相同功能和结构。

根据本公开实施例的重复链接的识别装置，可以通过获取待审核链接，并对待审核链接在每个审核维度下进行切割，以获取待审核链接在每个审核维度下的字符长度和链接片段的数量，然后获取每个审核维度的审核标准参数，进而根据审核标准参数，以及每个审核维度下的字符长度和/或链接片段的数量，判断待审核链接是否为重复链接。由此，本公开能够基于连接的字符信息和链接片段的数量，结合动态设定的多个审核维度，判断待审核链接是否为重复链接，能够更加准确、高效地识别低质、泛滥的重复链接，降低了重复链接识别的成本。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如本公开第一方面实施例所述的重复链接的识别方法。例如，在一些实施例中，重复链接的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的重复链接的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开第一方面实施例所述的重复链接的识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程人物图像的修复装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网以及区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务端可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本公开还提供一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如本公开第一方面实施例所述的重复链接的识别方法。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种重复链接的识别方法，包括：

获取待审核链接；

对所述待审核链接在每个审核维度下进行切割，以获取所述待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量；

获取每个所述审核维度的审核标准参数；

根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和所述链接片段的数量，判断所述待审核链接是否为重复链接，其中，所述根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和所述链接片段的数量，判断所述待审核链接是否为重复链接，包括：根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和所述链接片段的数量，获取所述待审核链接的最终评分；响应于所述最终评分未处于目标评分范围内，则识别所述待审核链接为所述重复链接，其中，所述审核标准参数包括期望和标准差，所述根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的字符长度和所述链接片段的数量，获取所述待审核链接的最终评分，包括：根据所述期望、所述标准差、所述字符长度和所述链接片段的数量，获取所述待审核链接在每个所述审核维度上的评分；根据所述待审核链接在每个所述审核维度上的所述评分，获取所述待审核链接的所述最终评分。

2.根据权利要求1所述的重复链接的识别方法，其中，所述根据所述期望、所述标准差、所述字符长度和所述链接片段的数量，获取所述待审核链接在每个所述审核维度上的评分，包括：

获取所述字符长度和所述链接片段的数量与所述期望之间的差值，并将所述差值除以所述标准差，以获取所述待审核链接在每个所述审核维度上的所述评分。

3.根据权利要求1所述的重复链接的识别方法，其中，所述根据所述待审核链接在每个所述审核维度上的所述评分，获取所述待审核链接的所述最终评分，包括：

将每个所述审核维度的所述评分进行加权计算，以获取所述待审核链接的所述最终评分。

4.根据权利要求1所述的重复链接的识别方法，其中，获取所述目标评分范围，包括：

获取样本链接和所述样本链接对应的样本字符长度和样本链接片段的数量；

根据所述样本字符长度和所述样本链接片段的数量，获取所述目标评分范围。

5.根据权利要求4所述的重复链接的识别方法，其中，所述根据所述样本字符长度和所述样本链接片段的数量，获取所述目标评分范围，包括：

根据所述样本字符长度和所述样本链接片段的数量，生成统计曲线，其中，所述统计曲线包括由所述样本字符长度和/或所述样本链接片段的数量在每个所述审核维度上的统计信息构成的子曲线；

获取每个所述子曲线的峰值，并根据所述峰值获取所述目标评分范围。

6.根据权利要求1所述的重复链接的识别方法，其中，所述响应于所述最终评分未处于目标评分范围内，则识别所述待审核链接为重复链接之后，还包括：

获取所述重复链接以及所述重复链接对应的目标页面内容；

根据所述目标页面内容的相似度，对所述待审核链接进行删除。

7.根据权利要求6所述的重复链接的识别方法，其中，所述根据所述目标页面内容的相似度，对所述待审核链接进行删除，包括：

根据所述目标页面内容的所述相似度，获取所述目标页面内容对应的所述重复链接的第一数量；

响应于所述第一数量大于预设数量阈值，则删除第二数量的所述重复链接，其中，所述第二数量小于或者等于所述第一数量。

8.一种重复链接的识别装置，包括：

第一获取模块，用于获取待审核链接；

第二获取模块，用于对所述待审核链接在每个审核维度下进行切割，以获取所述待审核链接在每个审核维度下的字符长度和切割后得到的链接片段的数量；

第三获取模块，用于获取每个所述审核维度的审核标准参数；

判断模块，用于根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和所述链接片段的数量，判断所述待审核链接是否为重复链接，其中，所述根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和所述链接片段的数量，判断所述待审核链接是否为重复链接，包括：根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的所述字符长度和所述链接片段的数量，获取所述待审核链接的最终评分；响应于所述最终评分未处于目标评分范围内，则识别所述待审核链接为所述重复链接，其中，所述审核标准参数包括期望和标准差，所述根据每个所述审核维度下的所述审核标准参数，以及每个所述审核维度下的字符长度和所述链接片段的数量，获取所述待审核链接的最终评分，包括：根据所述期望、所述标准差、所述字符长度和所述链接片段的数量，获取所述待审核链接在每个所述审核维度上的评分；根据所述待审核链接在每个所述审核维度上的所述评分，获取所述待审核链接的所述最终评分。

9.根据权利要求8所述的重复链接的识别装置，其中，所述判断模块，还用于：

获取所述字符长度和所述链接片段的数量与所述期望之间的差值，并将所述差值除以所述标准差，以获取所述待审核链接在每个所述审核维度上的所述评分。

10.根据权利要求8所述的重复链接的识别装置，其中，所述判断模块，还用于：

将每个所述审核维度的所述评分进行加权计算，以获取所述待审核链接的所述最终评分。

11.根据权利要求8所述的重复链接的识别装置，其中，还包括，第四获取模块，用于：

获取样本链接和所述样本链接对应的样本字符长度和样本链接片段的数量；

根据所述样本字符长度和所述样本链接片段的数量，获取所述目标评分范围。

12.根据权利要求11所述的重复链接的识别装置，其中，所述第四获取模块，还用于：

根据所述样本字符长度和所述样本链接片段的数量，生成统计曲线，其中，所述统计曲线包括由所述样本字符长度和/或所述样本链接片段的数量在每个所述审核维度上的统计信息构成的子曲线；

获取每个所述子曲线的峰值，并根据所述峰值获取所述目标评分范围。

13.根据权利要求8所述的重复链接的识别装置，其中，所述判断模块，还用于：

获取所述重复链接以及所述重复链接对应的目标页面内容；

根据所述目标页面内容的相似度，对所述待审核链接进行删除。

14.根据权利要求13所述的重复链接的识别装置，其中，所述判断模块，还用于：

根据所述目标页面内容的所述相似度，获取所述目标页面内容对应的所述重复链接的第一数量；

响应于所述第一数量大于预设数量阈值，则删除第二数量的所述重复链接，其中，所述第二数量小于或者等于所述第一数量。

15.一种电子设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一项所述的重复链接的识别方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的重复链接的识别方法的步骤。