CN113343232B - 一种反制爬虫系统 - Google Patents

Abstract

本发明涉及互联网检测技术领域，尤其涉及一种反制爬虫系统，其中，包括：存储模块，预先保存爬虫请求方的历史药品访问记录；判断模块，接收请求方发送的访问请求，并在访问请求满足爬虫请求条件时，将请求方作为爬虫请求方；分类模块，查询并提取所有历史药品访问记录，对每个爬虫请求方的历史药品访问记录中的药品分类形成请求历史药品类别详情页；生成模块，根据请求历史药品类别详情页和后台数据库中保存的药品信息，生成虚假药品信息；反馈模块，将虚假药品信息反馈给爬虫请求方。有益效果：便于将虚假药品信息定向反馈给爬虫请求方，减少爬虫请求方获取的真实数据，提高后台数据库的保护能力，降低爬虫风险管理运营成本。

Description

一种反制爬虫系统

技术领域

本发明涉及互联网检测技术领域，尤其涉及一种反制爬虫系统。

背景技术

随着移动互联网的高速发展，各类公司都会通过网络上传海量的信息数据，这些数据以网页数据或手机APP服务等形式存在于互联网上，方便每一个用户访问。但同时，这些公司的数据还需要时刻防止恶意爬虫的入侵。

现有技术中，为防止恶意爬虫行为，主要采用以下方式进行反制。当发现爬虫请求后直接对爬虫方的网络地址、设备、账户等进行封禁，使得爬虫方无法再获取到本公司的数据，然而当爬虫方再被封禁后会通过网络地址代理池、批量注册马甲账户等方式绕过拦截策略，从而造成爬虫拦截策略失效或者增加成本的问题。

或者在交互式请求中发现爬虫方通过验证码、高级编程语言校验等方式识别请求方是否为机器爬虫，若识别出是机器爬虫则拦截请求。但是这种反制方式容易被爬虫方绕过，并且这种反制方式只适用于交互式页面，而静态页面则无法进行防护。因此，针对上述问题，成为本领域技术人员亟待解决的难题。

发明内容

针对现有技术中存在的上述问题，现提供一种反制爬虫系统。

具体技术方案如下：

本发明提供一种反制爬虫系统，其中，所述反制爬虫系统连接一药品线上销售平台的请求输入端，并连接所述药品线上销售平台的后台数据库；

所述后台数据库中预先保存有所述药品线上销售平台中销售的药品的药品信息；

则所述反制爬虫系统包括：

一存储模块，用于预先保存多个爬虫请求方的多个历史药品访问记录；

一判断模块，用于接收请求方发送至所述药品线上销售平台的访问请求，并在所述访问请求满足预设的爬虫请求条件时，将所述请求方作为所述爬虫请求方输出；

一分类模块，分别连接所述判断模块和所述存储模块，用于根据所述爬虫请求方，于所述存储模块中查询并提取对应的所有所述历史药品访问记录，以分别对每个所述爬虫请求方对应的所述历史药品访问记录中的药品进行分类，形成对应于每个所述爬虫请求方的一请求历史药品类别详情页；

一生成模块，连接所述分类模块，用于根据所述请求历史药品类别详情页以及所述后台数据库中保存的所述药品信息，生成不存在于所述后台数据库中的虚假药品信息；

一反馈模块，连接所述生成模块，用于将所述虚假药品信息定向反馈给对应的所述爬虫请求方。

优选的，所述请求条件包括下述条件中的至少两种：

所述药品线上销售平台的客户回访所述请求方未得到应答；

所述请求方所请求的数据字段不为空白且不含有唯一的序列号值；

所述请求方对应的购买账户在预设的历史时段内未进行交易操作。

优选的，所述分类模块包括：

一第一分类单元，用以根据每类药品的所述药品信息对所述药品线上销售平台中销售的药品进行分类，形成一药品类别清单；

一第一提取单元，用于提取每个所述爬虫请求方所有所述历史药品访问记录中药品的历史药品信息；

一第二分类单元，分别连接所述第一分类单元和所述第一提取单元，根据所述药品类别清单以及根据每个所述爬虫请求方所有所述历史药品访问记录中药品的所述历史药品信息，以对每个所述爬虫请求方所有所述历史药品访问记录中的药品进行分类，以形成每个所述爬虫请求方的所述请求历史药品类别详情页。

优选的，所述生成模块包括：

一第一生成单元，根据所述请求历史药品类别详情页对所述爬虫请求方所有所述历史药品访问记录中药品所述历史药品信息按照一药品信息维度进行排列组合，以生成对应每个所述爬虫请求方不存在于所述后台数据库中的所述虚假药品信息。

优选的，所述反馈模块包括：

一第二生成单元，用于将所述虚假药品信息中的每类药品进行编码生成对应每类药品的请求路径编码；

一反馈单元，连接所述第二生成单元，用于根据所述请求路径编码形成对应的请求路径，并将所述请求路径定向反馈至所述爬虫请求方。

优选的，将所述虚假药品信息中的每类药品的药品名称、通用名称以及规格通过一信息摘要算法进行编码，以生成每类药品的所述请求路径编码。

优选的，所述分类模块还包括一第二提取单元，用以提取所述药品类别清单中每类药品的药品成分信息和功能主治信息。

优选的，所述药品信息维度包括名称维度、汉语拼音维度、成分维度、功能主治维度以及批准文号维度。

优选的，将多个药品厂家与多类药品的通用名称进行排列组合形成所述名称维度；

将多类药品的通用名称生成汉字拼音形成所述汉语拼音维度；

将所述药品类别清单中多类药品对应的所述药品成分信息进行排列组合形成所述成分维度；

将所述药品类别清单中多类药品对应的所述功能主治信息进行排列组合形成所述功能主治维度。

优选的，预设的所述历史时段为距离当前时刻最近的预设时间段，所述预设时间段为30天。

上述技术方案具有如下优点或有益效果：通过将每个爬虫请求方对应的历史药品访问记录中的药品进行分类，并形成请求历史药品类别详情页，进而根据请求历史药品类别详情页和后台数据库中的药品信息，生成不存在于后台数据库中的虚假药品信息，并将虚假药品信息定向反馈给对应的爬虫请求方，从而减少爬虫请求方获取的真实数据，提高后台数据库的保护能力，且降低爬虫风险管理运营成本。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明的实施例的原理框图；

图2为本发明的实施例的一种分类模块框图；

图3为本发明的实施例的生成模块框图；

图4为本发明的实施例的反馈模块框图；

图5为本发明的实施例的另一种分类模块框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明提供一种反制爬虫系统，其中，反制爬虫系统1连接一药品线上销售平台的请求输入端2，并连接药品线上销售平台的后台数据库3；

后台数据库中预先保存有药品线上销售平台中销售的药品的药品信息；

如图1所示，反制爬虫系统1包括：

一存储模块10，用于预先保存多个爬虫请求方的多个历史药品访问记录；

一判断模块11，用于接收请求方发送至药品线上销售平台的访问请求，并在访问请求满足预设的爬虫请求条件时，将请求方作为爬虫请求方输出；

一分类模块12，分别连接判断模块11和存储模块10，用于根据爬虫请求方，于存储模块10中查询并提取对应的所有历史药品访问记录，以分别对每个爬虫请求方对应的历史药品访问记录中的药品进行分类，形成对应于每个爬虫请求方的一请求历史药品类别详情页；

一生成模块13，连接分类模块12，用于根据请求历史药品类别详情页以及后台数据库中保存的药品信息，生成不存在于后台数据库中的虚假药品信息；

一反馈模块14，连接生成模块13，用于将虚假药品信息定向反馈给对应的爬虫请求方。

本实施例中的反制爬虫系统1连接在药品线上销售平台的请求输入端2和药品线上销售平台的后台数据库3之间，其作用是减少爬虫请求方爬取药品线上销售平台的后台数据库3中的真实药品信息。

具体地，首先预先保存多个爬虫请求方的多个历史药品访问记录，通过接收请求方的访问请求，当该访问请求满足药品线上销售平台预设的爬虫请求条件时，则确定该请求方为爬虫请求方，例如，药品线上销售平台的客服对请求方做至少一次回访记录，而请求方均不予回复，则药品线上销售平台可确定该请求方为爬虫请求方；或者请求方的所请求的数据字段不为空白且不含有设备唯一的序列号值，则药品线上销售平台可确定该请求方为爬虫请求方；再或者是请求方的账户在历史一个月内仅检索药品线上销售平台的药品信息而未进行成功的交易行为，则药品线上销售平台可确定该请求方为爬虫请求方。

本实施例中，药品线上销售平台已预先建立药品详情库，根据药品的药品名称、通用名称、汉语拼音、药品成分、功能主治信息、批准文号等对药品的类别进行划分。

进一步地，查询并提取确定为爬虫请求方对应的所有历史药品访问记录，同样地，根据历史药品访问记录中的药品的药品名称、通用名称、汉语拼音、药品成分、功能主治信息、批准文号等对该历史药品访问记录中的药品进行分类，从而形成每个爬虫请求方的请求历史药品类别详情页。

进一步地，根据上述得到的关于每个爬虫请求方的请求历史药品类别详情页以及药品线上销售平台的后台数据库3中保存的药品信息，并从药品的药品名称、通用名称、汉语拼音、药品成分、功能主治信息、批准文号等维度上生成不存在于后台数据库3中的虚假药品信息。

进一步地，将生成的虚假药品信息定向反馈给对应的爬虫请求方，从而减少爬虫请求方获取的真实数据，提高后台数据库的保护能力，且降低爬虫风险管理运营成本。

在一种较优的实施例中，请求条件包括下述条件中的至少两种：

药品线上销售平台的客户回访请求方未得到应答；

请求方所请求的数据字段不为空白且不含有唯一的序列号值；

请求方对应的购买账户在预设的历史时段内未进行交易操作。

本实施例中，若请求方的访问请求满足药品线上销售平台预设的至少两种请求条件时，则认为该请求方为爬虫请求方。

具体地，上述请求条件为上述药品线上销售平台的客服对请求方做至少一次回访记录，而请求方均不予回复；请求方的所请求的数据字段不为空白且不含有设备唯一的序列号值；以及请求方的账户在历史一个月内仅检索药品线上销售平台的药品信息而未进行成功的交易行为。本实施例中，通过预设对维度的请求条件，从而便于药品线上销售平台识别出请求方是否存在爬虫行为。

在一种较优的实施例中，如图2所示，分类模块12包括：

一第一分类单元120，用以根据每类药品的药品信息对药品线上销售平台中销售的药品进行分类，形成一药品类别清单；

一第一提取单元121，用于提取每个爬虫请求方所有历史药品访问记录中药品的历史药品信息；

一第二分类单元122，分别连接第一分类单元120和第一提取单元121，根据药品类别清单以及根据每个爬虫请求方所有历史药品访问记录中药品的历史药品信息，以对每个爬虫请求方所有历史药品访问记录中的药品进行分类，以形成每个爬虫请求方的请求历史药品类别详情页。

具体地，本实施例中，对药品线上销售平台中销售的药品根据药品名称、通用名称、汉语拼音、药品成分、功能主治信息、批准文号等维度对药品的类别进行划分，并形成关于药品线上销售平台中销售的药品的药品类别清单。

本实施例中，将确定为爬虫请求方所对应的所有历史药品访问记录中的药品进行查询和提取，并根据历史药品访问记录中的药品的药品名称、通用名称、汉语拼音、药品成分、功能主治信息、批准文号等对该历史药品访问记录中的药品进行分类，从而形成每个爬虫请求方的请求历史药品类别详情页。

在一种较优的实施例中，如图3所示，生成模块13包括：

一第一生成单元130，根据请求历史药品类别详情页对爬虫请求方所有历史药品访问记录中药品历史药品信息按照一药品信息维度进行排列组合，以生成对应每个爬虫请求方不存在于后台数据库中的虚假药品信息。

具体地，根据上述技术方案中所获得的请求历史药品类别详情页从药品信息维度上对爬虫请求方所有的历史药品访问记录中药品历史药品信息进行排列组合，从而生成不存在于后台数据库3中的虚假药品信息。本实施例中的药品信息维度为名称维度、汉语拼音维度、成分维度以及功能主治维度。其中，名称维度是指将不同药品厂家和药品通用名进行排列组合，以形成多个不同组合的药品厂家和药品通用名；汉语拼音维度是指根据药品通用名自动生成汉字拼音，从而形成不同的汉字拼音的药品通用名；成分维度是指根据药品线上销售平台已预先建立药品详情库中同类型的药品成分进行排列组合，从而生成新的不同的药品成分列表；功能主治维度是指根据药品线上销售平台已预先建立药品详情库中同类型的药品功能信息进行排列组合，从而生成新的不同的功能主治信息。

在一种较优的实施例中，如图4所示，反馈模块14包括：

一第二生成单元140，用于将虚假药品信息中的每类药品进行编码生成对应每类药品的请求路径编码；

一反馈单元141，连接第二生成单元140，用于根据请求路径编码形成对应的请求路径，并将请求路径定向反馈至爬虫请求方。

具体地，将上述生成的不存在于后台数据库3中的虚假药品信息以药品名称和药品通用名以及规格通过信息摘要算法进行计算，从而生成16为哈希值作为每类药品的请求路径编码，例如，药品名为A，药品通用名为B，规格为10g，通过信息摘要算法进行计算后得出哈希值为812aad3cb33afe70，进而对应的请求路径编码为/product/812aad3cb33afe701.html。

进一步地，将上述获取的请求路径编码定向投喂给爬虫请求方，从而减少爬虫请求方获取的真实数据，提高后台数据库的保护能力，且降低爬虫风险管理运营成本。

在一种较优的实施例中，将虚假药品信息中的每类药品的药品名称、通用名称以及规格通过一信息摘要算法进行编码，以生成每类药品的请求路径编码。

具体地，将上述得到的虚假药品信息中的每类药品的药品名称、通用名称以及规格通过信息摘要算法进行计算，从而得到相应的请求路径编码。

在一种较优的实施例中，如图5所示，分类模块12还包括一第二提取单元123，用以提取药品类别清单中每类药品的药品成分信息和功能主治信息。

具体地，在上述对药品线上销售平台中销售的药品的类别进行划分时，同时提取这些药品的成分信息和功能主治信息。

在一种较优的实施例中，药品信息维度包括名称维度、汉语拼音维度、成分维度、功能主治维度以及批准文号维度。

在一种较优的实施例中，将多个药品厂家与多类药品的通用名称进行排列组合形成名称维度；

将多类药品的通用名称生成汉字拼音形成汉语拼音维度；

将药品类别清单中多类药品对应的药品成分信息进行排列组合形成成分维度；

将药品类别清单中多类药品对应的功能主治信息进行排列组合形成功能主治维度。

具体地，将多个不同的药品厂家和多类药品通用名进行排列组合，形成关于药品厂家和药品通用名的名称维度；

将多类药品的通用名称自动生成汉字拼音，从而形成关于不同的汉字拼音的药品通用名的维度；

将药品线上销售平台已预先建立药品详情库中同类型的药品成分进行排列组合，从而生成关于不同的药品成分维度；

将药品线上销售平台已预先建立药品详情库中同类型的药品功能信息进行排列组合，从而生成药品对应的不同的功能主治维度。

本实施例中，通过生成上述四个维度，从而生成不存在于后台数据库3中的虚假药品信息，提高后台数据库的保护能力。

在一种较优的实施例中，预设的历史时段为距离当前时刻最近的预设时间段，预设时间段为30天。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种反制爬虫系统，其特征在于，所述反制爬虫系统连接一药品线上销售平台的请求输入端，并连接所述药品线上销售平台的后台数据库；

所述后台数据库中预先保存有所述药品线上销售平台中销售的药品的药品信息；

则所述反制爬虫系统包括：

一存储模块，用于预先保存多个爬虫请求方的多个历史药品访问记录；

一判断模块，用于接收请求方发送至所述药品线上销售平台的访问请求，并在所述访问请求满足预设的爬虫请求条件时，将所述请求方作为所述爬虫请求方输出；

一分类模块，分别连接所述判断模块和所述存储模块，用于根据所述爬虫请求方，于所述存储模块中查询并提取对应的所有所述历史药品访问记录，以分别对每个所述爬虫请求方对应的所述历史药品访问记录中的药品进行分类，形成对应于每个所述爬虫请求方的一请求历史药品类别详情页；

一生成模块，连接所述分类模块，用于根据所述请求历史药品类别详情页以及所述后台数据库中保存的所述药品信息，生成不存在于所述后台数据库中的虚假药品信息；

一反馈模块，连接所述生成模块，用于将所述虚假药品信息定向反馈给对应的所述爬虫请求方；

所述反馈模块包括：

一第二生成单元，用于将所述虚假药品信息中的每类药品进行编码生成对应每类药品的请求路径编码；

一反馈单元，连接所述第二生成单元，用于根据所述请求路径编码形成对应的请求路径，并将所述请求路径定向反馈至所述爬虫请求方；

将所述虚假药品信息中的每类药品的药品名称、通用名称以及规格通过一信息摘要算法进行编码，以生成每类药品的所述请求路径编码。

2.如权利要求1所述的系统，其特征在于，所述请求条件包括下述条件中的至少两种：

所述药品线上销售平台的客户回访所述请求方未得到应答；

所述请求方所请求的数据字段不为空白且不含有唯一的序列号值；

所述请求方对应的购买账户在预设的历史时段内未进行交易操作。

3.如权利要求1所述的系统，其特征在于，所述分类模块包括：

一第一分类单元，用以根据每类药品的所述药品信息对所述药品线上销售平台中销售的药品进行分类，形成一药品类别清单；

一第一提取单元，用于提取每个所述爬虫请求方所有所述历史药品访问记录中药品的历史药品信息；

一第二分类单元，分别连接所述第一分类单元和所述第一提取单元，根据所述药品类别清单以及根据每个所述爬虫请求方所有所述历史药品访问记录中药品的所述历史药品信息，以对每个所述爬虫请求方所有所述历史药品访问记录中的药品进行分类，以形成每个所述爬虫请求方的所述请求历史药品类别详情页。

4.如权利要求3所述的系统，其特征在于，所述生成模块包括：

一第一生成单元，根据所述请求历史药品类别详情页对所述爬虫请求方所有所述历史药品访问记录中药品所述历史药品信息按照一药品信息维度进行排列组合，以生成对应每个所述爬虫请求方不存在于所述后台数据库中的所述虚假药品信息。

5.如权利要求4所述的系统，其特征在于，所述分类模块还包括一第二提取单元，用以提取所述药品类别清单中每类药品的药品成分信息和功能主治信息。

6.如权利要求5所述的系统，其特征在于，所述药品信息维度包括名称维度、汉语拼音维度、成分维度、功能主治维度以及批准文号维度。

7.如权利要求6所述的系统，其特征在于，将多个药品厂家与多类药品的通用名称进行排列组合形成所述名称维度；

将多类药品的通用名称生成汉字拼音形成所述汉语拼音维度；

将所述药品类别清单中多类药品对应的所述药品成分信息进行排列组合形成所述成分维度；

将所述药品类别清单中多类药品对应的所述功能主治信息进行排列组合形成所述功能主治维度。

8.如权利要求2所述的系统，其特征在于，预设的所述历史时段为距离当前时刻最近的预设时间段，所述预设时间段为30天。