CN107844601A - 基于网络爬虫的招投标信息筛选系统与方法 - Google Patents

Abstract

本发明公开了一种基于网络爬虫的招投标信息筛选系统与方法，包括：用户需求参数设置模块，根据用户的需求，设置相应的参数；网络爬虫模块，利用网络爬虫对各大主流招投标信息网站的招投标项目信息进行有针对性的数据爬取；可视化模块，将爬取的招投标信息，通过简洁明了的方式展示给企业用户；招投标信息数据库，将所获取的招投标信息录入数据库，以便分析处理。通过本发明，能够快速、准确获取符合用户需求的招投标信息，可有效地节省企业用户的人力和时间成本。

Description

基于网络爬虫的招投标信息筛选系统与方法

技术领域

本发明涉及网络爬虫技术领域，具体涉及一种基于网络爬虫的招投标信息筛选系统与方法。

背景技术

招投标，是一种国际上普遍运用的、有组织的市场交易行为，随着中国市场化进程的加速，越来越多的企业开始采用网络招标的方式进行货物采购和工程项目招标，进而扩大信息来源渠道、提高效率。而且比较偏向于信息来源正规的官网，例如中国招标网、中国招标投标协会、中国采购与招标网、中国招标周刊网、政府采购信息网、中央国家机关政府采购中心、全国人大机关采购中心等等，但是这些网站上发布的招投标信息不一定刚好满足每一家企业的需要。

面对快速发展、竞争激烈的市场经济，无论是大企业还是中小公司均不能做到独善其身，所以，无论是对销售员工而言还是公司领导而言，快速、准确又不丢标的获取最新鲜的招投标信息，就成了一个非常迫切的问题。某些企业为了解决这一问题，花费大量的人力和时间天天盯着各大招标官网并以最快的速度参与竞标。

发明内容

本发明克服了现有技术的不足，提供一种基于网络爬虫的招投标信息筛选系统与方法，用于快速、准确获取符合用户需求的招投标信息。

考虑到现有技术的上述问题，根据本发明公开的一个方面，本发明采用以下技术方案：

一种基于网络爬虫的招投标信息筛选系统，包括：

需求参数设置模块，用于根据用户的需求，设置待爬取的招投标信息的相应参数；

网络爬虫模块，用于根据用户对需求参数设置模块设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内相关的信息；

可视化模块，用于展示获取到的招投标信息数据。

为了更好地实现本发明，进一步的技术方案是：

根据本发明的一个实施方案，所述需求参数设置模块设定的参数包括招投标信息的区域、时间范围和类型。

根据本发明的另一个实施方案，还包括：

招投标信息数据库，用于接收所述网络爬虫模块输入的其获取到的招投标信息数据。

根据本发明的另一个实施方案，所述招投标信息数据库记载的数据包含每次用户执行招投标信息筛选操作后的数据。

根据本发明的另一个实施方案，所述可视化模块展示的方式包括：

通过Web端进行直观展示，或通过Excel表格展示。

根据本发明的另一个实施方案，所述可视化模块展示的内容包括：

用户所设置的关键词、类型、区域和时间范围。

根据本发明的另一个实施方案，所述可视化模块展示的内容包括：

满足用户要求的招投标信息标题。

根据本发明的另一个实施方案，所述可视化模块展示的内容包括：

满足用户要求的招投标信息对应的网址超链接。

根据本发明的另一个实施方案，所述网络爬虫模块以宽度优先的模式爬取网页。

本发明还可以是：

一种基于网络爬虫的招投标信息筛选方法，包括：

用户设置待爬取的招投标信息的相应参数；

根据用户设置待爬取的招投标信息的相应参数，对网页进行爬取；

针对每一个获取到的网页，根据用户设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内的相关信息；

将获取的数据输出到可视化模块进行展示。

与现有技术相比，本发明的有益效果之一是：

本发明的一种基于网络爬虫的招投标信息筛选系统与方法，能够快速、准确获取符合用户需求的招投标信息，可有效地节省企业用户的人力和时间成本。

附图说明

为了更清楚的说明本申请文件实施例或现有技术中的技术方案，下面将对实施例或现有技术的描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅是对本申请文件中一些实施例的参考，对于本领域技术人员来讲，在不付出创造性劳动的情况下，还可以根据这些附图得到其它的附图。

图1示出了根据本发明一个实施例的系统框图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

如图1所示，图1示出了根据本发明一个实施例的系统框图，一种基于网络爬虫的招投标信息筛选系统，其利用网络爬虫技术，根据用户企业的自身需求，用户可以通过设置相应的关键词、时间和区域等参数信息，有针对性的从各大主流招标信息网站中爬取用户所需要的招投标信息(主要包括项目名称、发布时间、项目信息的具体网址等)，从而有效地节省企业用户的人力和时间成本。具体方案包括：

需求参数设置模块111，用于根据用户需求，设置待爬取的招投标信息的相应参数，该设置的参数可以是关键词、时间和区域等参数信息，。

网络爬虫模块112，用于根据用户对需求参数设置模块111设定的参数，该设定的参数包括招投标信息的区域、时间范围和类型等，对其页面源代码进行解析，获取符合用户要求的网页内相关的信息。优选地，需求参数设置模块111将设置的待爬取的招投标信息网址导入，依次从各个网址开始，以宽度优先的模式爬取网页。

可视化模块113，用于展示获取到的招投标信息数据，其展示的方式包括：通过Web端进行直观展示，或通过简洁的Excel表格展示等；展示的内容包括：1)用户所设置的关键词、类型、区域和时间范围等；2)满足用户要求的招投标信息标题；3)满足用户要求的招投标信息对应的网址超链接。

招投标信息数据库100，用于接收所述网络爬虫模块112输入的其获取到的招投标信息数据，以便分析处理；该招投标信息数据库100记载的数据包含每次用户执行招投标信息筛选操作后的数据，以便于用户后续查询处理分析工作等。

对于招投标信息数据库100的录入，每次爬取的招投标信息去除已有的重复数据并录入该招投标信息数据库100。

另一实施例，一种基于网络爬虫的招投标信息筛选方法，包括：

步骤S01：用户设置待爬取的招投标信息的相应参数。

步骤S02：根据用户设置待爬取的招投标信息的相应参数，对网页进行爬取；优选地，以宽度优先的模式爬取网页。

步骤S03：针对每一个获取到的网页，根据用户设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内的相关信息，如：相关招投标信息的标题与对于的网址链接。

步骤S04：将获取的数据输出到可视化模块113进行展示。

综上，本发明的基于网络爬虫的招投标项目信息获取方法，根据用户企业的自身需求，用户可以通过设置相应的关键词、时间和区域等参数信息，有针对性的从各大主流招标信息网站中爬取用户所需要的招投标信息(主要包括项目名称、发布时间、项目信息的具体网址等)，从而有效地节省企业用户的人力和时间成本。

在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”、等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种基于网络爬虫的招投标信息筛选系统，其特征在于包括：

需求参数设置模块，用于根据用户的需求，设置待爬取的招投标信息的相应参数；

网络爬虫模块，用于根据用户对需求参数设置模块设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内相关的信息；

可视化模块，用于展示获取到的招投标信息数据。

2.根据权利要求1所述的基于网络爬虫的招投标信息筛选系统，其特征在于所述需求参数设置模块设定的参数包括招投标信息的区域、时间范围和类型。

3.根据权利要求1所述的基于网络爬虫的招投标信息筛选系统，其特征在于还包括：

招投标信息数据库，用于接收所述网络爬虫模块输入的其获取到的招投标信息数据。

4.根据权利要求3所述的基于网络爬虫的招投标信息筛选系统，其特征在于所述招投标信息数据库记载的数据包含每次用户执行招投标信息筛选操作后的数据。

5.根据权利要求1所述的基于网络爬虫的招投标信息筛选系统，其特征在于所述可视化模块展示的方式包括：

通过Web端进行直观展示，或通过Excel表格展示。

6.根据权利要求1所述的基于网络爬虫的招投标信息筛选系统，其特征在于所述可视化模块展示的内容包括：

用户所设置的关键词、类型、区域和时间范围。

7.根据权利要求1所述的基于网络爬虫的招投标信息筛选系统，其特征在于所述可视化模块展示的内容包括：

满足用户要求的招投标信息标题。

8.根据权利要求1所述的基于网络爬虫的招投标信息筛选系统，其特征在于所述可视化模块展示的内容包括：

满足用户要求的招投标信息对应的网址超链接。

9.根据权利要求1所述的基于网络爬虫的招投标信息筛选系统，其特征在于所述网络爬虫模块以宽度优先的模式爬取网页。

10.一种实现如权利要求1所述系统的基于网络爬虫的招投标信息筛选方法，其特征在于包括：

用户设置待爬取的招投标信息的相应参数；

根据用户设置待爬取的招投标信息的相应参数，对网页进行爬取；

针对每一个获取到的网页，根据用户设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内的相关信息；

将获取的数据输出到可视化模块进行展示。