CN109615469A - 基于招标网站相关信息提取的管理系统及方法 - Google Patents

Abstract

本发明涉及招标信息获取领域，具体涉及一种基于招标网站相关信息提取的管理系统，包括：主服务器，包括访问频率计算模块和访问频率修正模块，通过对访问频率和更新时间的计算，得到该招标网站的预估访问频率；访问频率修正模块，通过历史访问频率对预估访问频率进行修正，得到该招标网站的新访问频率；分支服务器，包括招标信息采集模块，用于访问招标网站，并获取该招标网站上招标信息公告的网页数据，然后将获取的网页数据交由网络爬虫进行采集，网络爬虫采集招标信息的同时会获取招标信息的更新时间。本发明通过招标信息的更新时间对招标网站的访问频率进行实时计算和修正，能有效提升提取招标信息的效果。

Description

基于招标网站相关信息提取的管理系统及方法

技术领域

本发明涉及招标信息获取领域，具体涉及一种基于招标网站相关信息提取的管理系统及方法。

背景技术

招标与投标是一种国际上普遍应用的、有组织的市场交易行为，是工程、货物或服务贸易的买卖方式。通常是采购人事先提出条件和要求，邀请众多的交易对象参与竞争并按照规定的程序从中选择成交者。在信息化时代的今天，投标人的一种做法是登录各地的各个招投标网站来获取信息，然后通过人工的方式逐个检索并排查需要的信息；另一种做法是登录一些大型的招投标信息网站，通过全文检索的方式去搜索需要的招投标信息。但是这种方法耗时耗力，同时招投标网站的自带搜索也不能保证质量，会让投标人遗漏掉重要信息。

为解决上述问题，公开号为CN108415968A的专利公开了一种招标信息的采集方法，包括步骤：采集招标信息：获取招标信息公告的网页数据，然后交由网络爬虫进行信息采集；提取招标信息：将网络爬虫采集的网页数据中的广告、友情链接过滤掉，然后抽取网页数据中的有效信息；存储招标信息：有效信息使用数据库中的表存储，所提取的每一个指标使用结构化数据库中一列存储。该方案通过网络爬虫采集网页信息，从而提高采集的质量和效率。

上述方案中的网络爬虫的对所有招标网站的采集频率均为每天一次，未对招标网站进行采集频率的区分。对于长期不更新招标信息的网站(例如一周才更新一次)，每天采集信息就的频率太快了，访问网站时采集不到有效信息，浪费投入的成本。对于招标信息更新很快的网站(例如每几小时就会对招标信息进行更新)，一天采集一次的频率就太低了，会导致大量的重要信息被遗漏，给用户造成损失。上述问题均会导致提取招标信息的效果不好的问题。

发明内容

本发明的目的在于提供一种基于招标网站相关信息提取的管理系统，通过招标网站的招标信息的更新时间对访问频率进行实时计算和修正，能有效提升提取招标信息的效果。

本发明提供的基础方案为：一种基于招标网站相关信息提取的管理系统，包括：

主服务器，包括访问频率计算模块和访问频率修正模块，访问频率计算模块用于获取招标网站的最近一次的访问频率和该招标网站最近一条招标信息的更新时间，通过对访问频率和更新时间的计算，得到该招标网站的预估访问频率；访问频率修正模块，用于获取招标网站的预估访问频率和该招标网站的历史访问频率，通过历史访问频率数据对预估访问频率进行修正，得到该招标网站的新访问频率；

分支服务器，包括招标信息采集模块，用于访问招标网站，并获取招标网站上招标信息公告的网页数据，然后将获取的网页数据交由网络爬虫进行采集，网络爬虫采集招标信息的同时会获取招标信息的更新时间。

本发明的有益效果：

本发明中，能获取招标网站的招标信息更新时间，并结合现有访问频率计算出预估访问频率，再通过历史访问频率对预估访问频率进行修正，得到新的访问频率。本发明针对更新速度不同的招标网站制定不同的访问频率，能在快速、有效的提取招标信息的前提下，最大限度的节约访问和采集的付出成本，从而有效提升提取招标信息的效果。

进一步，主服务器还包括：信息分类模块，用于获取采集到的招标信息生成招标信息表，招标信息表包括：行业标签和招标备注标签。

行业标签包括

有益效果：对招标信息进行分类，并对招标信息进行标签备注，更有利于用户查找和保存招标信息，能提升用户的使用体验感。

进一步，主服务器包括：信息存储模块，用于获取招标信息表中的招标信息，并将招标信息存储到数据库中，使用数据库中的表存储，每个招标信息使用结构化数据库中的一列存储，并将招标信息的行业标签、招标备注信息以及网页数据与该招标信息存储于数据库一列。

进一步，主服务器包括：信息查询模块，用于用户输入关键词进行招标信息查询，系统获取到用户输入关键词，将关键词与招标信息的行业标签和招标备注标签进行匹配，并将匹配得到的招标信息按照匹配度进行排序。

有益效果：用户在使用时能更方便、快捷的搜索到自己需要的招标信息，有利于提升用户的操作体验感。

进一步，主服务器还包括：充值缴费模块，用于用户为自己的账户进行充值，为用户提供支付渠道，用户可自由选择金额进行充值，充值完成之后能自动生成发票信息，并会为每笔充值信息备注交易状态、付款方式和交易日期。

有益效果：用户预先将投标的预算金额充值到自己的账户中，发现合适的招标信息后能直接进行投标，能最快的为用户完成投标操作，避免用户因付款速度而耽搁投标的问题。

进一步，主服务器还包括：信息管理模块，用于管理员管理招标信息，管理员可添加、编辑或删除招标信息的行业标签和招标备注标签，能对招标信息进行审核和标签备注，还能实时更新招标信息的招标状态。

有益效果：管理员实时管理、更新招标信息，避免用户获取到错误信息，有利于提升用户体验感。

本发明还提供了一种基于招标网站相关信息提取的管理方法，包括：

招标信息采集步骤，访问招标网站，并获取招标网站上招标信息公告的网页数据，将获取到的网页数据交由网络爬虫进行采集，网络爬虫采集招标信息的同时会获取招标信息的更新时间；

频率计算步骤，预设访问频率对招标网站进行访问，获取该招标网站最近一条招标信息的更新时间，通过对预设访问频率和招标信息更新时间的计算，得到预估访问时间数据，再获取该招标网站的历史访问频率数据，通过历史访问数据对预估访问频率进行修正，得到该招标网站的新访问频率；

信息分类步骤，对采集到的招标信息按照行业标签进行分类，分类后生成招标信息表，并对招标信息表中的招标信息进行招标备注标签的录入；

信息存储步骤，将分类后的招标信息存储到数据库中，使用数据库中的表存储，每个招标信息使用结构化数据库中一列存储，并将招标信息的行业标签、招标备注信息以及网页数据与该招标信息存储于数据库一列。

有益效果：本发明针对更新速度不同的招标网站制定不同的访问频率，能在快速、有效的提取招标信息的前提下，能最大限度的节约访问和采集的付出成本，从而有效提升提取招标信息的效果。

进一步，招标备注标签包括：项目名称标签、项目编号标签、招标时间标签、投标时间标签、投标地点标签、开标时间标签、开标地点标签、预算金额标签、采购单位标签、采购单位联系人标签、采购单位联系方式标签、采购单位地址标签、代理机构标签、代理机构联系人标签、代理机构联系方式标签、代理机构地址标签、采购内容标签和附件文档标签。

附图说明

图1为本发明实施例一种基于招标网站相关信息提取的管理系统的逻辑结构框图；

图2为本发明中实施例二中服务器的逻辑结构框图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例一：

如图1所示：基于招标网站相关信息提取的管理系统，包括登录系统和服务器，登录系统和服务器通过现有的无线通信模块进行网络通信。其中，服务器包括主服务器和若干分支服务器，分支服务器均和主服务器线路连接。

具体的：

一、登录系统，包括：

用户登录模块，用于用户登录到个人界面，用户输入个人账号和密码进入个人界面。本实施例中可采用微信的登录方式。用户终端的数量上限视服务器的承载能力设置，具体数量根据注册用户人数而定。

管理员登录模块，用于管理员登录到管理员界面，管理员输入管理员账号和密码进入管理员界面。本实施例中，管理员的数量上限可设置为三个。

二、服务器，包括：

1)分支服务器，包括：

招标信息采集模块，用于访问招标网站，并获取该招标网站上招标信息公告的网页数据，将获取的网页数据交由网络爬虫进行采集，网络爬虫采集招标信息的同时会获取招标信息的更新时间。

网络爬虫采集信息的方式比较现有。本实施例中的网络爬虫采用公开号为CN103294732A的中国专利中公开的网络爬虫，将该专利中抓取的信息数据更改为招标数据。

2)主服务器，包括：

访问频率计算模块，用于获取招标网站的最近一次的访问频率数据和该招标网站最近一条招标信息的更新时间，通过对访问频率和更新时间的计算，得到该招标网站的预估访问频率。

访问频率修正模块，用于获取招标网站的预估访问频率和该招标网站的历史访问频率，通过历史访问频率对预估访问频率进行修正，得到该招标网站的新访问频率。

例如：最近一次的访问频率是50分钟/次，但是该招标网站的最近一条招标信息的更新时间是30分钟前，取50和30的平方和再开根号得到预估访问频率，预估访问频率就是40分钟/次。预估访问频率是40分钟/次，但是该网站的历史访问频率的平均值是55分钟/次，取40和55的平均值就是新的访问频率，新访问频率就是47.5分钟/次。

信息分类模块，用于获取采集到的招标信息，并将招标信息按照行业标签进行分类，分类完成后生成招标信息表，招标信息表中的招标信息还录入有招标备注标签，招标备注标签包括项目名称标签、项目编号标签、招标时间标签、投标时间标签、投标地点标签、开标时间标签、开标地点标签、预算金额标签、采购单位标签、采购单位联系人标签、采购单位联系方式标签、采购单位地址标签、代理机构标签、代理机构联系人标签、代理机构联系方式标签、代理机构地址标签、采购内容标签和附件文档标签。

招标信息的分类可采用Excel模板来实现，通过Excel中的关键词提取功能，对招标信息按照行业标签进行分类，行业标签包括工程建设、医疗卫生以及环保绿化。分类后完成后可利用Excel中的文字编辑功能对招标信息进行招标备注标签的编辑。

信息存储模块，用于获取招标信息表中的招标信息，并将招标信息存储到数据库中，使用数据库中的表存储，每个招标信息使用结构化数据库中的一列存储，并将招标信息的行业标签、招标备注信息以及网页数据与该招标信息存储于数据库一列。

数据库可以是Access、sqlserver、mysql以及oracle中的任意一种，本方法充分考虑到兼容性的问题，适应目前所有的常用数据库。

信息管理模块，用于管理员管理招标信息，管理员可添加、编辑或删除招标信息的行业标签和招标备注标签，能对招标信息进行审核和标签备注，还能实时更新招标信息的招标状态。

信息查询模块，用于用户输入关键词进行招标信息查询，系统获取到用户输入关键词，将关键词与招标信息的行业标签和招标备注标签进行匹配，并将匹配得到的招标信息按照匹配度进行排序。信息查询模块可采用百度的关键词查询方式。

充值缴费模块，用于用户为自己的账户进行充值，为用户提供支付渠道，用户可自由选择金额进行充值，充值完成之后能自动生成发票信息，并会为每笔充值信息备注交易状态、付款方式和交易日期。

充值、支付的方式均可采用微信支付或着支付宝中与用户的银行卡绑定方式。或直接与微信或支付宝建立关联，直接采用微信支付或支付宝进行充值。

本实施例还公开了一种基于招标网站相关信息提取的管理的方法，包括：

招标信息采集步骤，访问招标网站，并获取招标网站上招标信息公告的网页数据，然后将获取到的网页数据交由网络爬虫进行采集，网络爬虫采集招标信息的同时会获取招标信息的更新时间。

频率计算步骤，预设访问频率对招标网站进行访问时，获取该招标网站最近一条招标信息的更新时间，通过对预设的访问频率和获取到的更新时间的计算，得到预估访问时间数据，再获取该招标网站的历史访问频率数据，通过历史访问数据对预估访问频率进行修正，得到该招标网站的新访问频率。

信息分类步骤，对采集到的招标信息按照行业标签进行分类，分类后生成招标信息表，并对招标信息表中的招标信息进行招标备注标签的录入，招标备注标签包括项目名称标签、项目编号标签、招标时间标签、投标时间标签、投标地点标签、开标时间标签、开标地点标签、预算金额标签、采购单位标签、采购单位联系人标签、采购单位联系方式标签、采购单位地址标签、代理机构标签、代理机构联系人标签、代理机构联系方式标签、代理机构地址标签、采购内容标签和附件文档标签。

信息存储步骤，将分类后的招标信息存储到数据库中，使用数据库中的表存储，每个招标信息使用结构化数据库中一列存储，并将招标信息的行业标签、招标备注信息以及网页数据与该招标信息存储于数据库一列。

实施例二：

本实施例与实施例一相比，不同之处仅在于本实施例中的主服务器还包括历史记录分析模块和信息爬取分配模块。

用户在查看招标信息时，由于需求迫切性并不一致，其查看时间也并不一致，若不对其进行区分并分别安排进行信息爬取，可能导致用户需求度并不高的信息先被爬取，而用户迫切度高的信息反而爬取不及时，给用户带来不好的体验。

针对上述问题，本实施例在主服务器中增设有如图2所示的：

用户习惯分析模块，用于获取用户每天登录信系统和查看信息的时间，生成用户查看信息规律表，用户查看信息规律表包括：每日登录时间规律、查看内容、查看每一个企业内容对应的时间以及查看企业内容的先后排序；

信息爬取分配模块，用于获取用户关注的招标网站的日均访问人数、日访问时间记录信息以及招标信息更新时间信息和用户的信息规律表生成分配模型，根据分配模型分配不同的分支服务器进行信息爬取，并根据用户查看信息规律对每日登陆时间早的用户关注的招标信息名称和内容在对应的招标网站信息优先进行爬取，同时还按照用户查看招标内容的先后排序对对应招标信息进行爬取。

本实施例的有益效果：

本实施例中，依次对用户查看信息规律表、招标网站日均访问人数、日访问时间记录信息和招标信息更新时间信息等信息进行获取，由于用户若对信息获取的迫切度比较高，那么用户每日登陆时间可能就会比较早，优先都这些用户关注的信息进行爬取，避免所有信息随意爬取可能导致这些用户每日查看信息时信息还没有进行爬取工作；另外，由于用户比较在意的信息会优先查看，按照用户查看招标内容的先后排序对对应招标信息进行爬取，便于用户能够及时获取其迫切想要知道的信息，增加用户使用体验感。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.一种基于招标网站相关信息提取的管理系统，其特征在于：包括：

主服务器，包括访问频率计算模块和访问频率修正模块，访问频率计算模块用于获取招标网站的最近一次的访问频率和该招标网站最近一条招标信息的更新时间，通过对访问频率和更新时间的计算，得到该招标网站的预估访问频率；访问频率修正模块，用于获取招标网站的预估访问频率和该招标网站的历史访问频率，通过历史访问频率对预估访问频率进行修正，得到该招标网站的新访问频率；

分支服务器，包括招标信息采集模块，用于访问招标网站，并获取招标网站上招标信息公告的网页数据，然后将获取的网页数据交由网络爬虫进行采集，网络爬虫采集招标信息的同时会获取招标信息的更新时间。

2.根据权利要求1所述的基于招标网站相关信息提取的管理系统，其特征在于：主服务器还包括：

信息分类模块，用于获取采集到的招标信息生成招标信息表，招标信息表包括：行业标签和招标备注标签。

3.根据权利要求1所述的基于招标网站相关信息提取的管理系统，其特征在于：主服务器包括：

信息存储模块，用于获取招标信息表中的招标信息，并将招标信息存储到数据库中，使用数据库中的表存储，每个招标信息使用结构化数据库中的一列存储，并将招标信息的行业标签、招标备注信息以及网页数据与该招标信息存储于数据库一列。

4.根据权利要求1所述的基于招标网站相关信息提取的管理系统，其特征在于：主服务器包括：

信息查询模块，用于用户输入关键词进行招标信息查询，系统获取到用户输入关键词，将关键词与招标信息的行业标签和招标备注标签进行匹配，并将匹配得到的招标信息按照匹配度进行排序。

5.根据权利要求1所述的基于招标网站相关信息提取的管理系统，其特征在于：主服务器还包括：

充值缴费模块，用于用户为自己的账户进行充值，为用户提供支付渠道，用户可自由选择金额进行充值，充值完成之后能自动生成发票信息，并会为每笔充值信息备注交易状态、付款方式和交易日期。

6.根据权利要求1所述的基于招标网站相关信息提取的管理系统，其特征在于：主服务器还包括：

信息管理模块，用于管理员管理招标信息，管理员可添加、编辑或删除招标信息的行业标签和招标备注标签，能对招标信息进行审核和标签备注，还能实时更新招标信息的招标状态。

7.一种基于招标网站相关信息提取的管理方法，其特征在于：包括：

招标信息采集步骤，访问招标网站，并获取招标网站上招标信息公告的网页数据，将获取到的网页数据交由网络爬虫进行采集，网络爬虫采集招标信息的同时会获取招标信息的更新时间；

频率计算步骤，预设访问频率对招标网站进行访问，获取该招标网站最近一条招标信息的更新时间，通过对预设访问频率和招标信息更新时间的计算，得到预估访问时间数据，再获取该招标网站的历史访问频率数据，通过历史访问数据对预估访问频率进行修正，得到该招标网站的新访问频率；

信息分类步骤，对采集到的招标信息按照行业标签进行分类，分类后生成招标信息表，并对招标信息表中的招标信息进行招标备注标签的录入；

信息存储步骤，将分类后的招标信息存储到数据库中，使用数据库中的表存储，每个招标信息使用结构化数据库中一列存储，并将招标信息的行业标签、招标备注信息以及网页数据与该招标信息存储于数据库一列。

8.根据权利要求7所述的基于招标网站相关信息提取的管理方法，其特征在于：招标备注标签包括：项目名称标签、项目编号标签、招标时间标签、投标时间标签、投标地点标签、开标时间标签、开标地点标签、预算金额标签、采购单位标签、采购单位联系人标签、采购单位联系方式标签、采购单位地址标签、代理机构标签、代理机构联系人标签、代理机构联系方式标签、代理机构地址标签、采购内容标签和附件文档标签。