CN112241864B - 一种信息处理方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种信息处理方法、装置和计算机可读存储介质，该方法包括：对网页数据进行分析，得到第一招标项目和所述第一招标项目的项目周期和第一公告时间；所述第一公告时间在当前时间之前；基于所述项目周期和所述第一公告时间，确定与所述第一招标项目关联的第二招标项目的第二公告时间，所述第二公告时间在当前时间之后。本发明实施例实现了对尚未发生的招标进行自动化预测预警，让用户可以早做准备，在市场竞争中占得先机。

Description

一种信息处理方法、装置和计算机可读存储介质

技术领域

本发明实施例涉及业务支撑领域，尤其涉及一种信息处理方法、装置和计算机可读存储介质。

背景技术

招投标是在市场经济条件下进行的货物买卖、工程建设项目的发包与承包，以及服务项目的采购与供应时，所采用的一种交易方式。现有技术方案是投标企业通过去招标方的官网或者政府采购网站，或者一些招投标聚合类网站上浏览获取招标信息，但存在一定的缺陷，用户获取的招投标信息都是已经公开了的，公开了招标公告意味着竞争对手也都可以知道，失去了先机，许多的企业依靠招投标这一交易方式来维持生存，错过一个标就意味丢失大量的收入。

发明内容

有鉴于此，本发明实施例提供一种信息处理方法、装置和计算机可读存储介质。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种信息处理方法，该方法包括：

对网页数据进行分析，得到第一招标项目和所述第一招标项目的项目周期和第一公告时间；所述第一公告时间在当前时间之前；

基于所述项目周期和所述第一公告时间，确定与所述第一招标项目关联的第二招标项目的第二公告时间，所述第二公告时间在当前时间之后。

本发明实施例提供一种信息处理装置，所述装置包括：分析模块和第一确定模块，其中：

所述分析模块，用于对网页数据进行分析，得到第一招标项目和所述第一招标项目的项目周期和第一公告时间；所述第一公告时间在当前时间之前；

所述第一确定模块，用于基于所述项目周期和所述第一公告时间，确定与所述第一招标项目关联的第二招标项目的第二公告时间，所述第二公告时间在当前时间之后。

本发明实施例提供一种计算机可读存储介质，其特征在于，该计算机程序被处理器执行时实现上述实施例中任一项所述信息处理方法中的步骤。

本发明实施例中，通过挖掘招标项目本身的周期特点以及招标项目的历史规律来自动预测未来将要发生的招标行为，使得用户能够基于预测的招标信息后提前准备，占得先机，增加中标的概率。

附图说明

图1为本发明实施例信息处理方法的实现流程示意图一；

图2为本发明实施例信息处理方法的实现流程示意图二；

图3为本发明实施例信息处理方法的实现流程示意图三；

图4为本发明实施例信息处理的系统架构示意图；

图5为本发明实施例信息处理装置的结构示意图；

图6为本发明实施例信息处理设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供一种信息处理方法，图1为本发明实施例信息处理方法的实现流程示意图一，如图1所述，所述方法包括以下步骤：

步骤S11：对所述网页数据进行分析，得到第一招标项目和所述第一招标项目的项目周期和第一公告时间；所述第一公告时间在当前时间之前。

服务器从访问的网页上爬取网页数据，并通过对网页数据分析得到招标项目。第一招标项目可为所分析的招标项目中任一招标项目。

这里，可将从网络数据中抽取的多个招标项目中，用户关注的招标项目作为第一招标项目。

在一些实施例中，步骤S11包括：

S111：从所述网页数据中选取指定网站的招标数据。

根据指定网站的地址等网站信息，从爬取的网页数据中过滤指定网站的网页数据作为招标数据。其中，指定网站包括：各级政府采购网、地方政府的公共资源交易中心、企事业单位官网、部分招投标聚合类网站等具有招标数据的网站。

S112：根据指定的招标字段对所述招标数据进行抽取，得到所述第一招标项目，以及所述第一招标项目的项目周期和第一公告时间；

根据指定的招标字段对招标数据进行抽取，得到第一招标项目。指定的招标字段可包括：地区、行业、公告类型以及业务名称、招标人、项目名称、项目编号、资质、投标人及投标人报价等招标公告的关键字中的一个或多个。

确定第一招标项目后，根据第一招标项目对应的公告获取第一招标项目的第一公告时间和招标周期。

这里，从招标数据中获取第一招标项目的项目周期和第一公告时间至少包括以下两种方法之一：

方法一：确定根据指定的招标字段所抽取的第一招标项目对应的招标公告；从第一招标项目对应的招标公告中，获取第一招标项目的项目周期和第一公告时间。

这里，从第一招标项目对应的招标公告的内容中直接得到第一公告时间。

这里，如果第一招标项目对应的招标公告中能够直接得到第一招标项目的项目周期，可以基于规则的方法从第一招标项目对应的招标公告的标题或者内容得到第一项目周期。比如：第一招标项目公告的标题为“某市甲公司关于A镇2015年农村公路及道路设施养护服务采购项目公开招标公告”，从招标公告的标题中得到项目周期为2015年全年；第一招标项目公告的内容中出现“计划工期：320日历天”，从招标公告的内容中得到项目周期为320天。

在实际应用中，可先从第一招标项目对应的招标公告的标题中获取第一招标项目的项目周期，当第一招标项目对应的招标公告的标题中不包括有第一招标项目的项目周期，则从第一招标项目对应的招标公告的内容中获取。

方法二：根据指定的招标字段对招标数据进行抽取，得到与第一招标项目关联的第三招标项目，确定第三招标项目对应的招标公告，从第三招标项目对应的招标公告中获取第一招标项目的项目周期和第一公告时间。

第三招标项目为与第一招标项目具有相同的招标人、业务名称等招标信息的招标项目，比如：第一招标项目为单位甲的楼面A项目，第三招标项目可以为单位甲的楼面B项目，第三招标项目还可以为单位甲的楼面C项目。

这里，根据指定的招标字段对指定网站的招标数据进行抽取，得到第三招标项目，并从将历史招标项目由远及近排序得到对应的公告时间及公告条数得到当前最新招标项目的项目周期。

在方法二中，根据设定的公告条数阈值获取所述第三招标项目对应的招标公告得到公告集合，确定所述公告集合中各招标公告的公告时间；对所述公告集合中各招标公告进行公告时间先后的排序，得到排序结果；根据所述排序结果，采用项目周期的计算公式得到所述第一招标项目的项目周期；其中，所述项目周期的计算公式为：

p_i表示第i个公告时间，p_i-1表示第i-1个公告时间，n表示所述公告集合中招标公告的公告条数，i为正整数，c为所述项目周期。

这里，公告条数阈值可根据用户的实际需求设置。

根据第一招标项目的招标信息从数据库中查询第三招标项目，将所查询的第三招标项目作为历史数据来计算第一招标项目的项目周期。

当获取的第三招标项目对应的招标公告的公告条数小于公告条数阈值时，将获取的第三招标项目对应的招标公告全部放入公告集合中；当获取的第三招标项目对应的招标公告的公告条数大于公告条数阈值时，将获取时间靠前的公告条数阈值条的第三招标项目对应的招标公告全部放入公告集合中。

比如：当设定的公告条数阈值为5时，第一招标项目为：招标人为单位甲，业务名称为业务A的项目1，则以单位甲、业务A为查询条件，去数据库中查出单位甲关于业务A的所有招标公告。如果所查询的招标公告的公告条数小于2条，认为历史招标数据不足以进行招标预测，退出招标预测流程；如果公告条数大于等于2条，小于5条，取全部招标公告；如果公告条数大于等于5条，按发布时间取最新的5条招标公告，取得的5条招标公告为第三招标项目对应的招标公告，公告时间是由远到近排序，第1个公告时间是18年3月，第2个公告时间是18年6月，第3个公告时间是18年12月，第4个公告时间是19年1月，第5个公告时间是19年4月，第一招标项目的项目周期按公式计算为：{(18年6月-18年3月)+(18年12月-18年6月)+(19年1月-18年12月)+(19年4月-19年1月)}/4＝3.25月。

在实际应用中，也可将第一招标项目对应的招标公告放入公告集合中，以计算第一招标项目的项目周期。比如：第一招标项目对应的招标公告时间为19年3月，若上例中第三招标项目对应的招标公告的3个公告时间由远到近排序为，第1个公告时间是18年3月，第2个公告时间是18年6月，第3个公告时间是18年12月，第一招标项目的项目周期按公式计算为：{(18年6月-18年3月)+(18年12月-18年6月)+(19年3月-18年12月)}/3＝4月。

在实际应用中，在确定第一招标项目的项目周期时，可先采用方法一从第一招标项目对应的招标公告中获取项目周期，当第一招标项目对应的招标公告的标题或内容中不包括有对应的项目周期时，采用方法二根据第三招标项目对应的招标公告确定第一招标项目的项目周期。

步骤S12：基于所述项目周期和所述第一公告时间，确定与所述第一招标项目关联的第二招标项目的第二公告时间。

这里，所述第二公告时间为预测的时间，在当前时间之后。

第二招标项目为与第一招标项目相关联的预测的招标项目，第二招标项目的公告时间为第二公告时间。第二公告时间可为一日期，也可为一日期范围。这里，当第二公告时间为一时间范围时，将第二公告时间的起始时间称为招标上限时间，将第二公告时间的终止时间称为招标下限时间。

如果所述第二公告时间包括：招标上限时间和招标下限时间，相应地，步骤S12中，基于所述项目周期和所述第一公告时间，确定与所述第一招标项目关联的第二招标项目的第二公告时间：根据所述第一公告时间、所述项目周期和设定的上限系数，得到所述第二招标项目的所述招标上限时间；根据所述第一公告时间、所述项目周期和设定的下限系数，得到所述第二招标项目的所述招标下限时间。

这里，采用上限计算策略，根据所述第一公告时间、所述项目周期和设定的上限系数，得到第二招标项目的所述招标上限时间。其中，上限计算策略为根据第一公告时间、项目周期和上限系数设置的算法，比如：第一招标公告发布日期+第一招标项目周期*上限系数。

这里，采用下限计算策略，根据所述第一公告时间、所述项目周期和设定的下限系数，得到所述第二招标项目的所述招标下限时间。其中，下限计算策略为根据第一公告时间、项目周期和下限系数设置的算法，比如：第一招标公告发布日期+第一招标项目周期*下限系数。

需要说明的是，在本发明实施例中，上限计算策略和下限计算策略的具体算法可根据实际需求进行设置，本发明实施例对此不进行任何的限定。

如果第二公告时间包括招标上限时间和招标下限时间，则第二公告时间能够覆盖绝大多数招标项目的公告时间，从而减少了客观因素影响带来偏差，不会错失招标信息。

在实际应用中，除了确定第二招标项目的第二公告时间，还可根据第一招标项目对应的招标公告确定第二招标项目的其他招标信息，比如：行业、地区、招标人、业务名称等招标信息，并将所确定的招标信息作为第二招标项目的预测招标记录。其中，在第二招标项目的预测招标记录中，还可添加第一招标项目的招标人、项目名称、项目编号、预算金额、投标资质、招标代理等信息，以作为第二招标项目的参考信息。

在本发明实施例中，从网页数据中选取指定网站的招标数据，对招标数据进行抽取，得到第一招标项目，以及第一招标项目的项目周期和第一公告时间，以预测尚未发生的第二招标项目以及第二招标项目可能发生的公告时间，实现了对尚未发生的招标进行自动化预测预警，让投标人可以早做准备，在市场竞争中占得先机。

并且，在确定第一招标项目的项目周期时，可根据第一招标项目对应的招标公告确定项目周期，也可根据与第一招标项目关联的第三招标项目对应的招标项目来获取第一招标项目的项目周期，从而灵活选择不同的方式来确定第一招标项目的项目周期。

在一些实施例中，本发明实施例提供的信息处理方法还包括：

根据设定的筛查策略，对所述第一招标项目对应的招标数据进行筛查处理，得到目标招标信息；将所述目标招标信息与业务名称库进行匹配，得到与所述业务名称库中的业务名称匹配的匹配招标信息；将所述匹配招标信息作为所述第一招标项目的业务名称。

筛查策略的目标为将第一招标项目对应的招标公告的标题中与招标人名称、时间、项目关键词、公告类型等相关的字符以及一些特殊字符筛除。

通过筛除策略对第一招标项目对应的招标公告进行筛除处理后，将所筛查的标题中剩下的字符作为第一招标项目的候选业务名称。如果剩下的字符中包括多个业务名称，则将剩下的字符拆分为多个候选业务名称。

比如：第一招标项目对应的招标公告的标题为“甲市城市交通运输管理处2017-2019年办公用品供应商入围项目公开招标公告”，通过筛除策略将招标人：“甲市城市交通运输管理处”、时间：“2017-2019年”、项目关键词：“供应商入围项目”、以及公告类型：“公开招标公告”筛除，将剩余的字符“办公用品”作为第一招标项目的候选业务名称。

将第一招标项目的候选业务名称与业务名称库中的业务名称进行匹配，将所匹配的业务名称作为第一招标项目的业务名称。

在实际应用中，可对所爬取的所有招标项目的候选业务名称按出现的频次由高到低进行排序，选取频次高的一定数量的候选业务名称组成业务名称库。比如：对8000多万条招标数据中所包括的招标项目的用筛查策略抽取候选业务名称，按候选业务名称出现频次从高到低排序，选取频次最高的2万个候选业务名称，得到业务名称库。

现有技术方案中，进从较粗粒度的行业维度进行招投标项目的筛选，筛选结果会包含大量用户不关心的业务内容，通过获取招标项目业务名称的方法。而在本发明实施例中，可以使招标项目筛选具体到业务的维度，使得筛选更精细，结果更准确。

在一些实施例中，本发明实施例提供的信息处理方法还包括：

S13：确定所述第一招标项目的项目编号；

S14：如果所述网页数据中包括有所述项目编号对应的中标项目，获取所述中标项目的中标信息，将所述中标项目的中标信息作为所述第二招标项目的辅助招标信息。

在S13中，对从网络数据进行分析时，还可得到第一招标项目的招标人、业务名称、所属行业、所属地区、项目编号、项目名称、预算金额、代理机构、投标资质等辅助招标信息。

在S14中，将第一招标项目的中标信息作为第二招标项目的辅助招标信息。第一招标项目的中标信息可为投标人及投标人报价、中标人及中标金额、评审专家这些辅助信息。

这里，可根据第一招标项目的项目编号从招标数据中获取第一招标项目对应的中标结果。

在本发明实施例中，当第一招标项目的项目编号和获得的中标项目的项目编号相同时，将该中标项目中的中标信息作为辅助招标信息补充到预测招标记录中，使得预测的招标信息更完善，用户对预测的招标项目进行的准备有了参照性，提高了中标率。

本发明实施例提供一种信息处理方法，图2为本发明实施例信息处理方法的实现流程示意图二，如图2所述，所述方法包括以下步骤：

步骤S21：从互联网上爬取招标信息和投标信息，将爬取的招标信息和投标信息发送到分布式发布订阅消息系统(Kafka)的类1(topic1)中生成消息1。

招标信息的选取的指定网站包括：各级政府采购网；地方政府的公共资源交易中心；企事业单位官网；部分招投标聚合类网站等具有招标信息的网站。

步骤S22：在处理流式数据库(Kafka Streams)中创建kstream1程序，kstream1程序订阅并获取了topic1中的消息1，对该消息1进行处理，将消息1和处理的中间结果发送到Kafka的类2(topic2)中生成消息2。

步骤S23：在Kafka Streams创建kstream2程序，kstream2程序订阅并获取了topic2中的消息2，对该消息2进行处理，生成招标预测记录并存入数据库。

步骤S24：从数据库中读取招标预测记录在页面上展示给用户或者其他途径推送给用户。

其中，步骤S22中对消息1的处理如图3所示，包括：

步骤S221：根据统一资源定位符(Uniform Resource Locator，URL)去重。

将爬取的招标信息中某一信息的URL作为关键值向数据结构服务器(Redis)进行查询，查询Redis中是否有本次信息的URL，如果有认为URL重复，抛弃该消息不作后续处理，如果没有，将本次信息的URL作为关建值存入Redis。

步骤S222：数据清洗。

对消息1中的招投标标题、正文进行清洗，去掉超文本标记语言(HyperTextMarkup Language，html)标签、无用的字符，替换一些特殊字符。

步骤S223：根据内容去重。

计算清洗之后的内容的消息1摘要算法值(Message-Digest Algorithm，md5)，如果该md5值重复，认为该消息重复，抛弃不做后续处理。

步骤S224：垃圾信息过滤。

用训练好的分类模型判断该消息1是否为垃圾信息，如果被判为垃圾信息，抛弃不做后续处理。垃圾信息指那些与招投标无关的信息。

步骤S225：分类和抽取。

对清洗后的内容进行地区分类、行业分类、公告类型分类以及业务名称抽取、招标人抽取、项目名称抽取、项目编号抽取、资质抽取、投标人及投标人报价抽取、中标人及中标金额抽取、代理机构抽取、评审专家抽取。公告类型有四类：预告、公告、更正、结果。

其中，S225业务名称抽取指获取招标人所要采购的商品或服务，抽取包括以下步骤：

步骤S2251：去除标题中与招标人名称、时间、项目关键词、公告类型相关的字符以及一些特殊字符，剩下的字符作为业务名称，其中，有多个业务名称的拆分为多个。

例如：“甲市城市交通运输管理处2017-2019年办公用品供应商入围项目公开招标公告”，分别去掉招标人：“甲市城市交通运输管理处”，时间：“2017-2019年”，项目关键词：“供应商入围项目”，公告类型：“公告招标公告”，剩余的字符“办公用品”即为业务名称。

步骤S2252：对所有的业务名称按出现的频次由高到低排序，取出现频次最高的一定数目的业务名称组成业务名称库。

例如：基于S2251的方法对8000多万条历史招标数据所抽取业务名称，按业务名称出现频次从高到低排序，选取频次最高的2万个业务名称，再对这2万个业务名称进行人工筛选，得到最终的业务名称库。由于异常的业务名称出现频次往往较低，所以这2万个业务名称中的绝大部分都是正常的业务名称，人工筛选不需要很大的工作量，排除了机器筛查出的错误的业务名称，筛选出的业务名称能覆盖绝大多数的招投标项目。

步骤S2253：用最新数据的标题抽取出的业务名称与历史数据抽取得到的业务名称库进行匹配，匹配到业务名称即为项目的业务名称。

在实际应用中，上述步骤S2251中抽取业务名称的方法还可实施为：将标题与业务名称库中的业务名称进行匹配，得到标题的业务名称。可避免使用上述S2251中的方法来为招标项目定业务名称是因为有少量的标题格式奇特，而无法抽取出准确的业务名称问题。当遇到有遗漏的业务名称时，将所遗漏的业务名称补充到业务名称库即可，对业务名称库进行完善。

步骤S226：数据持久化。

将消息1，清洗、分类和抽取的结果存入开源数据库(HBase)，同时将除正文之外的上述消息1存入关系型数据库管理系统(Mysql)。

步骤S227：将标题以及分类、抽取的结果发送到Kafka数据库的topic2中生成消息2。

此时，对爬取的招标信息已经进行了分析，将分类、抽取得到招标项目和投标项目发送到Kafka的topic2中生成消息2。

其中，步骤S23中生成预测信息包括以下步骤：

步骤S231：判断消息2的公告类型，如果是招标公告，则执行步骤S232、S233，如果是中标公告，则执行S234；

判断得到的项目是招标项目还是投标项目，若为招标项目，该招标项目就是第一招标项目，则对第一招标项目进行处理得到的第一招标项目的项目周期和第一公告时间。

步骤S232：确定项目期限或项目周期。

这里，可通过以下两种方法中至少一种方式得到项目期限。

方法一：用基于规则的方法从消息2的标题里抽取项目期限。项目期限指的是项目的履约期限、服务期限等信息。

通过对第一招标项目的招标数据进行分析，积累了从标题中抽取项目期限关键元数据的规则，部分正则表达式示例如下："(？:1[012]|[1-9]|十[一二]|[一二三四五六七八九])月？月度|([2二贰][0零O○][0-2零O○一壹二贰][0-9零O○一二三四五六七八九壹贰叁肆伍陆柒捌玖][-至])？[2二贰][0零O○][0-2零O○一壹二贰][0-9零O○一二三四五六七八九壹贰叁肆伍陆柒捌玖]年度？"。抽取到关键元数据之后，再将其中的非阿拉伯数字的时间转为阿拉伯数字形式以方便处理。如果数据是关于“月度”的，则项目期限为1个月；如果数据是类似“2017-2019年度”这种年份范围形式的，项目期限为用后一个年份数字减去前一个年份数字再加一作为项目期限年数；如果是类似“2015年度”这种单独年份的形式，项目期限为1年。最后，将以月或者年为单位的项目年限转为以天为单位，一个月按30天换算、一年按365天换算。

方法二：如果从消息2的标题里未能抽取到项目期限，则用基于规则的方法从消息2的正文里抽取项目期限。

从内容中抽取项目期限关键元数据的正则表达式示例如下："(？<＝(？:履约|服务|合同|租赁|承包|合作|供货)期限？[:：为]？)(？:[1-9一二三四五六七八九]年|[0-9]{1,3}个？月|[0-9]{2,3}天)"。将非阿拉伯数字形式转为阿拉伯数字形式即可得到项目期限，如：“120天”、“6个月”、“3年”。最后，也用方法一中的期限换算方法，将项目期限换算为以天为单位。

如果基于上述两种方法从消息2的标题或正文都抽取不到项目期限，则通过方法三得到项目周期。

方法三：对历史数据进行分析，得到项目周期。

假设招标人为单位甲，业务名称为业务A，以单位甲、业务A为查询条件，去数据库中查出单位甲关于业务A的所有招标公告(含当前这条)。如果公告条数小于2条，认为历史招标数据不足以进行招标预测，退出招标预测流程；如果公告条数大于等于2条，小于5条，取全部招标公告；如果公告条数大于等于5条，按发布时间取最新的5条招标公告。根据获取的招标公告的发布时间，计算单位甲关于业务A的招标周期，计算公式为：

其中n表示相关公告条数，p_i表示发布时间有远到近排序后的第i个发布时间，c为项目周期，单位为天。

在实际应用中，第一招标项目的项目周期计算方法首选是方法一，若方法一的第一招标项目对应的公告标题中不能得到第一招标项目的项目期限，则选择方法二，若从第一招标项目的公告内容中也不能得到第一招标项目的项目期限，最后选择方法三，从与第一招标项目关联的第三招标项目中得到第一招标项目的项目周期，第三招标项目指与第一招标项目关联的历史数据。

步骤S233：根据上述步骤抽取到的项目期限或项目周期生成招标预测记录，并存入数据库。

基于得到第一招标项目的项目周期和第一公告时间得到与第一招标项目关联的第二招标项目的第二公告时间，第二招标项目为预测的招标项目，第一公告时间在当前时间之前，第二公告时间在当前时间之后，且第二公告时间包括第二招标项目的招标上限时间和第二招标项目的招标下限时间。

第二招标项目的招标上限时间的计算方法为：第一招标公告发布日期+第一招标项目周期*上限系数；第二招标项目的招标下限时间的计算方法为：第一招标公告发布日期+第一招标项目周期*下限系数。比如：上限系数为0.75，下限系数为1.25。

第二招标项目的公告时间是一个时间范围，经过统计以时间范围来预测可以覆盖绝大多数招标项目的公告时间，减少了客观因素影响带来偏差，不会错失招标信息。

步骤S234：利用抽取到的投标人及投标人报价、中标人及中标金额、评审专家，补充完善相关招标预测记录中的字段。

对指定网站爬取的招标信息进行分析得到第一招标项目，以及第一招标项目的招标人、业务名称、所属行业、所属地区、项目编号、项目名称、预算金额、代理机构、投标资质的辅助招标信息。

当得到的项目公告类型是中标公告，判断该中标公告与已发布历史招标公告是否相关的判断方式为：如果已发布历史招标项目的项目编号与该中标项目中的项目编号相同，则认为两者相关，否则不相关。若相关，从中标公告中抽取投标人及投标人报价、中标人及中标金额、评审专家的信息，将以上中标信息作为第二招标项目的辅助招标信息对预测招标记录进行补充更新。

因而第二招标项目的招标预测记录含以下信息：招标人、业务名称、所属行业、所属地区、项目编号、项目名称、预算金额、代理机构、投标资质、投标人及投标人报价、中标人及中标金额、评审专家、招标公告发布日期、预计下次招标时间范围上限、预计下次招标时间范围下限。

在S24中，当用户在页面上查看招标预测信息时，将数据库中的招标预测记录取出展示给用户，用户可从行业、地区、招标人、业务、时间等维度进行筛选查看。如果用户设置的是短信或者邮件接收招标预测预警，则按相应方式将预测记录推送给用户。

在本发明实施例中，通过对第一招标项目的时效性和第一招标历史项目的周期性进行分析，得到第一招标项目的项目周期和第一公告时间，基于第一招标项目的项目周期和第一公告时间预测未来可能发生的招标行为。第一招标项目的项目周期采用的方法首先是通过第一招标项目对应的公告的标题获取项目期限，其次是通过公告的内容获取项目期限，最后是历史数据的周期性获取项目期限，这样递进的方法使得获得的项目期限最准确，从而能够更精确预测下一次招标项目的公告时间范围。

本发明实施例提供一种信息处理的系统架构，如图4所示为该系统架构示意图，包括：展示层、数据处理层、存储层和数据获取层。

数据获取层用于网络爬虫爬取目标网页信息；

存储层用于各数据库存放数据，其中，数据库包括kafka、Redis、Mysql和HBase。Redis数据库的作用是对用户爬取的网络信息进行数据去重，比如将已经爬取过的某一招标项目的URL作为Key存入Redis，后续爬取数据之前判断是否已有这一招标项目的URL在Redis中，如果有就不再爬取。HBase存储招标数据和投标数据的原始的及处理后的全量信息。Mysql存放除正文之外的招标信息、投标信息、招标预测记录、业务名称库、用户相关信息等。Kakfa存放爬虫采集的招标信息和投标信息以及数据处理过程中产生的中间消息。

数据处理层包括Kafka Streams和数据服务器，Kafka Streams是一套处理分析Kafka中存储数据的客户端类库，Kafka Streams利用Kafka的并发模型以实现透明的负载均衡，处理完的数据或者写回Kafka，或者发送给外部系统。Kafka Streams构建在一些重要的流处理概念之上，区分事件时间和处理时间、开窗的支持、简单有效的状态管理等，其入门的门槛很低，很容易编写单机的示例程序，然后通过在多台机器上运行多个实例即可水平扩展从而达到高吞吐量。数据服务器的作用是为展示层提供接口，处理一些业务逻辑，实现展示层与数据库的交互。

展示层的作用是提供可视化页面供用户查看和下载招标预测记录，用户还可以从行业、地区、招标人、业务、时间等维度设置招标预测推送，一旦系统产生了相关的招标预测记录，就主动通过邮件或短信通知用户，帮助他们提前做好投标准备。

在本发明实施例中，通过爬虫获取招标信息，通过Kafka streams应用以流的形式实时处理招标数据，极大程度消除了批处理系统的延迟，也解除了模块间的耦合，及时得到预测招标信息，实现了对尚未发生的招标进行自动化预测预警。

本发明实施例提供一种信息处理装置500，如图5所示为该装置500示意图，所述装置500包括：分析模块501和第一确定模块502，其中：

分析模块501，用于对所述网页数据进行分析，得到第一招标项目和所述第一招标项目的项目周期和第一公告时间；所述第一公告时间在当前时间之前；

第一确定模块502，用于基于所述项目周期和所述第一公告时间，确定与所述第一招标项目关联的第二招标项目的第二公告时间，所述第二公告时间在当前时间之后。

在一些实施例中，分析模块501包括选取子模块和抽取子模块，其中，

选取子模块，用于从所述网页数据中选取指定网站的招标数据；

抽取子模块，用于根据指定的招标字段对所述招标数据进行抽取，得到所述第一招标项目，以及所述第一招标项目的项目周期和第一公告时间选取子单元，用于从所述网页数据中选取指定网站的招标数据；

在一些实施例中，抽取子模块包括：

第一抽取单元，用于所述根据指定的招标字段对所述招标数据进行抽取，得到所述招标数据中的第一招标项目；

第一确定单元，用于确定根据指定的招标字段所抽取的第一招标项目对应的招标公告；

第一获取单元，用于从所述第一招标项目对应的招标公告中，获取所述第一招标项目的项目周期和第一公告时间。

在一些实施例中，抽取子模块还包括：

第二抽取单元，所述根据指定的招标字段对所述招标数据进行抽取，得到与所述第一招标项目关联的第三招标项目；

第二确定单元，用于确定所述第三招标项目对应的招标公告；

第二获取单元，用于从所述第三招标项目对应的招标公告中，获取所述第一招标项目的项目周期，从所述第一招标项目对应的招标公告中，获取所述第一招标项目的第一公告时间。

在一些实施例中，第二获取单元包括：

获取子单元，用于根据设定的公告条数阈值获取所述第三招标项目对应的招标公告得到公告集合，确定所述公告集合中各招标公告的公告时间；

排序子单元，用于对所述公告集合中各招标公告进行公告时间先后的排序，得到排序结果；

计算子单元，用于根据所述排序结果，采用项目周期的计算公式得到所述第一招标项目的项目周期；其中，所述项目周期的计算公式为：

p_i表示第i个公告时间，p_i-1表示第i-1个公告时间，n表示所述公告集合中招标公告的公告条数，i为正整数，c为所述项目周期。

在一些实施例中，所述第二公告时间包括：招标上限时间和招标下限时间，相应地，所述第一确定模块，包括：

招标上限时间子模块，用于根据所述第一公告时间、所述项目周期和设定的上限系数，得到所述第二招标项目的所述招标上限时间；

招标下限时间子模块，用于根据所述第一公告时间、所述项目周期和设定的下限系数，得到所述第二招标项目的所述招标下限时间。

在一些实施例中，所述信息处理装置还包括：

筛查模块，用于根据设定的筛查策略，对所述第一招标项目对应的招标数据进行筛查处理，得到目标招标信息；

匹配模块，用于将所述目标招标信息与业务名称库进行匹配，得到与所述业务名称库中的业务名称匹配的匹配招标信息；

定名模块，用于将所述匹配招标信息作为所述第一招标项目的业务名称。

在一些实施例中，信息处理装置还包括：

第二确定模块，用于确定所述第一招标项目的项目编号；

获取模块，用于如果所述网页数据中包括有所述项目编号对应的中标项目；获取所述中标项目的中标信息，将所述中标项目的中标信息作为所述第二招标项目的辅助招标信息。

这里需要指出的是：上述实施例提供的信息处理装置500与信息处理方法实施例属于同一构思，其具体实现过程详见方法实施例，具有同方法实施例相同的有益效果，对于本发明实施例终端实施例中未披露的技术细节，本领域的技术人员请参照本发明实施例方法实施例的描述而理解，为节约篇幅，这里不再赘述。

需要说明的是，图6为本发明实施例信息处理设备的一种硬件实体示意图，如图6所示，信息处理设备600包括：一个处理器601、至少一个通信总线602、用户接口603、至少一个外部通信接口604和存储器605。其中，通信总线602配置为实现这些组件之间的连接通信。其中，外部通信接口604可以包括标准的有线接口和无线接口。

其中，存储器605存储有能够在处理器601上运行的计算机程序；其中，所述处理器601用于运行所述计算机程序时，以实现上述实施例中提供的信息处理方法中的步骤。

上述本发明实施例揭示的方法可以应用于所述处理器601中，或者由所述处理器601实现。所述处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器601可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器601可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器605，所述处理器601读取存储器605中的信息，结合其硬件完成前述方法的步骤。

这里需要指出的是：以上设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明实施例终端实施例中未披露的技术细节，本领域的技术人员请参照本发明实施例方法实施例的描述而理解，为节约篇幅，这里不再赘述。

在示例性实施例中，本发明实施例还提供了一种计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器605，上述计算机程序可由处理器601处理，以完成前述信息处理方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

这里需要指出的是：以上计算机介质实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明实施例终端实施例中未披露的技术细节，本领域的技术人员请参照本发明实施例方法实施例的描述而理解，为节约篇幅，这里不再赘述。

可以理解，本发明实施例的存储器(存储器605)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-OnlyMemory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-OnlyMemory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-OnlyMemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种信息处理方法，其特征在于，该方法包括：

从网页数据中选取指定网站的招标数据；

根据指定的招标字段对所述招标数据进行抽取，得到第一招标项目，以及所述第一招标项目的项目周期和第一公告时间；所述第一公告时间在当前时间之前；

根据所述第一公告时间、所述项目周期和设定的上限系数，得到第二招标项目的招标上限时间；其中，所述第二招标项目为与所述第一招标项目相关联的预测的招标项目，所述第二招标项目的公告时间为第二公告时间；

根据所述第一公告时间、所述项目周期和设定的下限系数，得到所述第二招标项目的招标下限时间；其中，所述第二公告时间为预测的时间且在当前时间之后；所述第二公告时间包括：所述招标上限时间和所述招标下限时间；

其中，在所述第一招标项目对应的招标公告中不包括所述项目周期的情况下，所述根据指定的招标字段对所述招标数据进行抽取，得到所述第一招标项目的项目周期和第一公告时间，包括：

根据指定的招标字段对所述招标数据进行抽取，得到与所述第一招标项目关联的第三招标项目；

确定所述第三招标项目对应的招标公告；

根据设定的公告条数阈值获取所述第三招标项目对应的招标公告，得到公告集合，并确定所述公告集合中各招标公告的公告时间；

对所述公告集合中各招标公告进行公告时间先后的排序，得到排序结果；

根据所述排序结果，采用项目周期的计算公式得到所述第一招标项目的项目周期；其中，所述项目周期的计算公式为：

，

表示第i个公告时间，

表示第i-1个公告时间，n表示所述公告集合中招标公告的公告条数，i为正整数，c为所述项目周期；

从所述第一招标项目对应的招标公告中，获取所述第一招标项目的第一公告时间。

2.根据权利要求1所述的方法，其特征在于，在确定所述第一招标项目的项目周期时，所述根据指定的招标字段对所述招标数据进行抽取，得到所述第一招标项目的项目周期和第一公告时间，包括：

确定根据指定的招标字段抽取的第一招标项目对应的招标公告；

从所述第一招标项目对应的招标公告中，获取所述第一招标项目的项目周期和第一公告时间。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据设定的筛查策略，对所述第一招标项目对应的招标数据进行筛查处理，得到目标招标信息；

将所述目标招标信息与业务名称库进行匹配，得到与所述业务名称库中的业务名称匹配的匹配招标信息；

将所述匹配招标信息作为所述第一招标项目的业务名称。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一招标项目的项目编号；

如果所述网页数据中包括有所述项目编号对应的中标项目；

获取所述中标项目的中标信息，将所述中标项目的中标信息作为所述第二招标项目的辅助招标信息。

5.一种信息处理装置，其特征在于，所述装置包括：分析模块和第一确定模块，其中：

所述分析模块，用于从网页数据中选取指定网站的招标数据；在第一招标项目对应的招标公告中不包括项目周期的情况下，根据指定的招标字段对所述招标数据进行抽取，得到与所述第一招标项目关联的第三招标项目；确定所述第三招标项目对应的招标公告；根据设定的公告条数阈值获取所述第三招标项目对应的招标公告，得到公告集合，并确定所述公告集合中各招标公告的公告时间；对所述公告集合中各招标公告进行公告时间先后的排序，得到排序结果；根据所述排序结果，采用项目周期的计算公式得到所述第一招标项目的项目周期；其中，所述项目周期的计算公式为：

，

表示第i个公告时间，

表示第i-1个公告时间，n表示所述公告集合中招标公告的公告条数，i为正整数，c为所述项目周期；从所述第一招标项目对应的招标公告中，获取所述第一招标项目的第一公告时间；所述第一公告时间在当前时间之前；

所述第一确定模块，用于根据所述第一公告时间、所述项目周期和设定的上限系数，得到第二招标项目的招标上限时间；其中，所述第二招标项目为与所述第一招标项目相关联的预测的招标项目，所述第二招标项目的公告时间为第二公告时间；根据所述第一公告时间、所述项目周期和设定的下限系数，得到所述第二招标项目的招标下限时间；其中，所述第二公告时间为预测的时间且在当前时间之后；所述第二公告时间包括：所述招标上限时间和所述招标下限时间。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述信息处理方法中的步骤。

Images