CN106919722A - 一种用于体育赛事的网络数据获取方法和系统 - Google Patents

Abstract

本发明提出一种用于体育赛事的网络数据获取方法，包括：接收网络数据获取请求；从存储器中提取至少一个历史站点；解析历史站点内的所有模块；将模块与存储器中的配置文件相匹配；接收指定的网络数据获取器的第一获取结果；解析第一获取结果，获得第一解析参数；将第一解析参数与目标参数进行匹配，计算第一获取结果与网络数据获取请求之间的第一主题相关度；将第一主题相关度与目标主题相关度进行比较；若第一主题相关度大于或等于目标主题相关度，则将第一获取结果发送至与网络数据获取请求相应的业务存储器。本发明通过将历史站点解析模块与存储器中的配置文件进行匹配，并对数据获取结果进行判定，提高了理想数据的获取效率。

Description

一种用于体育赛事的网络数据获取方法和系统

技术领域

本发明涉及网络数据处理技术领域，更具体地，涉及一种用于体育赛事的网络数据获取方法和系统。

背景技术

在互联网的大数据时代，人们逐渐摆脱了传统的信息获取方式，形成了通过互联网来获取信息的新的数据获取形式。虽然互联网使得信息采集和传播的速度以及规模都达到了空前的水平，但是它同样给人们的认知带来了困惑，当通过人工的方式从互联网上筛选数据并进行处理时，首先需要消耗大量的时间以及成本，其次人们很难在信息海洋中准确地获取自己所需的信息，因此人们对数据收集和处理的准确性得不到保证。为了获取有用的数据信息，已有一些公司和组织开发出搜索引擎等工具试图帮助人们尽量容易的获取所需要的数据，但是每次在获取数据时均需要对站点的页面格式进行解析后进行代码化，获取效率低。

因此，提供一种用于体育赛事的网络数据获取方法和系统，解决现有技术中网络数据获取效率低的问题，是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种用于体育赛事的网络数据获取方法和系统，解决了现有技术中网络数据获取效率低的问题。

为了解决上述技术问题，本发明提出一种用于体育赛事的网络数据获取方法和系统，其中用于体育赛事的网络数据获取方法，包括：

接收网络数据获取请求，网络数据获取请求包括目标参数，目标参数包括体育赛事主题、关键词列表及目标主题相关度；

从存储器中提取至少一个历史站点；

解析历史站点内的所有模块；

将模块与存储器中的配置文件相匹配；

若历史站点的第一模块与存储器中的第一配置文件匹配，则将历史站点、第一配置文件和网络数据获取请求发送至指定的网络数据获取器，使网络数据获取器根据第一配置文件对历史站点的相应模块进行网络数据获取；其中，指定的网络数据获取器对历史站点的利用率大于利用率阈值，利用率为网络数据获取器对历史站点的爬取次数与历史站点的总爬取次数的比值；

接收指定的网络数据获取器的第一获取结果；

解析第一获取结果，获得第一解析参数，第一解析参数包括第一获取结果主题和第一获取结果关键词列表；

将第一解析参数与目标参数进行匹配，计算第一获取结果与网络数据获取请求之间的第一主题相关度；

将第一主题相关度与目标主题相关度进行比较；

若第一主题相关度大于或等于目标主题相关度，则将第一获取结果发送至与网络数据获取请求相应的业务存储器，存储器包括业务存储器。

进一步地，

接收第二配置文件；

将第二配置文件与所有的第一配置文件进行比较；

若第二配置文件与所有的第一配置文件均不同，则将第二配置文件发送到存储器。

在一些可选的实施例中，获取任务包括获取停止程序；

网络数据获取方法还包括：

若历史站点的第二模块与存储器中的所有第一配置文件均不匹配，则将第二配置文件发送到存储器后，若未接收到指定的网络数据获取器的停止信息，并且指定的网络数据获取器未对第二模块进行网络数据获取，则：

解析第二模块；

将第二模块与第二配置文件相匹配；

若第二模块与第二配置文件匹配，则向指定的网络数据获取器发送第二配置文件。

进一步地，

第一配置文件所对应的第一模块的第一获取结果中，若第一获取结果与网络数据获取请求之间的第一主题相关度大于或等于目标主题相关度，则返回获取成功结论；若所有的第一获取结果与网络数据获取请求之间的第一主题相关度均小于目标主题相关度，则返回获取失败结论；

计算预定时间间隔内每个第一配置文件的获取成功结论与获取失败结论的比值，形成第一配置文件的成功率；

将第一配置文件的成功率与第一配置文件的成功率阈值进行比较；

若第一配置文件的成功率小于第一配置文件的成功率阈值，则返回故障信息；

接收与第一模块对应的修改后的第一配置文件；

将修改后的第一配置文件发送至存储器。

进一步地，

接收输入站点及其站点描述；

将输入站点的站点描述与历史站点的站点描述进行比较；

若输入站点的站点描述与历史站点的站点描述不同，则将输入站点发送至存储器；

若所有的获取结果的主题相关度均小于目标主题相关度，则从历史站点存储器中提取输入站点的统一资源定位符；

解析输入站点内的所有模块；

将输入站点内的第三模块与存储器中的配置文件相匹配；

若第三模块与存储器中的第三配置文件匹配，则将输入站点、第三配置文件发送至指定的网络数据获取器；

接收指定的网络数据获取器对输入站点的第二获取结果；

解析第二获取结果，获得第二解析参数，第二解析参数包括第二获取结果主题和第二获取结果关键词列表；

将第二解析参数与目标参数进行匹配，计算第二获取结果与网络数据获取请求之间的第二主题相关度；

将第二主题相关度与目标主题相关度进行比较；

若第二主题相关度大于或等于目标主题相关度，则将第二获取结果发送至与网络数据获取请求相应的业务存储器，存储器包括业务存储器。

进一步地，一种用于体育赛事的网络数据获取系统，包括请求接收单元、历史站点提取单元、第一模块解析单元、第一配置文件匹配单元、任务指定单元、第一结果接收单元、第一结果解析单元、第一解析参数匹配单元、第一相关度比较单元、第一获取结果发送单元，其中：

请求接收单元，用于接收网络数据获取请求，网络数据获取请求包括目标参数，目标参数包括体育赛事主题、关键词列表及目标主题相关度；

历史站点提取单元，用于从存储器中提取至少一个历史站点；

第一模块解析单元，用于解析历史站点内的所有模块；

第一配置文件匹配单元，用于将模块与存储器中的配置文件相匹配；

任务指定单元，用于：若历史站点的第一模块与存储器中的第一配置文件匹配，则将历史站点、第一配置文件和网络数据获取请求发送至指定的网络数据获取器，使网络数据获取器根据第一配置文件对历史站点的相应模块进行网络数据获取；

第一结果接收单元，用于接收指定的网络数据获取器的第一获取结果；

第一结果解析单元，用于解析第一获取结果，获得第一解析参数，第一解析参数包括第一获取结果主题和第一获取结果关键词列表；

第一解析参数匹配单元，用于将第一解析参数与目标参数进行匹配，计算第一获取结果与网络数据获取请求之间的第一主题相关度；

第一相关度比较单元，用于将第一主题相关度与目标主题相关度进行比较；

第一获取结果发送单元，用于：若第一主题相关度大于或等于目标主题相关度，则将第一获取结果发送至与网络数据获取请求相应的业务存储器，存储器包括业务存储器。

进一步地，还包括配置文件接收单元、配置文件比较单元、配置文件存储单元；其中：

配置文件接收单元，用于接收第二配置文件；

配置文件比较单元，用于将第二配置文件与所有的第一配置文件进行比较；

配置文件存储单元，用于：若第二配置文件与所有的第一配置文件均不同，则将第二配置文件发送到存储器。

进一步地，获取任务包括获取停止程序；

其中，网络数据获取系统还包括第二模块解析单元、第二配置文件匹配单元和配置文件发送单元；其中，

第二模块解析单元，用于解析第二模块；

第二配置文件匹配单元，用于将第二模块与第二配置文件相匹配；

配置文件发送单元，用于：若第二模块与第二配置文件匹配，则向指定的网络数据获取器发送第二配置文件。

进一步地，还包括获取结论返回单元、成功率计算单元、成功率比较单元、故障信息返回单元、修改接收单元以及修改存储单元；其中，

获取结论返回单元，用于：第一配置文件所对应的第一模块的第一获取结果中，若第一获取结果与网络数据获取请求之间的第一主题相关度大于或等于目标主题相关度，则返回获取成功结论；若所有的第一获取结果与网络数据获取请求之间的第一主题相关度均小于目标主题相关度，则返回获取失败结论；

成功率计算单元，用于计算预定时间间隔内每个第一配置文件的获取成功结论与获取失败结论的比值，形成第一配置文件的成功率；

成功率比较单元，用于将第一配置文件的成功率与第一配置文件的成功率阈值进行比较；

故障信息返回单元，用于：若第一配置文件的成功率小于第一配置文件的成功率阈值，则返回故障信息；

修改接收单元，用于接收与第一模块对应的修改后的第一配置文件；

修改存储单元，用于将修改后的第一配置文件发送至存储器。

进一步地，网络数据获取系统还包括输入站点接收单元、站点描述比较单元、输入站点存储单元、输入站点提取单元、第三模块解析单元、第三配置文件匹配单元、输入站点发送单元、第二结果接收单元，第二结果解析单元、第二解析参数匹配单元、第二相关度比较单元、第二获取结果发送单元；其中，

输入站点接收单元，用于接收输入站点及其站点描述；

站点描述比较单元，用于将输入站点的站点描述与历史站点的站点描述进行比较；

输入站点存储单元，用于：若输入站点的站点描述与历史站点的站点描述不同，则将输入站点发送至存储器；

输入站点提取单元，用于：若所有的获取结果的主题相关度均小于目标主题相关度，则从历史站点存储器中提取输入站点的统一资源定位符；

第三模块解析单元，用于解析输入站点内的所有模块；

第三配置文件匹配单元，用于将输入站点内的第三模块与存储器中的配置文件相匹配；

输入站点发送单元，用于：若第三模块与存储器中的第三配置文件匹配，则将输入站点、第三配置文件发送至指定的网络数据获取器；

第二结果接收单元，用于接收指定的网络数据获取器对输入站点的第二获取结果；

第二结果解析单元，用于解析第二获取结果，获得第二解析参数，第二解析参数包括第二获取结果主题和第二获取结果关键词列表；

第二解析参数匹配单元，用于将第二解析参数与目标参数进行匹配，计算第二获取结果与网络数据获取请求之间的第二主题相关度；

第二相关度比较单元，用于将第二主题相关度与目标主题相关度进行比较；

第二获取结果发送单元，用于：若第二主题相关度大于或等于目标主题相关度，则将第二获取结果发送至与网络数据获取请求相应的业务存储器，存储器包括业务存储器。

与现有技术相比，本发明的一种用于体育赛事的网络数据获取方法和系统，实现了如下的有益效果：

(1)本发明所述的用于体育赛事的网络数据获取方法和系统，首先解析历史站点内的所有模块，并将模块与存储器中的配置文件进行匹配，以便利用配置文件对站点中的模块进行快速获取，避免对站点的页面格式进行解析并进行代码化，提高了获取效率；判定获取结果是否达到目标主题相关度，以获取理想的获取结果，并存储于相应的业务存储器中，方便用户的随时搜索和使用。

(2)本发明所述的用于体育赛事的网络数据获取方法和系统，实时监控第一配置文件的获取成功率，当第一配置文件的获取成功率低于其成功率阈值时，及时根据模块的变化更新配置文件，避免模块的更新后配置文件的不匹配导致的获取失败，以提高其获取结果的成功率，有利于后续数据获取的工作快捷有效的进行，以防相应站点的模块更新。

(3)本发明所述的用于体育赛事的网络数据获取方法和系统，实时加入新的模块所对应的配置文件，便于网络数据获取器利用更多的配置文件进行获取，提高获取效率。

(4)本发明所述的用于体育赛事的网络数据获取方法和系统，实时加入新的站点，扩大网络数据获取范围，提高数据获取的成功率。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例1提供的一种用于体育赛事的网络数据获取方法的流程示意图；

图2为本发明实施例1提供的更新第一配置文件的流程示意图；

图3为本发明实施例1提供的新建配置文件的流程示意图；

图4为本发明实施例1提供的输入站点提取的流程示意图；

图5为本发明实施例2提供的用于体育赛事的网络数据获取系统的一种构成示意图；

图6为本发明实施例2提供的用于体育赛事的网络数据获取系统的另一种构成示意图；

图7为本发明实施例2提供的用于体育赛事的网络数据获取系统的再一种构成示意图；

图8为本发明实施例2提供的用于体育赛事的网络数据获取系统的又一种构成示意图；

图9为本发明实施例2提供的用于体育赛事的网络数据获取系统的再又一种构成示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

图1为本发明实施例1提供的一种用于体育赛事的网络数据获取方法的流程示意图，该方法包括如下步骤：

步骤101、接收网络数据获取请求，网络数据获取请求包括目标参数，目标参数包括体育赛事主题、关键词列表及目标主题相关度。其中，关键词列表如球队名称、球员姓名等。

步骤102、从存储器中提取至少一个历史站点。

存储器中有以往获取到的历史站点数据，当接收到网络数据获取请求后，从存储器中提取至少一个历史站点。

步骤103、解析历史站点内的所有模块。

每个站点均设有各模块，通过在存储器中获取历史站点后，解析该历史站点中所有模块所处的位置及大小等信息。

步骤104、将模块与存储器中的配置文件相匹配。

将解析到的历史站点内所有模块的位置及大小等数据，与存储器中的配置文件的相应数据(如位置、大小)进行匹配。

步骤105、若历史站点的第一模块与存储器中的第一配置文件匹配，则将历史站点、第一配置文件和网络数据获取请求发送至指定的网络数据获取器，使网络数据获取器根据第一配置文件对历史站点的相应模块进行网络数据获取。

其中，指定的网络数据获取器对历史站点的利用率大于利用率阈值，利用率为网络数据获取器对历史站点的爬取次数与历史站点的总爬取次数的比值。

若历史站点的第一模块与存储器中的第一配置文件匹配，则网络数据获取器即可根据该第一配置文件对所对应的第一模块进行网络数据获取，避免对站点的页面格式进行解析后进行代码化导致的网络获取效率低的问题。

步骤106、接收指定的网络数据获取器的第一获取结果。

步骤107、解析第一获取结果，获得第一解析参数，第一解析参数包括第一获取结果主题和第一获取结果关键词列表。

步骤108、将第一解析参数与目标参数进行匹配，计算第一获取结果与网络数据获取请求之间的第一主题相关度。

将第一获取结果的解析参数(结果主题和结果关键词列表)与目标参数(体育赛事主题、关键词列表及目标主题相关度)进行匹配，计算第一获取结果与网络数据获取请求之间的第一主题相关度。

步骤109、将第一主题相关度与目标主题相关度进行比较。

步骤110、若第一主题相关度大于或等于目标主题相关度，则将第一获取结果发送至与网络数据获取请求相应的业务存储器，存储器包括业务存储器。

当第一主题相关度大于或等于目标主题相关度，说明该第一获取结果满足目标参数的条件，可被获取使用，因此将第一获取结果发送至与网络数据获取请求相应的存储器中的业务存储器中，可随时被使用。

通过实时监控网络数据获取器所获取的获取结果，并判定该获取结果是否与目标参数匹配，以获取理想的获取结果，并存储于相应的业务存储器中，方便用户的随时搜索和使用。

在一些可选的实施例中，网络数据获取系统实时对第一配置文件的获取成功率进行监控，以防相应模块的更新，以及时更新存储器中的相应配置文件。在图1所示流程图步骤110、获取第一获取结果后，对该获取结果进行相应的相关度判定，具体操作参见图2提供的更新第一配置文件的流程示意图：

步骤111、第一配置文件所对应的第一模块的第一获取结果中，若第一获取结果与网络数据获取请求之间的第一主题相关度大于或等于目标主题相关度，则返回获取成功结论；若所有的第一获取结果与网络数据获取请求之间的第一主题相关度均小于目标主题相关度，则返回获取失败结论。

步骤112、计算预定时间间隔内每个第一配置文件的获取成功结论与获取失败结论的比值，形成第一配置文件的成功率。

步骤113、将第一配置文件的成功率与第一配置文件的成功率阈值进行比较。

步骤114、若第一配置文件的成功率小于第一配置文件的成功率阈值，则返回故障信息。

接收到故障信息说明该模块发生了变化，需要对该模块进行重新解析，获得新的配置文件，及时更新第一配置文件，避免第一模块与第一配置文件不匹配而导致的网络数据获取失败。

步骤115、接收与第一模块对应的修改后的第一配置文件。

步骤116、将修改后的第一配置文件发送至存储器。

及时更新站点的模块信息和相应的网络数据获取器第一配置文件，避免站点或模块更新带来的网络获取失败。

在一些可选的实施例中，系统操作人员会实时对未形成配置文件的模块进行解析，从而将新建的配置文件储存在存储器中，以备后续使用具体操作参见图3提供的新建配置文件的流程示意图：

步骤301、接收第二配置文件。

步骤302、将第二配置文件与所有的第一配置文件进行比较。

步骤303、若第二配置文件与所有的第一配置文件均不同，则将第二配置文件发送到存储器。

将及时解析出来的新的第二配置文件发送至配置文件的存储器，方便后期对相应模块进行网络数据获取时的快速搜索。

通过实时监控新建的第二配置文件，并判定该第二配置文件是否与所有第一配置文件匹配，并存储于配置文件的存储器中，避免配置文件的冗余现象，并且方便用户后期的快速搜索和使用。

在一些可选的实施例中，网络数据获取方法还包括获取停止程序。

若历史站点的第二模块与存储器中的所有第一配置文件均不匹配，则将第二配置文件发送到配置文件存储器后，若未接收到指定的网络数据获取器的停止信息，并且指定的网络数据获取器未对该第二模块进行网络数据获取，则继续进行如下步骤：

步骤304、解析第二模块。

步骤305、将第二模块与第二配置文件相匹配。

步骤306、若第二模块与第二配置文件匹配，则向指定的网络数据获取器发送第二配置文件。

在一些可选的实施例中，网络获取系统可随时更新存储器中的站点，以收集新的站点，提高网络获取的选择。具体步骤参见图4提供的输入站点提取的流程示意图：

步骤401、接收输入站点及其站点描述。

步骤402、将输入站点的站点描述与历史站点的站点描述进行比较。

步骤403、若输入站点的站点描述与历史站点的站点描述不同，则将输入站点发送至存储器。

若输入站点的站点描述与历史站点的站点描述不同，则说明输入站点不属于历史站点，即可将该输入站点收录到历史站点的存储器中。

步骤404、若所有的获取结果的主题相关度均小于目标主题相关度，则从历史站点存储器中提取输入站点的统一资源定位符。

如果从存储器的历史站点中获取的所有获取结果的主题相关度均小于目标主题相关度，说明现有存储器中的历史站点中均获取不到所需的获取结果。此时，则从存储器中提取输入站点的统一资源定位符。

步骤405、解析输入站点内的所有模块。

步骤406、将输入站点内的第三模块与存储器中的配置文件相匹配。

将输入站点中解析到的第三模块与存储器中的配置文件进行匹配。

步骤407、若第三模块与存储器中的第三配置文件匹配，则将输入站点、第三配置文件发送至指定的网络数据获取器，使指定的网络数据获取器对新加入的站点进行网络数据获取，提高获取任务的成功率。

步骤408、接收指定的网络数据获取器对输入站点的第二获取结果。

步骤409、解析第二获取结果，获得第二解析参数，第二解析参数包括第二获取结果主题和第二获取结果关键词列表。

步骤410、将第二解析参数与目标参数进行匹配，计算第二获取结果与网络数据获取请求之间的第二主题相关度。

步骤411、将第二主题相关度与目标主题相关度进行比较。

步骤412、若第二主题相关度大于或等于目标主题相关度，则将第二获取结果发送至与网络数据获取请求相应的业务存储器，存储器包括业务存储器。

在对历史站点进行数据获取时，同时可将新的输入站点作为获取对象，可扩大数据获取范围，提高数据获取的成功率。

实施例2

图5为本发明实施例2提供的用于体育赛事的网络数据获取系统的一种构成示意图；该网络数据获取系统50包括：请求接收单元501、历史站点提取单元502、第一模块解析单元503、第一配置文件匹配单元504、任务指定单元505、第一结果接收单元506、第一结果解析单元507、第一解析参数匹配单元508、第一相关度比较单元509、第一获取结果发送单元510。

请求接收单元501，用于接收网络数据获取请求，网络数据获取请求包括目标参数，目标参数包括体育赛事主题、关键词列表及目标主题相关度，其中，关键词列表如球队名称、球员姓名等；并将目标参数传输至历史站点提取单元502。

历史站点提取单元502与请求接收单元501相连接，当接收到目标参数后，为了提高网络数据获取效率，可以优先选择曾经获得到该类网络数据的历史站点来获取数据，因此历史站点提取单元502从存储器中提取至少一个历史站点，并将该历史站点的数据传输至第一模块解析单元503。

第一模块解析单元503与历史站点提取单元502相连接，当接收到历史站点数据后，第一模块解析单元503对该历史站点的页面格式进行解析，获取历史站点内的所有模块，便于将各模块与配置文件进行匹配；将解析到的历史站点内的所有模块传输至第一配置文件匹配单元504。

第一配置文件匹配单元504与第一模块解析单元503相连接，当接收到解析到的历史站点内的所有模块后，第一配置文件匹配单元504将解析后的站点模块与存储器中的配置文件相匹配；并将二者的匹配数据传输至任务指定单元505。

任务指定单元505与第一配置文件匹配单元504相连接，当接收到解析后站点模块与存储器中配置文件的匹配数据后，若历史站点的第一模块与存储器中的第一配置文件匹配，说明该历史站点的第一模块可以按照第一配置文件来获取，任务指定单元505将历史站点、第一配置文件和网络数据获取请求发送至指定的网络数据获取器，使网络数据获取器根据第一配置文件对历史站点的相应模块进行网络数据获取；并将网络数据获取信息传输至第一结果接收单元506。

第一结果接收单元506与指定的网络数据获取器相连接。第一结果接收单元506接收指定的网络数据获取器的第一获取结果；并将该第一获取结果传输至第一结果解析单元507。

第一结果解析单元507和第一结果接收单元506相连接，当接收到指定的网络数据获取器的第一获取结果后，第一结果解析单元507对第一获取结果进行解析，获得第一解析参数，第一解析参数包括第一获取结果主题和第一获取结果关键词列表；并将解析到的第一解析参数传输至第一解析参数匹配单元508。

第一解析参数匹配单元508与第一结果解析单元507相连接，当接收到第一解析参数后，第一解析参数匹配单元508将第一解析参数与目标参数进行匹配，计算第一获取结果与网络数据获取请求之间的第一主题相关度；并将计算的第一获取结果与网络数据获取请求之间的第一主题相关度传输至第一相关度比较单元509。

第一相关度比较单元509与第一解析参数匹配单元508相连接，当接收到计算得到的第一获取结果与网络数据获取请求之间的第一主题相关度后，第一相关度比较单元509将第一主题相关度与目标主题相关度进行比较；并将比较结果传输至第一获取结果发送单元510。

结果发送单元510与第一相关度比较单元509相连接，当接收到第一主题相关度与目标主题相关度的比较结果后，如果第一主题相关度大于或等于目标主题相关度，则结果发送单元510将第一获取结果发送至与网络数据获取请求相应的存储器中的业务存储器。

将站点中的模块与配置文件进行匹配，使网络数据获取器利用配置文件对相应的模块进行网络数据获取，节省了对站点的页面格式进行解析并进行代码化的时间，提高了网络数据获取的效率。

图6为本发明实施例2提供的用于体育赛事的网络数据获取系统的另一种构成示意图；该网络数据获取系统50包括图5所对应实施例中的请求接收单元501、历史站点提取单元502、第一模块解析单元503、第一配置文件匹配单元504、任务指定单元505、第一结果接收单元506、第一结果解析单元507、第一解析参数匹配单元508、第一相关度比较单元509、第一获取结果发送单元510，进一步的，该网络数据获取系统50可以包括：配置文件接收单元511、配置文件比较单元512、配置文件存储单元513。

当系统工作人员对新的模块进行解析得到一个新的第二配置文件后，将该第二配置文件发送至配置文件接收单元511。配置文件接收单元511将接收到的第二配置文件传送至配置文件比较单元512。

配置文件比较单元512与配置文件接收单元511相连接，当接收到第二配置文件后，配置文件比较单元512将第二配置文件与所有的第一配置文件进行比较，以验证第二配置文件与现有的第一配置文件是否相同，并将二者的比较结果传送至配置文件存储单元513。

配置文件存储单元513与配置文件比较单元512相连接，当接收到第二配置文件与所有的第一配置文件的比较结果后，若第二配置文件与所有的第一配置文件均不同，则说明第二配置文件相较于存储器中现有的所有第一配置文件是一个新的配置文件，配置文件存储单元513则将该第二配置文件发送到配置文件存储器中。

在一些可选的实施例中，网络数据获取方法还可以包括获取停止程序。在一些可选的实施例中，若历史站点解析出的第二模块与存储器中的所有第一配置文件均不匹配，则将第二配置文件发送到配置文件存储器后，若未接收到指定的网络数据获取器的停止信息，并且指定的网络数据获取器未对第二模块进行网络数据获取时，可以利用第二配置文件来辅助网络数据获取器，提高网络数据获取的效率。

图7为本发明实施例2提供的用于体育赛事的网络数据获取系统的再一种构成示意图；该网络数据获取系统50包括图6所对应实施例中的请求接收单元501、历史站点提取单元502、第一模块解析单元503、第一配置文件匹配单元504、任务指定单元505、第一结果接收单元506、第一结果解析单元507、第一解析参数匹配单元508、第一相关度比较单元509、第一获取结果发送单元510、配置文件接收单元511、配置文件比较单元512、配置文件存储单元513。进一步的，该网络数据获取系统50可以包括：第二模块解析单元514、第二配置文件匹配单元515和配置文件发送单元516。

第二模块解析单元514与第一配置文件匹配单元504相连接，当配置文件存储单元513将第二配置文件发送到配置文件存储器中后，若历史站点解析出的第二模块与存储器中的所有第一配置文件均不匹配，且未接收到指定的网络数据获取器的停止信息，并且指定的网络数据获取器未对第二模块进行网络数据获取，此时，第二模块解析单元514对该第二模块进行解析；并将解析结果传送至第二配置文件匹配单元515。

第二配置文件匹配单元515与第二模块解析单元514相连接，接收到第二模块的解析结果后，第二配置文件匹配单元515将该解析结果与第二配置文件进行匹配，以检测第二模块与第二配置文件是否匹配；并将匹配结果传送至配置文件发送单元516。

配置文件发送单元516与第二配置文件匹配单元515相连接，如果第二模块与第二配置文件匹配，则说明第二配置文件可以用于对第二模块进行网络数据获取，此时，配置文件发送单元516则向指定的网络数据获取器发送第二配置文件。

在一些可选的实施例中，网络数据获取系统实时对第一配置文件的获取成功率进行监控，以防相应模块的更新。图8为本发明实施例2提供的用于体育赛事的网络数据获取系统的又一种构成示意图；该网络数据获取系统50包括图5所对应实施例中的请求接收单元501、历史站点提取单元502、第一模块解析单元503、第一配置文件匹配单元504、任务指定单元505、第一结果接收单元506、第一结果解析单元507、第一解析参数匹配单元508、第一相关度比较单元509、第一获取结果发送单元510，进一步的，该网络数据获取系统50可以包括：获取结论返回单元517、成功率计算单元518、成功率比较单元519、故障信息返回单元520、修改接收单元521以及修改存储单元522。

获取结论返回单元517与第一相关度比较单元509相连接。若第一获取结果与网络数据获取请求之间的第一主题相关度大于或等于目标主题相关度，则返回获取成功结论；若所有的第一获取结果与网络数据获取请求之间的第一主题相关度均小于目标主题相关度，则返回获取失败结论；并将该获取结论传送至成功率计算单元518。

成功率计算单元518与获取结论返回单元517相连接，当接收到第一配置文件分别获取的成功结论和失败结论的数据后，成功率计算单元518计算预定时间间隔内每个第一配置文件的获取成功结论与获取失败结论的比值，形成第一配置文件的成功率；并将该第一配置文件的成功率传送至成功率比较单元519。

成功率比较单元519与成功率计算单元518相连接，当接收到第一配置文件的成功率数值后，成功率比较单元519将第一配置文件的成功率与第一配置文件的成功率阈值进行比较；并将比较结果传送至故障信息返回单元520。

故障信息返回单元520与成功率比较单元519相连接，当接收到第一配置文件的成功率与第一配置文件的成功率阈值的比较结果后，如果第一配置文件的成功率小于第一配置文件的成功率阈值，则向系统工作人员返回故障信息，说明该配置文件对应的模块发生了变化，系统工作人员需要对该模块进行解析，对第一配置文件进行相应的修改，以便及时更新第一配置文件，以提高其获取成功结论的成功率；并将该故障信息传输至修改接收单元521。

当接收到故障信修改接收单元521接收来自系统工作人员的与第一模块对应的修改后的第一配置文件；并将修改后的第一配置文件传送至修改存储单元522。

修改存储单元522与修改接收单元521相连接，当接收到修改后的第一配置文件后，为了及时对存储器中第一配置文件进行更新，避免站点更新带来的网络获取失败，修改存储单元522修改后的第一配置文件发送至存储器中，以供后期正常使用。

图9为本发明实施例2提供的用于体育赛事的网络数据获取系统的再又一种构成示意图；该网络数据获取系统50包括图5所对应实施例中的请求接收单元501、历史站点提取单元502、第一模块解析单元503、第一配置文件匹配单元504、任务指定单元505、第一结果接收单元506、第一结果解析单元507、第一解析参数匹配单元508、第一相关度比较单元509、第一获取结果发送单元510，进一步的，该网络数据获取系统50可以包括：输入站点接收单元523、站点描述比较单元524、输入站点存储单元525、输入站点提取单元526、第三模块解析单元527、第三配置文件匹配单元528、输入站点发送单元529、第二结果接收单元530，第二结果解析单元531、第二解析参数匹配单元532、第二相关度比较单元533、第二获取结果发送单元534。

输入站点接收单元523与存储历史站点的存储器相连接。输入站点接收单元523接收输入站点及其站点描述；并将该输入站点及站点描述传输至站点描述比较单元524。

站点描述比较单元524与输入站点接收单元523相连接，当接收到输入站点及站点描述后，站点描述比较单元524将输入站点的站点描述与历史站点的站点描述进行比较；并将比较结果传输至输入站点存储单元525。

输入站点存储单元525与站点描述比较单元524相连接，当接收到输入站点的站点描述与历史站点的站点描述的比较结果后，若输入站点的站点描述与历史站点的站点描述不同，输入站点存储单元525则将输入站点发送至存储器；并将该信息传送至输入站点提取单元526。

输入站点提取单元526与存储站点的存储器相连接。当输入站点存储单元525将输入站点发送至存储器后，若所有的获取结果的主题相关度均小于目标主题相关度，则输入站点提取单元526从历史站点存储器中提取输入站点的统一资源定位符；并将信息传送至第三模块解析单元527。

第三模块解析单元527与输入站点提取单元526相连接，当接收到输入站点提取单元526提取到的输入站点的统一资源定位符后，第三模块解析单元527对该输入站点内的所有模块进行解析；并将解析结果传送至第三配置文件匹配单元528。

第三配置文件匹配单元528与第三模块解析单元527相连接，当接收到输入站点解析得到的所有模块后，第三配置文件匹配单元528将输入站点内的第三模块与存储器中的配置文件相匹配；并将匹配结果传送至输入站点发送单元529。

输入站点发送单元529与第三配置文件匹配单元528相连接，若第三模块与存储器中的第三配置文件匹配，输入站点发送单元529则将输入站点、第三配置文件发送至指定的网络数据获取器，供指定的网络数据获取器利用第三配置文件对输入站点进行网络数据获取。

第二结果接收单元530与指定的网络数据获取器相连接，用于接收指定的网络数据获取器对输入站点的第二获取结果；并将该第二获取结果传送至第二结果解析单元531。

第二结果解析单元531与第二结果接收单元530相连接，当接收到指定的网络数据获取器获取的第二获取结果后，第二结果解析单元531对该第二获取结果进行解析，获得第二解析参数，第二解析参数包括第二获取结果主题和第二获取结果关键词列表；将获得的第二解析参数传送至第二解析参数匹配单元532。

第二解析参数匹配单元532与第二结果解析单元531相连接，当接收到第二获取结果所解析的第二解析参数后，第二解析参数匹配单元532将第二解析参数与目标参数进行匹配，计算第二获取结果与网络数据获取请求之间的第二主题相关度；并将计算得到的第二主题相关度传送至第二相关度比较单元533。

第二相关度比较单元533与第二解析参数匹配单元532相连接，当接收到计算得到的第二主题相关度，第二相关度比较单元533将第二主题相关度与目标主题相关度进行比较；并将二者的比较结果传送至第二获取结果发送单元534。

第二获取结果发送单元534与第二相关度比较单元533相连接，接收到第二主题相关度与目标主题相关度的比较结果后，若第二主题相关度大于或等于目标主题相关度，第二获取结果发送单元534则将第二获取结果发送至与网络数据获取请求相应的存储器的业务存储器中。

通过上述实施例可知，本发明的用于体育赛事的网络数据获取方法和系统，达到了如下的有益效果：

(1)本发明所述的用于体育赛事的网络数据获取方法和系统，首先解析历史站点内的所有模块，并将模块与存储器中的配置文件进行匹配，以便利用配置文件对站点中的模块进行快速获取，避免对站点的页面格式进行解析并进行代码化，提高了获取效率；判定获取结果是否达到目标主题相关度，以获取理想的获取结果，并存储于相应的业务存储器中，方便用户的随时搜索和使用。

(2)本发明所述的用于体育赛事的网络数据获取方法和系统，实时监控第一配置文件的获取成功率，当第一配置文件的获取成功率低于其成功率阈值时，及时根据模块的变化更新配置文件，避免模块的更新后配置文件的不匹配导致的获取失败，以提高其获取结果的成功率，有利于后续数据获取的工作快捷有效的进行，以防相应站点的模块更新。

(3)本发明所述的用于体育赛事的网络数据获取方法和系统，实时加入新的模块所对应的配置文件，便于网络数据获取器利用更多的配置文件进行获取，提高获取效率。

(4)本发明所述的用于体育赛事的网络数据获取方法和系统，实时加入新的站点，扩大网络数据获取范围，提高数据获取的成功率。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用于体育赛事的网络数据获取方法，其特征在于，包括：

接收网络数据获取请求，所述网络数据获取请求包括目标参数，所述目标参数包括体育赛事主题、关键词列表及目标主题相关度；

从存储器中提取至少一个历史站点；

解析所述历史站点内的所有模块；

将所述模块与所述存储器中的配置文件相匹配；

若所述历史站点的第一模块与所述存储器中的第一配置文件匹配，则将所述历史站点、所述第一配置文件和所述网络数据获取请求发送至指定的网络数据获取器，使所述网络数据获取器根据所述第一配置文件对所述历史站点的相应模块进行网络数据获取；其中，所述指定的网络数据获取器对所述历史站点的利用率大于利用率阈值，所述利用率为所述网络数据获取器对所述历史站点的爬取次数与所述历史站点的总爬取次数的比值；

接收所述指定的网络数据获取器的第一获取结果；

解析所述第一获取结果，获得第一解析参数，所述第一解析参数包括第一获取结果主题和第一获取结果关键词列表；

将所述第一解析参数与所述目标参数进行匹配，计算所述第一获取结果与所述网络数据获取请求之间的第一主题相关度；

将所述第一主题相关度与所述目标主题相关度进行比较；

若所述第一主题相关度大于或等于所述目标主题相关度，则将所述第一获取结果发送至与所述网络数据获取请求相应的业务存储器，所述存储器包括所述业务存储器。

2.根据权利要求1所述的用于体育赛事的网络数据获取方法，其特征在于，还包括：

接收第二配置文件；

将所述第二配置文件与所有的所述第一配置文件进行比较；

若所述第二配置文件与所有的所述第一配置文件均不同，则将所述第二配置文件发送到所述存储器。

3.根据权利要求2所述的用于体育赛事的网络数据获取方法，其特征在于，所述获取任务包括获取停止程序；

所述网络数据获取方法还包括：

若所述历史站点的第二模块与所述存储器中的所有第一配置文件均不匹配，则将所述第二配置文件发送到所述存储器后，若未接收到所述指定的网络数据获取器的停止信息，并且所述指定的网络数据获取器未对所述第二模块进行网络数据获取，则：

解析所述第二模块；

将所述第二模块与所述第二配置文件相匹配；

若所述第二模块与所述第二配置文件匹配，则向所述指定的网络数据获取器发送所述第二配置文件。

4.根据权利要求1所述的用于体育赛事的网络数据获取方法，其特征在于，还包括：

所述第一配置文件所对应的所述第一模块的第一获取结果中，若所述第一获取结果与所述网络数据获取请求之间的第一主题相关度大于或等于所述目标主题相关度，则返回获取成功结论；若所有的所述第一获取结果与所述网络数据获取请求之间的第一主题相关度均小于所述目标主题相关度，则返回获取失败结论；

计算预定时间间隔内每个所述第一配置文件的所述获取成功结论与所述获取失败结论的比值，形成所述第一配置文件的成功率；

将所述第一配置文件的成功率与所述第一配置文件的成功率阈值进行比较；

若所述第一配置文件的成功率小于所述第一配置文件的成功率阈值，则返回故障信息；

接收与所述第一模块对应的修改后的第一配置文件；

将所述修改后的第一配置文件发送至所述存储器。

5.根据权利要求1所述的用于体育赛事的网络数据获取方法，其特征在于，所述网络数据获取方法还包括：

接收输入站点及其站点描述；

将所述输入站点的站点描述与所述历史站点的站点描述进行比较；

若所述输入站点的站点描述与所述历史站点的站点描述不同，则将所述输入站点发送至所述存储器；

若所有的所述获取结果的主题相关度均小于所述目标主题相关度，则从所述历史站点存储器中提取所述输入站点的统一资源定位符；

解析所述输入站点内的所有模块；

将所述输入站点内的第三模块与所述存储器中的配置文件相匹配；

若第三模块与所述存储器中的第三配置文件匹配，则将所述输入站点、所述第三配置文件发送至所述指定的网络数据获取器；

接收所述指定的网络数据获取器对所述输入站点的第二获取结果；

解析所述第二获取结果，获得第二解析参数，所述第二解析参数包括第二获取结果主题和第二获取结果关键词列表；

将所述第二解析参数与所述目标参数进行匹配，计算所述第二获取结果与所述网络数据获取请求之间的第二主题相关度；

将所述第二主题相关度与所述目标主题相关度进行比较；

若所述第二主题相关度大于或等于所述目标主题相关度，则将所述第二获取结果发送至与所述网络数据获取请求相应的业务存储器，所述存储器包括所述业务存储器。

6.一种用于体育赛事的网络数据获取系统，其特征在于，包括请求接收单元、历史站点提取单元、第一模块解析单元、第一配置文件匹配单元、任务指定单元、第一结果接收单元、第一结果解析单元、第一解析参数匹配单元、第一相关度比较单元、第一获取结果发送单元，其中：

所述请求接收单元，用于接收网络数据获取请求，所述网络数据获取请求包括目标参数，所述目标参数包括体育赛事主题、关键词列表及目标主题相关度；

所述历史站点提取单元，用于从存储器中提取至少一个历史站点；

所述第一模块解析单元，用于解析所述历史站点内的所有模块；

所述第一配置文件匹配单元，用于将所述模块与所述存储器中的配置文件相匹配；

所述任务指定单元，用于：若所述历史站点的第一模块与所述存储器中的第一配置文件匹配，则将所述历史站点、所述第一配置文件和所述网络数据获取请求发送至指定的网络数据获取器，使所述网络数据获取器根据所述第一配置文件对所述历史站点的相应模块进行网络数据获取；

所述第一结果接收单元，用于接收所述指定的网络数据获取器的第一获取结果；

所述第一结果解析单元，用于解析所述第一获取结果，获得第一解析参数，所述第一解析参数包括第一获取结果主题和第一获取结果关键词列表；

所述第一解析参数匹配单元，用于将所述第一解析参数与所述目标参数进行匹配，计算所述第一获取结果与所述网络数据获取请求之间的第一主题相关度；

所述第一相关度比较单元，用于将所述第一主题相关度与所述目标主题相关度进行比较；

所述第一获取结果发送单元，用于：若所述第一主题相关度大于或等于所述目标主题相关度，则将所述第一获取结果发送至与所述网络数据获取请求相应的业务存储器，所述存储器包括所述业务存储器。

7.根据权利要求6所述的用于体育赛事的网络数据获取系统，其特征在于，还包括配置文件接收单元、配置文件比较单元、配置文件存储单元；其中：

所述配置文件接收单元，用于接收第二配置文件；

所述配置文件比较单元，用于将所述第二配置文件与所有的所述第一配置文件进行比较；

所述配置文件存储单元，用于：若所述第二配置文件与所有的所述第一配置文件均不同，则将所述第二配置文件发送到所述存储器。

8.根据权利要求7所述的用于体育赛事的网络数据获取系统，其特征在于，所述获取任务包括获取停止程序；

其中，所述网络数据获取系统还包括第二模块解析单元、第二配置文件匹配单元和配置文件发送单元；其中，

第二模块解析单元，用于解析所述第二模块；

所述第二配置文件匹配单元，用于将所述第二模块与所述第二配置文件相匹配；

所述配置文件发送单元，用于：若所述第二模块与所述第二配置文件匹配，则向所述指定的网络数据获取器发送所述第二配置文件。

9.根据权利要求6所述的用于体育赛事的网络数据获取系统，其特征在于，还包括获取结论返回单元、成功率计算单元、成功率比较单元、故障信息返回单元、修改接收单元以及修改存储单元；其中，

所述获取结论返回单元，用于：所述第一配置文件所对应的所述第一模块的第一获取结果中，若所述第一获取结果与所述网络数据获取请求之间的第一主题相关度大于或等于所述目标主题相关度，则返回获取成功结论；若所有的所述第一获取结果与所述网络数据获取请求之间的第一主题相关度均小于所述目标主题相关度，则返回获取失败结论；

所述成功率计算单元，用于计算预定时间间隔内每个所述第一配置文件的所述获取成功结论与所述获取失败结论的比值，形成所述第一配置文件的成功率；

所述成功率比较单元，用于将所述第一配置文件的成功率与所述第一配置文件的成功率阈值进行比较；

所述故障信息返回单元，用于：若所述第一配置文件的成功率小于所述第一配置文件的成功率阈值，则返回故障信息；

所述修改接收单元，用于接收与所述第一模块对应的修改后的第一配置文件；

所述修改存储单元，用于将所述修改后的第一配置文件发送至所述存储器。

10.根据权利要求6所述的用于体育赛事的网络数据获取系统，其特征在于，所述网络数据获取系统还包括输入站点接收单元、站点描述比较单元、输入站点存储单元、输入站点提取单元、第三模块解析单元、第三配置文件匹配单元、输入站点发送单元、第二结果接收单元，第二结果解析单元、第二解析参数匹配单元、第二相关度比较单元、第二获取结果发送单元；其中，

所述输入站点接收单元，用于接收输入站点及其站点描述；

所述站点描述比较单元，用于将所述输入站点的站点描述与所述历史站点的站点描述进行比较；

所述输入站点存储单元，用于：若所述输入站点的站点描述与所述历史站点的站点描述不同，则将所述输入站点发送至所述存储器；

所述输入站点提取单元，用于：若所有的所述获取结果的主题相关度均小于所述目标主题相关度，则从所述历史站点存储器中提取所述输入站点的统一资源定位符；

所述第三模块解析单元，用于解析所述输入站点内的所有模块；

所述第三配置文件匹配单元，用于将所述输入站点内的第三模块与所述存储器中的配置文件相匹配；

所述输入站点发送单元，用于：若第三模块与所述存储器中的第三配置文件匹配，则将所述输入站点、所述第三配置文件发送至所述指定的网络数据获取器；

所述第二结果接收单元，用于接收所述指定的网络数据获取器对所述输入站点的第二获取结果；

所述第二结果解析单元，用于解析所述第二获取结果，获得第二解析参数，所述第二解析参数包括第二获取结果主题和第二获取结果关键词列表；

所述第二解析参数匹配单元，用于将所述第二解析参数与所述目标参数进行匹配，计算所述第二获取结果与所述网络数据获取请求之间的第二主题相关度；

所述第二相关度比较单元，用于将所述第二主题相关度与所述目标主题相关度进行比较；

所述第二获取结果发送单元，用于：若所述第二主题相关度大于或等于所述目标主题相关度，则将所述第二获取结果发送至与所述网络数据获取请求相应的业务存储器，所述存储器包括所述业务存储器。