CN105357275A - 智能聚合接口的方法及系统 - Google Patents

Abstract

本发明公开了一种智能聚合接口的方法及系统，所述智能聚合接口的方法包括步骤：统一配置聚合接口，包括配置数据传输接口的地址、参数及路由规则；智能化数据传输接口负载均衡、动态映射及容错处理；网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据。本发明还提出一种应用上述方法的智能聚合接口系统，包括智能聚合接口系统云端服务器，内部系统及数据仓库。上述智能聚合接口的方法及系统可实现对外部互联网数据的自动化智能获取，通过对聚合接口进行统一的配置和管理，提高软件开发人员的效率，通过负载均衡、容错处理可对数据传输接口进行智能监控，保证系统数据传输的稳定性。

Description

智能聚合接口的方法及系统

技术领域

本发明涉及移动互联网领域，特别是涉及智能聚合接口的方法及系统。

背景技术

随着互联网技术的飞速发展，越来越多的人们选择通过互联网获取信息。如今的互联网包括了各种知识，音乐，图书，动漫，电视剧，动漫，公开课，演讲等各种海量数据，种类繁多，内容丰富，互联网企业一般都是使用各种数据接口获取互联网数据，智能聚合接口系统是一种位于企业内部，向外部互联网获取数据，对外部互联网提供公共数据服务接口的软件系统。

在实际应用中，目前的互联网系统数据接口分布在不同的系统中，不能实现统一配置，而如今随着互联网企业对外部数据的获取需求越来越多，往往需要和许多互联网企业进行数据对接，同样要提供公共数据服务器接口给外部互联网。因此，如何使用一种聚合接口技术实现对接口服务统一配置管理，实现负载均衡，容错机制，搜索引擎智能爬取互联网数据是目前亟待解决的技术问题。

发明内容

鉴于上述状况，有必要提供一种克服上述问题或者至少部分地解决上述问题的智能聚合接口的方法及系统。

一种智能聚合接口的方法，包括以下步骤：

统一配置聚合接口，包括配置数据传输接口的地址、参数及路由规则；

智能化数据传输接口负载均衡、动态映射及容错处理；

网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据。

所述统一配置智能聚合接口包括以下步骤：

数据传输接口地址配置，配置接口的网络地址；

数据传输接口参数配置，配置接口的请求参数和返回参数；

数据传输接口路由规则配置，配置接口在交互的系统中路由规则；

数据传输接口配置信息存储，将上述配置步骤的数据传输接口规则存储到数据库中。

所述智能化数据传输接口负载均衡、动态映射及容错处理包括以下步骤：

数据传输接口地址提供统一的调用入口，即所有的接口调用从负载均衡地址进出；

智能化数据传输接口进一步根据负载均衡算法及所述数据传输接口对应的路由规则，将接口调用请求动态映射到集群服务器上运行的服务单元上；

在接口服务出现错误的情况下，负载均衡算法自动感知错误，将请求重新映射集群服务器正常工作服务单元上。

所述网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据包括以下步骤：

内部系统发出获取互联网数据请求；

网络搜索引擎通过网络爬虫获取互联网数据；

云端服务器对获取的互联网数据内容进行分析处理并进行数据分类；

数据仓库对已分析的互联网数据内容进行聚合并存储。

所述网络爬虫含有关键字排除程序，所述关键字排除程序用于所述网络搜索引擎抓取互联网数据请求时，排除涉及虚假、色情等非法的信息。

一种智能聚合接口系统，应用上述智能聚合接口的方法，包括：

智能聚合接口系统云端服务器，用于统一配置智能聚合接口，智能化处理数据传输接口的负载均衡、动态映射及容错处理，智能获取互联网数据，分析处理获取的互联网数据；

内部系统，用于发起获取数据请求；

数据仓库，用于存储所述智能聚合接口系统云端服务器获取并分析的互联网数据。

所述智能聚合接口系统云端服务器包括聚合接口统一配置模块，用于配置数据传输接口的地址、参数及路由规则，所述聚合接口统一配置模块包括数据传输接口地址配置单元、数据传输接口参数配置单元及数据传输接口路由规则配置单元，所述数据传输接口地址配置单元用于配置接口的网络地址，数据传输接口参数配置单元，用于配置接口的请求参数和返回参数，数据传输接口路由规则配置单元，用于配置接口在交互的系统中路由规则。

所述智能聚合接口系统云端服务器进一步包括聚合接口系统负载均衡模块和集群服务器服务单元模块，所述聚合接口系统负载均衡模块接收所述内部系统发出的获取互联网数据请求，按照负载均衡算法，将请求动态映射到所述集群服务器服务单元模块，所述聚合接口系统负载均衡模块进一步包括服务容错单元，用于在接口服务出现错误的情况下，自动感知错误，将请求重新映射到所述集群服务器服务单元模块中正常工作的服务单元上，所述集群服务器服务单元模块与所述聚合接口系统负载均衡模块相耦合，执行具体的互联网数据获取请求。

所述智能聚合接口系统云端服务器进一步包括网络爬虫模块和互联网数据智能分析处理模块，所述网络爬虫模块自动获取互联网数据，所述互联网数据智能分析处理模块对获取的互联网数据内容进行分析处理并进行数据分类。

本发明提出的智能聚合接口的方法及系统可实现对外部互联网数据的自动化智能获取，通过对聚合接口进行统一的配置和管理，提高软件开发人员的效率，通过负载均衡、容错处理可对数据传输接口进行智能监控，保证系统数据传输的稳定性。

附图说明

图1示出了根据本发明一个实施例的智能聚合接口的方法的流程图。

图2示出了根据本发明一个实施例的统一配置聚合接口的流程图。

图3示出了根据本发明一个实施例的智能化数据传输接口负载均衡、动态映射及容错处理的流程图。

图4示出了根据本发明一个实施例的网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据的流程图。

图5示出了根据本发明一个实施例的内部系统发出获取互联网数据请求的具体流程图。

图6示出了根据本发明一个实施例的智能聚合接口系统的结构图。

图7示出了根据本发明一个实施例的聚合接口统一配置模块的结构图。

图8示出了根据本发明一个实施例的聚合接口系统负载均衡模块的结构图。

图9示出了根据本发明一个实施例的网络爬虫模块的结构图。

图10示出了根据本发明一个实施例的数据仓库的结构图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

请参阅图1，本发明实施例提出的智能聚合接口的方法，包括以下步骤：

步骤S102，统一配置聚合接口，包括配置数据传输接口的地址、参数及路由规则；

步骤S104，智能化数据传输接口负载均衡、动态映射及容错处理。

步骤S106，网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据；

请参阅图2，所述步骤S102，统一配置智能聚合接口包括以下步骤：

步骤S1022，数据传输接口地址配置，配置接口的网络地址；

步骤S1024，数据传输接口参数配置，配置接口的请求参数和返回参数；

步骤S1026，数据传输接口路由规则配置，配置接口在交互的系统中路由规则。

步骤S1028，数据传输接口配置信息存储，将上述配置步骤的数据传输接口规则存储到数据库中。

在该实施例中，网络传输接口的地址，数据传输接口请求参数和返回参数确定了网络接口的请求地址和参数对象类型，网络传输接口路由规则确定了数据传输接口在系统中的数据流走向，即从源系统到目的系统的数据流向。

请参阅图3，所述步骤S104，智能化数据传输接口负载均衡、动态映射及容错处理包括以下步骤：

步骤S1042，数据传输接口地址提供统一的调用入口，即所有的接口调用从负载均衡地址进出；

步骤S1044，智能化数据传输接口进一步根据负载均衡算法及所述数据传输接口对应的路由规则，将接口调用请求动态映射到集群服务器上运行的服务单元上；

步骤S1046，在接口服务出现错误的情况下，负载均衡算法自动感知错误，将请求重新映射集群服务器正常工作服务单元上。

在该实施例中，通过接口服务负载均衡以及容错机制，能够在集群服务器的单个服务单元出现异常状况时，容错机制在服务器集群上有两个以上服务单元运行的情况下，负载均衡算法将自动感知错误，并且将接口服务请求重新映射到正常工作的服务单元上，这样就极大地保证了系统数据传输的稳定性。

请参阅图4，所述步骤S106，网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据包括以下步骤：

步骤S1062，内部系统发出获取互联网数据请求；

请参阅图5，所述内部系统发出获取互联网数据请求的具体流程图，内部系统向智能聚合接口系统云端服务器的负载均衡器发起获取数据请求，所述负载均衡器接收上述请求，根据映射规则，将接口请求动态映射到集群服务器的正常运行的服务单元，之后所述聚合接口服务器集群服务单元向具体的互联网数据提供商发起数据获取请求。

步骤S1064，网络搜索引擎通过网络爬虫获取互联网数据；

所述网络爬虫用于自动抓取互联网数据，获取互联网数据内容，具体操作时，该网络爬虫可定时在互联网中启动抓取工作，将第三方的数据资源，比如文本、html网页、Web服务、关系数据库等内容进行自动抓取，抓取动作高效便捷，且该网络爬虫还可统计用户的喜好，根据用户的使用特点进行个性化抓取。

进一步的，所述智能数据抓取工具含有关键字排除程序，该关键字排除程序用于所述智能数据抓取工具发起互联网数据抓取请求时，排除涉及虚假、色情等非法的信息，精简掉多余、无效的互联网内容，保证所述智能数据抓取工具抓取内容的合法、有效。

步骤S1066，云端服务器对获取的互联网数据内容进行分析处理并进行数据分类；

其中，所述云端服务器进一步设有互联网数据智能分析处理工具，用于自动分析所述智能数据抓取工具抓取的互联网数据内容，对抓取的互联网数据内容进行分类聚合，例如所述智能数据分析工具根据音频、视频、图书、图片等类别对抓取到的数据内容进行分类，将同类的数据内容进行聚合归档。之后所述智能数据分析聚合工具再次确认数据内容的合法性和真实性，确认完成后，进一步向步骤S1068发出存储请求。

步骤S1068，数据仓库对已分析的互联网数据内容进行聚合并存储。

其中，所述数据仓库设有智能数据整合存储工具，所述智能数据整合存储工具接收步骤S1066发出的请求，对已分类聚合且确认后的互联网数据内容进行整合并存储，整合时可根据系统设定选择将所有数据内容进行整合，或选择性的整合部分内容。

本发明实施例提出的智能聚合接口的方法可通过云端服务器的网络爬虫自动抓取互联网最新的信息，保证了系统内容与互联网内容保持高度一致，能够根据智能数据抓取工具捕捉到互联网市场的最新发展趋势，且本发明可利用大数据存储技术和大数据分析技术，为企业公司决策提供信息支持。

本发明的实施例还提出了一种智能聚合接口系统，该系统应用上述提出的智能聚合接口的方法。

请参阅图6，该智能聚合接口系统包括智能聚合接口系统云端服务器10，内部系统20，数据仓库30。

该智能聚合接口系统云端服务器10用于统一配置智能聚合接口，智能化处理数据传输接口的负载均衡、动态映射及容错处理，智能获取互联网数据，分析处理获取的互联网数据；该内部系统20用于发起获取数据请求；该数据仓库30用于存储所述智能聚合接口系统云端服务器获取并分析的互联网数据。

请继续参阅图6，该智能聚合接口系统云端服务器10包括聚合接口统一配置模块101，用于配置数据传输接口的地址、参数及路由规则。

请参阅图7，该聚合接口统一配置模块101模块包括数据传输接口地址配置单元1011、数据传输接口参数配置单元1012及数据传输接口路由规则配置单元1013，该数据传输接口地址配置单元1011用于配置接口的网络地址，该数据传输接口参数配置单元1012用于配置接口的请求参数和返回参数，该数据传输接口路由规则配置单元1013用于配置接口在交互的系统中路由规则。

请参阅图6和图8，该智能聚合接口系统云端服务器10进一步包括聚合接口系统负载均衡模块102和集群服务器服务单元模块103，该聚合接口系统负载均衡模块102接收内部系统20发出的获取互联网数据请求，再根据聚合接口系统负载均衡模块102的负载均衡算法，将请求动态映射到集群服务器服务单元模块103。该聚合接口系统负载均衡模块102进一步包括服务容错单元1021，用于在接口服务出现错误的情况下，自动感知错误，将请求重新映射到集群服务器服务单元模块103中正常工作的服务单元上，该集群服务器服务单元模块103与聚合接口系统负载均衡模块102相耦合，执行具体的互联网数据获取请求。

请继续参阅图6，该智能聚合接口系统云端服务器10进一步包括网络爬虫模块104和互联网数据智能分析处理模块105，该网络爬虫模块104自动获取互联网数据，获取互联网数据内容，具体操作时，该网络爬虫可定时在互联网中启动抓取工作，将第三方的数据资源，比如文本、html网页、Web服务、关系数据库等内容进行自动抓取，抓取动作高效便捷，且该网络爬虫还可统计用户的喜好，根据用户的使用特点进行个性化抓取。该互联网数据智能分析处理模块105对获取的互联网数据内容进行分析处理并进行数据分类。

请参阅图9，该网络爬虫模块104还含有关键字排除单元1041，该关键字排除单元1041用于所述智能数据抓取工具发起互联网数据抓取请求时，排除涉及虚假、色情等非法的信息，精简掉多余、无效的互联网内容，保证所述智能数据抓取工具抓取内容的合法、有效。

该互联网数据智能分析处理模块105对获取的互联网数据内容进行分析处理并进行数据分类，具体实施时该互联网数据智能分析处理模块105可根据音频、视频、图书、图片等类别对抓取到的数据内容进行分类，将同类的数据内容进行聚合归档。之后所述智能数据分析聚合工具再次确认数据内容的合法性和真实性，确认完成后，进一步向该数据仓库30出存储请求。

请参阅图10，该数据仓库30设有智能数据整合工具301和存储工具302，该智能数据整合工具301接收互联网数据智能分析处理模块105发出的请求，对数据进行整合，整合时可根据系统设定选择将所有数据内容进行整合，或选择性的整合部分内容，该存储工具302对已分类聚合且确认后的互联网数据内容进行存储。

本发明提出的智能聚合接口的方法及系统可实现对外部互联网数据的自动化智能获取，通过对聚合接口进行统一的配置和管理，提高软件开发人员的效率，通过负载均衡、容错处理可对数据传输接口进行智能监控，保证系统数据传输的稳定性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种智能聚合接口的方法，其特征在于，包括以下步骤：

统一配置聚合接口，包括配置数据传输接口的地址、参数及路由规则；

智能化数据传输接口负载均衡、动态映射及容错处理；

网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据。

2.根据权利要求1所述的智能聚合接口的方法，其特征在于，所述统一配置智能聚合接口包括以下步骤：

数据传输接口地址配置，配置接口的网络地址；

数据传输接口参数配置，配置接口的请求参数和返回参数；

数据传输接口路由规则配置，配置接口在交互的系统中路由规则；

数据传输接口配置信息存储，将上述配置步骤的数据传输接口规则存储到数据库中。

3.根据权利要求1或2所述的智能聚合接口的方法，其特征在于，所述智能化数据传输接口负载均衡、动态映射及容错处理包括以下步骤：

数据传输接口地址提供统一的调用入口，即所有的接口调用从负载均衡地址进出；

智能化数据传输接口进一步根据负载均衡算法及所述数据传输接口对应的路由规则，将接口调用请求动态映射到集群服务器上运行的服务单元上；

在接口服务出现错误的情况下，负载均衡算法自动感知错误，将请求重新映射集群服务器正常工作服务单元上。

4.根据权利要求1所述的智能聚合接口的方法，其特征在于，所述网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据包括以下步骤：

内部系统发出获取互联网数据请求；

网络搜索引擎通过网络爬虫获取互联网数据；

云端服务器对获取的互联网数据内容进行分析处理并进行数据分类；

数据仓库对已分析的互联网数据内容进行聚合并存储。

5.根据权利要求4所述的智能聚合接口的方法，其特征在于，所述网络爬虫含有关键字排除程序，所述关键字排除程序用于所述网络搜索引擎抓取互联网数据请求时，排除涉及虚假、色情等非法的信息。

6.一种智能聚合接口系统，其特征在于，应用如权利要求1所述的智能聚合接口的方法，包括：

智能聚合接口系统云端服务器，用于统一配置智能聚合接口，智能化处理数据传输接口的负载均衡、动态映射及容错处理，智能获取互联网数据，分析处理获取的互联网数据；

内部系统，用于发起获取数据请求；

数据仓库，用于存储所述智能聚合接口系统云端服务器获取并分析的互联网数据。

7.根据权利要求6所述的智能聚合接口系统，其特征在于，所述智能聚合接口系统云端服务器包括聚合接口统一配置模块，用于配置数据传输接口的地址、参数及路由规则，所述聚合接口统一配置模块包括数据传输接口地址配置单元、数据传输接口参数配置单元及数据传输接口路由规则配置单元，所述数据传输接口地址配置单元用于配置接口的网络地址，数据传输接口参数配置单元，用于配置接口的请求参数和返回参数，数据传输接口路由规则配置单元，用于配置接口在交互的系统中路由规则。

8.根据权利要求6所述的智能聚合接口系统，其特征在于，所述智能聚合接口系统云端服务器进一步包括聚合接口系统负载均衡模块和集群服务器服务单元模块，所述聚合接口系统负载均衡模块接收所述内部系统发出的获取互联网数据请求，按照负载均衡算法，将请求动态映射到所述集群服务器服务单元模块，所述聚合接口系统负载均衡模块进一步包括服务容错单元，用于在接口服务出现错误的情况下，自动感知错误，将请求重新映射到所述集群服务器服务单元模块中正常工作的服务单元上，所述集群服务器服务单元模块与所述聚合接口系统负载均衡模块相耦合，执行具体的互联网数据获取请求。

9.根据权利要求6所述的智能聚合接口系统，其特征在于，所述智能聚合接口系统云端服务器进一步包括网络爬虫模块和互联网数据智能分析处理模块，所述网络爬虫模块自动获取互联网数据，所述互联网数据智能分析处理模块对获取的互联网数据内容进行分析处理并进行数据分类。

10.根据权利要求9所述的智能聚合接口系统，其特征在于，所述网络爬虫模块设有关键字排除单元，所述关键字排除单元用于所述网络搜索引擎抓取互联网数据请求时，排除涉及虚假、色情等非法的信息。