CN112464072A - 一种基于大数据分析采集的信息技术咨询服务平台 - Google Patents

Abstract

本发明涉及咨询服务技术领域，且公开了一种基于大数据分析采集的信息技术咨询服务平台，包括信源管理模块，信源管理模块的输出端作用有数据采集层，数据采集层的输出端作用有数据储存层，数据储存层的输出端作用有信息资源咨询平台，信息资源咨询平台的输出端作用有服务目录，服务目录的输出端作用有登录模块，登录模块的输出端作用有功能选择模块，功能选择模块的输出端作用有搜索结果显示页面，搜索结果显示页面的输出端作用有后台识别单元和流程信息。该基于大数据分析采集的信息技术咨询服务平台，保证数据采集效率较佳，从而保证了数据的有效及时性，且基于大数据平台的的互联网数据采集使得咨询服务更加到位，可以使用与多种咨询服务中。

Description

一种基于大数据分析采集的信息技术咨询服务平台

技术领域

本发明涉及咨询服务技术领域，具体为一种基于大数据分析采集的信息技术咨询服务平台。

背景技术

信息技术，是主要用于管理和处理信息所采用的各种技术的总称，它主要是应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件，它也常被称为信息和通信技术，主要包括传感技术、计算机与智能技术、通信技术和控制技术信息咨询指接受委托，为客户量身定制个性化的信息、信用管理等方面的咨询、顾问服务。

息技术能够与各行各业结合，带来无纸化办公、信息高速公路、自动/智能生产、智能生活，提高社会总体生产效率，提高生活便捷，意义重大。 信息技术带来新兴资产阶级的兴起，掌握知识掌握技术的人可以通过信息技术在社会上占据优势，并最终占据话语权，社会结构发生改变，促进阶层流动。

目前所采用的信息技术咨询服务效率较为低下，无法保证数据的有效及时性，不能保证数据采集的快速性能，且不能将咨询服务做到位，只能使用在单一的服务中，无法实现大规模分布式数据采集咨询服务，为此我们提出一种基于大数据分析采集的信息技术咨询服务平台。

发明内容

针对现有技术的不足，本发明提供了一种基于大数据分析采集的信息技术咨询服务平台，保证数据采集效率较佳，从而保证了数据的有效及时性，使得数据的采集较为快速，且基于大数据平台的的互联网数据采集使得咨询服务更加到位，可以使用与多种咨询服务中，为实现大规模分布式数据采集咨询服务提供了便利等优点，解决了目前所采用的信息技术咨询服务效率较为低下，无法保证数据的有效及时性，不能保证数据采集的快速性能，且不能将咨询服务做到位，只能使用在单一的服务中，无法实现大规模分布式数据采集咨询服务的问题。

为实现上述保证数据采集效率较佳，从而保证了数据的有效及时性，使得数据的采集较为快速，且基于大数据平台的的互联网数据采集使得咨询服务更加到位，可以使用与多种咨询服务中，为实现大规模分布式数据采集咨询服务提供了便利的目的，本发明提供如下技术方案：一种基于大数据分析采集的信息技术咨询服务平台，包括信源管理模块，所述信源管理模块的输出端作用有数据采集层，所述数据采集层的输出端作用有数据储存层，所述数据储存层的输出端作用有信息资源咨询平台，所述信息资源咨询平台的输出端作用有服务目录，所述服务目录的输出端作用有登录模块，所述登录模块的输出端作用有功能选择模块，所述功能选择模块的输出端作用有搜索结果显示页面，所述搜索结果显示页面的输出端作用有后台识别单元和流程信息，所述后台识别单元的输出端作用有数据中心，所述数据中心的输出作用端与流程信息相连接，所述流程信息的输出作用端与信息资源咨询平台相连接。

优选的，所述数据采集层包括有Redis分布缓存平台、采集任务调度中心、采集器一、采集器二、采集器三和采集器四，所述Redis分布缓存平台的输出作用端与采集任务调度中心相连接，所述采集任务调度中心输出作用端分别与采集器一、采集器二、采集器三和采集器四相连接。

优选的，所述Redis分布缓存平台作用于缓存采集任务队列和过程数据的临时存储。

优选的，所述采集任务调度中心作用于采集任务的调度，保证任务按设置的采集频率被采集，且保证任务处理的唯一性。

优选的，所述采集器一、采集器二、采集器三和采集器四均作用于任务的处理。

优选的，所述数据储存层包括有数据传输+数据质量校验层和大数据平台，所述数据传输+数据质量校验层的输出作用端与大数据平台相连接。

优选的，所述数据传输+数据质量校验层用于采集器把解析出来的内容经统一的SpringBoot微服务接口，推送到kafka中间件。

优选的，所述大数据平台用于把标题、时间、正文等创建ES索引，供业务查询使用，同时把完整的信息存入HBASE。

优选的，所述流程信息用于将服务流程中产生的信息进行集中收集。

与现有技术相比，本发明提供了一种基于大数据分析采集的信息技术咨询服务平台，具备以下有益效果：

该基于大数据分析采集的信息技术咨询服务平台，通过数据采集层依次进行缓存采集任务队列和过程数据的临时存储、采集任务的调度，保证任务按设置的采集频率被采集，且保证任务处理的唯一性，然后经过采集器一、采集器二、采集器三和采集器四进行任务处理，经数据储存层处理，利用数据传输+数据质量校验层用于采集器把解析出来的内容经统一的SpringBoot微服务接口，推送到kafka中间件，同时，对数据的质量进行校验，主要要校验发布时间、标题、正文等解析的准确度，再经大数据平台用于把标题、时间、正文等创建ES索引，供业务查询使用，同时把完整的信息存入HBASE，然后通过服务目录选择服务的项目，经过 登录模块进行登录处理，然后经过功能选择模块选取指定的功能，然后经过搜索结果显示页面将显示的结果直接输送至流程信息中，搜索结果显示页面通过经过后台识别单元和数据中心进行处理，最后通过流程信息将数据输送至信息资源咨询平台中，保证数据采集效率较佳，从而保证了数据的有效及时性，使得数据的采集较为快速，且基于大数据平台的的互联网数据采集使得咨询服务更加到位，可以使用与多种咨询服务中，为实现大规模分布式数据采集咨询服务提供了便利。

附图说明

图1为本发明系统结构框图；

图2为本发明数据采集层的系统结构框图；

图3为本发明数据储存层的系统结构框图。

图中：1、信源管理模块；2、数据采集层；3、数据储存层；4、信息资源咨询平台；5、服务目录；6、登录模块；7、功能选择模块；8、搜索结果显示页面；9、后台识别单元；10、数据中心；11、流程信息；12、Redis分布缓存平台；13、采集任务调度中心；14、采集器一；15、采集器二；16、采集器三；17、采集器四；18、数据传输+数据质量校验层；19、大数据平台。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，一种基于大数据分析采集的信息技术咨询服务平台，包括信源管理模块1，信源管理模块1的输出端作用有数据采集层2，数据采集层2的输出端作用有数据储存层3，数据储存层3的输出端作用有信息资源咨询平台4，信息资源咨询平台4的输出端作用有服务目录5，服务目录5的输出端作用有登录模块6，登录模块6的输出端作用有功能选择模块7，功能选择模块7的输出端作用有搜索结果显示页面8，搜索结果显示页面8的输出端作用有后台识别单元9和流程信息11，后台识别单元9的输出端作用有数据中心10，数据中心10的输出作用端与流程信息11相连接，流程信息11的输出作用端与信息资源咨询平台4相连接。

该基于大数据分析采集的信息技术咨询服务平台，保证数据采集效率较佳，从而保证了数据的有效及时性，使得数据的采集较为快速，且基于大数据平台19的的互联网数据采集使得咨询服务更加到位，可以使用与多种咨询服务中，为实现大规模分布式数据采集咨询服务提供了便利。

数据采集层2包括有Redis分布缓存平台12、采集任务调度中心13、采集器一14、采集器二15、采集器三16和采集器四17，Redis分布缓存平台12的输出作用端与采集任务调度中心13相连接，采集任务调度中心13输出作用端分别与采集器一14、采集器二15、采集器三16和采集器四17相连接；Redis分布缓存平台12作用于缓存采集任务队列和过程数据的临时存储；采集任务调度中心13作用于采集任务的调度，保证任务按设置的采集频率被采集，且保证任务处理的唯一性；采集器一14、采集器二15、采集器三16和采集器四17均作用于任务的处理；数据储存层3包括有数据传输+数据质量校验层18和大数据平台19，数据传输+数据质量校验层18的输出作用端与大数据平台19相连接；数据传输+数据质量校验层18用于采集器把解析出来的内容经统一的SpringBoot微服务接口，推送到kafka中间件；大数据平台19用于把标题、时间、正文等创建ES索引，供业务查询使用，同时把完整的信息存入HBASE；流程信息11用于将服务流程中产生的信息进行集中收集。

工作时，首先利用信源管理模块1进行信息资源管理处理，然后经过数据采集层2依次进行缓存采集任务队列和过程数据的临时存储、采集任务的调度，保证任务按设置的采集频率被采集，且保证任务处理的唯一性，然后经过采集器一14、采集器二15、采集器三16和采集器四17进行任务处理，经数据储存层3处理，利用数据传输+数据质量校验层18用于采集器把解析出来的内容经统一的SpringBoot微服务接口，推送到kafka中间件，同时，对数据的质量进行校验，主要要校验发布时间、标题、正文等解析的准确度，再经大数据平台19用于把标题、时间、正文等创建ES索引，供业务查询使用，同时把完整的信息存入HBASE，然后通过服务目录5选择服务的项目，经过 登录模块6进行登录处理，然后经过功能选择模块7选取指定的功能，然后经过搜索结果显示页面8将显示的结果直接输送至流程信息11中，搜索结果显示页面8通过经过后台识别单元9和数据中心10进行处理，最后通过流程信息11将数据输送至信息资源咨询平台4中，从而完成咨询处理。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于大数据分析采集的信息技术咨询服务平台，包括信源管理模块（1），其特征在于：所述信源管理模块（1）的输出端作用有数据采集层（2），所述数据采集层（2）的输出端作用有数据储存层（3），所述数据储存层（3）的输出端作用有信息资源咨询平台（4），所述信息资源咨询平台（4）的输出端作用有服务目录（5），所述服务目录（5）的输出端作用有登录模块（6），所述登录模块（6）的输出端作用有功能选择模块（7），所述功能选择模块（7）的输出端作用有搜索结果显示页面（8），所述搜索结果显示页面（8）的输出端作用有后台识别单元（9）和流程信息（11），所述后台识别单元（9）的输出端作用有数据中心（10），所述数据中心（10）的输出作用端与流程信息（11）相连接，所述流程信息（11）的输出作用端与信息资源咨询平台（4）相连接。

2.根据权利要求1所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述数据采集层（2）包括有Redis分布缓存平台（12）、采集任务调度中心（13）、采集器一（14）、采集器二（15）、采集器三（16）和采集器四（17），所述Redis分布缓存平台（12）的输出作用端与采集任务调度中心（13）相连接，所述采集任务调度中心（13）输出作用端分别与采集器一（14）、采集器二（15）、采集器三（16）和采集器四（17）相连接。

3.根据权利要求2所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述Redis分布缓存平台（12）作用于缓存采集任务队列和过程数据的临时存储。

4.根据权利要求2所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述采集任务调度中心（13）作用于采集任务的调度，保证任务按设置的采集频率被采集，且保证任务处理的唯一性。

5.根据权利要求2所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述采集器一（14）、采集器二（15）、采集器三（16）和采集器四（17）均作用于任务的处理。

6.根据权利要求1所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述数据储存层（3）包括有数据传输+数据质量校验层（18）和大数据平台（19），所述数据传输+数据质量校验层（18）的输出作用端与大数据平台（19）相连接。

7.根据权利要求6所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述数据传输+数据质量校验层（18）用于采集器把解析出来的内容经统一的SpringBoot微服务接口，推送到kafka中间件。

8.根据权利要求6所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述大数据平台（19）用于把标题、时间、正文等创建ES索引，供业务查询使用，同时把完整的信息存入HBASE。

9.根据权利要求1所述的一种基于大数据分析采集的信息技术咨询服务平台，其特征在于：所述流程信息（11）用于将服务流程中产生的信息进行集中收集。

Images