CN108804630B - 一种面向行业应用的大数据智能分析服务系统 - Google Patents

Abstract

本发明提供了一种面向行业应用的大数据智能分析服务系统，包括集群管理子系统、数据采集子系统、AI分析建模子系统、AI服务配置工具、分析展示工具以及数据服务子系统。本发明的面向行业应用的大数据智能分析服务系统能够与行业具体解决方案结合，快速构建面向不同行业应用的大数据智能分析应用系统，可有效提高行业大数据分析处理能力，作为一个大数据智能分析的基础平台，可以快速拓展出各类行业化大数据分析应用产品。

Description

一种面向行业应用的大数据智能分析服务系统

技术领域

本发明涉及一种大数据人工智能分析系统，尤其是一种面向行业应用的大数据智能分析服务系统。

背景技术

伴随着信息技术的迅猛发展，基础层的云计算、大数据等因素的成熟带来了人工智能的进步，近年来人工智能概念发展十分迅速，深度学习带来的技术突破使得复杂任务处理准确率得到大幅提升，人工智能步入其发展黄金期。国家和地方层面也都相继出台了其他各项政策对发展人工智能和大数据进行有力支持，大数据人工智能技术有望成为经济发展的新动力。国内外互联网巨头凭借其先天用户数据丰富、资源配置高效等方面的优势，以各种形式在加速布局人工智能领域。在大数据处理能效显著提升与人工智能快速渗透的时代背景下，行业大数据搭载人工智能技术，使行业数据的分析越来越科技化、多样化与普适化，虽然在我国大数据的挖掘和应用尚在起步阶段，但如政务、金融等行业数据作为大数据中最具含金量的数据源，也逐渐受到越来越多的重视。

传统的数据服务软件提供给客户的主要是决策分析、行情展示、行情推送等基础的服务，而互联网技术和互联网行业应用的蓬勃发展，共同促进了大数据智能服务的建设发展，人工智能的正在从专用型（特定于某一场景）转变为通用型，将基于数据、算法和计算的互联网技术群与实际场景相互联系起来，协同发展。正是由于人工智能突破传统分析局限的范畴，才能使其真正将技术拓展至泛智能的应用，更具普适性的行业大数据智能分析应用产品随之产生。面向行业应用的全方位大数据分析、以及不断机器模拟学习和推进人工智能技术，提供精准主题分析服务和数据辅助处理服务更为高效。

无论是互联网+数据、公共社会数据还是产业数据协同，数据的挖掘过程繁复，容易造成数据失真，人工的方式失误程度更高，同时数据级别都是海量单位，大量数据存在方式为非结构化的形式，政务、金融等行业大数据的处理工作面临挑战。但融合人工智能技术的数据挖掘真实性、完整性更为可靠，并且在风险管理与行业分析等复杂数据处理方面，人工智能的应用将大幅降低人力成本并提升行业竞争及业务处理能力。人工智能技术在既有技术的基础上，将出现显著的突破，其应用价值也将显著提升。人工智能技术在促进商业模式智能化的融合上也发挥着举足轻重的作用。

行业大数据，如财务大数据、金融大数据等大多是以时间序列的形式展示出来，辅以其他结构化、半结构化数据形式，这些大数据中包含了诸多行业知识和规律，在大数据和人工智能背景下的大数据挖掘和分析是指利用采集到行业分析相关数据，运用智能科技手段进行分析、处理相关行业数据并指导相关行业分析与决策的过程，研究智能技术在行业大数据分析中的应用，可以为政府、事业单位和企业等的经营管理中的分析与决策活动提供新的理论基础。

目前，随着人工智能与大数据分析理念的普及，各种大数据分析应用系统层出不穷。现有技术中也出现了一些行业大数据系统平台，但是这些大数据平台都是针对固有业务领域或应用实现的大数据分析系统，并不能针对各类业大数据应用的提供数据分析服务，灵活构建多种不同应用的大数据分析系统。因此，有必要开发一种能够针对行业大数据智能分析应用，快速构建行业大数据分析应用的大数据智能分析平台，减小企业大数据分析应用成本，降低大数据分析应用门槛，提高大数据软件企业的竞争力。

发明内容

本发明要解决的技术问题是现有的大数据平台都是针对固有业务领域或应用实现的大数据分析系统，并不能针对各类业大数据应用的提供数据分析服务。

为了解决上述技术问题，本发明提供了一种面向行业应用的大数据智能分析服务系统，包括集群管理子系统、数据采集子系统、AI分析建模子系统、AI服务配置工具、分析展示工具以及数据服务子系统；能够与行业具体解决方案结合，快速构建面向不同行业应用的大数据智能分析应用系统，可有效提高行业大数据分析处理能力，作为一个大数据智能分析的基础平台，可以快速拓展出各类行业化大数据分析应用产品；

其中，集群管理子系统，用于进行行业大数据智能分析服务的集群配置管理；

数据采集子系统，用于获取待分析行业大数据，包括行业相关数据、互联网+数据以及行业社会数据，以元数据驱动的方式提供数据抽取、转换和加载能力，并对获取的待分析行业大数据进行数据预处理；

AI分析建模子系统，用于以Hadoop分布式群YARN模式为核心，在YARN模式中集成AI分析建模组件，并根据行业分析应用需求构建行业AI分析应用模型；

AI服务配置工具，用于根据行业分析需求对行业分析主题的分析模型进行配置以及脚本调用，并通过配置服务规则驱动大数据分析应用，能够通过可配置式个性化开发，大大降低了平台实施和使用的技术门槛，对平台的大部分二次开发不再需要专业的开发人员；

分析展示工具，用于根据行业应用场景设置行业大数据行业应用的功能界面以及分析结果数据展示界面；

数据服务子系统，用于对外提供数据服务，开放多种数据接口，外部系统或用户可通过服务认证或数据API的方式按权限访问相应的数据，为其他应用分析产品提供数据服务。

进一步地，集群管理子系统包括集群配置模块、元数据管理模块、Job调度管理模块、系统监控模块以及系统管理模块；

集群配置模块，用于对系统集群进行配置，包括集群配置和集群节点配置；

元数据管理模块，用于对分析的元数据进行管理，元数据包括数据源元数据、数据仓库元数据、结果元数据、数据服务元数据、任务元数据以及平台信息元数据；

Job调度管理模块，用于对业务进行调度设置以及优先级配置；

系统监控模块，用于对当前系统运行状态进行监控，动态管理集群；

系统管理模块，用于对用户权限以及数据安全进行管理。

进一步地，数据采集子系统模块包括数据源获取模块、行业大数据中心模块、数据清洗设置模块以及数据预处理设置模块；

数据源获取模块，用于获取行业大数据分析所需的待分析行业大数据；

行业大数据中心模块，用于对获取的待分析行业大数据进行配置，将待分析行业大数据与行业分析任务进行绑定；

数据清洗设置模块，用于设置数据清洗过程中涉及到的各类清洗算子；

数据预处理设置模块，用于为数据清洗后的待分析行业大数据设置预处理方法，并对获取的待分析行业大数据进行数据预处理。

进一步地，数据源获取模块包括行业数据获取子模块、互联网+数据获取子模块以及社会数据获取子模块；

行业数据获取子模块，用于采集或录入行业分析相关的行业数据，并存储到行业分析数据库；

互联网+数据获取子模块，用于采集或录入行业分析相关的互联网+数据，并存储到行业互联网+数据库；

社会数据获取子模块，用于采集或录入行业分析相关的社会数据，并存储到行业分析相关的社会数据库。

进一步地，AI分析建模子系统包括分析模型训练模块、参数调优模块、性能监控模块以及算法模型库；

分析模型训练模块，用于对行业分析的AI行业分析算法模型进行配置，包括训练数据集、参数设置以及模型训练设置；

参数调优模块，用于对AI行业分析算法进行参数调优与优选；

性能监控模块，用于监控AI行业分析算法在学习训练过程中各个性能参数的变化；

算法模型库，用于对常用的统计函数、数值计算函数、字符函数、数据挖掘模型以及数据挖掘算法进行封装。

进一步地，参数调优模块对AI行业分析算法进行参数调优时，首先根据所分析的业务主题选择相应分析训练数据集，再设定算法的初始参数以及参数取值范围，然后根据参数取值范围并利用拉丁方实验方法对各参数进行抽样，形成智能模型训练方案，再在基于训练数据集、智能模型训练方案以及预先定义的停止准则条件下，对智能算法进行训练，最后对每个训练的结果精度进行排序，选出精度最优的智能模型，并存入算法模型库中供AI服务配置工具调用。

进一步地，AI服务配置工具包括行业主题分析模型配置模块、模型脚本配置模块以及服务规则配置模块；

行业主题分析模型配置模块，用于将各个行业分析主题配置为行业主题分析模型或智能分析模型；

模型脚本配置，用于对算法模型库调用相关算法集形成的Spark作业进行调用脚本的界面配置，形成分析模型集合的作业调度脚本；

服务规则配置，用于进行用户提供服务规则的配置，以满足用户不同时间周期的各种数据分析服务需求。

进一步地，分析展示工具包括自定义报表模块、自定义图形模块以及分析结果展示配置模块；

自定义报表模块，用于基于XML的定义文件来可编程性地生成报表；

自定义图形模块，用于提供图形化展现界面和接口，满足用户的数据分析展示的需求；

分析结果展示配置模块，用于设置系统展示主页头部配置以及各功能界面布局配置，对行业大数据分析结果展示方式进行设置。

进一步地，数据服务子系统包括数据服务方式设置模块、数据接口设置模块以及数据安全设置模块；

数据服务方式设置模块，用于设置为用户提供数据服务的方式，包括可视化的图形展示方式和列表展示方式；

数据接口设置模块，用于设置数据服务提供的接口方式，利用标准化的接口访问协议为各类数据服务提供统一入口；

数据安全设置模块，用于设置数据服务提供过程的数据安全机制，对用户访问和数据访问进行统一管控，对外部系统或用户通过服务认证或数据API的方式按权限访问相应的数据，并保存访问日志记录。

本发明的有益效果在于：本发明的面向行业应用的大数据智能分析服务系统能够针对不同的行业应用，获取行业应用相关的大数据，通过对数据预处理、分析建模、服务配置以及数据服务，与行业具体解决方案结合，快速构建面向不同行业应用的大数据智能分析服务系统，可显著降低行业大数据分析应用门槛，有效提高行业大数据分析处理能力，作为一个大数据智能分析的基础平台，可以快速拓展出各类行业化大数据分析应用产品，降低行业大数据分析应用系统构建成本，提高软件企业的竞争力。

附图说明

图1为本发明的大数据智能分析服务系统结构示意图；

图2为本发明的集群管理子系统的组成结构示意图；

图3为本发明的数据采集子系统的组成结构示意图；

图4为本发明的AI分析建模子系统的组成结构示意图；

图5为本发明的AI服务配置工具的组成结构示意图；

图6为本发明的系统展示功能模块的组成结构示意图；

图7为本发明的数据服务子系统的组成结构示意图。

具体实施方式

如图1所示，本发明提供的面向行业应用的大数据智能分析服务系统，包括集群管理子系统、数据采集子系统、AI分析建模子系统、AI服务配置工具、分析展示工具以及数据服务子系统；

集群管理子系统，用于进行行业大数据智能分析服务的集群配置管理；

数据采集子系统，用于获取待分析行业大数据，包括行业相关数据、互联网+数据以及行业社会数据，以元数据驱动的方式提供数据抽取、转换和加载能力，并对获取的待分析行业大数据进行数据预处理；

AI分析建模子系统，用于以Hadoop分布式群YARN模式为核心，在YARN模式中集成AI分析建模组件，并根据行业分析应用需求构建行业AI分析应用模型；

AI服务配置工具，用于根据行业分析需求对行业分析主题的分析模型进行配置以及脚本调用，并通过配置服务规则驱动大数据分析应用；

分析展示工具，用于根据行业应用场景设置行业大数据行业应用的功能界面以及分析结果数据展示界面；

数据服务子系统，用于对外提供数据服务，外部系统或用户可通过服务认证或数据API的方式按权限访问相应的数据。

如图2所示，集群管理子系统包括集群配置模块、元数据管理模块、Job调度管理模块、系统监控模块以及系统管理模块；

集群配置模块，用于对系统集群进行配置，包括集群配置和集群节点配置；

元数据管理模块，用于对分析的元数据进行管理，元数据包括数据源元数据、数据仓库元数据、结果元数据、数据服务元数据、任务元数据以及平台信息元数据；

Job调度管理模块，用于对业务进行调度设置以及优先级配置；

系统监控模块，用于对当前系统运行状态进行监控，把握系统的稳定性及健康状况，动态管理集群；

系统管理模块，用于对用户权限以及数据安全进行管理。

如图3所示，数据采集子系统模块包括数据源获取模块、行业大数据中心模块、数据清洗设置模块以及数据预处理设置模块；

数据源获取模块，用于获取行业大数据分析所需的待分析行业大数据；

行业大数据中心模块，用于对获取的待分析行业大数据进行配置，将待分析行业大数据与行业分析任务进行绑定；

数据清洗设置模块，用于设置数据清洗过程中涉及到的各类清洗算子；

数据预处理设置模块，用于为数据清洗后的待分析行业大数据设置预处理方法，并对获取的待分析行业大数据进行数据预处理。

如图3所示，数据源获取模块包括行业数据获取子模块、互联网+数据获取子模块以及社会数据获取子模块；

行业数据获取子模块，用于采集或录入行业分析相关的行业数据，并存储到行业分析数据库；

互联网+数据获取子模块，用于采集或录入行业分析相关的互联网+数据，并存储到行业互联网+数据库；

社会数据获取子模块，用于采集或录入行业分析相关的社会数据，并存储到行业分析相关的社会数据库。

如图4所示，AI分析建模子系统包括分析模型训练模块、参数调优模块、性能监控模块以及算法模型库；

分析模型训练模块，用于对行业分析的AI行业分析算法模型进行配置，包括训练数据集、参数设置以及模型训练设置；

参数调优模块，用于对AI行业分析算法进行参数调优与优选，参数调优模块对AI行业分析算法进行参数调优时，首先根据所分析的业务主题选择相应分析训练数据集，再设定算法的初始参数以及参数取值范围，然后根据参数取值范围并利用拉丁方实验方法对各参数进行抽样，形成智能模型训练方案，再在基于训练数据集、智能模型训练方案以及预先定义的停止准则条件下，对智能算法进行训练，最后对每个训练的结果精度进行排序，选出精度最优的智能模型，并存入算法模型库中供AI服务配置工具调用；

性能监控模块，用于监控AI行业分析算法在学习训练过程中各个性能参数的变化；

算法模型库，用于对常用的统计函数、数值计算函数、字符函数、数据挖掘模型以及数据挖掘算法进行封装，利用插件式的函数模型库，可动态增加新算法模型，提供行业分析模型及AI的分析和展示工具。

如图5所示，AI服务配置工具包括行业主题分析模型配置模块、模型脚本配置模块以及服务规则配置模块；

行业主题分析模型配置模块，用于将各个行业分析主题配置为行业主题分析模型或智能分析模型；

模型脚本配置，用于对算法模型库调用相关算法集形成的Spark作业进行调用脚本的界面配置，形成分析模型集合的作业调度脚本；

服务规则配置，用于进行用户提供服务规则的配置，以满足用户不同时间周期的各种数据分析服务需求。

如图6所示，分析展示工具包括自定义报表模块、自定义图形模块以及分析结果展示配置模块；

自定义报表模块，用于基于XML的定义文件来可编程性地生成报表，围绕着报表引擎，开发用户图形界面，用户可以使用向导，无需编程，通过工具配置一步接一步完成创建一个报表；

自定义图形模块，用于提供图形化展现界面和接口，满足用户的数据分析展示的需求；

分析结果展示配置模块，用于设置系统展示主页头部配置以及各功能界面布局配置，对行业大数据分析结果展示方式进行设置。

如图7所示，数据服务子系统包括数据服务方式设置模块、数据接口设置模块以及数据安全设置模块；

数据服务方式设置模块，用于设置为用户提供数据服务的方式，包括可视化的图形展示方式和列表展示方式；

数据接口设置模块，用于设置数据服务提供的接口方式，利用标准化的接口访问协议为各类数据服务提供统一入口；

数据安全设置模块，用于设置数据服务提供过程的数据安全机制，对用户访问和数据访问进行统一管控，对外部系统或用户通过服务认证或数据API的方式按权限访问相应的数据，并保存访问日志记录，保证数据安全，采用统一数据缓存机制，接口访问稳定性和速度的提升，可扩展，可定制，满足未来的数据访问需求。

本发明公开的面向行业应用的大数据智能分析服务系统是基于Spark+Hadoop分布式群YARN模式为核心，通过集群管理子系统、数据采集子系统、AI分析建模子系统、AI服务配置工具以及分析展示工具分别与数据服务子系统连接，从而实现这个系统模块之间的相互协调处理控制。

Claims (6)

1.一种面向行业应用的大数据智能分析服务系统，其特征在于：包括集群管理子系统、数据采集子系统、AI分析建模子系统、AI服务配置工具、分析展示工具以及数据服务子系统；

集群管理子系统，用于进行行业大数据智能分析服务的集群配置管理；

数据采集子系统，用于获取待分析行业大数据，包括行业相关数据、互联网+数据以及行业社会数据，以元数据驱动的方式提供数据抽取、转换和加载能力，并对获取的待分析行业大数据进行数据预处理；

AI分析建模子系统，用于以Hadoop分布式群YARN模式为核心，在YARN模式中集成AI分析建模组件，并根据行业分析应用需求构建行业AI分析应用模型；

AI服务配置工具，用于根据行业分析需求对行业分析主题的分析模型进行配置以及脚本调用，并通过配置服务规则驱动大数据分析应用；

分析展示工具，用于根据行业应用场景设置行业大数据行业应用的功能界面以及分析结果数据展示界面；

数据服务子系统，用于对外提供数据服务，外部系统或用户可通过服务认证或数据API的方式按权限访问相应的数据；

集群管理子系统包括集群配置模块、元数据管理模块、Job调度管理模块、系统监控模块以及系统管理模块；

集群配置模块，用于对系统集群进行配置，包括集群配置和集群节点配置；

元数据管理模块，用于对分析的元数据进行管理，元数据包括数据源元数据、数据仓库元数据、结果元数据、数据服务元数据、任务元数据以及平台信息元数据；

Job调度管理模块，用于对业务进行调度设置以及优先级配置；

系统监控模块，用于对当前系统运行状态进行监控，动态管理集群；

系统管理模块，用于对用户权限以及数据安全进行管理；

AI分析建模子系统包括分析模型训练模块、参数调优模块、性能监控模块以及算法模型库；

分析模型训练模块，用于对行业分析的AI行业分析算法模型进行配置，包括训练数据集、参数设置以及模型训练设置；

参数调优模块，用于对AI行业分析算法进行参数调优与优选；

性能监控模块，用于监控AI行业分析算法在学习训练过程中各个性能参数的变化；

算法模型库，用于对常用的统计函数、数值计算函数、字符函数、数据挖掘模型以及数据挖掘算法进行封装；

AI服务配置工具包括行业主题分析模型配置模块、模型脚本配置模块以及服务规则配置模块；

行业主题分析模型配置模块，用于将各个行业分析主题配置为行业主题分析模型或智能分析模型；

模型脚本配置，用于对算法模型库调用相关算法集形成的Spark作业进行调用脚本的界面配置，形成分析模型集合的作业调度脚本；

服务规则配置，用于进行用户提供服务规则的配置，以满足用户不同时间周期的各种数据分析服务需求。

2.根据权利要求1所述的面向行业应用的大数据智能分析服务系统，其特征在于，数据采集子系统模块包括数据源获取模块、行业大数据中心模块、数据清洗设置模块以及数据预处理设置模块；

数据源获取模块，用于获取行业大数据分析所需的待分析行业大数据；

行业大数据中心模块，用于对获取的待分析行业大数据进行配置，将待分析行业大数据与行业分析任务进行绑定；

数据清洗设置模块，用于设置数据清洗过程中涉及到的各类清洗算子；

数据预处理设置模块，用于为数据清洗后的待分析行业大数据设置预处理方法，并对获取的待分析行业大数据进行数据预处理。

3.根据权利要求2所述的面向行业应用的大数据智能分析服务系统，其特征在于，数据源获取模块包括行业数据获取子模块、互联网+数据获取子模块以及社会数据获取子模块；

行业数据获取子模块，用于采集或录入行业分析相关的行业数据，并存储到行业分析数据库；

互联网+数据获取子模块，用于采集或录入行业分析相关的互联网+数据，并存储到行业互联网+数据库；

社会数据获取子模块，用于采集或录入行业分析相关的社会数据，并存储到行业分析相关的社会数据库。

4.根据权利要求1所述的面向行业应用的大数据智能分析服务系统，其特征在于，参数调优模块对AI行业分析算法进行参数调优时，首先根据所分析的业务主题选择相应分析训练数据集，再设定算法的初始参数以及参数取值范围，然后根据参数取值范围并利用拉丁方实验方法对各参数进行抽样，形成智能模型训练方案，再在基于训练数据集、智能模型训练方案以及预先定义的停止准则条件下，对智能算法进行训练，最后对每个训练的结果精度进行排序，选出精度最优的智能模型，并存入算法模型库中供AI服务配置工具调用。

5.根据权利要求1所述的面向行业应用的大数据智能分析服务系统，其特征在于，分析展示工具包括自定义报表模块、自定义图形模块以及分析结果展示配置模块；

自定义报表模块，用于基于XML的定义文件来可编程性地生成报表；

自定义图形模块，用于提供图形化展现界面和接口，满足用户的数据分析展示的需求；

分析结果展示配置模块，用于设置系统展示主页头部配置以及各功能界面布局配置，对行业大数据分析结果展示方式进行设置。

6.根据权利要求1所述的面向行业应用的大数据智能分析服务系统，其特征在于，数据服务子系统包括数据服务方式设置模块、数据接口设置模块以及数据安全设置模块；

数据服务方式设置模块，用于设置为用户提供数据服务的方式，包括可视化的图形展示方式和列表展示方式；

数据接口设置模块，用于设置数据服务提供的接口方式，利用标准化的接口访问协议为各类数据服务提供统一入口；

数据安全设置模块，用于设置数据服务提供过程的数据安全机制，对用户访问和数据访问进行统一管控，对外部系统或用户通过服务认证或数据API的方式按权限访问相应的数据，并保存访问日志记录。

Images