CN108399206A - 一种大数据处理系统 - Google Patents

Abstract

本发明实施例提供了一种大数据处理系统，所述系统包括：采集单元，用于从与数据处理系统相连接的业务管理系统中采集业务数据，并将采集到的数据发送至存储单元；存储单元，所述存储单元用于将采集的业务数据进行存储；处理单元，根据根据预先设置的数据路由策略，由图数据库、缓存数据库和内存文件系统中的一个或多个执行所存储的数据的操作，并获得对应的一个或多个执行结果，对所述一个或多个执行结果进行数据汇聚，获得数据操作服务请求对应的最终结果。应用本发明，实现了系统设计合理，能够自动对业务运营数据进行分析处理，且处理效率和准确率较高的技术效果。

Description

一种大数据处理系统

技术领域

本发明涉及电子技术领域，尤其涉及一种大数据处理系统。

背景技术

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

随着电子信息化的飞速发展，电子信息数据逐渐成为人们研究的重点，人们日常生活均离不开各种各样的数据，进而大数据成为了目前研究的热点。

随着现代信息技术的不断发展，世界已跨入了互联网+大数据时代。全球正掀起以融合、渗透、创新为特点的新一轮信息革命。大数据已成为世界主要国家抢占新一轮经济和科技发展制高点的重大战略选择。党中央、国务院高度重视大数据发展。党的十八届三中全会明确提出十三五期间要实施国家大数据战略，推进数据资源开放共享。国务院《促进大数据发展行动纲要》中也明确指出要全面推进大数据发展和应用，加快政府数据开放共享，深化大数据在各行业创新应用，通过建设数据强国，提升政府治理能力，推动经济转型升级。再加上承德.中关村大数据产业合作项目已签约，抢抓京津冀协调发展的重大机遇，推动大数据产业快速发展，形成完整的大数据产业创新链条，促进大数据产业快速稳定增长起到至关的推动作用。

近几年，大数据已经从大公司独有的流行词和概念变成了驱动我们数字生活发展的动力。下面是未来大数据的处理和发展的五个趋势：

1.数据科学越来越大众化，随着像Coursera、Udacity和Edx等这些和数据分析相关的网络教育平台的流行，越来越多的人不用花一分钱便可以学到所有的知识，从基础的统计学知识到自然语言处理和机器学习。除了这个，Oxdata化简和集成了R语言后推出的分析产品，Quid正在做的具有机器学习和人工智能概念的工具也设计了傻瓜式的使用界面和形象具体的用户展示方法。更有像Kaggle这样的公司推出了关于预测模型的众包平台。所以大数据的处理的趋势之一便是像Datahero，Infogram和Statwing他们一样，把数据分析变得易用，大众化。

2.大数据越来越多的被用到了我们身边的应用中。首先是大数据应用对我们的开发者的要求变低了，有时候开发大数据应用就像在你的应用的代码中加入几行，或者像是写一段儿脚本一样。其次，大数据的应用范围也得到了拓展，用户习惯分析，网络安全，人工智能，售后服务等等都可以通过将大数据处理做成产品或者应用而实现。现在的大数据技术已经被带入了许多网络和手机的应用中，从购物推荐到找到和自己有关联的人等等。

3.手机将成为人工智能的数据来源，我们的手机和手机中的应用目前可能是最大的私人信息来源。通过机器学习，语音识别和其他一些技术，这些应用可以知道我们去哪儿，我们的朋友都是谁，我们的日历上都有哪些提醒，我们上网都浏览什么。通过新一代的私人助理应用(Siri，Saga和Google Now等)我们的手机更能够理解我们的言论，知道我们经常出入的地方，我们平时吃什么，我们在家、工作和郊游的时间等等。

大数据的处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

在现有技术中，业务员在进行业务运营分析处理时，通常需要在庞大的数据中寻找跟自己业务相关的数据难度较大，且效率和准确率较低。

综上所述，本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在现有技术中，现有的业务运营数据处理存在效率和准确率较低的技术问题。

发明内容

本发明实施例的目的在于提供一种大数据处理系统，解决了现有的业务运营数据处理存在效率和准确率较低的技术问题，实现了系统设计合理，能够自动对业务运营数据进行分析处理，且处理效率和准确率较高的技术效果。

为了达到上述目的，本发明实施例提供了一种大数据处理系统，所述系统包括：采集单元、存户单元和处理单元，所述采集单元与所述存储单元相连，所述处理单元与所述存储单元相连，用于处理所述存储单元中的待处理数据；

采集单元，用于从与数据处理系统相连接的业务管理系统中采集业务数据，并将采集到的数据发送至存储单元；

存储单元，所述存储单元用于将采集的业务数据进行存储；

处理单元，根据根据预先设置的数据路由策略，由图数据库、缓存数据库和内存文件系统中的一个或多个执行所存储的数据的操作，并获得对应的一个或多个执行结果，对所述一个或多个执行结果进行数据汇聚，获得数据操作服务请求对应的最终结果。

可选的，所述系统还包括显示单元，所述显示单元用于对系统进程进行实时显示。

可选的，所述系统还包括报警单元，所述报警单元用于在存储单元存储空间低于预设值时进行报警。

可选的，所述对存储单元，包括：

获取子单元，用于首先从存储单元中获取存储数据；

过滤子单元，用于对获取的数据进行过滤处理，过滤掉不符合条件的数据；

分析子单元，用于然后基于过滤后的数据对业务数据进行运营分析处理。

可选的，所述系统还包括记录单元，所述记录单元用于对系统的操作进行记录。

可选的，所述系统还包括筛选单元，所述筛选单元用于在对存储单元中的数据进行分析处理时，根据数据需要的条件对获取的数据进行筛选。

可选的，所述对存储单元中的数据进行分析处理，具体包括：

首先从存储单元中获取存储数据；

对获取的数据进行过滤处理，过滤掉不符合条件的数据；

然后基于过滤后的数据对业务数据进行运营分析处理。

可选的，所述系统还包括统计单元，所述统计单元用于在处理单元中对系统的数据进行统计分析。

有益效果：

本发明实施例提供提供一种大数据处理系统，采集单元，用于从与数据处理系统相连接的业务管理系统中采集业务数据，并将采集到的数据发送至存储单元；存储单元，所述存储单元用于将采集的业务数据进行存储；处理单元，所述处理单元用于对存储单元中的数据进行分析处理。有效解决了现有的业务运营数据处理存在效率和准确率较低的技术问题，进而实现了系统设计合理，能够自动对业务运营数据进行分析处理，且处理效率和准确率较高的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的大数据处理系统的第一种结构示意图。

图2是本发明提供的大数据处理系统的第二种结构示意图。

图3是本发明提供的大数据处理系统的第三种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面通过具体实施例，对本发明进行详细的说明。

参见图1至图3所示，本发明提供的大数据处理系统的结构示意图，所述系统包括：采集单元1、存储单元2和处理单元3，所述采集单元1与所述存储单元2相连，所述处理单元3与所述存储单元2相连，用于处理所述存储单元2中的待处理数据；

采集单元1，用于从与数据处理系统相连接的业务管理系统中采集业务数据，并将采集到的数据发送至存储单元2；

存储单元2，所述存储单元2用于将采集的业务数据进行存储；

处理单元3，根据根据预先设置的数据路由策略，由图数据库、缓存数据库和内存文件系统中的一个或多个执行所存储的数据的操作，并获得对应的一个或多个执行结果，对所述一个或多个执行结果进行数据汇聚，获得数据操作服务请求对应的最终结果。

进一步的，参见图2，所述系统还包括显示单元，所述显示单元4用于对系统进程进行实时显示，所述系统还包括报警单元5，所述报警单元用于在存储单元2存储空间低于预设值时进行报警。

进一步的，所述对存储单元2中包括：获取子单元201，用于首先从存储单元中获取存储数据；过滤子单元201，用于对获取的数据进行过滤处理，过滤掉不符合条件的数据；分析子单元202，用于然后基于过滤后的数据对业务数据进行运营分析处理。

进一步的，参见图2，所述系统还包括记录单元6，所述记录单元用于对系统的操作进行记录。

所述连接单元用于与业务管理系统进行连接；采集单元，所述采集单元用于从业务管理系统中采集业务数据；存储单元，所述存储单元用于将采集的业务数据进行存储；处理单元，所述处理单元用于对存储单元中的数据进行分析处理的技术方案，所以，有效解决了现有的业务运营数据处理存在效率和准确率较低的技术问题，进而实现了系统设计合理，能够自动对业务运营数据进行分析处理，且处理效率和准确率较高的技术效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内落。

Claims (8)

1.一种大数据处理系统，其特征在于，所述系统包括：采集单元、存户单元和处理单元，所述采集单元与所述存储单元相连，所述处理单元与所述存储单元相连，用于处理所述存储单元中的待处理数据；

采集单元，用于从与数据处理系统相连接的业务管理系统中采集业务数据，并将采集到的数据发送至存储单元；

存储单元，所述存储单元用于将采集的业务数据进行存储；

处理单元，根据根据预先设置的数据路由策略，由图数据库、缓存数据库和内存文件系统中的一个或多个执行所存储的数据的操作，并获得对应的一个或多个执行结果，对所述一个或多个执行结果进行数据汇聚，获得数据操作服务请求对应的最终结果。

2.根据权利要求1所述的一种大数据处理系统，其特征在于，所述系统还包括显示单元，所述显示单元用于对系统进程进行实时显示。

3.根据权利要求1所述的一种大数据处理系统，其特征在于，所述系统还包括报警单元，所述报警单元用于在存储单元存储空间低于预设值时进行报警。

4.根据权利要求1所述的一种大数据处理系统，其特征在于，所述对存储单元，包括：

获取子单元，用于首先从存储单元中获取存储数据；

过滤子单元，用于对获取的数据进行过滤处理，过滤掉不符合条件的数据；

分析子单元，用于然后基于过滤后的数据对业务数据进行运营分析处理。

5.根据权利要求1所述的一种大数据处理系统，其特征在于，所述系统还包括记录单元，所述记录单元用于对系统的操作进行记录。

6.根据权利要求1所述的一种大数据处理系统，其特征在于，所述系统还包括筛选单元，所述筛选单元用于在对存储单元中的数据进行分析处理时，根据数据需要的条件对获取的数据进行筛选。

7.根据权利要求1所述的一种大数据处理系统，其特征在于，所述对存储单元中的数据进行分析处理，具体包括：

首先从存储单元中获取存储数据；

对获取的数据进行过滤处理，过滤掉不符合条件的数据；

然后基于过滤后的数据对业务数据进行运营分析处理。

8.根据权利要求1所述的一种大数据处理系统，其特征在于，所述系统还包括统计单元，所述统计单元用于在处理单元中对系统的数据进行统计分析。