CN111026795B - 基于大数据的多平台数据融合系统 - Google Patents

Abstract

本发明涉及一种基于大数据的多平台数据融合系统，该系统由数据上链端、云存储端、行业应用服务器以及相应的业务处理终端。本方案通过统一的数据采集端口作为多平台服务器的数据入口，使得各平台之间的数据可彼此交互，且来源相同，并利用区块链的方式进行数据上传，可保证数据的不可更改性，为平台提供可靠的数据输入，同时消除传统不同行业不同平台之间的数据壁垒，使得不同平台的数据可以打通，相互使用，减少了数据的重复运算，可直接使用其他平台得出的数据结果，从而提高平台的可靠性。

Description

基于大数据的多平台数据融合系统

技术领域

本发明涉及技术大数据领域，具体涉及一种基于大数据的多平台数据融合系统。

背景技术

大数据(big data,mega data)或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。

大数据的价值体现在以下几个方面：

对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；

2) 做小而美模式的中长尾企业可以利用大数据做服务转型；

3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值；

不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如，通过结合大数据和高性能的分析，下面这些对企业有益的情况都可能会发生:

1）及时解析故障、问题和缺陷的根源，每年可能为企业节省数十亿美元。

2）为成千上万的快递车辆规划实时交通路线，躲避拥堵。

3）分析所有SKU，以利润最大化为目标来定价和清理库存。

4）根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。

5）从大量客户中快速识别出金牌客户。

6）使用点击流分析和数据挖掘来规避欺诈行为。

基于大数据的应用分析，其在实际运用中还存在许多问题，例如目前的大数据平台大部分是以行业为基础进行构建，从而使得各行各业之间存在数据壁垒，无法进行数据交互，然后大数据市场却是以多元化的数据进行分析的，因此传统的数据分析必然存在一定的短板，其次，传统的大数据在进行数据统计过程中，存在众多的不足。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于大数据的多平台数据融合系统，主要应用于智慧城市管理，实现大数据资源整合，消除数据孤岛，基于不同行业不同平台构建一个数据交互中心，完成数据的融合整流，从而为智慧城市管理提供全面的指导。

本发明的目的是通过以下技术方案来实现的：

基于大数据的多平台数据融合系统，该系统由数据上链端、云存储端、行业应用服务器以及相应的业务处理终端；

所述数据上链端用于获取海量数据并进行上链，然后存储在云存储端，所述行业应用服务器与云存储端连接用于获取上链数据，所述业务处理终端与行业应用服务器连接，并通过上链数据进行相应的业务指导；

所述数据上链端基于区块链技术进行数据上链，其包括海量的IOT设备、IOT设备接入端口、设备管理模块、规则引擎模块、安全认证及权限管理模块；

所述IOT设备与IOT设备接入端口连接用于完成数据上链并存储在云存储端，所述规则引擎模块分别连接设备管理模块与安全认证及权限管理模块，设备管理模块与安全认证及权限管理模块连接IOT设备接入端口完成数据上链过程中的权限管理和规则控制；

所述规则引擎模块根据行业应用服务器制定数据上链的规则以及数据解析格式；

所述行业应用服务器为一个或多个，多个行业应用服务器共用同一个数据上链端和云存储端。

本发明最大的优势在于节约资源，利用一个数据采集设备通过规则引擎模块提取各自平台所需要的数据，使得整个系统采集的数据可有效的为各平台服务，系统可根据各平台采集的数据进行整合分析，从而消除传统模式下单行业形成的数据壁垒，使得数据交互更为方便，可实现跨领域跨行业分析。尤其是在智慧城市的应用中，可根据各平台的数据进行全方位的分析，从而提高数据的可靠性。

进一步的，所述云存储端设置有多个云存储模块，所述规则引擎模块根据不同行业应用服务器对数据需求的类型将数据分别存储在不同的云存储模块内。本发明中通过同一个系统将各平台所需的数据进行统一采集，然后根据不同平台的需求分别存储，形成若干存储单元供相应的平台使用，从而完成数据的整合。

进一步的，所述规则引擎模块由解码器、数据流过滤器、数据流存储器、数据流提取模块以及微处理器组成；

所述解码器、数据流过滤器、数据流存储器、数据流提取模块依次连接，所述微处理器与行业应用服务器连接用于控制解码器、数据流过滤器和数据流提取模块；

所述解码器与IOT设备接入端口连接用于将获取的IOT数据进行解码形成数据流，所述数据流过滤器在微处理器的控制下将不需要的数据流删除，有效数据流暂存于数据流存储器内，所述数据流提取模块在微处理器的控制下提取所需数据流并通过对应的数据流端口上传至相应的云存储模块内。

进一步的，所述解码器在解码过程中对数据流增加一个数据流编码，该数据流编码用于表示该数据流的类型和原始ID，所述原始ID是指该解码前的IOT数据上传ID。

进一步的，所述数据流的类型是指按行业应用服务器的需求进行分类编码，对于未知数据则采用统一的一个编码表示。

进一步的，所述数据流过滤器在微处理器的控制下根据数据流编码进行筛选，所述数据流提取模块根据数据流编码进行相应的数据流提取。

进一步的，所述数据上链端按片区设置，且满足数据流存储器可容纳至少三天以上的数据存储，数据流存储器采用溢出覆盖原则，当存储超出容量时自动覆盖之前的数据流。

进一步的，所述设备管理模块用于完成IOT设备的工作状态控制。

进一步的，所述安全认证及权限管理模块包括杀毒模块、ID溯源模块、第二微处理器以及数据截断模块；

所述杀毒模块、ID溯源模块作用于所述IOT设备接入端口，对IOT设备上链数据进行杀毒以及ID溯源判断，并将反馈结果发送至第二微处理器；

所述数据截断模块位于IOT设备接入端口与解码器之间，作为数据传输阀门；

当所述上链数据存在病毒或ID与IOT设备对应ID不匹配时，第二微处理器控制所述数据截断模块将该上链数据截断。

进一步的，所述数据截断模块截断的数据和数据流过滤器过滤掉的数据统一存储在一个异常数据存储器中；

还包括一个异常数据分析模块，用于分析异常数据存储器的异常数据，从而排除安全隐患。

本发明的有益效果是：和传统的大数据平台相比，本方案通过统一的数据采集端口作为多平台服务器的数据入口，使得各平台之间的数据可彼此交互，且来源相同，并利用区块链的方式进行数据上传，可保证数据的不可更改性，为平台提供可靠的数据输入，同时消除传统不同行业不同平台之间的数据壁垒，使得不同平台的数据可以打通，相互使用，减少了数据的重复运算，可直接使用其他平台得出的数据结果，从而提高平台的可靠性。

附图说明

图1为本发明系统示意图；

图2为规则引擎模块系统示意图；

图3为安全认证及权限管理模块系统示意图。

具体实施方式

下面结合具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

智慧城市就是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。其实质是利用先进的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。在本实施例中以智慧城市为例进行说明，属于单平台的使用，多平台的使用与之基本一致。

基于大数据的多平台数据融合系统，该系统由数据上链端、云存储端、行业应用服务器以及相应的业务处理终端，行业应用服务器为一个或多个，多个行业应用务服务器共用同一个数据上链端和云存储端。即本实施例中的行业应用务服务器即为图1所示的智慧城市服务器，其相应的业务处理终端包括但不限于电子政务、数字城管、应急联动指挥、智慧社区、智慧消费等等。除此之外作为多平台融合，则行业应用务服务器可包括智慧农业服务器、智慧交通服务器等，本实施例中将主要以智慧城市服务器为主进行相关业务的展开说明，其他服务器构建的平台可根据实际运用合理配置相应的业务处理终端。

数据上链端用于获取海量数据并进行上链，然后存储在云存储端，行业应用服务器与云存储端连接用于获取上链数据，业务处理终端与行业应用服务器连接，并通过上链数据进行相应的业务指导。数据上链端基于区块链技术进行数据上链，其包括海量的IOT设备、IOT设备接入端口、设备管理模块、规则引擎模块、安全认证及权限管理模块。IOT设备包括了一切可联网的设备其包括但不限于监控摄像头、各种移动终端、固定联网终端等等。IOT设备与IOT设备接入端口连接用于完成数据上链并存储在云存储端，规则引擎模块分别连接设备管理模块与安全认证及权限管理模块，设备管理模块与安全认证及权限管理模块连接IOT设备接入端口完成数据上链过程中的权限管理和规则控制；规则引擎模块根据行业应用务服务器制定数据上链的规则以及数据解析格式。如图2所示，更为具体的，规则引擎模块由解码器、数据流过滤器、数据流存储器、数据流提取模块以及微处理器组成。解码器、数据流过滤器、数据流存储器、数据流提取模块依次连接，微处理器与行业应用服务器连接用于控制解码器、数据流过滤器和数据流提取模块；解码器与IOT设备接入端口连接用于将获取的IOT数据进行解码形成数据流，数据流过滤器在微处理器的控制下将不需要的数据流删除，有效数据流暂存于数据流存储器内，数据流提取模块在微处理器的控制下提取所需数据流并通过对应的数据流端口上传至相应的云存储模块内。

为了使本实施例更为具体化，本实施例具体业务进行说明，架设一台IOT设备为一台电梯内的视频监控设备，该视频监控设备可获取的数据包括了24小时内，各时间段电梯的使用情况、电梯人流量、基于图像处理技术下甚至可以获取人流群体，那么作为智慧城市平台而言，其需要的数据主要为安防数据监控是否存在异常人员进入，因此解码器在进行解码时，对应的规则引擎模块根则根据需求进行定制解码，将监控的视频图像解码成图片帧，且每次电梯的停留作为一个帧页，从而可以获取24小时内该电梯内的全部乘客图像，且每张照片必须具有时间编码，那么作为智慧城市服务器而言，其需要提取的主要就是带有时间编码的图像帧（在实际运用中可能并非如此，具体需求可根据平台规则定制数据）。同样的，作为一个广告平台而言，由于电梯广告也是目前较为热门的现象，因此广告商在进行电梯广告投放时，需要关注的是电梯运行时间段的高峰期、人流量等相关数据，从而划分出电梯广告的黄金时间段。因此作为同一个监控射频设备获取的数据，广告平台服务器需要获取的数据类型则与智慧城市服务器所需的数据类型不同，但这些数据都被射频监控设备采集的数据所包含，因此通过相应的规则引擎模块即可将对应的数据提取出来。总而言之，规则引擎模块主要是根据服务器的指标需求进行数据解码，从而获取相应的数据类型，其具体实现可通过插件植入的方式完成，整个数据的解码、筛选、提取全部基于插件实现，因此可根据不同需求植入相应功能的插件即可。

为了使得分类更为方便快捷，解码器解码后的数据流具有一个分类编码，解码器在解码过程中对数据流增加一个数据流编码，该数据流编码用于表示该数据流的类型和原始ID，原始ID是指该解码前的IOT数据上传ID。数据流的类型是指按行业应用服务器的需求进行分类编码，对于未知数据则采用统一的一个编码表示。数据流过滤器在微处理器的控制下根据数据流编码进行筛选，数据流提取模块根据数据流编码进行相应的数据流提取。更为具体的其编码组成由ID+数据序列号+数据类型，其中数据序列号由年月日+序号组成，数据类型则根据实际需求设置，例如在上述举例中，智慧城市平台对电梯进行监控需要的数据是电梯人群类型，以及什么时间段什么人进入了电梯，因此只需要提取带有时间编码的图片即可。而广告平台则提取对应的电梯频繁工作的时间段、各时间段电梯类的人数。

作为一种优选实施例，数据上链端按片区设置，且满足数据流存储器可容纳至少三天以上的数据存储，数据流存储器采用溢出覆盖原则，当存储超出容量时自动覆盖之前的数据流。

为了使得各平台调取数据能够实现快速响应，云存储端设置有多个云存储模块，规则引擎模块根据不同行业应用服务器对数据需求的类型将数据分别存储在不同的云存储模块内，使得对应的平台在需要数据支撑时可以通过相应的云存储模块自动调取，其中云存储模块的数量和类型不是固定的，可根据业务需求实时变更。

作为一种优选实施例，设备管理模块用于完成IOT设备的工作状态控制，安全认证及权限管理模块包括杀毒模块、ID溯源模块、第二微处理器以及数据截断模块。其中杀毒模块主要是用于阻断数据来源端可能上传的木马病毒等，其可以目前常用的杀毒软件。杀毒模块、ID溯源模块作用于IOT设备接入端口，对IOT设备上链数据进行杀毒以及ID溯源判断，并将反馈结果发送至第二微处理器；数据截断模块位于IOT设备接入端口与解码器之间，作为数据传输阀门；当上链数据存在病毒或ID与IOT设备对应ID不匹配时，第二微处理器控制数据截断模块将该上链数据截断。这里的ID溯源模块是利用数据溯源技术，分析数据来源ID与实际的IOT设备是否匹配，如果不匹配则视为虚假消息，可以通过数据截断模块将该数据截断。这里的数据截断模块是基于软件流程实现的，其作用相当于一个自动删除功能，将判断为虚假消息的数据进行删除。数据截断模块截断的数据和数据流过滤器过滤掉的数据统一存储在一个异常数据存储器中，这里的异常数据存储器相当于是一个回收站，用于存放截断后的数据。

最后为了排除潜藏的风险，本实施例还包括一个异常数据分析模块，用于分析异常数据存储器的异常数据，从而排除安全隐患。异常数据分析模块包括人工智能分析和人工后台分析，所谓人工后台分析是指由工作维护人员进行维护，在此不需要多说。人工智能分析则是以相应的计算规则制定插件，实现自动判断，例如当数据中夹带某种病毒时视为恶意网站或第三方的攻击，当数据与IOT设备ID不一致时，可能是设备出现了网络波动，维护人员可对此进行核实或者维修，总而言之，异常数据分析模块是根据可能存在的风险制定风险判断的插件，达到人工智能分析的目的。

以上仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.基于大数据的多平台数据融合系统，其特征在于，该系统由数据上链端、云存储端、行业应用服务器以及相应的业务处理终端组成；

所述数据上链端用于获取海量数据并进行上链，然后存储在云存储端，所述行业应用服务器与云存储端连接用于获取上链数据，所述业务处理终端与行业应用服务器连接，并通过上链数据进行相应的业务指导；

所述数据上链端基于区块链技术进行数据上链，其包括海量的IOT设备、IOT设备接入端口、设备管理模块、规则引擎模块、安全认证及权限管理模块；

所述IOT设备与IOT设备接入端口连接用于完成数据上链并存储在云存储端，所述规则引擎模块分别连接设备管理模块与安全认证及权限管理模块，设备管理模块与安全认证及权限管理模块连接IOT设备接入端口完成数据上链过程中的权限管理和规则控制；

所述规则引擎模块根据行业应用服务器制定数据上链的规则以及数据解析格式；

所述行业应用服务器为一个或多个，多个行业应用服务器共用同一个数据上链端和云存储端；

所述规则引擎模块由解码器、数据流过滤器、数据流存储器、数据流提取模块以及微处理器组成；所述解码器、数据流过滤器、数据流存储器、数据流提取模块依次连接，所述微处理器与行业应用服务器连接用于控制解码器、数据流过滤器和数据流提取模块；所述解码器与IOT设备接入端口连接用于将获取的IOT数据进行解码形成数据流，所述数据流过滤器在微处理器的控制下将不需要的数据流删除，有效数据流暂存于数据流存储器内，所述数据流提取模块在微处理器的控制下提取所需数据流并通过对应的数据流端口上传至相应的云存储模块内。

2.根据权利要求1所述的基于大数据的多平台数据融合系统，其特征在于，所述云存储端设置有多个云存储模块，所述规则引擎模块根据不同行业应用服务器对数据需求的类型将数据分别存储在不同的云存储模块内。

3.根据权利要求2所述的基于大数据的多平台数据融合系统，其特征在于，所述解码器在解码过程中对数据流增加一个数据流编码，该数据流编码用于表示该数据流的类型和原始ID，所述原始ID是指该解码前的IOT数据上传ID。

4.根据权利要求3所述的基于大数据的多平台数据融合系统，其特征在于，所述数据流的类型是指按行业应用服务器的需求进行分类编码，对于未知数据则采用统一的一个编码表示。

5.根据权利要求4所述的基于大数据的多平台数据融合系统，其特征在于，所述数据流过滤器在微处理器的控制下根据数据流编码进行筛选，所述数据流提取模块根据数据流编码进行相应的数据流提取。

6.根据权利要求5所述的基于大数据的多平台数据融合系统，其特征在于，所述数据上链端按片区设置，且满足数据流存储器可容纳至少三天以上的数据存储，数据流存储器采用溢出覆盖原则，当存储超出容量时自动覆盖之前的数据流。

7.根据权利要求6所述的基于大数据的多平台数据融合系统，其特征在于，所述设备管理模块用于完成IOT设备的工作状态控制。

8.根据权利要求7所述的基于大数据的多平台数据融合系统，其特征在于，所述安全认证及权限管理模块包括杀毒模块、ID溯源模块、第二微处理器以及数据截断模块；

所述杀毒模块、ID溯源模块作用于所述IOT设备接入端口，对IOT设备上链数据进行杀毒以及ID溯源判断，并将反馈结果发送至第二微处理器；

所述数据截断模块位于IOT设备接入端口与解码器之间，作为数据传输阀门；

当所述上链数据存在病毒或ID与IOT设备对应ID不匹配时，第二微处理器控制所述数据截断模块将该上链数据截断。

9.根据权利要求8所述的基于大数据的多平台数据融合系统，其特征在于，所述数据截断模块截断的数据和数据流过滤器过滤掉的数据统一存储在一个异常数据存储器中；

还包括一个异常数据分析模块，用于分析异常数据存储器的异常数据，从而排除安全隐患。