CN112883094A - 用于智慧城市的多源异构数据处理方法及系统 - Google Patents

Abstract

用于智慧城市的多源异构数据处理方法，使用上述用于智慧城市的多源异构数据处理系统，该系统包括：采集单元，用于按照预设的频率从指定的数据库内采集数据；转换单元，用于对采集的数据进行格式转换处理，得到统一格式的数据；数据存储，用于存储格式转换后的数据；输入单元，用于输入分析指令；分析单元，用于用预设的模型对存储单元内的数据进行常规分析，还用于根据输入的分析指令，调用存储单元内的相关数据进行指令分析；展示单元，用于展示指令分析结果，还用于当常规分析为存在异常时，展示异常信息。本申请在不改变各部门原有数据库的同时，实现了各部门数据的综合管理运用，进而满足智慧城市的需求。

Description

用于智慧城市的多源异构数据处理方法及系统

技术领域

本发明属于智慧城市技术领域，尤其涉及用于智慧城市的多源异构数据处理方法及系统。

背景技术

智慧城市，是把新一代信息技术充分运用在城市中各行各业的城市信息化高级形态，实现了信息化、工业化与城镇化深度融合，有助于提高城镇化质量，实现精细化和动态管理，提升城市管理成效和改善市民生活质量。

由于智慧城市涉及的领域非常多，包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等等。而各领域的相关部门通常又是使用的转为自己部门开发的数据系统，数据格式、标准、接口都存在差异，这就导致各部门之间的信息孤岛现象较为严重，难以进行统一的存储、管理。而智慧城市的最终实现，又需要各部门的数据信息融合，并随意搭配使用，因为只有这样，才能够综合各方面的情况，协调管理各种资源，已达到“提高城镇化质量，实现精细化和动态管理，提升城市管理成效和改善市民生活质量”的目的。

因此，需要一种用于智慧城市的多源异构数据处理方法及系统，能够综合运用各部门的数据，综合管理各类资源，以满足智慧城市的需求。

发明内容

本发明的目的在于，提供一种用于智慧城市的多源异构数据处理方法及系统，能够综合运用各部门的数据，综合管理各类资源，以满足智慧城市的需求。

本发明提供的基础方案为：

用于智慧城市的多源异构数据处理系统，包括：

采集单元，用于按照预设的频率从指定的数据库内采集数据；

转换单元，用于对采集的数据进行格式转换处理，得到统一格式的数据；

存储单元，用于存储格式转换后的数据；

输入单元，用于输入分析指令；

分析单元，用于用预设的模型对存储单元内的数据进行常规分析，还用于根据输入的分析指令，调用存储单元内的相关数据进行指令分析；

展示单元，用于展示指令分析结果，还用于当常规分析为存在异常时，展示异常信息。

基础方案工作原理及有益效果：

通过采集单元，可以按照预设的频率从指定的数据库内采集数据，只要将相关部门的数据库作为指定的数据库，就可以对其数据进行采集，同样的，当需要采集新的数据库的数据时，只要将该数据库列入指定的数据库的名单即可。

采集数据后，转换单元对采集的数据进行转换处理，将其转换为标准格式后，存储在存储单元中。这样，即使多个部门之间的数据存储格式存在差异，通过处理后可以用统一的数据格式进行存储。

数据存储后，分析单元用预设的模型，对存储单元内的数据进行常规分析，并且在分析结果为存在异常时，由展示单元进行展示。这样，可以对多个部门的数据进行综合分析，并且能够在分析出异常时进行展示。

除此，当需要进行特定的分析(如出现紧急情况需要进行对应分析)时，管理人员也可以通过输入单元输入分析指令，分析单元会根据分析指令，从存储单元内调取对应的相关数据进行指令分析，并将指令分析结果在展示单元上进行展示。

综上，使用本系统，在各部门的输出存储方式/格式不同时，可以在不改变各部门原有数据库，各部门仍可保持之前工作方式的同时，实现了各部门数据的综合管理运用，进而满足智慧城市的需求。

进一步，采集单元、转换单元、存储单元及分析单元集成在平台端；输入单元及展示单元集成在管理端。

进一步，管理端有多个；平台端还包括任务管理单元，用于接收到多个管理端的分析指令时进行资源分配。

进一步，任务管理单元进行资源分配时，根据管理端的权限以及分析指令的优先级对分析指令进行加权后，结合分析指令的输入时间顺序进行资源分配。

这样的资源分配方式，综合考虑了管理端的权限、任务指令的优先级(重要程度、紧急程度)以及分析指令的输入时间，从而合理的进行资源分配。权重的具体数值，本领域技术人员可依据指令类型及管理端的权限具体设置。

进一步，平台端采用基于hadoop的系统架构。

由于需要将各部门的转换后的数据进行统一存储，平台端内存储的数据量非常巨大，传统的数据存储架构已经难以满足需求，而hadoop的大存储量及高扩展性则可以很好的解决数据存储量巨大的问题。

进一步，分析单元中，预设的模型包括神经网络模型和决策树。

进一步，存储单元内的数据包括设备运行数据及设备地址，分析单元的常规分析包括设备异常分析；还包括维护端，维护端与平台端通信，当分析结果为设备存在异常时，平台端还用于给维护端发送维护信号；维护信号包括设备地址和异常类型。

这样的设置，可以对智慧城市中的设备(执行指令的智能设备)进行实时检测，当检测结果为设备存在异常(如自动喷水装置的运行数据为电磁阀开关已关闭，但仍存在外泄的水流量)时，给维护端发送维护信号，运维人员可及时对设备进行检修。由于维护信号包括设备地址和异常类型，运维人员可以快速到达设备处对其进行针对性检修。

进一步，维护端有多个，平台端存储有各维护端对应的运维人员信息；维护端还用于接收到检修信号后，向平台端发送执行信号；平台端还用于接收到执行信号后，依据异常类型，匹配出检修用具清单，并发送给对应的维护端；维护端还用于接收到检修用具清单后，发出检修用具检查提示；维护端为带有摄像头的智能手机；维护端还用于发出用具检查提示后，打开摄像头进行图像获取，并基于图像识别的方式，进行检修用具清单核对，若检修用具不全，则发出装备补充提醒。

接收到检修任务后，运维人员可通过维护端向平台端发送执行信号，说明接收到任务。

平台端接收到执行型号后，依据对应的分析结果匹配出检修用具清单并发给对应的维护端，维护端发出检修用具检查提示。接收任务的运维人员可通过检修用具清单了解此次维修需要携带哪些工具。这样，便于运维人员到达异常设备后快速完成检修工作。

但是，有些运维人员由于工作习惯不好，没有行动前检查工具是否带齐的习惯，若是工具没带齐，则到达异常设备开始维修后难以完成检修工作，需要返回携带工具后再次去检修，极为浪费人力和时间。

使用本系统，维护端发出用具检查提示后，会开启摄像头获取图像，运维人员需要将检修用具清单上的工具拍摄一次，让维护端通过图像识别的方式进行确认，维护端在识别到检修用具不全时，会发出装备补充提醒。以提醒运维人员将缺少的工具携带齐全。运维人员只要将检修用具清单上的工具全部拍摄完成后，运维端才会停止装备补充提醒。

这样，可以防止出现运维人员未将检修用具携带齐全，便前往异常设备处进行检修，最终来回折腾、费时费力的情况。

进一步，维护端还用于发送执行信号后，向平台端发送完成信号；维护端还用于检修用具清单核结果为检修用具齐全时，给平台端发送准备完成信号；平台端还用于完成信号后，查询是否接收到对应的完成信号，若结果为否，则将维护端对应的运维人员标记为工作不规范一次。

平台端接收到完成信号后，会查询是否接收到对应的完成信号(即运维人员是否按照要求展示检修用具清单上的全套工具)。若查询结果为否，说明该运维人员的工作流程不规范，因此，将对应运维人员标记为工作不规范一次，便于管理人员了解情况。

本发明提供基础方案二：用于智慧城市的多源异构数据处理方法，使用上述用于智慧城市的多源异构数据处理系统。

附图说明

图1为本发明实施例一的逻辑框图；

图2为本发明实施例三的结构示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，用于智慧城市的多源异构数据处理系统，包括管理端和平台端。本实施例中，平台端采用基于hadoop的系统架构。由于需要将各部门的转换后的数据进行统一存储，平台端内存储的数据量非常巨大，传统的数据存储架构已经难以满足需求，而hadoop的大存储量及高扩展性则可以很好的解决数据存储量巨大的问题。管理端为装载对应APP的智能手机，管理端有多个，分别与平台端通信。

平台端包括采集单元、转换单元、存储单元、分析单元及任务管理单元；管理端包括输入单元和展示单元。

采集单元用于按照预设的频率从指定的数据库内采集数据；转换单元用于对采集的数据进行格式转换处理，得到统一格式的数据；存储单元用于存储格式转换后的数据。输入单元用于输入分析指令；分析单元用于用预设的模型对存储单元内的数据进行常规分析，还用于根据输入的分析指令，调用存储单元内的相关数据进行指令分析，其中，预设的模型包括神经网络模型和决策树。

展示单元用于展示指令分析结果，还用于当常规分析为存在异常时，展示异常信息。

任务管理单元用于接收到多个管理端的分析指令时进行资源分配，具体的，任务管理单元进行资源分配时，根据管理端的权限以及分析指令的优先级对分析指令进行加权后，结合分析指令的输入时间顺序进行资源分配。

使用本系统，在各部门的输出存储方式/格式不同时，可以在不改变各部门原有数据库，各部门仍可保持之前工作方式的同时，实现了各部门数据的综合管理运用，进而满足智慧城市的需求。

本发明的另一目的在于，提供一种用于智慧城市的多源异构数据处理方法，使用上述用于智慧城市的多源异构数据处理系统。

实施例二

与实施例一不同的是，本实施例中，存储单元内的数据包括设备运行数据及设备地址，分析单元的常规分析包括设备异常分析。

还包括维护端，维护端与平台端通信，当分析结果为设备存在异常时，平台端还用于给维护端发送维护信号；维护信号包括设备地址和异常类型。

维护端有多个，平台端存储有各维护端对应的运维人员信息；维护端还用于接收到检修信号后，向平台端发送执行信号；平台端还用于接收到执行信号后，依据异常类型，匹配出检修用具清单，并发送给对应的维护端；维护端还用于接收到检修用具清单后，发出检修用具检查提示；维护端为带有摄像头的智能手机；维护端还用于发出用具检查提示后，打开摄像头进行图像获取，并基于图像识别的方式，进行检修用具清单核对，若检修用具不全，则发出装备补充提醒。

维护端还用于发送执行信号后，向平台端发送完成信号；维护端还用于检修用具清单核结果为检修用具齐全时，给平台端发送准备完成信号；平台端还用于完成信号后，查询是否接收到对应的完成信号，若结果为否，则将维护端对应的运维人员标记为工作不规范一次。

实施例三

实施例三中的标记包括：井盖1、排水孔2、锁止棍3、气囊4、弹簧5、电伸缩杆6。

如图2所示，与实施例一不同的是，本实施例中，还包括设备端，设备端包括低功耗GPS传感器、低功耗光敏传感器和低功耗压敏传感器，用于采集井盖1的状态数据并发送给平台端。光敏传感器能够检测井盖1是否打开，压敏传感器能够检测井盖1是否被撬开，GPS传感器能够检测井盖1是否被偷运走。

在低洼易积水的地带的井盖1处，井盖1旁地面上开有第一锁孔，井盖1的侧面开有第二锁孔；还包括锁止棍3，锁止棍3的上端固定有气囊4；锁止棍3穿过第一锁孔进入第二锁孔内；井盖1底部边缘设有竖直的弹簧5，弹簧5的底部固定在安装井盖1的凹坑内，锁止棍3进入第二锁孔内时，弹簧5处于被压缩状态。

气囊4旁的地面上设有水位传感器，水位传感器与平台端通信；井盖1内固设有小型的电伸缩杆6，电伸缩杆6的杆端在井盖1的排水孔2内；井盖1内还固设有微控制器，微控制器与平台端通信；微控制器与水位传感器分别有唯一识别编号；

平台端还用于当接收到水位传感器发送的数据超过阈值时，给对应编号的微控制器发送防堵信号；微控制器用于接收到防堵信号后，控制电伸缩杆6按照预设的频率进行伸缩。

具体实施过程如下：

在低洼易积水的地带，井盖1的排水效率特别重要，如果井盖1的排水不及时，会影响到周边居民的日常生活。

但是，这些地方的排水存在两个问题，第一，由于处于低洼易积水地带，一旦下中雨或大雨，很易出现大量积水，而通过井盖1排水孔2的正常排水，即使排水孔2通畅，也需要比其他地带更多的时间才能完成排水工作；第二，由于处于低洼地带，一旦积水，很多杂质会顺着水流到这里，很容易造成井盖1排水孔2的堵塞。基于上面两个问题，这些地方的排水情况通常都不怎么理想，附近居民的生活也因此收到困扰。

使用本系统，在低洼易积水的地带的井盖1处，井盖1旁地面上开有第一锁孔，井盖1的侧面开有第二锁孔；锁止棍3穿过第一锁孔进入第二锁孔内；锁止棍3的上端固定有气囊4。当出现大量积水的情况时，气囊4在积水中会产生很大的浮力，在气囊4浮力的作用下，会将锁止棍3从第二锁孔中抽出来。为了防止锁止棍3直接抽出第一锁孔，并与气囊4一起随着水流飘到不好找的地方，可以在锁止棍3的上端固定柔性线条，并将线条固定在地上，以防止气囊4到处飘荡不易找回。

由于井盖1底部边缘设有竖直的弹簧5，弹簧5的底部固定在安装井盖1的凹坑内，锁止棍3进入第二锁孔内时，弹簧5处于被压缩状态。当锁止棍3从第二锁孔内抽出后，弹簧5会伸展开来，从而使井盖1的边缘与地面之间露出空隙，积水可以从空隙处流入井盖1下方的水道内，相当于在原有排水孔2的基础上，新增了排水的渠道，从而可以加快排水。

除此，由于气囊4旁的地面上设有水位传感器，水位传感器与平台端通信。当出现积水时，平台端会及时了解情况，并给对应的微控制器发送防堵信号，微控制器接收到防堵信号后，控制电伸缩杆6按照预设的频率进行伸缩。由于电伸缩杆6的杆端在井盖1的排水孔2内，电伸缩杆6进行伸缩时，可对井盖1的排水孔2进行疏通，防止排水孔2出现堵塞。

这样，井盖1周围出现积水时，一方面，新增了排水的渠道，另一方面，及时对排水孔2进行了防堵/排堵措施，双管齐下，从而可以实现及时的排水，尽可能的不影响周围居民的生活。

除此，由于设备端包括低功耗GPS传感器，在雨停止后，工作人员可依据井盖1对应的GPS传感器的坐标，对该井盖1进行状态修复，即，将弹簧5重新压缩(工作人员踩在井盖1上即可实现)，并将锁止棍3重新插入第二锁孔内即可。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.用于智慧城市的多源异构数据处理系统，其特征在于，包括：

采集单元，用于按照预设的频率从指定的数据库内采集数据；

转换单元，用于对采集的数据进行格式转换处理，得到统一格式的数据；

存储单元，用于存储格式转换后的数据；

输入单元，用于输入分析指令；

分析单元，用于用预设的模型对存储单元内的数据进行常规分析，还用于根据输入的分析指令，调用存储单元内的相关数据进行指令分析；

展示单元，用于展示指令分析结果，还用于当常规分析为存在异常时，展示异常信息。

2.根据权利要求1所述的用于智慧城市的多源异构数据处理系统，其特征在于：采集单元、转换单元、存储单元及分析单元集成在平台端；输入单元及展示单元集成在管理端。

3.根据权利要求2所述的用于智慧城市的多源异构数据处理系统，其特征在于：管理端有多个；平台端还包括任务管理单元，用于接收到多个管理端的分析指令时进行资源分配。

4.根据权利要求3所述的用于智慧城市的多源异构数据处理系统，其特征在于：任务管理单元进行资源分配时，根据管理端的权限以及分析指令的优先级对分析指令进行加权后，结合分析指令的输入时间顺序进行资源分配。

5.根据权利要求2所述的用于智慧城市的多源异构数据处理系统，其特征在于：平台端采用基于hadoop的系统架构。

6.根据权利要求2所述的用于智慧城市的多源异构数据处理系统，其特征在于：分析单元中，预设的模型包括神经网络模型和决策树。

7.根据权利要求2所述的用于智慧城市的多源异构数据处理系统，其特征在于：存储单元内的数据包括设备运行数据及设备地址，分析单元的常规分析包括设备异常分析；还包括维护端，维护端与平台端通信，当分析结果为设备存在异常时，平台端还用于给维护端发送维护信号；维护信号包括设备地址和异常类型。

8.根据权利要求7所述的用于智慧城市的多源异构数据处理系统，其特征在于：维护端有多个，平台端存储有各维护端对应的运维人员信息；维护端还用于接收到检修信号后，向平台端发送执行信号；平台端还用于接收到执行信号后，依据异常类型，匹配出检修用具清单，并发送给对应的维护端；维护端还用于接收到检修用具清单后，发出检修用具检查提示；维护端为带有摄像头的智能手机；维护端还用于发出用具检查提示后，打开摄像头进行图像获取，并基于图像识别的方式，进行检修用具清单核对，若检修用具不全，则发出装备补充提醒。

9.根据权利要求8所述的用于智慧城市的多源异构数据处理系统，其特征在于：维护端还用于发送执行信号后，向平台端发送完成信号；维护端还用于检修用具清单核结果为检修用具齐全时，给平台端发送准备完成信号；平台端还用于完成信号后，查询是否接收到对应的完成信号，若结果为否，则将维护端对应的运维人员标记为工作不规范一次。

10.用于智慧城市的多源异构数据处理方法，其特征在于：使用上述权利要求1-9任一项的用于智慧城市的多源异构数据处理系统。

Images