CN114282903A - 一种城市多源数据全过程综合管理系统 - Google Patents

一种城市多源数据全过程综合管理系统 Download PDF

Info

Publication number
CN114282903A
CN114282903A CN202111622241.6A CN202111622241A CN114282903A CN 114282903 A CN114282903 A CN 114282903A CN 202111622241 A CN202111622241 A CN 202111622241A CN 114282903 A CN114282903 A CN 114282903A
Authority
CN
China
Prior art keywords
data
module
submodule
information
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111622241.6A
Other languages
English (en)
Inventor
陈小瀚
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huikun Huapeng Hainan Technology Co ltd
Original Assignee
Huikun Huapeng Hainan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huikun Huapeng Hainan Technology Co ltd filed Critical Huikun Huapeng Hainan Technology Co ltd
Priority to CN202111622241.6A priority Critical patent/CN114282903A/zh
Publication of CN114282903A publication Critical patent/CN114282903A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种城市多源数据全过程综合管理系统,包括获取存储系统和查询读取系统,所述获取存储系统包括数据获取处理模块、数据分类模块、加密处理模块和分级存储模块,所述查询读取系统包括客户端模块、数据调取解密模块和数据融合发送模块;本发明通过数据处理模块将获取的数据分解后提取并基于树状分类模型进行存储,在提取时可将精准且精细的查询信息直接提取,并通过数据融合发送模块进行数据融合整理进行展示,实现了查询信息内容的精简展示,无需查询者翻找所有相关数据信息进行提炼,省时省力,同时通过加密处理模块将数据加密后存储,有效地保护了数据的安全性,避免了重要数据泄露造成不必要的损失,非常安全。

Description

一种城市多源数据全过程综合管理系统
技术领域
本发明涉及城市数据管理技术领域,尤其涉及一种城市多源数据全过程综合管理系统。
背景技术
在大数据时代,人们可以收集来自传感器、企业平台和政府机构公开的城市数据集,例如城市异常数据、人类活动数据、兴趣点数据和犯罪数据,通过数据处理和数据挖掘,找出这些数据集如何动态地反映城市的生活规律和数据集之间存在怎样的潜在联系去影响城市社区安全;
现有的城市数据管理仅仅是对数据的获取和查询管理,对于数据的传输无法保证其安全性,容易出现数据泄露,同时数据存储查询时只是将对应的相关数据全部提供,无法精简成查询者所需要的精准的数据信息内容,需要查询者自行提炼,非常麻烦,因此,本发明提出一种城市多源数据全过程综合管理系统以解决现有技术中存在的问题。
发明内容
针对上述问题,本发明的目的在于提出一种城市多源数据全过程综合管理系统,该城市多源数据全过程综合管理系统通过数据处理模块将获取的数据分解后提取并基于树状分类模型进行存储,在提取时可将精准且精细的查询信息直接提取,并通过数据融合发送模块进行数据融合整理进行展示,实现了查询信息内容的精简展示,无需查询者翻找所有相关数据信息进行提炼,省时省力,同时通过加密处理模块将数据加密后存储,有效地保护了数据的安全性,避免了重要数据泄露造成不必要的损失,非常安全。
为实现本发明的目的,本发明通过以下技术方案实现:一种城市多源数据全过程综合管理系统,包括获取存储系统和查询读取系统,所述获取存储系统包括数据获取处理模块、数据分类模块、加密处理模块和分级存储模块,所述查询读取系统包括客户端模块、数据调取解密模块和数据融合发送模块;
所述数据获取处理模块基于物联网获取城市数据并通过云计算技术对获取的数据进行计算;
所述数据分类模块基于树状分类模型将获取处理后的数据进行分类;
所述加密处理模块用于将分类后的数据进行编码加密处理,所述分级存储模块用于将加密后的数据进行多层级储存;
所述客户端模块用于输入所需查询的信息内容并通过识别后将指令发送至数据调取解密模块;
所述数据调取解密模块用于根据接受的信息指令从分级存储模块中调取对应的分散加密数据并进行解密;
所述数据融合发送模块用于将解密后的分散数据进行融合后发送至客户端模块展示。
进一步改进在于:所述数据获取处理模块包括信息分解子模块和数据提取子模块,所述信息分解子模块用于将获取的复杂城市数据和经计算后的复杂数据进行分解,所述数据提取子模块用于将分解后的复杂数据的重要信息进行提取。
进一步改进在于:所述数据分类模块包括数据信息识别子模块和转移缓存子模块,所述数据信息识别子模块用于识别数据处理模块分解后的数据类型和内容,所述转移缓存子模块用于将识别后的数据进行转移划分并进行缓存,所述转移缓存子模块与加密处理模块多通道数据互通。
进一步改进在于:所述加密处理模块对数据加密的具体操作为先将数据转化为对应的符号进行符号化表示形成序列;然后将转化后形成的符号序列进行ASCII数字替换,形成统一的以0~9的数字序列;再引入密匙,使用密匙将数字序列进行特殊字符转换,形成特殊字符序列完成加密。
进一步改进在于:所述加密处理模块还包含类别标识子模块,所述类别标识子模块用于根据加密前的数据类型将加密后的对应数据添加标签进行标识,所述分级存储模块是基于Hadoop的HBase分布式数据库实现对加密后的数据进行多层级储存。
进一步改进在于:所述客户端模块是基于移动通讯设备和电脑端的查询APP实现的,所述客户端模块包括信息输入子模块、读取识别子模块、指令生成子模块和数据接收展示子模块,所述信息输入子模块用于输入查询者的账号信息和查询内容,所述读取识别子模块用于识别输入的查询信息的类别和内容,所述指令生成子模块用于根据识别的类别和内容生成数据调取指令发送至数据调取解密模块,所述数据接收展示子模块用于将调取解密后的数据直观展示供查询者查看。
进一步改进在于:所述数据融合发送模块包括数据序列融合子模块和数据传输子模块,所述数据序列融合子模块用于根据提取的数据信息按数据类别规律进行排序融合形成对应的查询展示信息,所述数据传输子模块通过互联网将对应的查询融合后的数据发送至客户端模块。
本发明的有益效果为:本发明通过数据处理模块将获取的数据分解后提取并基于树状分类模型进行存储,在提取时可将精准且精细的查询信息直接提取,并通过数据融合发送模块进行数据融合整理进行展示,实现了查询信息内容的精简展示,无需查询者翻找所有相关数据信息进行提炼,省时省力,同时通过加密处理模块将数据加密后存储,有效地保护了数据的安全性,避免了重要数据泄露造成不必要的损失,非常安全。
附图说明
图1为本发明实施例一系统架构图。
图2为本发明实施例二系统架构图。
具体实施方式
为了加深对本发明的理解,下面将结合实施例对本发明做进一步详述,本实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
实施例一
根据图1所示,本实施例提供了一种城市多源数据全过程综合管理系统,包括获取存储系统和查询读取系统,所述获取存储系统包括数据获取处理模块、数据分类模块、加密处理模块和分级存储模块,所述查询读取系统包括客户端模块、数据调取解密模块和数据融合发送模块;
所述数据获取处理模块基于物联网获取城市数据并通过云计算技术对获取的数据进行计算;
其中城市数据包括城市交通管理实时数据、城市商业数据、城市政务数据、城市人口分布及流动数据和城市地下管网数据等城市的主要数据。
所述数据分类模块基于树状分类模型将获取处理后的数据进行分类;
所述加密处理模块用于将分类后的数据进行编码加密处理,所述分级存储模块用于将加密后的数据进行多层级储存;
所述客户端模块用于输入所需查询的信息内容并通过识别后将指令发送至数据调取解密模块;
所述数据调取解密模块用于根据接受的信息指令从分级存储模块中调取对应的分散加密数据并进行解密;
所述数据融合发送模块用于将解密后的分散数据进行融合后发送至客户端模块展示,数据处理模块将获取的数据分解后提取并基于树状分类模型进行存储,在提取时可将精准且精细的查询信息直接提取,并通过数据融合发送模块进行数据融合整理进行展示,实现了查询信息内容的精简展示,无需查询者翻找所有相关数据信息进行提炼,省时省力。
所述数据获取处理模块包括信息分解子模块和数据提取子模块,所述信息分解子模块用于将获取的复杂数据和经计算后的复杂城市数据进行分解,所述数据提取子模块用于将分解后的复杂数据的重要信息进行提取。
所述数据分类模块包括数据信息识别子模块和转移缓存子模块,所述数据信息识别子模块用于识别数据处理模块分解后的数据类型和内容,所述转移缓存子模块用于将识别后的数据进行转移划分并进行缓存,所述转移缓存子模块与加密处理模块多通道数据互通。
所述加密处理模块对数据加密的具体操作为先将数据转化为对应的符号进行符号化表示形成序列;然后将转化后形成的符号序列进行ASCII数字替换,形成统一的以0~9的数字序列;再引入密匙,使用密匙将数字序列进行特殊字符转换,以<替换0,以#替换1,以%替换2,以&替换3,以@替换4,以$替换5,以^替换6,以*替换7,以~替换8,以?替换9,形成特殊字符序列完成加密,加密处理模块将数据加密后存储,有效地保护了数据的安全性,避免了重要数据泄露造成不必要的损失,非常安全。
所述加密处理模块还包含类别标识子模块,所述类别标识子模块用于根据加密前的数据类型将加密后的对应数据添加标签进行标识,所述分级存储模块是基于Hadoop的HBase分布式数据库实现对加密后的数据进行多层级储存。
所述客户端模块是基于移动通讯设备和电脑端的查询APP实现的,所述客户端模块包括信息输入子模块、读取识别子模块、指令生成子模块和数据接收展示子模块,所述信息输入子模块用于输入查询者的账号信息和查询内容,所述读取识别子模块用于识别输入的查询信息的类别和内容,所述指令生成子模块用于根据识别的类别和内容生成数据调取指令发送至数据调取解密模块,所述数据接收展示子模块用于将调取解密后的数据直观展示供查询者查看。
所述数据融合发送模块包括数据序列融合子模块和数据传输子模块,所述数据序列融合子模块用于根据提取的数据信息按数据类别规律进行排序融合形成对应的查询展示信息,所述数据传输子模块通过互联网将对应的查询融合后的数据发送至客户端模块。
实施例二
根据图1所示,本实施例提供了一种城市多源数据全过程综合管理系统,包括获取存储系统、查询读取系统和监控系统,所述获取存储系统包括数据获取处理模块、数据分类模块、加密处理模块和分级存储模块,所述查询读取系统包括客户端模块、数据调取解密模块和数据融合发送模块,所述监控系统包括登录信息认证识别模块、查询权限管理模块和查询信息存储模块;
所述数据获取处理模块基于物联网获取城市数据并通过云计算技术对获取的数据进行计算;
其中城市数据包括城市交通管理实时数据、城市商业数据、城市政务数据、城市人口分布及流动数据和城市地下管网数据等城市的主要数据。
所述数据分类模块基于树状分类模型将获取处理后的数据进行分类;
所述加密处理模块用于将分类后的数据进行编码加密处理,所述分级存储模块用于将加密后的数据进行多层级储存;
所述客户端模块用于输入所需查询的信息内容并通过识别后将指令发送至数据调取解密模块;
所述数据调取解密模块用于根据接受的信息指令从分级存储模块中调取对应的分散加密数据并进行解密;
所述数据融合发送模块用于将解密后的分散数据进行融合后发送至客户端模块展示;
所述登录信息认证识别模块用于验证账号登录人员的信息与人脸识别是否为账号本人登录查询;
所述查询权限管理模块用于根据检测登录账号所拥有的查询权限,避免出现越级查询造成一定的损失;
所述查询信息存储模块用于将登录的账号信息以及查询的时间、地点和查询内容等信息进行存储,便于后期追溯需要。
所述数据获取处理模块包括信息分解子模块和数据提取子模块,所述信息分解子模块用于将获取的复杂数据和经计算后的复杂城市数据进行分解,所述数据提取子模块用于将分解后的复杂数据的重要信息进行提取。
所述数据分类模块包括数据信息识别子模块和转移缓存子模块,所述数据信息识别子模块用于识别数据处理模块分解后的数据类型和内容,所述转移缓存子模块用于将识别后的数据进行转移划分并进行缓存,所述转移缓存子模块与加密处理模块多通道数据互通。
所述加密处理模块对数据加密的具体操作为先将数据转化为对应的符号进行符号化表示形成序列;然后将转化后形成的符号序列进行ASCII数字替换,形成统一的以0~9的数字序列;再引入密匙,使用密匙将数字序列进行特殊字符转换,以<替换0,以#替换1,以%替换2,以&替换3,以@替换4,以$替换5,以^替换6,以*替换7,以~替换8,以?替换9,形成特殊字符序列完成加密,加密处理模块将数据加密后存储,有效地保护了数据的安全性,避免了重要数据泄露造成不必要的损失,非常安全。
所述加密处理模块还包含类别标识子模块,所述类别标识子模块用于根据加密前的数据类型将加密后的对应数据添加标签进行标识,所述分级存储模块是基于Hadoop的HBase分布式数据库实现对加密后的数据进行多层级储存。
所述客户端模块是基于移动通讯设备和电脑端的查询APP实现的,所述客户端模块包括信息输入子模块、读取识别子模块、指令生成子模块和数据接收展示子模块,所述信息输入子模块用于输入查询者的账号信息和查询内容,所述读取识别子模块用于识别输入的查询信息的类别和内容,所述指令生成子模块用于根据识别的类别和内容生成数据调取指令发送至数据调取解密模块,所述数据接收展示子模块用于将调取解密后的数据直观展示供查询者查看。
所述数据融合发送模块包括数据序列融合子模块和数据传输子模块,所述数据序列融合子模块用于根据提取的数据信息按数据类别规律进行排序融合形成对应的查询展示信息,所述数据传输子模块通过互联网将对应的查询融合后的数据发送至客户端模块。
所述登录信息认证识别模块包含人脸识别子模块,所述人脸识别子模块用于在账号登录时采集是被使用账号人员的面容是否为账号号主本人,若非本人则无法登陆。
所述查询信息存储模块包含存储文件管理子模块和独立存储子模块,所述存储文件管理子模块用于根据账号信息建立独立的文件夹存储对应账号的所有查询记录和查询时间及查询内容等数据,在账号注销的同时将存储的对应账号查询信息进行存储转移,所述独立存储子模块为一个独立的存储系统,仅用于存储查询账号的查询信息。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种城市多源数据全过程综合管理系统,其特征在于:包括获取存储系统和查询读取系统,所述获取存储系统包括数据获取处理模块、数据分类模块、加密处理模块和分级存储模块,所述查询读取系统包括客户端模块、数据调取解密模块和数据融合发送模块;
所述数据获取处理模块基于物联网获取城市数据并通过云计算技术对获取的数据进行计算;
所述数据分类模块基于树状分类模型将获取处理后的数据进行分类;
所述加密处理模块用于将分类后的数据进行编码加密处理,所述分级存储模块用于将加密后的数据进行多层级储存;
所述客户端模块用于输入所需查询的信息内容并通过识别后将指令发送至数据调取解密模块;
所述数据调取解密模块用于根据接受的信息指令从分级存储模块中调取对应的分散加密数据并进行解密;
所述数据融合发送模块用于将解密后的分散数据进行融合后发送至客户端模块展示。
2.根据权利要求1所述的一种城市多源数据全过程综合管理系统,其特征在于:所述数据获取处理模块包括信息分解子模块和数据提取子模块,所述信息分解子模块用于将获取的复杂城市数据和经计算后的复杂数据进行分解,所述数据提取子模块用于将分解后的复杂数据的重要信息进行提取。
3.根据权利要求1所述的一种城市多源数据全过程综合管理系统,其特征在于:所述数据分类模块包括数据信息识别子模块和转移缓存子模块,所述数据信息识别子模块用于识别数据处理模块分解后的数据类型和内容,所述转移缓存子模块用于将识别后的数据进行转移划分并进行缓存,所述转移缓存子模块与加密处理模块多通道数据互通。
4.根据权利要求1所述的一种城市多源数据全过程综合管理系统,其特征在于:所述加密处理模块对数据加密的具体操作为先将数据转化为对应的符号进行符号化表示形成序列;然后将转化后形成的符号序列进行ASCII数字替换,形成统一的以0~9的数字序列;再引入密匙,使用密匙将数字序列进行特殊字符转换,形成特殊字符序列完成加密。
5.根据权利要求1所述的一种城市多源数据全过程综合管理系统,其特征在于:所述加密处理模块还包含类别标识子模块,所述类别标识子模块用于根据加密前的数据类型将加密后的对应数据添加标签进行标识,所述分级存储模块是基于Hadoop的HBase分布式数据库实现对加密后的数据进行多层级储存。
6.根据权利要求1所述的一种城市多源数据全过程综合管理系统,其特征在于:所述客户端模块是基于移动通讯设备和电脑端的查询APP实现的,所述客户端模块包括信息输入子模块、读取识别子模块、指令生成子模块和数据接收展示子模块。
7.根据权利要求6所述的一种城市多源数据全过程综合管理系统,其特征在于:所述信息输入子模块用于输入查询者的账号信息和查询内容,所述读取识别子模块用于识别输入的查询信息的类别和内容,所述指令生成子模块用于根据识别的类别和内容生成数据调取指令发送至数据调取解密模块,所述数据接收展示子模块用于将调取解密后的数据直观展示供查询者查看。
8.根据权利要求1所述的一种城市多源数据全过程综合管理系统,其特征在于:所述数据融合发送模块包括数据序列融合子模块和数据传输子模块,所述数据序列融合子模块用于根据提取的数据信息按数据类别规律进行排序融合形成对应的查询展示信息,所述数据传输子模块通过互联网将对应的查询融合后的数据发送至客户端模块。
CN202111622241.6A 2021-12-28 2021-12-28 一种城市多源数据全过程综合管理系统 Pending CN114282903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111622241.6A CN114282903A (zh) 2021-12-28 2021-12-28 一种城市多源数据全过程综合管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111622241.6A CN114282903A (zh) 2021-12-28 2021-12-28 一种城市多源数据全过程综合管理系统

Publications (1)

Publication Number Publication Date
CN114282903A true CN114282903A (zh) 2022-04-05

Family

ID=80876866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111622241.6A Pending CN114282903A (zh) 2021-12-28 2021-12-28 一种城市多源数据全过程综合管理系统

Country Status (1)

Country Link
CN (1) CN114282903A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114793183A (zh) * 2022-06-22 2022-07-26 山东致群信息技术股份有限公司 一种基于多源数据处理的分布式融合通讯方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111092938A (zh) * 2019-12-04 2020-05-01 重庆特斯联智慧科技股份有限公司 一种基于云平台的智慧城市管理系统
CN112216104A (zh) * 2020-09-17 2021-01-12 广东新时空科技股份有限公司 一种基于多源数据融合的城市路口交通流预测方法
CN112241484A (zh) * 2020-08-29 2021-01-19 广元量知汇科技有限公司 智慧城市安防数据管理系统
CN112463755A (zh) * 2020-12-11 2021-03-09 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
AU2021101959A4 (en) * 2021-04-15 2021-06-03 Deena Babu Mandru A classifier for attack detection in cloud environment and data computing for smart cities and smart healthcare system using internet of things

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111092938A (zh) * 2019-12-04 2020-05-01 重庆特斯联智慧科技股份有限公司 一种基于云平台的智慧城市管理系统
CN112241484A (zh) * 2020-08-29 2021-01-19 广元量知汇科技有限公司 智慧城市安防数据管理系统
CN112216104A (zh) * 2020-09-17 2021-01-12 广东新时空科技股份有限公司 一种基于多源数据融合的城市路口交通流预测方法
CN112463755A (zh) * 2020-12-11 2021-03-09 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
AU2021101959A4 (en) * 2021-04-15 2021-06-03 Deena Babu Mandru A classifier for attack detection in cloud environment and data computing for smart cities and smart healthcare system using internet of things

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
计算机世界编辑部: "《编程技巧 使用与维修》", 31 October 1993, 西安:西安交通大学出版社 *
雷敏 等: "《网络空间安全导论》", 北京:北京邮电大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114793183A (zh) * 2022-06-22 2022-07-26 山东致群信息技术股份有限公司 一种基于多源数据处理的分布式融合通讯方法

Similar Documents

Publication Publication Date Title
CN109753809B (zh) 一种基于云存储系统的电网数据块分割方法
CN107315968A (zh) 一种数据处理方法及设备
CN111090779A (zh) 一种办案勘查取证数据云存储及检索分析方法
CN104572615A (zh) 案件在线侦查处理方法及其系统
CN114444033A (zh) 一种基于物联网的数据安全防护系统及方法
WO2022116491A1 (zh) 基于横向联邦的dbscan聚类方法、及其相关设备
CN111639355B (zh) 一种数据安全管理方法和系统
CN115884110B (zh) 短信验证码的判断方法及系统
CN116032464A (zh) 一种基于量子通信的物业数据加密系统
CN114218322A (zh) 基于密文传输的数据展示方法、装置、设备及介质
CN114282903A (zh) 一种城市多源数据全过程综合管理系统
Yadav et al. Big data hadoop: Security and privacy
CN110737651A (zh) 一种可还原脱敏的数据清洗及交换办法
CN112667888A (zh) 一种基于区块链的大数据处理系统
CN112308738A (zh) 一种水务数据分析处理系统
CN111614638A (zh) 一种基于大数据平台的人脸识别数据分发系统和分发方法
CN116070248A (zh) 一种用于保证电力数据安全的数据处理系统及方法
CN115599345A (zh) 一种基于知识图谱的应用安全需求分析推荐方法
CN115600189A (zh) 一种商用密码应用安全性评估系统
CN113378222A (zh) 一种基于数据内容识别的文件标密方法及系统
Pan et al. TrajGuard: a comprehensive trajectory copyright protection scheme
CN112187443A (zh) 基于同态加密的市民数据跨域安全联合计算方法及系统
CN117150567B (zh) 一种跨区域不动产数据共享系统
Mu Spam identification in cloud computing based on text filtering system
Hyder et al. Privacy preserving mobile forensic framework using role‐based access control and cryptography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220405

RJ01 Rejection of invention patent application after publication