CN113721856A - 一种数字化社区管理数据存储系统 - Google Patents

一种数字化社区管理数据存储系统 Download PDF

Info

Publication number
CN113721856A
CN113721856A CN202111030167.9A CN202111030167A CN113721856A CN 113721856 A CN113721856 A CN 113721856A CN 202111030167 A CN202111030167 A CN 202111030167A CN 113721856 A CN113721856 A CN 113721856A
Authority
CN
China
Prior art keywords
data
data storage
community management
storage system
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111030167.9A
Other languages
English (en)
Inventor
冯薪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yuanchen Communication Technology Co Ltd
Original Assignee
Sichuan Yuanchen Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yuanchen Communication Technology Co Ltd filed Critical Sichuan Yuanchen Communication Technology Co Ltd
Priority to CN202111030167.9A priority Critical patent/CN113721856A/zh
Publication of CN113721856A publication Critical patent/CN113721856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明一种数字化社区管理数据存储系统，涉及智慧社区领域。1、本发明向用户提供结构化数据存储口和业务数据存储口，采用Mysql数据库部署结构化数据存储口。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。适合GB‑PB级数据存储、查询和分析等场景，支持SQL分析、二级索引、时序查询、主备双活、不停服扩容等功能；通过Sequence File来解决小文件问题，Sequence File主要是通过将小文件打包成大文件，并提供对应的索引表来实现对小文件的快速检索和管理的。

Description

一种数字化社区管理数据存储系统
技术领域
本发明涉及智慧社区领域，尤其涉及一种数字化社区管理数据存储系统。
背景技术
随着物联网技术的发展，智慧社区的概念也孕育而生，所谓智慧社区是指通过利用各种智能技术和方式，整合社区现有的各类服务资源，为社区群众提供政务、商务、娱乐、教育、医护及生活互助等多种便捷服务的模式。从应用方向来看，“智慧社区”应实现“以智慧政务提高办事效率，以智慧民生改善人民生活，以智慧家庭打造智能生活，以智慧小区提升社区品质”的目标。其中，社区管理数据存储系统作为社区的重要组成部分，在发展智慧社区时，是我们重点关注的方向。
传统的社区管理数据存储系统是简单的存储系统，并不具备智能化的效果；通常将社区管理数据简单的存储在各办公电脑上，数据伴随电脑而存在。当电脑损坏时，数据即丢失，且当大量数据进行分享和转存时，其安全性和分享效率也极其低下。
为此，公开号为：CN110866280A的发明申请公开了一种社区数据管理方法及装置、存储介质。该方法包括：接收请求端发送的入住请求，并获取所述请求端的需求数据，然后，获取第一区块链中维护的社区矩阵，所述社区矩阵与各社区的社区数据相关联，其次，根据所述需求数据与各社区数据之间的匹配程度，确定候选社区，进而，向所述请求端输出所述候选社区数据，以使得所述请求端根据所述候选社区数据确定入住社区。
该系统能通过第一区块链中记录有社区矩阵，社区矩阵能够体现各社区的社区数据，这保证了社区数据的真实性和不可篡改性，同时还可以接收到请求端的入住请求并由此获取其需求数据，从而，能够基于这些真实的社区数据与需求数据之间的匹配程度，便捷地确定候选社区并输出候选社区数据给请求端，进而，请求端可基于这些候选社区数据来确定入住社区并进而完成入住，这极大地简化了用户侧搜寻并匹配满足自身需求的社区的工作量及处理步骤，有利于提高养老社区与请求端之间的匹配效率。但是该申请未解决社区数据的存储关键问题。
因此，有必要提供新的数字化社区管理数据存储系统来解决上述技术问题。
发明内容
为解决上述技术问题，本发明提供的一种数字化社区管理数据存储系统，通过构建分布式云存储端向各数字化社区提供云存储服务，述分布式云存储端部署在云端服务器上，各数字化社区通过访问接口层对分布式云存储端进行访问，并对云端存储数据进行创建、抽取、查询、更新、删除操作；所述分布式云存储端向用户提供结构化数据存储口和业务数据存储口；所述分布式云存储端向用户通过B/S构架向用户提供即时浏览器数据存储和管理服务，用户通过在浏览器中访问对应URL地址进入分布式云存储端，浏览器向用户提供账户登陆服务，而账户创建管理通过后台进行创建、删除和权限授予。
作为更进一步的解决方案，所述结构化数据存储口通过Mysql数据库进行部署，并对结构化数据进行保存，所述业务数据存储口通过HBase数据库进行部署，并对非结构化数据进行保存。
作为更进一步的解决方案，通过HDFS分布式文件系统对分布式云存储端进行文件管理，通过iView/Vue/JS实现B/S构架的交互前端，其中HTML、CSS3、JAVAScript代码全部整合在.vue文件中。
作为更进一步的解决方案，通过Sqoop中间件来实现HDFS分布式文件系统和Mysql数据库之间的数据传递和迁移；通过Flume实现业务数据存储口的海量业务数据采集。
作为更进一步的解决方案，所述HDFS分布式文件系统定期对云存储端中的小文件进行打包；打包通Sequence File进行，小文件索引保存至key中，小文件的数据保存至value中。
作为更进一步的解决方案，所述分布式云存储端通过访问接口层与内部/外部进行数据沟通，所述访问接口层包括ISCSI/NFS/CIFS/FTP/HTTP/REST/API；外部程序通过访问接口进行数据访问和功能拓展，社区管理的各子系统通过访问接口层与分布式云存储端进行数据的互通。
作为更进一步的解决方案，通过Spring Data JPA+QueryDSL+Hibernate构建复合型对象关系映射框架，对于创建、抽取、查询、更新、删除和调用存储过程通过Spring DataJPA进行，批量的查询和操作使用QueryDSL或Spring Data Specification的API进行，对于高并发查询操作可以使用Spring Data JPA Repository的注解定义native sql进行，所有对象关系映射层底层操作都通过Hibernate进行。
作为更进一步的解决方案，用户通过账号登陆并得到存储空间，所述存储空间包括公开数据存储空间、隐私数据存储空间和临时数据存储空间；所述公开数据存储空间中保存的数据允许第三方使用者在验证合法身份后通过访问接口进行数据查询和查看，数据查询和查看通过只读模式进行；所述隐私数据存储空间对空间内的数据进行加密保存，且仅允许隐私数据拥有者通过提供正确的密钥进行访问；所述临时数据存储空间允许第三方使用者在验证合法身份后通过访问接口进行数据存储，临时数据存储空间内的数据均设有有效期；对于超过有效期的数据，若用户不进行特别设置，则进行自动清除。
作为更进一步的解决方案，还通过构建分布式云计算端向各数字化社区提供云计算服务，所述分布式云计算端通过SPARK分布式计算框架实现。
作为更进一步的解决方案，还设置有容灾服务器，所述容灾服务器用于存储数据的容灾镜像备份，且设置于异地城市。
与相关技术相比较，本发明提供的一种数字化社区管理数据存储系统具有如下有益效果：
1、本发明向用户提供结构化数据存储口和业务数据存储口，构化数据存储口主要存储列如停车子系统、家用电子系统、门禁子系统等提供的结构化数据，这些数据存在着强关系联系，故需要通过专门的关系型数据库进行管理；而业务数据存储口主要是针对传感器数据、监控数据等非结构化或半结构化的业务数据进行保存；
2、本发明采用Mysql数据库部署结构化数据存储口。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。适合GB-PB级数据存储、查询和分析等场景，支持SQL分析、二级索引、时序查询、主备双活、不停服扩容等功能，满足用户高吞吐、低成本以及轻运维等业务场景需求。这和我们的需求不谋而合；
3、本发明通过通过Sequence File来解决小文件问题，Sequence File主要是通过将小文件打包成大文件，并提供对应的索引表来实现对小文件的快速检索和管理的；
4、本发明通过通过api的形式向合法的第三方使用者开放数据，此外，还通过社区私钥对这些公开数据进行身份标识，第三方使用者通过公开的公钥验证数据的来源；隐私数据存储空间主要是一些具备隐私性的数据存储，需要进行加密并只能有指定的人进行查看；而临时数据存储空间主要是针对一些数量巨大的数据，如监控数据等，这些数据具有低价值度，高占用率的特点，故对其进行临时保存，临时数据存储空间内的数据均设有有效期；对于超过有效期的数据，若用户不进行特别设置，则进行自动清除。
附图说明
图1为本发明提供的一种数字化社区管理数据存储系统的较佳实施例系统示意图；
图2为本发明提供的一种数字化社区管理数据存储系统的较佳实施例用户存储空间示意图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
如图1至图2所示，一种数字化社区管理数据存储系统，通过构建分布式云存储端向各数字化社区提供云存储服务，述分布式云存储端部署在云端服务器上，各数字化社区通过访问接口层对分布式云存储端进行访问，并对云端存储数据进行创建、抽取、查询、更新、删除操作；所述分布式云存储端向用户提供结构化数据存储口和业务数据存储口；所述分布式云存储端向用户通过B/S构架向用户提供即时浏览器数据存储和管理服务，用户通过在浏览器中访问对应URL地址进入分布式云存储端，浏览器向用户提供账户登陆服务，而账户创建管理通过后台进行创建、删除和权限授予。
具体的：现有的社区管理数据存储系统是本地存储系统，普遍是采用单电脑存储模式，这样的模式资源利用率低，安全性低下，且资源共享困难，现阶段的还没有针对数字化社区管理数据的云存储系统，由于社区管理数据存在不同类型的数据，对数据的存储要求也不同，故针对针对数字化社区管理数据的云存储系统需要构建不同的存储口以适应不同的存储需求，现阶段的数字化社区主要存在一些结构化数据和大量的半结构化和非结构化数据，结构化的数据我们需求的是能进行快速的查找、检索和对象之间的建立映射关系，而针对大量的半结构化和非结构化数据，我们需求的是快速存储、海量存储和海量数据的管理，为此，本实施例向用户提供结构化数据存储口和业务数据存储口，构化数据存储口主要存储列如停车子系统、家用电子系统、门禁子系统等提供的结构化数据，这些数据存在着强关系联系，故需要通过专门的关系型数据库进行管理；而业务数据存储口主要是针对传感器数据、监控数据等非结构化或半结构化的业务数据进行保存。
作为更进一步的解决方案，所述结构化数据存储口通过Mysql数据库进行部署，并对结构化数据进行保存，所述业务数据存储口通过HBase数据库进行部署，并对非结构化数据进行保存。
具体的，MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。这一点也满足我们对构化数据存储口的要求，MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言，故使用方便快捷，且容错率高。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，故本实施例采用Mysql数据库部署结构化数据存储口。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。适合GB-PB级数据存储、查询和分析等场景，支持SQL分析、二级索引、时序查询、主备双活、不停服扩容等功能，满足用户高吞吐、低成本以及轻运维等业务场景需求。这和我们的需求不谋而合。
作为更进一步的解决方案，通过HDFS分布式文件系统对分布式云存储端进行文件管理，通过iView/Vue/JS实现B/S构架的交互前端，其中HTML、CSS3、JAVAScript代码全部整合在.vue文件中。
需要说明的是：本实施例前端由HTML、CSS3、JavaScript代码全部整合在.vue文件中，使用npm工具进行编译、运行和打包。在WebStorm的终端通过执行npmrundev将项目打包成一个文件目录，并将这个文件目录移到Nginx服务器上，通过修改Nginx的root参数指向该目录，实现前端部署。由于前端和后端分别部署在两台不同的服务器上，前端与后端的通信无法直接通过axios进行，所以利用Nginx对后端服务接口作反向代理，避免了跨域等问题。采用HDFS分布式文件系统主要是HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。且HDFS作为开源的文件管理系统，不收费并且具有大量的使用文档，是一个开发成熟的平台系统。
作为更进一步的解决方案，通过Sqoop中间件来实现HDFS分布式文件系统和Mysql数据库之间的数据传递和迁移；通过Flume实现业务数据存储口的海量业务数据采集。
具体的，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。在社区管理系统中，日志数据的采集会涉及到大量的数据源，如门禁系统、水利系统、安保系统、停车系统、维保系统等，这些系统的数据如何井然有序地进行采集，需要我们通过分布式的海量日志采集系统来实现，统一的时序管理能使数据的可用率大大提高。Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如：MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
作为更进一步的解决方案，所述HDFS分布式文件系统定期对云存储端中的小文件进行打包；打包通Sequence File进行，小文件索引保存至key中，小文件的数据保存至value中。
具体的，由于存储中会涉及到大量的小文件，而HDFS对这些小文件的管理能力有限，故会出现小文件问题，从而影响系统整体的工作和检索效率，本实施例是通过SequenceFile来解决小文件问题，Sequence File主要是通过将小文件打包成大文件，并提供对应的索引表来实现对小文件的快速检索和管理的。
作为更进一步的解决方案，所述分布式云存储端通过访问接口层与内部/外部进行数据沟通，所述访问接口层包括ISCSI/NFS/CIFS/FTP/HTTP/REST/API；外部程序通过访问接口进行数据访问和功能拓展，社区管理的各子系统通过访问接口层与分布式云存储端进行数据的互通。
具体的，本实施例通过访问接口层实现对接不同的应用程序，从而提供不同的应用功能，例如水费app、停车app、电费小程序等。
作为更进一步的解决方案，通过Spring Data JPA+QueryDSL+Hibernate构建复合型对象关系映射框架，对于创建、抽取、查询、更新、删除和调用存储过程通过Spring DataJPA进行，批量的查询和操作使用QueryDSL或Spring Data Specification的API进行，对于高并发查询操作可以使用Spring Data JPA Repository的注解定义native sql进行，所有对象关系映射层底层操作都通过Hibernate进行。
具体的，构建对象关系映射在社区管理中是及其重要的，本实施例通过构建复合型对象关系映射框架，针对不同的使用场景，提供了对应的使用方法，极大地提高了系统的工作效率。
作为更进一步的解决方案，用户通过账号登陆并得到存储空间，所述存储空间包括公开数据存储空间、隐私数据存储空间和临时数据存储空间；所述公开数据存储空间中保存的数据允许第三方使用者在验证合法身份后通过访问接口进行数据查询和查看，数据查询和查看通过只读模式进行；所述隐私数据存储空间对空间内的数据进行加密保存，且仅允许隐私数据拥有者通过提供正确的密钥进行访问；所述临时数据存储空间允许第三方使用者在验证合法身份后通过访问接口进行数据存储，临时数据存储空间内的数据均设有有效期；对于超过有效期的数据，若用户不进行特别设置，则进行自动清除。
需要说明的是：公开数据存储空间主要是一些社区的公共数据，如财务支出、耗材使用等情况，这些数据应该作为公开数据向业主提供查看等服务，本实施例便通过api的形式向合法的第三方使用者开放数据，此外，本实施例还通过社区私钥对这些公开数据进行身份标识，第三方使用者通过公开的公钥验证数据的来源；隐私数据存储空间主要是一些具备隐私性的数据存储，需要进行加密并只能有指定的人进行查看，加密的方法很多，本实施例不做赘述；而临时数据存储空间主要是针对一些数量巨大的数据，如监控数据等，这些数据具有低价值度，高占用率的特点，故本实施例对其进行临时保存，临时数据存储空间内的数据均设有有效期；对于超过有效期的数据，若用户不进行特别设置，则进行自动清除。这样能节省大量存储空间，且减少人力成本。
作为更进一步的解决方案，还通过构建分布式云计算端向各数字化社区提供云计算服务，所述分布式云计算端通过SPARK分布式计算框架实现。
需要说明的是：本实施例还通过SPARK分布式计算框架实现云计算，在不同的硬件终端上能进行满足性能要求的云计算，在制作报表，文件整理，关系映射，内容提炼等场景有着较好的实用价值。
作为更进一步的解决方案，还设置有容灾服务器，所述容灾服务器用于存储数据的容灾镜像备份，且设置于异地城市。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.数字化社区管理数据存储系统，其特征在于，通过构建分布式云存储端向各数字化社区提供云存储服务，述分布式云存储端部署在云端服务器上，各数字化社区通过访问接口层对分布式云存储端进行访问，并对云端存储数据进行创建、抽取、查询、更新、删除操作；所述分布式云存储端向用户提供结构化数据存储口和业务数据存储口；所述分布式云存储端向用户通过B/S构架向用户提供即时浏览器数据存储和管理服务，用户通过在浏览器中访问对应URL地址进入分布式云存储端，浏览器向用户提供账户登陆服务，而账户创建管理通过后台进行创建、删除和权限授予。
2.根据权利要求1所述的数字化社区管理数据存储系统，其特征在于，所述结构化数据存储口通过Mysql数据库进行部署，并对结构化数据进行保存，所述业务数据存储口通过HBase数据库进行部署，并对非结构化数据进行保存。
3.根据权利要求2所述的数字化社区管理数据存储系统，其特征在于，通过HDFS分布式文件系统对分布式云存储端进行文件管理，通过iView/Vue/JS实现B/S构架的交互前端，其中HTML、CSS3、JAVAScript代码全部整合在.vue文件中。
4.根据权利要求3所述的数字化社区管理数据存储系统，其特征在于，通过Sqoop中间件来实现HDFS分布式文件系统和Mysql数据库之间的数据传递和迁移；通过Flume实现业务数据存储口的海量业务数据采集。
5.根据权利要求4所述的数字化社区管理数据存储系统，其特征在于，所述HDFS分布式文件系统定期对云存储端中的小文件进行打包；打包通Sequence File进行，小文件索引保存至key中，小文件的数据保存至value中。
6.根据权利要求5所述的数字化社区管理数据存储系统，其特征在于，所述分布式云存储端通过访问接口层与内部/外部进行数据沟通，所述访问接口层包括ISCSI/NFS/CIFS/FTP/HTTP/REST/API；外部程序通过访问接口进行数据访问和功能拓展，社区管理的各子系统通过访问接口层与分布式云存储端进行数据的互通。
7.根据权利要求6所述的数字化社区管理数据存储系统，其特征在于，通过SpringData JPA+QueryDSL+Hibernate构建复合型对象关系映射框架，对于创建、抽取、查询、更新、删除和调用存储过程通过Spring Data JPA进行，批量的查询和操作使用QueryDSL或Spring Data Specification的API进行，对于高并发查询操作可以使用Spring Data JPARepository的注解定义native sql进行，所有对象关系映射层底层操作都通过Hibernate进行。
8.根据权利要求7所述的数字化社区管理数据存储系统，其特征在于，用户通过账号登陆并得到存储空间，所述存储空间包括公开数据存储空间、隐私数据存储空间和临时数据存储空间；所述公开数据存储空间中保存的数据允许第三方使用者在验证合法身份后通过访问接口进行数据查询和查看，数据查询和查看通过只读模式进行；所述隐私数据存储空间对空间内的数据进行加密保存，且仅允许隐私数据拥有者通过提供正确的密钥进行访问；所述临时数据存储空间允许第三方使用者在验证合法身份后通过访问接口进行数据存储，临时数据存储空间内的数据均设有有效期；对于超过有效期的数据，若用户不进行特别设置，则进行自动清除。
9.根据权利要求8所述的数字化社区管理数据存储系统，其特征在于，还通过构建分布式云计算端向各数字化社区提供云计算服务，所述分布式云计算端通过SPARK分布式计算框架实现。
10.根据权利要求9所述的数字化社区管理数据存储系统，其特征在于，还设置有容灾服务器，所述容灾服务器用于存储数据的容灾镜像备份，且设置于异地城市。
CN202111030167.9A 2021-09-03 2021-09-03 一种数字化社区管理数据存储系统 Pending CN113721856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111030167.9A CN113721856A (zh) 2021-09-03 2021-09-03 一种数字化社区管理数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111030167.9A CN113721856A (zh) 2021-09-03 2021-09-03 一种数字化社区管理数据存储系统

Publications (1)

Publication Number Publication Date
CN113721856A true CN113721856A (zh) 2021-11-30

Family

ID=78681326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111030167.9A Pending CN113721856A (zh) 2021-09-03 2021-09-03 一种数字化社区管理数据存储系统

Country Status (1)

Country Link
CN (1) CN113721856A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785750A (zh) * 2022-04-06 2022-07-22 厦门立林科技有限公司 一种基于多社区应用门禁消息提醒方法、系统及设备
CN116226152A (zh) * 2023-04-25 2023-06-06 社治无忧(成都)智慧科技有限公司 一种基于社区治理的人房数据自更新方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116643A (zh) * 2013-02-25 2013-05-22 江苏物联网研究发展中心 基于Hadoop的智慧医疗数据管理方法
US9298935B1 (en) * 2013-09-20 2016-03-29 Piyush Kumar Distributed privacy framework system and method of implementation
CN106446099A (zh) * 2016-09-13 2017-02-22 国家超级计算深圳中心(深圳云计算中心) 一种分布式云存储方法、系统及其上传下载方法
CN107196925A (zh) * 2017-05-09 2017-09-22 北京同余科技有限公司 访问时间自调节的隐私数据保护方法和系统
CN108053863A (zh) * 2017-12-22 2018-05-18 中国人民解放军第三军医大学第附属医院 适合大小文件的海量医疗数据存储系统及数据存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116643A (zh) * 2013-02-25 2013-05-22 江苏物联网研究发展中心 基于Hadoop的智慧医疗数据管理方法
US9298935B1 (en) * 2013-09-20 2016-03-29 Piyush Kumar Distributed privacy framework system and method of implementation
CN106446099A (zh) * 2016-09-13 2017-02-22 国家超级计算深圳中心(深圳云计算中心) 一种分布式云存储方法、系统及其上传下载方法
CN107196925A (zh) * 2017-05-09 2017-09-22 北京同余科技有限公司 访问时间自调节的隐私数据保护方法和系统
CN108053863A (zh) * 2017-12-22 2018-05-18 中国人民解放军第三军医大学第附属医院 适合大小文件的海量医疗数据存储系统及数据存储方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785750A (zh) * 2022-04-06 2022-07-22 厦门立林科技有限公司 一种基于多社区应用门禁消息提醒方法、系统及设备
CN116226152A (zh) * 2023-04-25 2023-06-06 社治无忧(成都)智慧科技有限公司 一种基于社区治理的人房数据自更新方法及系统

Similar Documents

Publication Publication Date Title
US11755628B2 (en) Data relationships storage platform
US10560465B2 (en) Real time anomaly detection for data streams
US11093466B2 (en) Incremental out-of-place updates for index structures
Das et al. Big data analytics: A framework for unstructured data analysis
CN106980699B (zh) 一种数据处理平台和系统
CN104298771A (zh) 一种海量web日志数据查询与分析方法
CN104090889A (zh) 数据处理方法及系统
CN111240861A (zh) 服务提供方法、装置、电子设备及存储介质
CN105786998A (zh) 数据库中间件系统及利用其处理数据的方法
CN105302920A (zh) 一种云存储数据的优化管理方法和系统
CN111221791A (zh) 一种多源异构数据导入数据湖的方法
CN111400393B (zh) 基于多应用平台的数据处理方法和装置、存储介质
CN113721856A (zh) 一种数字化社区管理数据存储系统
CN104239377A (zh) 跨平台的数据检索方法及装置
WO2017174013A1 (zh) 数据存储管理方法、装置及数据存储系统
CN111258978A (zh) 一种数据存储的方法
CN109241384A (zh) 一种科研信息的可视化方法及装置
CN113791586A (zh) 一种新型的工业app与标识注册解析集成方法
CN113312428A (zh) 多源异构训练数据融合方法、装置和设备
CN111046041A (zh) 数据处理方法和装置、存储介质及处理器
CN113434506B (zh) 数据管理及检索方法、装置、计算机设备及可读存储介质
CN112100179A (zh) 基于hbase的数据融合方法、装置、设备及计算机可读介质
CN114443599A (zh) 数据同步方法、装置、电子设备及存储介质
CN116962516A (zh) 一种数据查询方法、装置、设备及存储介质
CN114765599B (zh) 子域名采集方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination