CN107451246B - 一种适用于大型城市的信息资源一体化处理系统 - Google Patents

一种适用于大型城市的信息资源一体化处理系统 Download PDF

Info

Publication number
CN107451246B
CN107451246B CN201710630486.0A CN201710630486A CN107451246B CN 107451246 B CN107451246 B CN 107451246B CN 201710630486 A CN201710630486 A CN 201710630486A CN 107451246 B CN107451246 B CN 107451246B
Authority
CN
China
Prior art keywords
data
technology
equipment
processing system
integrated processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710630486.0A
Other languages
English (en)
Other versions
CN107451246A (zh
Inventor
谭东宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aerospace Smart City System Technology Co ltd
Original Assignee
Shenzhen Aerospace Smart City System Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aerospace Smart City System Technology Co ltd filed Critical Shenzhen Aerospace Smart City System Technology Co ltd
Priority to CN201710630486.0A priority Critical patent/CN107451246B/zh
Publication of CN107451246A publication Critical patent/CN107451246A/zh
Application granted granted Critical
Publication of CN107451246B publication Critical patent/CN107451246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种适用于大型城市信息资源一体化处理系统，包括：在设备的底层使用超融合技术实现了去存储化，通过使用分布式的文件系统，通过专用的万兆以太交换网络通道，将数据按照备份因子将数据冗余保存在不同的硬件平台上，并在读取时进行校验，以保证数据的可靠性和高可用性；在设备中采用了微服务体系架构技术用以实现功能组件的统一标准和解耦。本发明的有益效果是：本发明能够极大简化部署复杂度，缩短部署周期；高弹性可伸缩节约资源；全集成的快速应用开发，一个设备覆盖城市数据处理全流程。

Description

一种适用于大型城市的信息资源一体化处理系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种适用于大型城市的信息资源一体化处理系统。
背景技术
随着城市的发展，特别是大型城市不断向数字化、智能化和智慧化的发展，数以亿计的海量数据成指数级增长。当前处理此级别当量数据的信息系统结构非常复杂，而且功能单一。通常情况下，这类数据平台都是由关系数据库、分布式数据库、分布式(或并行)计算引擎和任务调度系统等构成。按照数据的获取、存储、清洗处理和可视化分别部署在通用硬件服务器上面。部署后所有系统逐一对接。根据应用环境再进行调试和扩充。通常情况下，从系统部署到实际运行会经历一个相对漫长的过程，并且在过程中也会出现各种兼容性问题。这种组合式的系统部署，通常只提供基础数据存储或者处理环境，而所有的具有应用属性的数据成果，如：数据融合专题，需要根据需求从数据进行开发。
用传统的信息系统生产模式进行新情况下的海量的大数据处理，对处于信息爆炸阶段的城市数据来说，远远不能满足要求。
发明内容
本发明提供了一种适用于大型城市信息资源一体化处理系统，包括：
在设备的底层使用超融合技术实现了去存储化，通过使用分布式的文件系统，通过专用的万兆以太交换网络通道，将数据按照备份因子将数据冗余保存在不同的硬件平台上，并在读取时进行校验，以保证数据的可靠性和高可用性；
在设备中采用了微服务体系架构技术用以实现功能组件的统一标准和解耦，系统中存在着多种功能模块，所述的多种功能模块都被封装在微服务容器中，微服务容器分为全虚拟化容器和环境隔离容器两种类型，全虚拟化容器是将组件和承载的OS一起进行封装，而环境隔离容器是在同一个OS上面利用多层共享文件系统，封装多个不同的组件；每个组件对外都使用网络界面使用专用高速二进制协议进行交互，组件和组件之间的通信使用基于AMQP的MQ消息机制进行传输，这就保证了通过MQ的海量数据不丢失、不重复和不乱序，同时由于MQ的信道独立性，还保证了数据不混淆。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括在设备中通过显卡的虚拟化技术，实现了用于数据的生产和可视化的高性能桌面组件。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括在设备中使用蜂窝式数据库技术，蜂窝式数据库技术是一种混合式的数据库，根据数据的类型，分别将数据存储到不同的库区，这些库区是由很多小的数据库引擎有机构成，包括结构化数据库、非结构化数据库、高速缓存库、文档库类型，每一种类型又分为多个实例，而每个实例被封装成微服务。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括在设备中使用了基于框架的数据采集技术，支持基于TCP/IP的任意数据传输模式，通过微服务封装数据适配器插件，使插件能够以任何编程语言进行开发，同时通过标准接口，设备能够获得每个插件的状态，并对它们进行控制。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括设备中使用了面向城市数据资源应用的服务技术框架，服务技术框架包括城市数据可视化的相关组件，所述相关组件包括：三维引擎组件、二维GIS引擎组件、WebService框架、数据分析引擎以及数据仿真引擎。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括设备中使用了视频流媒体处理技术，包括万能视频网关、视频智能识别引擎，单节点设备原生支持不超过20000路视频的接入，并发8路高清的播放能力，同时支持人脸识别技术、车牌车型识别技术和智能视频摘要能力。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括设备中使用了分布式安全技术，在设备中的每一个组件都自带相应的访问控制机制，所述访问控制机构包括分布式防火墙、身份认证和加密策略及机制，并且，所有的安全机制都是受一个集中的安全中心的策略机制控制的。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括设备使用了负载均衡技术，针对每一种功能组件都提供负载均衡，且负载均衡机制能够做到只对最小的功能力度进行调度。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括设备使用了精确可量测的地理信息技术作为城市数据应用的支撑平台，该适用于大型城市信息资源一体化处理系统还包括地址匹配引擎和空间坐标变换引擎，使基于GIS的数据可视化应用可以快速生成。
作为本发明的进一步改进，该适用于大型城市信息资源一体化处理系统还包括：
统一平台管理和自动化测试部署模块：用于负责整体系统的运行管理和自动化部署；
虚拟混合现实展现引擎：展现数据可视化效果；
时间服务和日志服务模块：用于全系统的同一时间同步服务，使各个组件协同工作；
位置和物联网数据处理平台：用于对短报文类型的数据进行高速处理。
本发明的有益效果是：本发明能够极大简化部署复杂度，缩短部署周期；高弹性可伸缩节约资源；全集成的快速应用开发，一个设备覆盖城市数据处理全流程。
附图说明
图1是本发明的原理框图。
具体实施方式
如图1所示，本发明公开了一种适用于大型城市的信息资源一体化处理系统，具体为：
1.在设备的底层使用了超融合技术1实现了去存储化的能力。这种技术通过使用分布式的文件系统，通过专用的万兆以太交换网络通道D，将数据按照备份因子(2或者3)将数据冗余保存在不同的硬件平台上，并在读取时进行校验，以保证数据的可靠性和高可用性(HA)。同时在存储系统中增加了800GB～1200GB的SSD，作为存储缓存，并通过缓存淘汰算法，使得频繁访问的热数据保存在其中，不频繁访问的凉数据保存在HDD中，再通过大内存(512GB～1TB/节点)形成三级缓存，构成阶梯状存储通道，大幅度提升了系统IO性能，解决了常规虚拟化平台IO性能不能满足高性能应用需求的问题。因为使用了带有高可用的分布式文件系统，所以无需外部专用存储就可以提供同样可靠的数据安全特性和性能。
2.在设备中采用了微服务体系架构技术2用以实现功能组件的统一标准和解耦。系统中存在着多种功能模块，这些模块都被封装在微服务容器中。容器分为全虚拟化容器和环境隔离容器两种类型，全虚拟化容器是将组件和承载的OS一起进行封装，而环境隔离容器是在同一个OS上面利用多层共享文件系统，封装多个不同的组件。每个组件对外都使用网络界面使用专用高速二进制协议进行交互，组件和组件之间的通信使用基于AMQP的MQ3消息机制进行传输，这就保证了通过MQ的海量数据不丢失、不重复和不乱序，同时由于MQ的信道独立性，还保证了数据不混淆。这一机制是为了适应多源异构的城市海量数据的应用领域而发明的。
3.在设备中通过显卡的虚拟化技术A，实现了用于数据的生产和可视化的高性能桌面组件。该设备可以支持8个带有物理显卡的虚拟机，这些虚拟机上面安装了城市三维建模工具和二三维地理信息系统，性能能够满足数据生产和展示的应用需求。
4.在设备中使用了蜂窝式数据库技术4。蜂窝式数据库是一种混合式的数据库，根据数据的类型，分别将数据存储到不同的库区，这些库区是由很多小的数据库引擎有机构成，包括结构化数据库、非结构化数据库、高速缓存库17、文档库类型，每一种类型又分为多个实例，而每个实例被封装成微服务。这种独特的结构所带来的好处是：避免了海量数据的集中存储所带来的性能问题，避免了数据混放的安全性问题，可以方便热迁移，便于应用访问。
5.在设备中使用了基于框架的数据采集技术5，支持基于TCP/IP的任意数据传输模式，通过微服务封装数据适配器插件，使插件能够以任何编程语言进行开发，同时通过标准接口，设备能够获得每个插件的状态，并对它们进行控制。
6.设备中使用了面向城市数据资源应用的服务技术框架6，包括城市数据可视化的相关组件。这些组件有：三维引擎组件、二维GIS引擎组件、WebService框架、数据分析引擎以及数据仿真引擎16。
7.设备中使用了视频流媒体处理技术，包括万能视频网关、视频智能识别引擎7。单节点设备原生支持不超过20000路视频的接入，并发8路高清的播放能力，同时支持人脸识别技术、车牌车型识别技术和智能视频摘要能力(后处理)C。
8.设备中使用了分布式安全技术8，在设备中的每一个组件都自带相应的访问控制(如分布式防火墙B)、身份认证权限管理14和加密策略及机制，这一设计使功能组件和信息安全机制不可分离。无论组件及其容器如何移动，安全机制都会起到作用。并且，所有的安全机制都是受一个集中的安全中心的策略机制控制的。这就形成了既分布部署又统一管理的安全架构。
9.设备使用了负载均衡技术9，针对每一种功能组件都提供负载均衡。因为采用了微服务架构，功能细粒度做到最小化，本设备提供的负载均衡机制能够做到只对最小的功能力度进行调度。这种机制带来的好处是节省了不需要参与负载均衡调度的部分所占用的冗余空间和计算资源。
10.设备使用了精确可量测的地理信息技术作为城市数据应用的支撑平台10。除了前述的二三维引擎等，还包括地址匹配引擎和空间坐标变换引擎，使基于GIS的数据可视化应用可以快速生成12。
该适用于大型城市的信息资源一体化处理系统包括：
统一平台管理和自动化测试部署模块11：统一管理组件负责整体系统的运行管理和自动化部署，这一设置主要目的是进一步减少部署工作的时间；
为了更好展现数据可视化效果，本发明集成了虚拟现实和混合现实引擎13；
时间服务和日志服务模块15：全系统的同一时间同步服务，主要作用是使本发明中的各个组件协同工作；
位置和物联网数据处理平台18：主要作用是针对海量的“短报文类型”的数据进行高速处理。
本发明在同等功能、性能要求下，在海量数据的全生命周期中，通过技术、流程和模式的系统性优化(而不是技术单点的优化)，提高数据生产处理效率，对未来的城市数据业务领域的快速发展有着深远的意义。
本发明所阐述的设备特性和使用的关键技术是一体化内嵌的，是一个整体。这使得在处理城市数据的部署时，只需要按照如下步骤即可快速实现数据成果的可视化应用：
第一步：准备网络环境，包括地址分配和带宽准备，需提供万兆或千兆多链路；
第二步：设备上架，启动自动化配置初始化环境；
第三步：配置数据适配器对接数据源进行初始化；
第四步：导入基础空间数据，配置数据仿真引擎产生仿真数据；
第五步：配置可视化终端，进入应用开发阶段。
本发明具有如下技术优势：
1.传统的城市大数据处理系统是分散的不同架构的软件构成的；而本发明是全功能的集成平台，不需要进行系统调试，实现即插即用，节省部署时间超过90％；
2.传统的数据平台都依赖于高端的存储设备，本发明无需依赖独立存储，在同样的可靠性指标下，仅需要设备主机的堆叠即可实现数据高可用和高可靠；
3.本发明的承载了一套城市多源异构海量数据的处理流程，采用了“融合服务”而非传统的“掠夺”模式获取数据，在整体架构上简单规范，充分利用既有系统的价值，不造成重复建设和浪费；
4.本发明是具备完善的应用属性的软硬件一体化设备，具有快速应用生成技术，相比于传统的数据平台，实现数据专题可视化呈现所需要的编码量减少80％；
5.本发明具有高弹性的特点，相较于传统的城市数据处理系统，除了可以随着设备的增加快速扩展以外，还具备收缩部署规模的能力。这一特性很大程度上提升了设备利用率，真正实现动态的按需部署，可以节约大量成本。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种适用于大型城市信息资源一体化处理系统，其特征在于，包括：
在设备的底层使用超融合技术实现了去存储化，通过使用分布式的文件系统，通过专用的万兆以太交换网络通道，将数据按照备份因子将数据冗余保存在不同的硬件平台上，并在读取时进行校验，以保证数据的可靠性和高可用性；
在设备中采用了微服务体系架构技术用以实现功能组件的统一标准和解耦，系统中存在着多种功能模块，所述的多种功能模块都被封装在微服务容器中，微服务容器分为全虚拟化容器和环境隔离容器两种类型，全虚拟化容器是将组件和承载的OS一起进行封装，而环境隔离容器是在同一个OS上面利用多层共享文件系统，封装多个不同的组件；每个组件对外都使用网络界面使用专用高速二进制协议进行交互，组件和组件之间的通信使用基于AMQP的MQ消息机制进行传输，这就保证了通过MQ的海量数据不丢失、不重复和不乱序，同时由于MQ的信道独立性，还保证了数据不混淆；
该适用于大型城市信息资源一体化处理系统还包括：
统一平台管理和自动化测试部署模块：用于负责整体系统的运行管理和自动化部署；
虚拟混合现实展现引擎：展现数据可视化效果；
时间服务和日志服务模块：用于全系统的同一时间同步服务，使各个组件协同工作；
位置和物联网数据处理平台：用于对短报文类型的数据进行高速处理；
该适用于大型城市信息资源一体化处理系统还包括设备使用了负载均衡技术，针对每一种功能组件都提供负载均衡，且负载均衡机制能够做到只对最小的功能力度进行调度；
该适用于大型城市信息资源一体化处理系统还包括设备使用了精确可量测的地理信息技术作为城市数据应用的支撑平台，该适用于大型城市信息资源一体化处理系统还包括地址匹配引擎和空间坐标变换引擎，使基于GIS的数据可视化应用可以快速生成；
该适用于大型城市信息资源一体化处理系统还包括在设备中通过显卡的虚拟化技术，实现了用于数据的生产和可视化的高性能桌面组件；
该适用于大型城市信息资源一体化处理系统还包括在设备中使用蜂窝式数据库技术，蜂窝式数据库技术是一种混合式的数据库，根据数据的类型，分别将数据存储到不同的库区，这些库区是由很多小的数据库引擎有机构成，包括结构化数据库、非结构化数据库、高速缓存库、文档库类型，每一种类型又分为多个实例，而每个实例被封装成微服务；
该适用于大型城市信息资源一体化处理系统还包括在设备中使用了基于框架的数据采集技术，支持基于TCP/IP的任意数据传输模式，通过微服务封装数据适配器插件，使插件能够以任何编程语言进行开发，同时通过标准接口，设备能够获得每个插件的状态，并对它们进行控制；
该适用于大型城市信息资源一体化处理系统还包括设备中使用了面向城市数据资源应用的服务技术框架，服务技术框架包括城市数据可视化的相关组件，所述相关组件包括：三维引擎组件、二维GIS引擎组件、WebService框架、数据分析引擎以及数据仿真引擎。
2.根据权利要求1所述的适用于大型城市信息资源一体化处理系统，其特征在于，该适用于大型城市信息资源一体化处理系统还包括设备中使用了视频流媒体处理技术，包括万能视频网关、视频智能识别引擎，单节点设备原生支持不超过20000路视频的接入，并发8路高清的播放能力，同时支持人脸识别技术、车牌车型识别技术和智能视频摘要能力。
3.根据权利要求1所述的适用于大型城市信息资源一体化处理系统，其特征在于，该适用于大型城市信息资源一体化处理系统还包括设备中使用了分布式安全技术，在设备中的每一个组件都自带相应的访问控制机制，所述访问控制机制 包括分布式防火墙、身份认证和加密策略及机制，并且，所有的安全机制都是受一个集中的安全中心的策略机制控制的。
CN201710630486.0A 2017-07-28 2017-07-28 一种适用于大型城市的信息资源一体化处理系统 Active CN107451246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710630486.0A CN107451246B (zh) 2017-07-28 2017-07-28 一种适用于大型城市的信息资源一体化处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710630486.0A CN107451246B (zh) 2017-07-28 2017-07-28 一种适用于大型城市的信息资源一体化处理系统

Publications (2)

Publication Number Publication Date
CN107451246A CN107451246A (zh) 2017-12-08
CN107451246B true CN107451246B (zh) 2021-02-19

Family

ID=60489506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710630486.0A Active CN107451246B (zh) 2017-07-28 2017-07-28 一种适用于大型城市的信息资源一体化处理系统

Country Status (1)

Country Link
CN (1) CN107451246B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960602B (zh) * 2017-12-26 2023-02-10 中国移动通信集团四川有限公司 信息管理方法、装置、设备及介质
CN109857570A (zh) * 2018-12-29 2019-06-07 航天信息股份有限公司 业务系统的标准化数据类微模块
CN110222918A (zh) * 2019-04-18 2019-09-10 重庆恢恢信息技术有限公司 基于云平台的智慧工地管理系统、服务器及存储介质
CN111193610B (zh) * 2019-11-30 2021-11-26 北京无限自在文化传媒股份有限公司 一种基于物联网的智慧监控数据系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838847B (zh) * 2014-03-06 2017-01-25 中国科学院软件研究所 一种面向海云协同网络计算环境的数据组织方法
CN104243569B (zh) * 2014-09-09 2017-08-11 安徽四创电子股份有限公司 一种城市操作系统
US20160148327A1 (en) * 2014-11-24 2016-05-26 conaio Inc. Intelligent engine for analysis of intellectual property
CN104731595A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 面向大数据分析的混合计算系统
CN105530306A (zh) * 2015-12-17 2016-04-27 上海爱数信息技术股份有限公司 支持数据应用服务的超融合存储系统
CN106506605B (zh) * 2016-10-14 2020-09-22 华南理工大学 一种基于微服务架构的SaaS应用构建方法
CN106569895B (zh) * 2016-10-24 2020-12-22 华南理工大学 一种基于容器的多租户大数据平台构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于微服务架构的基础设施设计;蒋勇;《软件》;20160515;第37卷(第5期);93-97 *
微服务架构和容器技术应用;孙海洪;《金融电子化》;20160515(第05期);63-64 *
微服务若干关键问题研究;邓杰文 等;《五邑大学学报（自然科学版）》;20160515;第30卷(第2期);49-54 *
浅谈融媒体数据中心系统架构设计;王瑜;《现代电视技术》;20170415(第04期);132-136 *

Also Published As

Publication number Publication date
CN107451246A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107451246B (zh) 一种适用于大型城市的信息资源一体化处理系统
CN103544319B (zh) 一种多租户共享数据库的方法和多租户数据库即服务系统
US9590915B2 (en) Transmission of Map/Reduce data in a data center
US9864527B1 (en) Distributed data storage management
US9489411B2 (en) High performance index creation
CN102467408A (zh) 一种虚拟机数据的访问方法和设备
CN102571916A (zh) 一种云存储空间的租赁软件的架构与操作方法
CN104283959B (zh) 一种适用于云平台的基于性能分级的存储机制
US20160164899A1 (en) Data-oriented information technology system
CN103118073B (zh) 一种云环境下虚拟机数据持久化存储系统和方法
CN107766147A (zh) 分布式的数据分析任务调度系统
CN102937964B (zh) 基于分布式系统的智能数据服务方法
CN111274223A (zh) 一种一键部署大数据和深度学习容器云平台及其构建方法
CN105468296B (zh) 基于虚拟化平台的无共享存储管理方法
CN104410666A (zh) 云计算下实现异构存储资源管理的方法及系统
CN111541599B (zh) 基于数据总线的集群软件系统及方法
US11194522B2 (en) Networked shuffle storage
CN112039985A (zh) 一种异构云管理方法及系统
CN113946857B (zh) 一种基于数据路由的分布式跨链调度方法及装置
CN113535227B (zh) 一种数字化技术架构的部署方法和装置
CN112256493B (zh) 一种基于数据池的四机热备份计算机数据快速访问方法
CN109936594A (zh) 一种基于电力数据的云存储系统
Wang et al. A cloud-computing-based data placement strategy in high-speed railway
Zhou et al. Gis application model based on cloud computing
US10447534B1 (en) Converged infrastructure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant