CN110990664A - 一种大数据运营管理系统 - Google Patents
一种大数据运营管理系统 Download PDFInfo
- Publication number
- CN110990664A CN110990664A CN201911300181.9A CN201911300181A CN110990664A CN 110990664 A CN110990664 A CN 110990664A CN 201911300181 A CN201911300181 A CN 201911300181A CN 110990664 A CN110990664 A CN 110990664A
- Authority
- CN
- China
- Prior art keywords
- data
- management system
- big
- database
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000004140 cleaning Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000586 desensitisation Methods 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 48
- 210000004556 brain Anatomy 0.000 abstract description 11
- 238000013523 data management Methods 0.000 abstract description 11
- 230000007774 longterm Effects 0.000 abstract description 5
- 230000001737 promoting effect Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001362551 Samba Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种大数据运营管理系统，属于大数据技术领域，包括：采集模块，第一数据库，共享模块，监测模块，处理模块，分类模块，第二数据库；上述技术方案的有益效果在于：通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据运营管理系统。
背景技术
智慧城市是注重以万物互联、数据驱动、智能创新为特征的融合化发展。新型智慧城市作为城市整体发展战略之一，强调对城市整体数据价值的挖掘应用和新兴技术的创新应用。而“城市大脑“作为城市级平台，在发展需求下应运而生，成为智慧城市基础设施的核心组成，更是向新型智慧城市全面发展的必要条件。
“城市大脑”通过汇集政府、企业、社会的城市多源数据资源，动态精准地感知城市运行体征，实时监测城市的运行状态，涵盖政务服务、交通运行、生态环境、社会治理、医疗教育等各个领域，形成城市大脑“数据湖”。城市大脑的思考过程可以概括为“治理数据，驱动数据，产生智慧”。数据是城市大脑的核心资源，以科学统筹规划布局，基于已建的市级公共数据共享交换平台，推动大数据资源平台的进一步建设，包括：实现全市数据的完整归集与整合，共建共享五大市级数据域；加强数据质量和安全建设，实现数据全生命周期管理；实现数据智能，使数据贴近和服务于业务，支撑委办局应用，提升数据价值。
为满足“城市大脑”的各项功能，需要一种大数据运营管理系统，该系统通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
发明内容
根据现有技术中存在的上述问题，现提供一种大数据运营管理系统，通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
上述技术方案具体包括：
一种大数据运营管理系统，应用于城市级大数据运营管理，其中，所述大数据运营管理系统连接多个外部数据源，所述大数据运营管理系统包括：
采集模块，用于从所述外部数据源采集原始数据；
第一数据库，连接所述采集模块，用于存储采集到的原始数据
共享模块，连接所述第一数据库，用于根据预先设置的多种数据共享服务方式，将所述原始数据共享至对应的多个外部共享渠道中；
监测模块，连接所述第一数据库，用于对所述原始数据进行数据检查和纠正，以保证所述原始数据的准确性；
处理模块，连接所述第一数据库，用于对所述原始数据进行清洗转换并对所述原始数据中的敏感信息进行脱敏处理；
分类模块，连接所述处理模块，用于根据数据的属性对所述处理模块处理后的数据进行数据分类；
第二数据库，连接所述分类模块，用于对分类后的数据采用分布式文件系统进行存储。
优选地，其中，所述第一数据库包括ODS原数据层和SRC近源数据层。
优选地，其中，所述第二数据库包括DM专题数据层、DWA主题数据层、DWD基础数据层。
优选地，其中，所述数据的属性包括：数据来源、数据类型、关键字段；
所述分类模块包括：
第一分类单元，用于根据所述关键字段将所述处理模块处理后的数据进行第一种类划分；
所述第一种类包括：经济发展状况数据、居民幸福数据、中小企业经营数据、城市交通数据；
第二分类单元，用于根据所述数据来源和所述数据类型将所述处理模块处理后的数据进行第二种类划分；
所述第二种类包括：一网通办、公共安全、市场监督、公共信用、城市管理、社会治理、城乡建设。
优选地，其中，所述采集模块包括：
结构化数据采集单元，用于采集存储于标准数据库中的所述外部数据；
半结构化数据采集单元，用于采集所述外部数据中的文件数据资源；
非结构化数据采集单元，用于采集所述外部数据中的非结构化数据；
消息数据采集单元，用于采集所述外部数据中的来自消息队列的消息数据。
优选地，其中，所述文件数据资源包括文件格式数据和日志格式数据。
优选地，其中，所述处理模块进一步包括：
清洗转换单元，用于对所述外部数据进行清洗转换处理；
脱敏单元，用于对所述外部数据中的敏感数据进行脱敏处理。
优选地，其中，所述清洗转换处理包括：字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤和数据条件过滤。
优选地，其中，所述脱敏处理包括：替换、重排、加密、截断、掩码和日期偏移取整。
优选地，其中，所述数据共享服务方式包括：SQL数据服务，数据表共享数据服务和ESB数据总线服务。
上述技术方案的有益效果在于：
通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
附图说明
图1是本发明的较佳实施例中，一种大数据运营管理系统的结构示意图；
图2是本发明的较佳实施例中，于图1的基础上，分类模块的内部结构示意图；
图3是本发明的较佳实施例中，于图1的基础上，采集模块的内部结构示意图；
图4是本发明的较佳实施例中，于图1的基础上，处理模块的内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
一种大数据运营管理系统，应用于城市级大数据运营管理，如图1所示，其中，大数据运营管理系统连接多个外部数据源，大数据运营管理系统包括：
采集模块1，用于从外部数据源采集原始数据；
第一数据库2，连接采集模块1，用于存储采集到的原始数据
共享模块3，连接第一数据库2，用于根据预先设置的多种数据共享服务方式，将原始数据共享至对应的多个外部共享渠道中；
监测模块4，连接第一数据库2，用于对原始数据进行数据检查和纠正，以保证原始数据的准确性；
处理模块5，连接第一数据库2，用于对原始数据进行清洗转换并对原始数据中的敏感信息进行脱敏处理；
分类模块6，连接处理模块5，用于根据数据的属性对处理模块5处理后的数据进行数据分类；
第二数据库7，连接分类模块6，用于对分类后的数据采用分布式文件系统进行存储。在本发明的一个具体实施例中，城市级的大数据运营管理涉及到市、区多级政府，需要与市、区多级政府的大数据中心或者具有类似职能的大数据局、大数据处、城市运行管理中心合作，通过提供相应的数据接口来供采集模块1对城市数据进行全量汇聚，全面治理以及全程管理，从而能够支持数据智能化的应用、数据资产管理，支持市级或区级数据资产大盘，实现数据资源管理业务的全生命周期监控。
为了实现数据采集的通用性和可扩展性，采集模块1采用适配器模式进行设计，实现适配器的可插拔和可扩展性，通过提供大量的适配器来满足不同数据源和不同种类数据的采集需求。
具体的，在上述实施例中，数据共享服务是将管理系统中可连接的数据库资源以接口的形式对外提供数据共享服务，共享模块3可同时提供多种数据共享服务方式，包括：SQL数据服务；数据表共享数据服务；ESB数据总线服务等。
作为优选的实施方式，监测模块4通过实时对采集到的数据进行数据治理和检查，从而为大数据分析决策提供可信的数据支持，进而保证大数据运营管理系统能够提供准确、科学的数据。数据质量问题来源于源数据系统、数据集成过程和大数据平台，任何一个环节出现数据质量问题都会造成数据分析结果的不准确，因此，实现对数据采集全生命周期的数据治理和监测尤为重要。
在本发明的较佳实施例中，第一数据库2包括ODS原数据层和SRC近源数据层。
在本发明的较佳实施例中，第二数据库7包括DM专题数据层、DWA主题数据层、DWD基础数据层。
在本发明的较佳实施例中，数据的属性包括：数据来源、数据类型、关键字段；
如图2所示，分类模块6包括：
第一分类单元60，用于根据关键字段将处理模块5处理后的数据进行第一种类划分；
第一种类包括：经济发展状况数据、居民幸福数据、中小企业经营数据、城市交通数据；
第二分类单元61，用于根据数据来源和数据类型将处理模块5处理后的数据进行第二种类划分；
第二种类包括：一网通办、公共安全、市场监督、公共信用、城市管理、社会治理、城乡建设。
在本发明的较佳实施例中，如图3所示，采集模块1包括：
结构化数据采集单元10，用于采集存储于标准数据库中的外部数据；
半结构化数据采集单元11，用于采集外部数据中的文件数据资源；
非结构化数据采集单元12，用于采集外部数据中的非结构化数据；
消息数据采集单元13，用于采集外部数据中的来自消息队列的消息数据。
具体的，在本实施例中，存储于市、区多级政府的大数据中心中的数据多为结构化数据，其中，关系数据库是目前使用最为广泛的数据库系统，同时，实现对各种类型的数据库、数据仓库的全方位的适配对大数据的采集也是非常必要的，结构化数据的采集主要从大数据运营管理系统对接的市、区多级政府的大数据中心的标准数据库中采集数据，其中包括市级委办部门数据、区级各部门数据、人口数据、公司法人数据、空间地理数据、证照数据和互联网数据等。
消息数据采集模块1从消息队列中接收消息数据，并对接收到的消息数据加工处理后存储到指定的介质中，在一个具体的实施例中，大数据运营管理系统支持HornetQ、ActiveMQ、RabbitMQ、Kafka、ZeroM等消息队列服务器的数据接收和采集。
在本发明的较佳实施例中，文件数据资源包括文件格式数据和日志格式数据。
具体的，在本实施例中，半结构化数据采集单元11主要用于采集大数据汇集过程中涉及的大量的文件数据资源，其中包括各种类型的文件格式数据和各种类型的日志格式数据，而非结构化数据采集单元12支持采集数据汇集过程中文件目录、FTP服务器、Samba服务器上的各种类型的非结构化文件数据，包括但不限于文档、图片、视频、音频和网页等内容，非结构化采集单元将采集到的文件存储到运营管理系统中，同时，大数据运营管理系统应当支持2G以上的大文件的采集、传输和存储功能，管理系统可通过拆解包机制来保证数据传输过程中的安全性和可靠性，同时，管理系统还应当支持对采集到的文件进行压缩和加密处理。
在本发明的较佳实施例中，如图4所示，处理模块5进一步包括：
清洗转换单元50，用于对外部数据进行清洗转换处理；
脱敏单元51，用于对外部数据中的敏感数据进行脱敏处理。
具体的，在本实施例中，存储模块采用Hadoop的分布式结构化模式对处理后的数据进行存储管理。分布式的管理结构包括交互层、业务应用层、数据挖掘层等分布式的计算机层面。对于海量信息处理的前提是要通过存储处理的方式向HDFS(分布式文件系统)提供大量规模化的数据存储模式，通过对存储空间的内容重塑，直接对数据进行系统化的预处理和输出计算结果的操作。能在Hadoop计算集群系统的节点上进行ETL(数据加载)模块的数据挖掘模式，可以让用户通过工具调用顶层数据接口开展海量的数据化处理操作，更好地实现数据流的管理。
在本发明的较佳实施例中，清洗转换处理包括：字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤和数据条件过滤。
具体的，在本实施例中，大数据运营管理系统所收纳归集的数据分布在不同的单位，来自不同的数据源，因此各自的标准规范也不一致，在做数据汇聚整合时，需要对采集到的数据进行清洗转换。这就需要提供字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤、数据条件过滤等数据清洗转换功能。在数据清洗过程中，提供图形化、可视化的数据清洗配置，简化数据清洗的过程和数据标准转换的过程。
在本发明的较佳实施例中，脱敏处理包括：替换、重排、加密、截断、掩码和日期偏移取整。
具体的，在本实施例中，大数据运营管理系统在数据汇聚建设过程中，需要保障数据的安全，因为隐私或敏感数据的泄露，会对数据主体的财产、名誉、人身安全、以及合法利益造成严重损害。因此，需要对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。管理系统支持多种的数据脱敏处理方法，包括但不限于：替换、重排、加密、截断、掩码、日期偏移取整等。
在本发明的较佳实施例中，数据共享服务方式包括：SQL数据服务，数据表共享数据服务和ESB数据总线服务。
具体的，在本实施例中，目录生成模块以数据库的元数据为核心，以政务分类表和主题词表等为控制词表，对数据资源进行网状组织，满足从分类、主题、应用等多个角度对数据资源进行管理、识别、定位、发现、评估与选择的工具。
数据资源编目体系也是管理数据资源，实现共享和服务的一种工具。通过规范的元数据、分类表和主题词表，可以方便地根据外部功能模块的需要按行业、部门、地域、应用主题和其他使用目的变换出数据资源的各种目录。借助目录系统，可以对数据资源进行识别、导航和定位，以支持公众方便、智能检索和快捷查询、获取和使用数据资源。大数据运营管理系统提供了基于数据目录体系的从资源注册、审核、发布、申请、使用、授权的全过程管理，将数据资产自动分类为字段/列级别，最大程度地实现数据的复用和资源价值。
上述技术方案的有益效果在于：
通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.一种大数据运营管理系统，应用于城市级大数据运营管理，其特征在于，所述大数据运营管理系统连接多个外部数据源，所述大数据运营管理系统包括：
采集模块，用于从所述外部数据源采集原始数据；
第一数据库，连接所述采集模块，用于存储采集到的原始数据
共享模块，连接所述第一数据库，用于根据预先设置的多种数据共享服务方式，将所述原始数据共享至对应的多个外部共享渠道中；
监测模块，连接所述第一数据库，用于对所述原始数据进行数据检查和纠正，以保证所述原始数据的准确性；
处理模块，连接所述第一数据库，用于对所述原始数据进行清洗转换并对所述原始数据中的敏感信息进行脱敏处理；
分类模块，连接所述处理模块，用于根据数据的属性对所述处理模块处理后的数据进行数据分类；
第二数据库，连接所述分类模块，用于对分类后的数据采用分布式文件系统进行存储。
2.根据权利要求1所述的大数据运营管理系统，其特征在于，所述第一数据库包括ODS原数据层和SRC近源数据层。
3.根据权利要求1所述的大数据运营管理系统，其特征在于，所述第二数据库包括DM专题数据层、DWA主题数据层、DWD基础数据层。
4.根据权利要求1所述的大数据运营管理系统，其特征在于，所述数据的属性包括：数据来源、数据类型、关键字段；
所述分类模块包括：
第一分类单元，用于根据所述关键字段将所述处理模块处理后的数据进行第一种类划分；
所述第一种类包括：经济发展状况数据、居民幸福数据、中小企业经营数据、城市交通数据；
第二分类单元，用于根据所述数据来源和所述数据类型将所述处理模块处理后的数据进行第二种类划分；
所述第二种类包括：一网通办、公共安全、市场监督、公共信用、城市管理、社会治理、城乡建设。
5.根据权利要求1所述的大数据运营管理系统，其特征在于，所述采集模块包括：
结构化数据采集单元，用于采集存储于标准数据库中的所述外部数据；
半结构化数据采集单元，用于采集所述外部数据中的文件数据资源；
非结构化数据采集单元，用于采集所述外部数据中的非结构化数据；
消息数据采集单元，用于采集所述外部数据中的来自消息队列的消息数据。
6.根据权利要求5所述的大数据运营管理系统，其特征在于，所述文件数据资源包括文件格式数据和日志格式数据。
7.根据权利要求1所述的大数据运营管理系统，其特征在于，所述处理模块进一步包括：
清洗转换单元，用于对所述外部数据进行清洗转换处理；
脱敏单元，用于对所述外部数据中的敏感数据进行脱敏处理。
8.根据权利要求7所述的大数据运营管理系统，其特征在于，所述清洗转换处理包括：字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤和数据条件过滤。
9.根据权利要求7所述的大数据运营管理系统，其特征在于，所述脱敏处理包括：替换、重排、加密、截断、掩码和日期偏移取整。
10.根据权利要求1所述的大数据运营管理系统，其特征在于，所述数据共享服务方式包括：SQL数据服务，数据表共享数据服务和ESB数据总线服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911300181.9A CN110990664B (zh) | 2019-12-16 | 2019-12-16 | 一种大数据运营管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911300181.9A CN110990664B (zh) | 2019-12-16 | 2019-12-16 | 一种大数据运营管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110990664A true CN110990664A (zh) | 2020-04-10 |
| CN110990664B CN110990664B (zh) | 2023-05-23 |
Family
ID=70094549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911300181.9A Active CN110990664B (zh) | 2019-12-16 | 2019-12-16 | 一种大数据运营管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110990664B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737272A (zh) * | 2020-06-02 | 2020-10-02 | 脑谷人工智能研究院(南京)有限公司 | 一种可交互展示各类指标的大数据自动化管理平台 |
| CN111753926A (zh) * | 2020-07-07 | 2020-10-09 | 广州驰兴通用技术研究有限公司 | 一种用于智慧城市的数据共享方法及系统 |
| CN112052467A (zh) * | 2020-09-01 | 2020-12-08 | 华中农业大学 | 一种食品安全大数据共享方法 |
| CN112148689A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据共享交换系统 |
| CN112162960A (zh) * | 2020-10-21 | 2021-01-01 | 武汉开普伟业科技有限公司 | 一种卫生健康政务信息共享方法、装置及系统 |
| CN112287275A (zh) * | 2020-10-28 | 2021-01-29 | 云赛智联股份有限公司 | 一种城市级数据中台 |
| CN112418804A (zh) * | 2020-11-26 | 2021-02-26 | 深圳市中博科创信息技术有限公司 | 一种秒批业务数据的自动归集方法 |
| CN112597348A (zh) * | 2020-12-15 | 2021-04-02 | 电子科技大学中山学院 | 一种大数据存储优化的方法及装置 |
| CN112734226A (zh) * | 2021-01-08 | 2021-04-30 | 国家电网有限公司客户服务中心 | 一种电力客服业务的数据资产管理方法 |
| CN112800100A (zh) * | 2021-02-23 | 2021-05-14 | 上海数依数据科技有限公司 | 一种数据资产标签管理系统及方法 |
| CN113806339A (zh) * | 2020-06-11 | 2021-12-17 | 中国标准化研究院 | 一种数据资产管理系统及方法 |
| CN117061165A (zh) * | 2023-08-10 | 2023-11-14 | 江苏瀚天智能科技股份有限公司 | 基于监测监控系统的时空数据湖技术的安全防护系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976110A (zh) * | 2016-05-05 | 2016-09-28 | 云神科技投资股份有限公司 | 一种智慧城市管理的方法及系统 |
| WO2017219678A1 (zh) * | 2016-06-22 | 2017-12-28 | 杭州海康威视数字技术股份有限公司 | 一种数据恢复方法、装置及云存储系统 |
| CN110109998A (zh) * | 2019-05-17 | 2019-08-09 | 贵州数据宝网络科技有限公司 | 数据交易智能整合系统 |
-
2019
- 2019-12-16 CN CN201911300181.9A patent/CN110990664B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976110A (zh) * | 2016-05-05 | 2016-09-28 | 云神科技投资股份有限公司 | 一种智慧城市管理的方法及系统 |
| WO2017219678A1 (zh) * | 2016-06-22 | 2017-12-28 | 杭州海康威视数字技术股份有限公司 | 一种数据恢复方法、装置及云存储系统 |
| CN110109998A (zh) * | 2019-05-17 | 2019-08-09 | 贵州数据宝网络科技有限公司 | 数据交易智能整合系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李先明;谷国栋;: "智慧城市基础数据库平台总体架构设计" * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737272A (zh) * | 2020-06-02 | 2020-10-02 | 脑谷人工智能研究院(南京)有限公司 | 一种可交互展示各类指标的大数据自动化管理平台 |
| CN113806339A (zh) * | 2020-06-11 | 2021-12-17 | 中国标准化研究院 | 一种数据资产管理系统及方法 |
| CN111753926A (zh) * | 2020-07-07 | 2020-10-09 | 广州驰兴通用技术研究有限公司 | 一种用于智慧城市的数据共享方法及系统 |
| CN112052467A (zh) * | 2020-09-01 | 2020-12-08 | 华中农业大学 | 一种食品安全大数据共享方法 |
| CN112162960A (zh) * | 2020-10-21 | 2021-01-01 | 武汉开普伟业科技有限公司 | 一种卫生健康政务信息共享方法、装置及系统 |
| CN112148689A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据共享交换系统 |
| CN112287275A (zh) * | 2020-10-28 | 2021-01-29 | 云赛智联股份有限公司 | 一种城市级数据中台 |
| CN112418804A (zh) * | 2020-11-26 | 2021-02-26 | 深圳市中博科创信息技术有限公司 | 一种秒批业务数据的自动归集方法 |
| CN112597348A (zh) * | 2020-12-15 | 2021-04-02 | 电子科技大学中山学院 | 一种大数据存储优化的方法及装置 |
| CN112734226A (zh) * | 2021-01-08 | 2021-04-30 | 国家电网有限公司客户服务中心 | 一种电力客服业务的数据资产管理方法 |
| CN112800100A (zh) * | 2021-02-23 | 2021-05-14 | 上海数依数据科技有限公司 | 一种数据资产标签管理系统及方法 |
| CN117061165A (zh) * | 2023-08-10 | 2023-11-14 | 江苏瀚天智能科技股份有限公司 | 基于监测监控系统的时空数据湖技术的安全防护系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110990664B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110990664B (zh) | 一种大数据运营管理系统 | |
| Casado et al. | Emerging trends and technologies in big data processing | |
| CN108964996B (zh) | 城乡一体化信息栅格系统及基于其的信息共享方法 | |
| CN105554070A (zh) | 一种基于警务大数据中心服务建设的方法 | |
| CN104933070A (zh) | 一种用于政务信息平台的目录管理系统 | |
| Mohammed et al. | A review of big data environment and its related technologies | |
| KR20130049111A (ko) | 분산 처리를 이용한 포렌식 인덱스 방법 및 장치 | |
| Rousseau | A view on big data and its relation to Informetrics | |
| CN112632025A (zh) | 一种基于paas平台的电网企业管理决策支持应用系统 | |
| CN110928963B (zh) | 针对运维业务数据表的列级权限知识图谱构建方法 | |
| CN114003634A (zh) | 基于es技术的大数据分析检索系统及方法 | |
| Börner | Semantic association networks: Using semantic web technology to improve scholarly knowledge and expertise management | |
| CN112308738A (zh) | 一种水务数据分析处理系统 | |
| Pingos et al. | DLMetaChain: An IoT data lake architecture based on the blockchain | |
| CN103942249A (zh) | 一种基于本体集合语义匹配的信息服务调度系统 | |
| de Faria Cordeiro et al. | An approach for managing and semantically enriching the publication of Linked Open Governmental Data | |
| Tempich et al. | Xarop: A midterm report in introducing a decentralized semantics-based knowledge sharing application | |
| Kuznetsov | Scientific data integration system in the linked open data space | |
| CN114706625A (zh) | 构建患者信息全局查询插件的方法、装置及存储介质 | |
| Ethirajan et al. | Adoption of E-governance applications towards big data approach | |
| Jannack et al. | Urban Platform Dresden—New Solutions for Collaboration, Knowledge Sharing, and Urban Value Creation | |
| KR20210045172A (ko) | 축산 질병 발생 분석을 위한 빅 데이터 관리 및 시스템 | |
| Vissamsetti et al. | Twitter Data Analysis for Live Streaming by Using Flume Technology | |
| Lin et al. | Cloud Hadoop for Enterprise Collaboration System | |
| Singla | Finding nearest location with open box query using geohashing and mapreduce |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |