CN106203828A - 一种基于数据全生命周期管理的数据管理平台 - Google Patents
一种基于数据全生命周期管理的数据管理平台 Download PDFInfo
- Publication number
- CN106203828A CN106203828A CN201610540339.XA CN201610540339A CN106203828A CN 106203828 A CN106203828 A CN 106203828A CN 201610540339 A CN201610540339 A CN 201610540339A CN 106203828 A CN106203828 A CN 106203828A
- Authority
- CN
- China
- Prior art keywords
- data
- management
- layer
- view
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 175
- 238000013523 data management Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 48
- 238000013500 data storage Methods 0.000 claims abstract description 29
- 230000010354 integration Effects 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 16
- 238000012800 visualization Methods 0.000 claims description 15
- 238000007405 data analysis Methods 0.000 claims description 12
- 238000007619 statistical method Methods 0.000 claims description 8
- 238000013517 stratification Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000013475 authorization Methods 0.000 claims description 6
- 238000013499 data model Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013442 quality metrics Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于数据全生命周期管理的数据管理平台，包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。该基于数据全生命周期管理的数据管理平台与现有技术相比，从制度、标准、监控、质量、安全几个方面全方位提升数据信息管理能力，实现对数据以及围绕数据开展的采集、处理、加工、质量评估、分析、共享等工作的一体化管理，实用性强，适用范围广泛，易于推广。
Description
技术领域
本发明涉及大数据技术领域，具体地说是一种实用性强、基于数据全生命周期管理的数据管理平台。
背景技术
数据越来越成为重要的信息资源，各部门各单位掌握的数据资源量越来越庞大、数据种类越来越多样、数据类型也越来越复杂，同时围绕着数据的处理、分析任务越来越多，共享的数据服务也越来越多，数据以及围绕数据相关的采集、处理、分析、共享等任务的管理工作越来越繁锁、数据的质量越来越难评估，数据的安全越来越难保证，急需一套统一的、数据全生命周期管理的数据管理平台来进行对数据以及围绕数据展开的各项工作进行集中管理。
鉴于此，现提供一种基于基于数据全生命周期管理的数据管理平台。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、基于数据全生命周期管理的数据管理平台。
一种基于数据全生命周期管理的数据管理平台，包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，其中：
数据源层负责对所有数据源的配置和管理；
数据集成层负责对外部数据的接入、采集、传输进行管理；
数据存储层负责对存储数据、数据存储环境、状态进行管理；
数据整合层实现数据的标准、标签、分类分级进行管理和数据转换、加工处理任务的管理、以及对数据与数据逻辑关系建模管理和数据分析任务管理工作；
数据服务层负责对数据共享服务进行管理；
数据视图层通过数据视图、服务视图、监控视图、数据建模视图、统计分析视图的方式实现数据的可视化、服务的可视化、监控的可视化、数据建模的可视化和统计分析的可视化；
统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。
数据源层完成以下管理功能：采集源、目标源的数据源定义、数据源接入、数据源模型描述、数据源权限配置和数据源检验规则，该采集源包括EXCEL文档、多媒体数据、数据库，数据源介入通过业务系统接口实现，目标源的数据源定义、数据源模型描述、数据源权限配置和数据源检验规则由数据填报人完成。
数据集成层完成以下管理功能：采集任务的定义管理、采集任务调度管理、数据采集实施管理、采集规则配置管理和采集日志管理，对应该管理功能，数据采集层通过EXCEL接入、服务调用、数据库抽取、文件传输协议和手工填报接口实现。
数据存储层完成以下管理功能：数据存储介质定义、存储资源管理、数据存储状态管理、存储备份管理、存储日志的管理，与该管理功能相对应的，数据存储层通过关系数据库、消息队列、分布式文件系统和NOSQL数据库实现。
数据整合层完成以下管理：数据标准管理、数据标签管理、数据分类分级管理；数据处理任务定义、数据清洗、数据转换等任务实施；数据建模定义，数据模型管理和数据建模实施；数据分析任务定义、任务管理、数据分析实施管理，与该管理功能相对应的，数据整合层通过数据清洗转换、数据建模、数据分析和NOSQL数据库实现。
数据服务层完成包括数据服务的定义、服务发布、服务订阅、服务授权、服务调用的实施和管理，该数据服务层的功能实现基于技术协议和数据协议，其中技术协议包括HTTP、FTP、REST、Socket，数据协议包括Json、XML。
所述数据视图包括管理的数据内容视图、数据状态视图；服务视图包括服务资源目录视图、服务授权视图；监控视图包括采集任务监控视图、数据处理监控视图、数据使用监控视图；数据建模视图包括数据建模视图、数据模型视图；统计分析视图包括对数据使用热度统计分析视图数据、数据日志分析视图、元数据影响分析、血缘分析。
在统一管理层中，质量管理负责数据全过程的质量管理，包括质量目标定义、质量度量设置、质量识别配置、数据质量监控和质量预警；安全管理实现数据从接入、采集、存储、处理和使用全生命周期的安全管理，包括数据采集安全管理、数据存储安全管理、数据访问安全管理、数据传输安全管理和数据使用安全管理；集中监控实现数据从接入、采集、存储、处理和使用全过程的数据和任务监控，包括数据采集监控、数据存储环境和存储状态监控、数据处理监控、服务状态和调用监控、数据使用如数据访问、应用系统调用监控；元数据管理负责数据从定义到存储、处理、分析和共享元数据的管理，包括数据源元数据、目标源元数据，采集元数据、处理元数据、分析元数据、建模元数据、服务元数据、整合元数据。
本发明的一种基于数据全生命周期管理的数据管理平台，具有以下优点：
本发明提供的一种基于数据全生命周期管理的数据管理平台，从数据源、数据集成、数据存储、数据质量、数据整合、数据共享和数据使用等过程全流程管理，从制度、标准、监控、质量、安全几个方面全方位提升数据信息管理能力，实现对数据以及围绕数据开展的采集、处理、加工、质量评估、分析、共享等工作的一体化管理，实现数据的可靠、可信、可溯源，实用性强，适用范围广泛，易于推广。
附图说明
附图1为数据管理平台功能架构图。
附图2为数据管理平台技术实现图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如附图1、图2所示，本发明的一种基于数据全生命周期管理的数据管理平台，提供完整的数据管理，实现外部数据源的管理、数据的采集管理，保障外部源的安全性和采集的安全性，实现数据编码、存储、清洗、整合、共享、治理等功能，实现数据物理模型、逻辑模型的可视化管理，保障数据的透明性和处理过程、使用过程的透明性；实现全面的数据采集、存储、处理、整合、使用日志监控和元数据管理，采用统一数据标准、编码规范实现被管理的数据统一标准，保证数据的一致性，根据业务制定数据质量标准规格参数，实现数据质量分析评估、问题跟踪和合规性监控，保证数据的质量，数据处理各阶段采用多种安全策略，保障数据安全性。
其结构包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，同时建立数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理，实现数据存储的透明化，数据管理的可视化、数据采集、存储、传输、处理、分析、使用过程的安全化，实现数据的可靠、可信、可溯源，其中：
数据源层：负责对所有数据源的配置和管理，包括采集源、目标源的数据源定义、数据源接入、数据源模型描述、数据源权限配置和数据源检验规则。该采集源包括EXCEL文档、多媒体数据、数据库，数据源介入通过业务系统接口实现，目标源的数据源定义、数据源模型描述、数据源权限配置和数据源检验规则由数据填报人完成。
数据集成层：负责对外部数据的接入、采集等管理，包括采集任务的定义管理、采集任务调度管理、数据采集实施管理、采集规则配置管理和采集日志管理等。数据采集层通过EXCEL接入、服务调用、数据库抽取、文件传输协议和手工填报接口实现。
数据存储层：负责对存储数据、数据存储环境、状态等管理，包括数据存储介质定义、存储资源管理如存储节点、存储空间等，数据存储状态管理如存储设备状态、存储类型等，存储备份管理，存储日志的管理。与该管理功能相对应的，数据存储层通过关系数据库、消息队列、分布式文件系统和NOSQL数据库实现。
数据整合层：实现数据的标准、标签、分类分级等管理和数据转换、加工处理任务的管理、以及对数据与数据逻辑关系建模管理和数据分析任务管理等工作，包括数据标准管理、数据标签管理、数据分类分级管理；数据处理任务定义、数据清洗、数据转换等任务实施；数据建模定义，数据模型管理和数据建模实施；数据分析任务定义、任务管理、数据分析实施等管理。与该管理功能相对应的，数据整合层通过数据清洗转换、数据建模、数据分析和NOSQL数据库实现。
数据服务层：负责对数据共享服务进行管理，包括数据服务的定义、服务发布、服务订阅、服务授权、服务调用等实施和管理。该数据服务层的功能实现基于技术协议和数据协议，其中技术协议包括HTTP、FTP、REST、Socket，数据协议包括Json、XML。
数据视图层：实现数据的可视化、服务的可视化、监控的可视化、数据建模的可视化和统计分析视图的可视化，数据视图如管理的数据内容视图、数据状态视图，服务视图包括服务资源目录视图、服务授权视图等，监控视图包括采集任务监控视图、数据处理监控视图，数据使用监控视图等，数据建模视图包括数据建模视图、数据模型视图等，统计分析视图包括对数据使用热度统计分析视图、数据，数据日志分析视图、元数据影响分析、血缘分析等。
统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。
质量管理：数据质量对于数据应用至关重要，数据分析应用时，首先要评估数据质量，包括评估数据的完整性、规范性、一致性、准确性、唯一性和关联性等，质量管理负责数据全过程的质量管理，实现数据可测量和可验证，包括质量目标定义、质量度量设置、质量识别配置、数据质量监控和质量预警等。
安全管理：实现数据从接入、采集、存储、处理和使用全生命周期的安全管理，确保数据全生命周期安全可靠，包括数据采集安全管理、数据存储安全管理、数据访问安全管理、数据传输安全管理和数据使用安全管理等。
集中监控：实现数据从接入、采集、存储、处理和使用全过程的数据和任务监控，实现数据全面监控，包括数据采集监控、数据存储环境和存储状态监控、数据处理监控、服务状态和调用监控、数据使用如数据访问、应用系统调用等监控。
元数据管理：负责数据从定义到存储、处理、分析和共享等全角度、全方位元数据的管理，实现数据和与数据相关的任务的可理解性。包括数据源元数据、目标源元数据，采集元数据、处理元数据、分析元数据、建模元数据、服务元数据、整合元数据等。
数据管理平台从数据源、数据集成、数据存储、数据整合、数据服务、数据视图六个过程管理，同时建立数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理，实现数据存储的透明化，数据管理的可视化、数据采集、存储、传输、处理、分析、使用过程的安全化，实现数据的可靠、可信、可溯源。
本发明实现数据全生命周期管理：平台从数据源、数据集成、数据存储、数据质量、数据整合、数据共享和数据使用等过程实现数据全生命周期管理。
数据透明化、采集过程、处理过程、使用过程透明化：数据管理平台通过对数据的物理模型和逻辑模型管理的可视化，实现数据的透明；对采集过程、处理过程、使用过程的全流程监控和日志分析，实现采集过程、处理过程、使用过程透明化。
数据安全、可靠、可信、可溯源：平台实现数据从接入、采集、存储、处理和使用全生命周期的安全管理，确保数据全生命周期安全可靠，包括数据采集安全管理、数据存储安全管理、数据访问安全管理、数据传输安全管理和数据使用安全管理等，同时建立一套完整的监控体系，对数据使用、状态转换、数据变化等全过程实行监控，方便捕获数据异常。同时配套全生命周期的元数据管理，通过对元数据的血统分析，实现数据的溯源。
平台采用改进的分布式文件系统、键值数据库、列式数据库、图数据库等大数据存储技术，实现存储的能效优化、计算融入、数据去冗余、高性价比、高可靠性等目标，有效管理海量异构数据，并支持线性扩展，满足未来持续扩展的业务需求。
平台通用性强、功能扩展方便：在平台整体规划下，平台有采集各种数据源的能力，不受数据源类型影响，同时目标数据源支持多种主流的数据存储方式，平台纯组件式开发，方便扩展。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于数据全生命周期管理的数据管理平台的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (8)
1.一种基于数据全生命周期管理的数据管理平台，其特征在于，包括数据源层、数据集成层、数据存储层、数据整合层、数据服务层、数据视图层及统一管理层，其中：
数据源层负责对所有数据源的配置和管理；
数据集成层负责对外部数据的接入、采集、传输进行管理；
数据存储层负责对存储数据、数据存储环境、状态进行管理；
数据整合层实现数据的标准、标签、分类分级进行管理和数据转换、加工处理任务的管理、以及对数据与数据逻辑关系建模管理和数据分析任务管理工作；
数据服务层负责对数据共享服务进行管理；
数据视图层通过数据视图、服务视图、监控视图、数据建模视图、统计分析视图的方式实现数据的可视化、服务的可视化、监控的可视化、数据建模的可视化和统计分析的可视化；
统一管理层用于数据全生命周期的数据质量管理、数据安全管理、元数据管理和集中监控管理。
2.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据源层完成以下管理功能：采集源、目标源的数据源定义、数据源接入、数据源模型描述、数据源权限配置和数据源检验规则，该采集源包括EXCEL文档、多媒体数据、数据库，数据源介入通过业务系统接口实现，目标源的数据源定义、数据源模型描述、数据源权限配置和数据源检验规则由数据填报人完成。
3.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据集成层完成以下管理功能：采集任务的定义管理、采集任务调度管理、数据采集实施管理、采集规则配置管理和采集日志管理，对应该管理功能，数据采集层通过EXCEL接入、服务调用、数据库抽取、文件传输协议和手工填报接口实现。
4.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据存储层完成以下管理功能：数据存储介质定义、存储资源管理、数据存储状态管理、存储备份管理、存储日志的管理，与该管理功能相对应的，数据存储层通过关系数据库、消息队列、分布式文件系统和NOSQL数据库实现。
5.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据整合层完成以下管理：数据标准管理、数据标签管理、数据分类分级管理；数据处理任务定义、数据清洗、数据转换等任务实施；数据建模定义，数据模型管理和数据建模实施；数据分析任务定义、任务管理、数据分析实施管理，与该管理功能相对应的，数据整合层通过数据清洗转换、数据建模、数据分析和NOSQL数据库实现。
6.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，数据服务层完成包括数据服务的定义、服务发布、服务订阅、服务授权、服务调用的实施和管理，该数据服务层的功能实现基于技术协议和数据协议，其中技术协议包括HTTP、FTP、REST、Socket，数据协议包括Json、XML。
7.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，所述数据视图包括管理的数据内容视图、数据状态视图；服务视图包括服务资源目录视图、服务授权视图；监控视图包括采集任务监控视图、数据处理监控视图、数据使用监控视图；数据建模视图包括数据建模视图、数据模型视图；统计分析视图包括对数据使用热度统计分析视图数据、数据日志分析视图、元数据影响分析、血缘分析。
8.根据权利要求1所述的一种基于数据全生命周期管理的数据管理平台，其特征在于，在统一管理层中，质量管理负责数据全过程的质量管理，包括质量目标定义、质量度量设置、质量识别配置、数据质量监控和质量预警；安全管理实现数据从接入、采集、存储、处理和使用全生命周期的安全管理，包括数据采集安全管理、数据存储安全管理、数据访问安全管理、数据传输安全管理和数据使用安全管理；集中监控实现数据从接入、采集、存储、处理和使用全过程的数据和任务监控，包括数据采集监控、数据存储环境和存储状态监控、数据处理监控、服务状态和调用监控、数据使用如数据访问、应用系统调用监控；元数据管理负责数据从定义到存储、处理、分析和共享元数据的管理，包括数据源元数据、目标源元数据，采集元数据、处理元数据、分析元数据、建模元数据、服务元数据、整合元数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610540339.XA CN106203828A (zh) | 2016-07-11 | 2016-07-11 | 一种基于数据全生命周期管理的数据管理平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610540339.XA CN106203828A (zh) | 2016-07-11 | 2016-07-11 | 一种基于数据全生命周期管理的数据管理平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106203828A true CN106203828A (zh) | 2016-12-07 |
Family
ID=57473554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610540339.XA Pending CN106203828A (zh) | 2016-07-11 | 2016-07-11 | 一种基于数据全生命周期管理的数据管理平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106203828A (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649773A (zh) * | 2016-12-27 | 2017-05-10 | 北京大数有容科技有限公司 | 一种大数据协同分析工具平台 |
| CN107122422A (zh) * | 2017-04-06 | 2017-09-01 | 山东建筑大学 | 面向服务的智慧住区实时数据库系统及其工作方法 |
| CN107256247A (zh) * | 2017-06-07 | 2017-10-17 | 九次方大数据信息集团有限公司 | 大数据数据治理方法和装置 |
| CN107330080A (zh) * | 2017-07-03 | 2017-11-07 | 北京希嘉创智教育科技有限公司 | 一种数据处理方法、装置及应用其的计算机设备 |
| CN107463664A (zh) * | 2017-08-01 | 2017-12-12 | 山东浪潮云服务信息科技有限公司 | 一种基于政务数据采集的etl处理方法及装置 |
| CN108038201A (zh) * | 2017-12-12 | 2018-05-15 | 无锡华云数据技术服务有限公司 | 一种数据整合系统及其分布式数据整合系统 |
| CN108717456A (zh) * | 2018-05-22 | 2018-10-30 | 浪潮软件股份有限公司 | 一种数据源无关的数据全生命周期管理平台及方法 |
| CN108764823A (zh) * | 2018-05-11 | 2018-11-06 | 甘肃祥龙科技服务有限责任公司 | 一种基于科技服务的数据分析统计系统 |
| CN109269557A (zh) * | 2018-09-19 | 2019-01-25 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种换流站设备运行参数及运行环境智能监测系统及方法 |
| CN109446274A (zh) * | 2017-08-31 | 2019-03-08 | 北京京东尚科信息技术有限公司 | 大数据平台bi元数据管理的方法和装置 |
| CN109492991A (zh) * | 2018-10-18 | 2019-03-19 | 华南理工大学 | 配电工程建设智能化综合管理系统 |
| CN109800090A (zh) * | 2018-12-19 | 2019-05-24 | 北京仁科互动网络技术有限公司 | 一种数据集成系统及方法 |
| CN109857730A (zh) * | 2018-12-29 | 2019-06-07 | 三盟科技股份有限公司 | 面向教育的数据治理管理方法及系统 |
| CN110611576A (zh) * | 2018-06-14 | 2019-12-24 | 亿阳信通股份有限公司 | 一种数据质量监测方法、装置、设备及存储介质 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN110825716A (zh) * | 2019-06-04 | 2020-02-21 | 中国人民解放军92493部队参谋部 | 数据全生命周期管理系统、方法及介质 |
| CN111190881A (zh) * | 2019-11-13 | 2020-05-22 | 深圳市华傲数据技术有限公司 | 一种数据治理方法和系统 |
| CN111767267A (zh) * | 2020-06-18 | 2020-10-13 | 杭州数梦工场科技有限公司 | 元数据处理方法、装置、电子设备 |
| CN111782665A (zh) * | 2020-06-19 | 2020-10-16 | 北京思特奇信息技术股份有限公司 | 一种用于监控产商品生命周期管理的方法及系统 |
| CN112395340A (zh) * | 2020-11-16 | 2021-02-23 | 青岛海信网络科技股份有限公司 | 一种数据资产管理方法及装置 |
| CN112488672A (zh) * | 2020-12-17 | 2021-03-12 | 深圳市中博科创信息技术有限公司 | 一种政务秒批业务的实现方法及业务系统 |
| CN113032376A (zh) * | 2019-12-25 | 2021-06-25 | 陕西云基华海信息技术有限公司 | 一种海量数据质量管理与治理的系统 |
| CN113076207A (zh) * | 2021-04-27 | 2021-07-06 | 无锡星凝互动科技有限公司 | 一种基于质量管理数据叠合处理方法及系统 |
| CN113537824A (zh) * | 2021-08-03 | 2021-10-22 | 南方电网数字电网研究院有限公司 | 一种电网数据全链路监控系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156806A1 (en) * | 2012-12-04 | 2014-06-05 | Marinexplore Inc. | Spatio-temporal data processing systems and methods |
| CN104076906A (zh) * | 2014-07-17 | 2014-10-01 | 成都理工大学 | 一种面向数据的信息技术系统 |
| CN105160593A (zh) * | 2015-08-18 | 2015-12-16 | 国家电网公司 | 面向大数据的输变电设备多维异构数据融合方法及系统 |
| CN105354616A (zh) * | 2015-12-18 | 2016-02-24 | 国电南瑞科技股份有限公司 | 一种电力计量资产数据处理装置及其在线处理方法 |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
-
2016
- 2016-07-11 CN CN201610540339.XA patent/CN106203828A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156806A1 (en) * | 2012-12-04 | 2014-06-05 | Marinexplore Inc. | Spatio-temporal data processing systems and methods |
| CN104076906A (zh) * | 2014-07-17 | 2014-10-01 | 成都理工大学 | 一种面向数据的信息技术系统 |
| CN105160593A (zh) * | 2015-08-18 | 2015-12-16 | 国家电网公司 | 面向大数据的输变电设备多维异构数据融合方法及系统 |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN105354616A (zh) * | 2015-12-18 | 2016-02-24 | 国电南瑞科技股份有限公司 | 一种电力计量资产数据处理装置及其在线处理方法 |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649773A (zh) * | 2016-12-27 | 2017-05-10 | 北京大数有容科技有限公司 | 一种大数据协同分析工具平台 |
| CN107122422A (zh) * | 2017-04-06 | 2017-09-01 | 山东建筑大学 | 面向服务的智慧住区实时数据库系统及其工作方法 |
| CN107122422B (zh) * | 2017-04-06 | 2019-09-24 | 山东建筑大学 | 面向服务的智慧住区实时数据库系统及其工作方法 |
| CN107256247A (zh) * | 2017-06-07 | 2017-10-17 | 九次方大数据信息集团有限公司 | 大数据数据治理方法和装置 |
| CN107330080B (zh) * | 2017-07-03 | 2020-05-22 | 北京希嘉创智教育科技有限公司 | 一种数据处理方法、装置及应用其的计算机设备 |
| CN107330080A (zh) * | 2017-07-03 | 2017-11-07 | 北京希嘉创智教育科技有限公司 | 一种数据处理方法、装置及应用其的计算机设备 |
| CN107463664A (zh) * | 2017-08-01 | 2017-12-12 | 山东浪潮云服务信息科技有限公司 | 一种基于政务数据采集的etl处理方法及装置 |
| CN109446274A (zh) * | 2017-08-31 | 2019-03-08 | 北京京东尚科信息技术有限公司 | 大数据平台bi元数据管理的方法和装置 |
| CN108038201A (zh) * | 2017-12-12 | 2018-05-15 | 无锡华云数据技术服务有限公司 | 一种数据整合系统及其分布式数据整合系统 |
| CN108764823A (zh) * | 2018-05-11 | 2018-11-06 | 甘肃祥龙科技服务有限责任公司 | 一种基于科技服务的数据分析统计系统 |
| CN108717456A (zh) * | 2018-05-22 | 2018-10-30 | 浪潮软件股份有限公司 | 一种数据源无关的数据全生命周期管理平台及方法 |
| CN110611576B (zh) * | 2018-06-14 | 2023-05-09 | 亿阳信通股份有限公司 | 一种数据质量监测方法、装置、设备及存储介质 |
| CN110611576A (zh) * | 2018-06-14 | 2019-12-24 | 亿阳信通股份有限公司 | 一种数据质量监测方法、装置、设备及存储介质 |
| CN109269557A (zh) * | 2018-09-19 | 2019-01-25 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种换流站设备运行参数及运行环境智能监测系统及方法 |
| CN109492991A (zh) * | 2018-10-18 | 2019-03-19 | 华南理工大学 | 配电工程建设智能化综合管理系统 |
| CN109800090A (zh) * | 2018-12-19 | 2019-05-24 | 北京仁科互动网络技术有限公司 | 一种数据集成系统及方法 |
| CN109857730A (zh) * | 2018-12-29 | 2019-06-07 | 三盟科技股份有限公司 | 面向教育的数据治理管理方法及系统 |
| CN110825716A (zh) * | 2019-06-04 | 2020-02-21 | 中国人民解放军92493部队参谋部 | 数据全生命周期管理系统、方法及介质 |
| CN110618983B (zh) * | 2019-08-15 | 2023-01-06 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN111190881A (zh) * | 2019-11-13 | 2020-05-22 | 深圳市华傲数据技术有限公司 | 一种数据治理方法和系统 |
| CN113032376A (zh) * | 2019-12-25 | 2021-06-25 | 陕西云基华海信息技术有限公司 | 一种海量数据质量管理与治理的系统 |
| CN111767267A (zh) * | 2020-06-18 | 2020-10-13 | 杭州数梦工场科技有限公司 | 元数据处理方法、装置、电子设备 |
| CN111767267B (zh) * | 2020-06-18 | 2024-05-10 | 杭州数梦工场科技有限公司 | 元数据处理方法、装置、电子设备 |
| CN111782665A (zh) * | 2020-06-19 | 2020-10-16 | 北京思特奇信息技术股份有限公司 | 一种用于监控产商品生命周期管理的方法及系统 |
| CN111782665B (zh) * | 2020-06-19 | 2024-06-21 | 北京思特奇信息技术股份有限公司 | 一种用于监控产商品生命周期管理的方法及系统 |
| CN112395340A (zh) * | 2020-11-16 | 2021-02-23 | 青岛海信网络科技股份有限公司 | 一种数据资产管理方法及装置 |
| CN112488672B (zh) * | 2020-12-17 | 2024-04-02 | 深圳市中博科创信息技术有限公司 | 一种政务秒批业务的实现方法及业务系统 |
| CN112488672A (zh) * | 2020-12-17 | 2021-03-12 | 深圳市中博科创信息技术有限公司 | 一种政务秒批业务的实现方法及业务系统 |
| CN113076207A (zh) * | 2021-04-27 | 2021-07-06 | 无锡星凝互动科技有限公司 | 一种基于质量管理数据叠合处理方法及系统 |
| CN113537824A (zh) * | 2021-08-03 | 2021-10-22 | 南方电网数字电网研究院有限公司 | 一种电网数据全链路监控系统 |
| CN113537824B (zh) * | 2021-08-03 | 2024-06-28 | 南方电网数字电网研究院有限公司 | 一种电网数据全链路监控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106203828A (zh) | 一种基于数据全生命周期管理的数据管理平台 | |
| CN111815132B (zh) | 一种电力监控系统网络安全管理信息发布方法及系统 | |
| CN106557991B (zh) | 电压监测数据平台 | |
| CN107402976A (zh) | 一种基于多元异构模型的电网多源数据融合方法及系统 | |
| CN102932195B (zh) | 一种基于网络协议分析的业务分析监控方法及系统 | |
| CN104123477A (zh) | 一种基于生活数据的群租分析方法 | |
| CN103559562A (zh) | 电网智能运行系统及其实现方法 | |
| CN104464272A (zh) | 智能运维管理系统 | |
| CN112181955B (zh) | 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法 | |
| CN105260841A (zh) | 一种配电网故障抢修回单审核系统 | |
| CN106022617A (zh) | 一种基于营销多系统数据中心的稽查管控系统 | |
| CN111552686B (zh) | 一种电力数据质量评估方法及其装置 | |
| CN104464271A (zh) | 智能交通运维管理系统 | |
| CN108171421A (zh) | 一种面向城市交通智能设备系统运维的路面运维处置效率和质量评估方法 | |
| CN112597132A (zh) | 一种物理分散逻辑统一的数据资产目录汇聚系统 | |
| CN103746862A (zh) | 基于移动互联网的hse管理运行监控和诊断方法 | |
| CN112884452A (zh) | 一种智能运维多源数据采集可视化分析系统 | |
| CN104464273A (zh) | 一种智能交通运维管理系统 | |
| CN104835311A (zh) | 一种用电信息采集设备数据传输性能分析系统 | |
| CN111538720A (zh) | 电力行业基础数据清理的方法及系统 | |
| CN110827172A (zh) | 一种智慧水务云服务平台 | |
| CN110415136B (zh) | 一种电力调度自动化系统服务能力评估系统与方法 | |
| CN109165212A (zh) | 一种大数据实时监控与稽核的方法 | |
| WO2021143463A1 (zh) | 数据清洗方法及装置 | |
| CN114218216A (zh) | 资源管理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161207 |