CN110990391A - 多源异构数据的整合方法、系统、计算机设备及存储介质 - Google Patents
多源异构数据的整合方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110990391A CN110990391A CN201911226315.7A CN201911226315A CN110990391A CN 110990391 A CN110990391 A CN 110990391A CN 201911226315 A CN201911226315 A CN 201911226315A CN 110990391 A CN110990391 A CN 110990391A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- docking manner
- steps
- following
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010354 integration Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000003032 molecular docking Methods 0.000 claims abstract description 39
- 238000004140 cleaning Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 5
- 238000007596 consolidation process Methods 0.000 claims 2
- 238000013480 data collection Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010992 reflux Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及多源异构数据的整合方法、系统、计算机设备及存储介质。所述多源异构数据的整合方法包括：从多个数据源采集数据，所述数据包括格式不同的数据，其中，采集方与被采集方的数据对接方式包括：主流数据对接方式、兼容数据对接方式和扩展数据对接方式；对采集到的数据进行清洗整理并标准化，形成各个设备的全生命周期标准化数据。本发明针对多源异构数据，构建了统一标准化的数据规范，采用大数据技术手段清洗并梳理出以设备为主台帐的数据结构，高效辐射出设备在各专业领域的信息，可以帮助管理人员直观且全面的掌握设备的详细情况，做到心中有数。
Description
技术领域
本发明涉及数据处理技术，具体的说，涉及多源异构数据的整合方法、系统、计算机设备及存储介质。
背景技术
随着电力信息化技术的不断发展，电力业务生产管理系统、用电调度管理系统，输变电视频监控系统，以及输电线路巡视的无人机、变电站巡检机器人、设备在线状态监测与评价、图像智能识别、安全监控智能穿戴等智能技术在电力生产领域中得到广泛应用。如何将各类独立的业务和站端智能应用系统进行整合，实现各应用系统间的联动，优化调整业务流程，创新生产管理模式，提升设备运维管控力和管理分析穿透力，提高生产指挥体系运转效率，成为电网生产领域的生产监控指挥系统的一道难题。面对各类应用系统及资源数据量不断地增多，各系统在运行期间产生了大量的数据，如何有效地将这些数据进行整合并提取有用信息是我们需要面对的问题。
发明内容
在本发明的第一方面，提供了一种多源异构数据的整合方法，包括：从多个数据源采集数据，所述数据包括格式不同的数据，其中，采集方与被采集方的数据对接方式包括：主流数据对接方式、兼容数据对接方式和扩展数据对接方式；对采集到的数据进行清洗整理并标准化，形成各个设备的全生命周期标准化数据。
在一种实施例，所述主流数据对接方式为大数据平台数据对接方式，所述兼容数据对接方式为webservice接口对接方式，所述扩展数据对接方式为回流数据对接方式。
在一种实施例，所述方法还包括：以单体设备全景视图形式来展示数据，数据展示方式包括：以列表形式展示数据、以图形方式展示数据、在地图上展示数据。
在一种实施例，数据采集任务的类型包括归档类、用电调度同步、大数据平台、回流库同步、本地系统同步、在线监测同步，根据不同类型的任务以采集不同类型的数据，各采集任务的执行按照预定时间间隔进行。
在一种实施例，对采集到的数据进行清洗整理并标准化包括：识别采集到的重复数据，将重复数据进行归总并删除多余数据，对于可识别的错误数据，纠正所述错误数据；删除明显不合逻辑的数据；通过不同数据源之间同类数据互相关联和比较对数据进行补全；依次以精确匹配方式、初级模糊匹配方式、次级模糊匹配方式对数据进行匹配；对匹配到的数据设置统一名称格式以验算数据；
确认修正后的数据是否在可接受范围内，清除问题数据；对整理后的数据以设备全生命周期为主线，将同一设备的各种数据归集到一起，归集到一起的设备数据包括设备的生产运行数据、事故相关数据、设备巡检数据、告警数据、台账数据及其他影响因素数据。
在本发明的第二方面，提供了一种多源异构数据的整合系统，包括：采集模块，用于从多个数据源采集数据，所述数据包括格式不同的数据，其中，采集方与被采集方的数据对接方式包括：主流数据对接方式、兼容数据对接方式和扩展数据对接方式；清洗整理模块，用于对采集到的数据进行清洗整理并标准化，形成各个设备的全生命周期标准化数据。
在一种实施例，所述系统还包括：展示模块，用于以单体设备全景视图形式来展示数据，数据展示方式包括：以列表形式展示数据、以图形方式展示数据、在地图上展示数据。
在一种实施例，所述采集模块根据不同类型的数据采集任务以采集不同类型的数据，各采集任务的执行按照预定时间间隔进行。
在本发明的第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有至少一个指令，所述处理器用于执行所述至少一个指令以实现上述的数据整合方法。
在本发明的第四方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一个指令，所述至少一个指令被执行时实现上述的数据整合方法。
本发明针对多源异构数据，构建了统一标准化的数据规范，采用大数据技术手段清洗并梳理出以设备为主台帐的数据结构，高效辐射出设备在各专业领域的信息，可以帮助管理人员直观且全面的掌握设备的详细情况，做到心中有数。
附图说明
图1是本发明实施例的一种数据整合方法流程图。
图2是本发明实施例的一种数据整合系统结构图。
图3是本发明实施例的计算机设备结构图，可用来执行本发明实施例的数据整合方法。
具体实施方式
基于上述背景，本发明采用大数据技术对电力生产领域所涉及的各类应用系统的数据进行处理，其主要是针对地方供电分局与省局之间进行数据交换的一种实时数据整合方案。实际应用中，省和市之间的数据库分布在不同物理位置上，而且互相之间的数据格式不同，这可以抽象化为一种多源异构数据模型。
要实现多源异构数据的整合，需要解决这些数据的对接问题。根据本发明实施例的一种多源异构数据的整合方法，其主要过程是：数据整合系统将从其他应用系统获取的与设备相关的数据，经数据整合系统整理分析后，生成数据整合系统所需的以设备为主台帐(台账是在作业过程中由作业人员从机台记录中直接记录的数据，主台账是数据整合系统的中心服务器设备的台账)的数据结构，其具体的流程如下图1所示，可简要概括为以下几个步骤：
(1)多源数据获取
(2)数据清洗及整理
(3)数据展示。
在上述步骤(1)中，数据整合系统首先需要从各处(各个应用系统的源位置，其可能分布在地方供电分局或由地方供电分局管理，或者分布在省局或由省局管理。一般的，在同一物理位置的局域网内，所有连接可以是有线的。而在不同物理位置，例如省局和地方分局之间的数据交互，可以是无线的，包括internet、3G/4G/5G网络等等)获取所需的相关设备数据。数据整合系统可以采用ETL(Extract-Transform-Load，抽取、转换、加载)，例如kettle工具(其是Pentaho公司开发的一款ETL产品，以工作流为核心，强调面向解决方案而非工具的，基于java平台的商业智能套件)进行大数据实时采集。ETL作为数据仓库的关键环节，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库中，成为联机分析处理、数据挖掘的基础。
在本发明实施例的数据整合系统的一种实际应用中，该数据整合系统可以被部署于市局，可以以该应用环境下的行政级别，如省-市-区划分数据源级别，以此区别数据上下游，这样，以市局而言，市局到省局的数据传递可以称为上报数据，省局到市局的数据传递称为下发数据。另外，由于省局在不同时期，使用了不同开发商开发其内部项目，导致对外的数据接口无法统一，不同的数据来源与外界的对接方式各不相同。对使用这些数据接口的外单位来说，不一定知道相关的开发单位具体是哪个公司，也不一定知道这些数据实际是谁提供的。但对市局来说，只需要知道这些数据来自省局，所以可以仅以接口的对接方式来划分数据来源。其例如可以包括：webservice接口数据；大数据平台数据；回流数据。webservice接口是省局提供的一种旧的数据对接方式，大数据平台是省局新提供的一种数据对接方式，在实际应用中，这两者之间的数据只有部分重叠，因此无法相互代替，需要两种同时使用。而回流数据指市上报给省，经省加工后返还给市的数据。回流数据是指市局需要用某些省局无法提供的数据时，则上报一份自己想用的数据给省局，省局加工完后将这种数据返回给市局，市局则可以使用省级加工后的数据。当省的大数据平台发展到可以覆盖相关功能的时候，则可以覆盖这些回流数据。理想情况下，数据对接方式希望是统一且覆盖全部功能需要的，但考虑到升级和扩展之用，整合系统主要以新数据对接方式(大数据平台方式)为主流，保持了向前兼容(即支持旧的webservice数据对接方式)，即时和向后扩展，包括：当临时有当前功能支持之外的功能需要时，可以根据功能需要临时加工数据并返回给功能需要方(即时扩展)；以及当一种功能需要成为主流需求时，可以将其并入到当前数据对接方式(向后扩展)。故对于本数据整合系统的数据采集和整合，随时间推移，是一个不断变化的过程，其以主流数据对接方式(针对大数据平台数据)、兼容数据对接方式(针对webservice借口数据)和扩展数据对接方式(针对回流数据)三种数据对接方式并行方式，使得该整合系统可以保持更新和扩展之用。
关于所述步骤(2)的数据清洗及整理，由于从其他应用系统获取的设备数据具有数据重复、数据缺失、数据错误等特点，数据整合系统需要将获取的多源数据进行清洗和整理，以得到对数据整合系统有用的数据。一般的说，由于大部分数据都是人工采集，且其应用系统没有经过完整性校验，故来自客户的原始数据的错误率是非常高的。数据整合系统会对这些数据进行清洗，把明显不合逻辑的数据去掉，通过不同数据源之间同类数据互相关联和比较进行补全，之后仍有误差的，再通过模糊手段进行比较和关联，仍有误差的，再通过更模糊的手段进行比较和关联。如此类推，这是先准确，后模糊，并且越来越模糊的一个关联过程，最后仍然有缺失的，视为只能人工解决。在各个数据源中(如：计量系统、生产系统、营销系统、调度系统等)，同一个设备台账的信息，可以根据名称进行关联。然而，实际应用中，来自于不同数据源的同一设备的名称格式可能是不一致的，例如，对同一变电站，可能存在有220kV光明变电站，光明变电站，光明站等不同名称格式。因此，当精确匹配无法得到结果，可以进一步以模糊匹配手段进行关联。而对于台区台变(台变：指安装在某地的变压器；台区：指台变供电的区域范围)等台账设备，它们的名称格式会更加的复杂，所以需要模糊和更模糊的手段进行匹配。然后通过相关的校验算法(其是将匹配到的数据设置一个统一的名称格式，再进行验算，以确定有多少数据能够匹配上)进行计算，从而确定修正后的数据是否在可以接受的范围内，一般这个范围视为5％内。如果数据量在可接受范围内，剩下那少于5％的误差，由专项人员解决，最后仍然无法补全的极少量数据，视为问题数据，清除掉。
上述步骤中对数据进行清洗，具体表现为，系统将获取的数据进行审查和校验，自动识别重复数据，将重复数据进行归总并删除多余数据。对于可识别的错误数据，系统将发现并纠正这些数据文件，再对数据进行分析整理。
关于上述对数据的整理，系统可以对清洗后的数据进行分析，以设备全生命周期为主线，将数据进行分类，即将同一设备的各种数据归集到一起，包括设备的生产运行数据、事故相关数据、设备巡检数据、告警数据、台账数据及其他影响因素数据如气象数据等。各类数据的采集任务根据数据来源不同，将任务类型划分为归档类、用电调度同步、edata大数据平台、回流库同步、本地系统同步、在线监测同步等，不同类型的任务对应不同类型数据的采集。edata大数据平台是省局开发的一种云数据平台，其可以把市局的数据全部集中在省里统一管理，减少下级单位对数据进行非法操作的可能性，同时也可以让各市共享数据，其作为整个数据整合系统的主流数据对接方式。另外，整个系统还包括兼容数据对接方式来支持例如webservice接口数据，以及扩展数据对接方式来支持例如回流数据。
具体数据整合目录如下表1所示：
表1
在上述实施例中，各采集任务的执行可以按照一定的时间间隔进行，根据不同类型采集任务对数据实时性的要求，可设置时间间隔为一分钟、半小时、一小时或一天等采集一次。
所述步骤(3)的数据展示，是指系统将处理后的数据展示在大屏幕上，具体展示方式包括：
1)以列表形式展示数据，如工作计划、运维策略等；
2)以图形方式展示数据，如各类实时监测数据；
3)在地图上显示光缆故障缺陷等数据。
本发明针对多源异构数据，例如繁杂的电力系统的数据，构建统一标准化的数据规范，采用大数据技术手段清洗并梳理出以设备为主台帐的数据结构，高效辐射出设备在各专业领域的信息。以设备的全生命周期为主线组织“单体设备全景”视图，展示设备从采购、出厂、安装、投运、运维的整个生命历程。同时还能从另一个维度，展示出设备成本、实时运行工况、设备监造、交接试验、化学预试、缺陷记录、检修维护、技术支持、不良状态等信息。帮助管理人员直观且全面的掌握电力生产设备的详细情况，做到心中有数。
本发明实施例的数据整合系统，首先建一个系统标准数据格式，然后把所有非标准的数据来源，能适用于该标准数据格式的数据则直接整合进来。再对异构数据，根据其逻辑编写转译对照表和采集算法，把数据采集到本系统的标准数据表中，之后经多轮清洗、校验、补全，产生系统的标准化数据。对一个台账设备，则设定一个标准名称，然后把其可能出现的名称设置别名集，把不同系统来源的数据关联起来，并且系统能够实时同步更新台账数据，确保数据的准确性。
本发明实施例提供的基于电网生产领域的多源异构数据模型的分析算法，涉及以下数据同步方法：
(1)用电调度同步和回流库同步方法，该数据整合方案针对不同的数据来源，可以做到每当出现数据更新，都会马上反映在指挥中心，即时间线的统一。
(2)在线监测同步，该技术的重点是高实时性，尤其是告警数据在线监测、容性设备在线监测、GIS局部放电在线监测、调度遥测数据等的整合方案。
在一种实施例中，如图2所示，本发明的一种数据整合系统，可以包括：采集模块、清洗整理模块和展示模块。采集模块用于从多个数据源采集数据，所述数据包括格式不同的数据，其中，采集方与被采集方的数据对接方式包括：主流数据对接方式、兼容数据对接方式和扩展数据对接方式。清洗整理模块用于对采集到的数据进行清洗整理并标准化，形成各个设备的全生命周期标准化数据。展示模块，用于以单体设备全景视图形式来展示数据，数据展示方式包括：以列表形式展示数据、以图形方式展示数据、在地图上展示数据。
在一个实施例中，上述数据整合方法，可以由服务器执行，因此，一个实施例中提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、外围接口、显示器和输入设备。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器可以存储有操作系统、计算机程序和数据库等等。该计算机设备的外围接口例如可以包括网络接口，用于与外部的终端通过网络连接通信，或者USB接口，可以与外围USB存储设备连接。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该计算机程序包括至少一个指令，当被处理器执行时，可以实现上述的数据整合方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性的计算机可读存储介质中，该计算机程序或指令在被执行时，可实现如上述数据整合方法的实施例的流程。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种多源异构数据的整合方法，其特征在于，包括：
从多个数据源采集数据，所述数据包括格式不同的数据，其中，采集方与被采集方的数据对接方式包括：主流数据对接方式、兼容数据对接方式和扩展数据对接方式；
对采集到的数据进行清洗整理并标准化，形成各个设备的全生命周期标准化数据。
2.如权利要求1所述的数据整合方法，其特征在于，所述主流数据对接方式为大数据平台数据对接方式，所述兼容数据对接方式为webservice接口对接方式，所述扩展数据对接方式为回流数据对接方式。
3.如权利要求1所述的数据整合方式，其特征在于，所述方法还包括：以单体设备全景视图形式来展示数据，数据展示方式包括：以列表形式展示数据、以图形方式展示数据、在地图上展示数据。
4.如权利要求1所述的数据整合方式，其特征在于，数据采集任务的类型包括归档类、用电调度同步、大数据平台、回流库同步、本地系统同步、在线监测同步，根据不同类型的任务以采集不同类型的数据，各采集任务的执行按照预定时间间隔进行。
5.如权利要求1-4任一所述的数据整合方法，其特征在于，对采集到的数据进行清洗整理并标准化包括：
识别采集到的重复数据，将重复数据进行归总并删除多余数据，对于可识别的错误数据，纠正所述错误数据；
删除明显不合逻辑的数据；
通过不同数据源之间同类数据互相关联和比较对数据进行补全；
依次以精确匹配方式、初级模糊匹配方式、次级模糊匹配方式对数据进行匹配；对匹配到的数据设置统一名称格式以验算数据；
确认修正后的数据是否在可接受范围内，清除问题数据；
对整理后的数据以设备全生命周期为主线，将同一设备的各种数据归集到一起，归集到一起的设备数据包括设备的生产运行数据、事故相关数据、设备巡检数据、告警数据、台账数据及其他影响因素数据。
6.一种多源异构数据的整合系统，其特征在于，包括：
采集模块，用于从多个数据源采集数据，所述数据包括格式不同的数据，其中，采集方与被采集方的数据对接方式包括：主流数据对接方式、兼容数据对接方式和扩展数据对接方式；
清洗整理模块，用于对采集到的数据进行清洗整理并标准化，形成各个设备的全生命周期标准化数据。
7.如权利要求6所述的数据整合方式，其特征在于，所述系统还包括：展示模块，用于以单体设备全景视图形式来展示数据，数据展示方式包括：以列表形式展示数据、以图形方式展示数据、在地图上展示数据。
8.如权利要求6所述的数据整合系统，其特征在于，所述采集模块根据不同类型的数据采集任务以采集不同类型的数据，各采集任务的执行按照预定时间间隔进行。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有至少一个指令，所述处理器用于执行所述至少一个指令以实现权利要求1-5任一所述的数据整合方法。
10.一种计算机可读存储介质，所述存储介质存储有至少一个指令，所述至少一个指令被执行时实现权利要求1-5任一所述的数据整合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911226315.7A CN110990391A (zh) | 2019-12-04 | 2019-12-04 | 多源异构数据的整合方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911226315.7A CN110990391A (zh) | 2019-12-04 | 2019-12-04 | 多源异构数据的整合方法、系统、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110990391A true CN110990391A (zh) | 2020-04-10 |
Family
ID=70089962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911226315.7A Pending CN110990391A (zh) | 2019-12-04 | 2019-12-04 | 多源异构数据的整合方法、系统、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110990391A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680083A (zh) * | 2020-04-30 | 2020-09-18 | 四川弘智远大科技有限公司 | 智能化多级政府财政数据采集系统及数据采集方法 |
| CN112255984A (zh) * | 2020-10-28 | 2021-01-22 | 河北时代电子有限公司 | 一种基于分布式工业协议解析技术的多源数据采集系统 |
| CN112269822A (zh) * | 2020-10-30 | 2021-01-26 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 一种高压电力设备管理系统 |
| CN112614017A (zh) * | 2020-12-25 | 2021-04-06 | 南方电网深圳数字电网研究院有限公司 | 停电信息管理系统、停电信息管理方法及存储介质 |
| CN112632172A (zh) * | 2020-12-30 | 2021-04-09 | 杭州贝嘟科技有限公司 | 量体数据整合方法、装置、计算机设备和存储介质 |
| CN112672086A (zh) * | 2021-03-18 | 2021-04-16 | 江苏宸华智慧科技有限公司 | 一种音视频设备数据采集、分析、预警系统 |
| CN113010625A (zh) * | 2021-03-31 | 2021-06-22 | 广东电网有限责任公司 | Gis多源数据集成与融合方法、gis多源数据调度系统及介质 |
| CN114896963A (zh) * | 2022-07-08 | 2022-08-12 | 北京百炼智能科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115391432A (zh) * | 2022-10-28 | 2022-11-25 | 中国电子科技集团公司第十五研究所 | 司法大数据处理方法、系统、服务器及存储介质 |
| CN116340312A (zh) * | 2022-11-01 | 2023-06-27 | 湖北能源集团新能源发展有限公司 | Gis设备局部放电在线监测系统的数据存储方法及系统 |
| CN116738021A (zh) * | 2023-06-15 | 2023-09-12 | 深圳荣灿大数据技术有限公司 | 智慧企服信息可视化系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193858A (zh) * | 2017-03-28 | 2017-09-22 | 福州金瑞迪软件技术有限公司 | 面向多源异构数据融合的智能服务应用平台和方法 |
| CN107590749A (zh) * | 2017-09-07 | 2018-01-16 | 北京国电通网络技术有限公司 | 一种配用电数据的处理方法及系统 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
-
2019
- 2019-12-04 CN CN201911226315.7A patent/CN110990391A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193858A (zh) * | 2017-03-28 | 2017-09-22 | 福州金瑞迪软件技术有限公司 | 面向多源异构数据融合的智能服务应用平台和方法 |
| CN107590749A (zh) * | 2017-09-07 | 2018-01-16 | 北京国电通网络技术有限公司 | 一种配用电数据的处理方法及系统 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680083A (zh) * | 2020-04-30 | 2020-09-18 | 四川弘智远大科技有限公司 | 智能化多级政府财政数据采集系统及数据采集方法 |
| CN112255984A (zh) * | 2020-10-28 | 2021-01-22 | 河北时代电子有限公司 | 一种基于分布式工业协议解析技术的多源数据采集系统 |
| CN112269822A (zh) * | 2020-10-30 | 2021-01-26 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 一种高压电力设备管理系统 |
| CN112614017A (zh) * | 2020-12-25 | 2021-04-06 | 南方电网深圳数字电网研究院有限公司 | 停电信息管理系统、停电信息管理方法及存储介质 |
| CN112632172A (zh) * | 2020-12-30 | 2021-04-09 | 杭州贝嘟科技有限公司 | 量体数据整合方法、装置、计算机设备和存储介质 |
| CN112672086A (zh) * | 2021-03-18 | 2021-04-16 | 江苏宸华智慧科技有限公司 | 一种音视频设备数据采集、分析、预警系统 |
| CN113010625A (zh) * | 2021-03-31 | 2021-06-22 | 广东电网有限责任公司 | Gis多源数据集成与融合方法、gis多源数据调度系统及介质 |
| CN114896963A (zh) * | 2022-07-08 | 2022-08-12 | 北京百炼智能科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115391432A (zh) * | 2022-10-28 | 2022-11-25 | 中国电子科技集团公司第十五研究所 | 司法大数据处理方法、系统、服务器及存储介质 |
| CN116340312A (zh) * | 2022-11-01 | 2023-06-27 | 湖北能源集团新能源发展有限公司 | Gis设备局部放电在线监测系统的数据存储方法及系统 |
| CN116340312B (zh) * | 2022-11-01 | 2024-06-04 | 湖北能源集团麻城风电有限公司 | Gis设备局部放电在线监测系统的数据存储方法及系统 |
| CN116738021A (zh) * | 2023-06-15 | 2023-09-12 | 深圳荣灿大数据技术有限公司 | 智慧企服信息可视化系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110990391A (zh) | 多源异构数据的整合方法、系统、计算机设备及存储介质 | |
| US8671084B2 (en) | Updating a data warehouse schema based on changes in an observation model | |
| Farwick et al. | Enterprise architecture documentation: Empirical analysis of information sources for automation | |
| CN112396404A (zh) | 一种数据中台系统 | |
| US20030225563A1 (en) | Capacity planning | |
| CN104217276A (zh) | 基于规则的自动化审计方法及系统 | |
| CN114925045A (zh) | 大数据集成和管理的PaaS平台 | |
| CN108694448A (zh) | Phm平台 | |
| CN109829615B (zh) | 一种基于专有云的目标任务多级监控装置和方法 | |
| CN111080261A (zh) | 一种基于大数据的可视化数据资产管理系统 | |
| CN107015901A (zh) | 一种日志分析方法及装置 | |
| CN105761079A (zh) | 一种支持多渠道的支付配置方法与系统 | |
| CN102624096B (zh) | 配电现场作业智能监管系统 | |
| CN106355489A (zh) | 一种面向管理的数据中心系统及数据处理方法 | |
| CN110570109A (zh) | 一种数据中心全生命周期综合服务测试进程监管系统 | |
| CN117389612A (zh) | 软件版本兼容性的比对方法及装置 | |
| CN117194382A (zh) | 中台数据处理方法、装置、电子设备及存储介质 | |
| CN103106555B (zh) | 基于在线离线一体化的维护管理系统和方法 | |
| CN109101267B (zh) | 应用发布管理方法、装置、电子设备、存储介质 | |
| CN115455106B (zh) | 配用电运维的配电监测方法、服务平台、设备及存储介质 | |
| CN116796950A (zh) | 一种配电网项目可研在线评审系统及方法 | |
| CN103247087A (zh) | 城市配网图形化智能防误操作系统及其方法 | |
| CN112614017B (zh) | 停电信息管理系统、停电信息管理方法及存储介质 | |
| CN112395343B (zh) | 一种基于dsg的字段变更数据采集抽取方法 | |
| KR20060012572A (ko) | 분산 설계 체인관리를 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |
|
| RJ01 | Rejection of invention patent application after publication |