CN117934209B - 一种基于知识图谱的区域电力系统碳排放大数据分析方法 - Google Patents
一种基于知识图谱的区域电力系统碳排放大数据分析方法 Download PDFInfo
- Publication number
- CN117934209B CN117934209B CN202410330640.2A CN202410330640A CN117934209B CN 117934209 B CN117934209 B CN 117934209B CN 202410330640 A CN202410330640 A CN 202410330640A CN 117934209 B CN117934209 B CN 117934209B
- Authority
- CN
- China
- Prior art keywords
- carbon emission
- knowledge
- entity
- power system
- regional power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 405
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 title claims abstract description 401
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000007405 data analysis Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 131
- 238000000605 extraction Methods 0.000 claims abstract description 126
- 238000013528 artificial neural network Methods 0.000 claims abstract description 55
- 239000000203 mixture Substances 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 45
- 238000013507 mapping Methods 0.000 claims description 25
- 230000003993 interaction Effects 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000009193 crawling Effects 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000010276 construction Methods 0.000 description 17
- 238000010248 power generation Methods 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 14
- 230000005611 electricity Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000009467 reduction Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008520 organization Effects 0.000 description 7
- 239000000446 fuel Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000005431 greenhouse gas Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于知识图谱的区域电力系统碳排放大数据分析方法,包括:根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,并分别采集区域电力系统的源侧、网侧和荷侧的非结构化数据;根据所述实体关系,将所述碳排放数据中的非结构化数据,作为基于预先训练的多分支并行神经网络的输入,输出第一知识抽取结果;获取融合实体标识和名称,并根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,将所述碳排放属性值存入碳排放知识库中;采用本发明能够对区域电力系统的碳排放数据进行精确控制。
Description
技术领域
本发明涉及碳排放数据处理技术领域,尤其涉及一种基于知识图谱的区域电力系统碳排放大数据分析方法。
背景技术
不同于其他能源系统,电力系统具有严格的“发电-用能”实时平衡特性,而电网连接着电力生产和消费,是重要的能源网络平台,是引领电力碳减排的核心枢纽,既要保障新能源大规模开发和高效利用,又要满足经济社会发展的用电需求。因此,需要对电力系统的碳排放情况进行实时、准确和全面的监测,这绝不仅仅是源侧的任务,也需要源、网和荷全环节的协同配合。实时、准确和全面直接监测电力系统源侧碳排放、间接检测网和荷全环节的碳排放,是掌握电力行业碳排放现状与趋势、挖掘电力碳减排潜力、引导电力用户互动减碳、促进电力经济低碳转型的基础与前提,也是支撑碳市场健康发展的基础保障。
现阶段电力系统的直接碳排放监测主要基于宏观统计法,即根据全年、全省/大区的发电总燃料消耗换算得到总碳排放量;用电间接碳排放监测主要基于平均碳排放因子法,该方法基于省级或大区电网级全年燃料统计值和发电量计算得到用户的单位用电碳排放因子,通过平均碳排放因子与用电量得到用户的用电间接碳排放量。
然而,现有的相关技术的碳检测方法简单,却无法对复杂关系的区域电力系统进行处理,导致对复杂场景下的碳排放数据的控制精确度低。
发明内容
本发明的目的是针对上述现有的相关技术的不足,提出基于知识图谱的区域电力系统碳排放大数据分析方法,能够对复杂场景下的碳排放数据进行精确控制。
本发明提供的一种基于知识图谱的区域电力系统碳排放大数据分析方法,包括:
根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,并从公共平台上采集对所述区域电力系统的源侧、网侧和荷侧发布的非结构化数据;
根据所述实体关系,将所述非结构化数据作为基于预先训练的多分支并行神经网络的输入进行知识抽取,输出第一知识抽取结果;其中,所述第一知识抽取结果包括:所述非结构化数据中的实体和实体之间的关系;多分支并行神经网络并行的多个分支网络结构相同,且结构相互独立,仅在多分支并行神经网络输入前和输入后进行数据融合;
获取融合实体标识和名称,并根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,将所述碳排放属性值存入碳排放知识库中。
本发明先对区域电力系统进行知识表示,获取区域电力系统对象的实体关系,并同时采集非结构化数据,并基于知识图谱,采用多分支并行神经网络对非结构数据进行知识抽取,能够准确抓取非结构化数据,从而能够提高复杂场景下的碳排放数据的检测精确度,进而有利于掌握电力行业碳排放现状与趋势,并通过知识抽取挖掘电力碳减排潜力,并将提取得到的碳排放数融合后进行存储,能够对区域电力系统的碳排放数据进行精确控制,通过碳排放知识库对区域电力系统的碳排放数据进行管理,有利于基于知识图谱获取碳排放数据后引导电力用户互动减碳、促进电力经济低碳转型和支撑碳市场健康发展。
在一些实施例中,获取预先训练的多分支并行神经网络,包括:
将初始实体关系作为正样本,从所述区域电力系统对象中随机抽取样本替换所述初始实体关系中的元素,得到负样本,分别将所述正样本和所述负样本作为初始多分支并行神经网络的输入,分别输出正例输出和负例输出,根据所述正例输出和所述负例输出进行训练,得到所述多分支并行神经网络。
在一些实施例中,将所述正样本作为初始多分支并行神经网络的输入,输出正例输出,包括:
将所述正样本对应的头实体、关系和尾实体进行至少两两融合后,将得到的多个第一融合结果分别作为所述初始多分支并行神经网络的输入,输出并行的多个输出结果;所述第一融合结果包括:由所述头实体与所述关系的融合、由所述关系与所述尾实体的融合、和由所述头实体、所述关系与所述尾实体的融合;
对所述多个输出结果做两两融合,得到多个第二融合结果,将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出;所述多个第二融合结果包括:由第一个分支网络的输出结果与第二个分支网络的输出结果的融合、由第二个分支网络的输出结果与第三个分支网络的输出结果的融合和由第一个分支网络的输出结果与第三个分支网络的输出结果的融合。
在一些实施例中,所述将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出,包括:
将依次将多个第二融合结果通过两次Sigmoid激活函数的连续映射,得到映射结果,统计所述多个第二融合结果对应的映射结果,得到正例输出;
其中,所述正例输出表示为:
,
其中,为第二交互结果的Sigmoid函数;/>为动态调整因子,用于调节Sigmoid函数的取值范围;/>为头实体,/>为尾实体,/>为/>到/>的约束关系。
本发明采用两次Sigmoid激活函数对输出结果进行处理,能够解决正负样本输出相似度差距大的问题,减少正负样本间震荡,从而提高复杂场景下的碳排放数据的检测精确度,进而有利于通过知识抽取挖掘电力碳减排潜力,并将提取得到的碳排放数融合后进行存储,能够对区域电力系统的碳排放数据进行精确控制。
在一些实施例中,所述根据所述正例输出和所述负例输出进行训练,包括:
统计每个正样本的正例输出与每个负样本的负例输出之间的输出差距,并从输出差距和预设阈值中选取最大值,通过累计所述最大值,建立铰链损失函数,根据所述铰链损失函数,对所述多分支并行神经网络进行训练。
在一些实施例中,除了根据所述实体关系,将所述非结构化数据作为基于预先训练的多分支并行神经网络的输入进行知识抽取,输出第一知识抽取结果外,还包括:
从所述区域电力系统中直接收集源侧、网侧和荷侧的结构化数据和半结构化数据,并基于数据库映射关系,对所述结构化数据进行知识抽取,得到第二知识抽取结果,基于分类算法,对所述半结构化数据进行知识抽取,得到第三知识抽取结果,以使根据所述融合实体标识和所述名称,对所述第一知识抽取结果、所述第二知识抽取结果和所述第三知识抽取结果同时进行知识融合;其中,所述第二知识抽取结果包括:所述结构化数据中的实体和实体之间的关系;所述第三知识抽取结果包括:所述半结构化数据中的实体和实体之间的关系。
在一些实施例中,所述根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,包括:
根据所述融合实体标识和所述名称,爬取融合实体多源信息,并根据多特征命名,消除所述第一知识抽取结果的实体歧义,得到无歧义结果;
对所述无歧义结果进行碳排放属性对齐,得到对齐结果,根据贝叶斯算法检测出所述对齐结果中的属性真值,对所述属性真值进行融合,得到所述实体关系对应的碳排放属性值。
在一些实施例中,所述将所述碳排放属性值存入碳排放知识库中,包括:
对所述碳排放属性值进行知识推理,挖掘与碳排放相关的缺失事实或隐含知识后,将所述缺失事实或所述隐含知识存入碳排放知识库中;所述碳排放知识库用于对碳排放数据进行管理。
在一些实施例中,所述根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,包括:
将区域电力系统的源侧、荷侧、网侧、风电、光伏、火电、水电、变电站、输电站、用户、工厂和碳表标记为实体,将实时碳排放强度、累计间接碳排放量、平均碳排放量标记为碳排放属性,将实体间的关联标记为关系,并根据所述实体、所述碳排放属性和所述关系,建立由实体-属性-属性值和头实体-关系-尾实体的三元组来表示实体关系;其中,所述关系包括:位于、属于和包含的关联;所述实体包括:所述头实体和所述尾实体。
在一些实施例中,所述区域电力系统包括:网侧电碳平台、需监测碳排放的多个源侧碳表、多个荷侧碳表和多个网侧电表,以及连接不同碳表的通信链路。
附图说明
图1是本发明提供的自底向上的构建方法流程的示意图;
图2是本发明提供的区域电力系统的碳排放管理的结构示意图;
图3是本发明提供的区域电力系统碳排放的知识图谱构建框架;
图4是本实施例提供的一种基于知识图谱的区域电力系统碳排放大数据分析方法的流程示意图;
图5是本实施例提供的区域电力系统的实体关系的示意图;
图6是本实施例提供的初始多分支并行神经网络的结构示意图;
图7是本实施例提供的区域电力系统碳排放知识融合的流程示意图;
图8是本实施例提供的完整的基于知识图谱的区域电力系统碳排放大数据分析方法的流程示意图;
图9是本实施例提供的一种基于知识图谱的区域电力系统碳排放大数据分析装置的结构示意图;
图10是本实施例提供的一种电子设备示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
当前对区域电力系统源、网、荷全环节的碳排放监测理论、方法、标准与设备还尚未完善。现阶段区域电力系统的直接碳排放监测主要基于宏观统计法,即根据全年、全省/大区的发电总燃料消耗换算得到总碳排放量。现行的用电间接碳排放监测主要基于平均碳排放因子法,该方法基于省级或大区电网级全年燃料统计值和发电量计算得到用户的单位用电碳排放因子,通过平均碳排放因子与用电量得到用户的用电间接碳排放量。现行的碳监测方法具有简单、可信、易操作等优点。
然而,现有的相关技术的碳检测方法简单,却无法对复杂关系的区域电力系统进行处理,导致无法系统性收集和组织复杂场景下的碳排放数据。基于此,本发明提出了基于知识图谱的区域电力系统碳排放大数据分析方法,利用知识图谱技术在构建知识网络与展现知识关联方面的巨大优势,引入知识图谱技术对区域电力系统的碳排放情况进行建模,为具有复杂关系的区域电力系统碳排放信息提供了一种新的获取、存储、组织、管理、更新和展示的手段。
为了清楚地阐述本发明的具体内容,本发明首先介绍一下知识图谱技术理论和区域电力系统碳排放的基本组成,然后介绍基于知识图谱的区域电力系统碳排放大数据分析方法的设计。
首先,介绍知识图谱技术理论的定义。2012年5月16日,谷歌公司为提升搜索引擎返回的答案质量和用户查询的效率首次发布了知识图谱(Knowledge Graph)。知识图谱并非新的概念,其雏形可追溯至上个世纪五六十年代所提出的一种知识表示形式—语义网络(Semantic Network)。语义网络的结构是由相互连接的点和边组成,节点表示概念或对象,边表示概念或对象间的关系。在学术上,研究者们将知识图谱定义为:结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系,其基本组成单位是“实体—关系—实体”三元组,以及实体及其相关属性—值对,实体间通过关系相互联结,构成网状的知识结构。总的来说,知识图谱本质上是一种语义网络,用图的形式描述客观事物,其中图指的是数据结构中的图,是由节点和边组成的,这是知识图谱(Knowledge Graph)的真实含义。
知识图谱中的节点表示概念和实体;边表示事物的关系和属性,其中事物的内部特征用属性来表示,外部联系用关系来表示。研究者为了简化对知识图谱的描述,将实体和概念统称为实体,将关系和属性统称为关系,进而还可以说知识图谱就是描述实体以及实体之间的关系。实体可以是人,地方,组织机构,概念等,关系的种类较多,可以是人与人之间的关系,人与组织之间的关系,概念与某个物体之间的关系等。
接着,介绍知识图谱的分层架构。知识图谱由模式层(SchemaLayer)和数据层(DataLayer)构成。模式层是知识图谱的概念模型和逻辑基础,对数据层进行规范约束。多采用本体作为知识图谱的模式层,借助本体定义的规则和公理约束知识图谱的数据层。也可将知识图谱视为实例化了的本体,知识图谱的数据层是本体的实例。如果不需支持推理,则知识图谱(大多是自底向上构建的)可以只有数据层而没有模式层。在知识图谱的模式层,节点表示本体概念,边表示概念间的关系。在数据层,事实以“实体-关系-实体”或“实体-属性-属性值”的三元组存储,形成一个图状知识库。其中,实体是知识图谱的基本元素,指具体的人名、组织机构名、地名、日期、时间等。关系是两个实体之间的语义关系,是模式层所定义关系的实例。属性是对实体的说明,是实体与属性值之间的映射关系。属性可视为实体与属性值之间的hasValue关系,从而也转化为以“实体-关系-实体”的三元组存储。在知识图谱的数据层,节点表示实体,边表示实体间关系或实体的属性。
根据上述的知识图谱分层结构,知识图谱的构建方法主要有两种:一种是自底向上的构建方法,一种是自定而下的构建方法。参见图1,是本发明提供的自底向上的构建方法流程的示意图,从开放链接的数据源中提取实体、属性和关系,加入到知识图谱的数据层;然后将这些知识要素进行归纳组织,逐步往上抽象为概念,最后形成模式层;而自顶而下的方法正好相反。
通常利用知识图谱分析数据,包括:数据获取(Data Acquisition)、信息抽取(Information Extraction)、知识融合(Knowledge Fusion)和知识加工(KnowledgeProcessing)。
(一)数据获取。数据获取是建立知识图谱的第一步。区域电力系统碳相关数据因与区域电力系统知识相关,具有专业性,属于特定范畴。因此可以对结构化的数据信息采取自顶向下的知识图谱构建技术,从数据文本中提取出实体和关系信息,放入到知识库里,用来表示各信息间的关系。知识图谱的构建包括数据的获取、信息的获取、知识融合和知识处理。通过从信息语料中抽取实体获得一系列实体,同时从语料信息中提取各实体间存在的关系,利用关系将各实体联系起来,组成网状知识结构。文本以碳监测设备传送至主站的碳排放信息为数据源,以碳监测设备为实体,将每一类信息都用实体与实体状态形式进行描述。知识图谱的逻辑框架采用“实体-关系-实体”或“实体-属性-属性值”进行表示。在知识图谱中用节点表示实体,用边来表示实体间的关系或属性。通过节点与边形成的可视化图形,使信息间的关系显而易见。目前,知识图谱数据源按来源渠道的不同可分为两种:一种是业务本身的数据,这部分数据通常包含在行业内部数据库表并以结构化的方式存储,是一种非公开或半公开的数据;另一种是网络上公开、抓取的数据,这些数据通常是以网页的形式存在,是非结构化数据。知识图谱数据源按数据结构的不同,可分为三种:结构化数据、半结构化数据和非结构化数据,根据不同的数据类型,将采用不同的方法进行处理。
(二)信息抽取。信息抽取的关键问题是如何从异构数据源中自动抽取信息得到候选知识单元。如前文所说,知识获取有两种渠道,前者只需要简单预处理即可以作为后续AI系统的输入,但后者一般需要借助于自然语言处理等技术来提取出结构化信息,这正是信息抽取的难点问题,涉及的关键技术包括实体抽取、关系抽取和属性抽取。
(三)知识融合。经由信息抽取之后的信息单元间的关系是扁平化的,缺乏层次性和逻辑性,同时存在大量冗余甚至错误的信息碎片。知识融合,简单理解,就是将多个知识库中的知识进行整合,形成一个知识库的过程,在这个过程中,主要关键技术包含指代消解、实体消歧和实体链接。不同的知识库,收集知识的侧重点不同,对于同一个实体,有知识库的可能侧重于其本身某个方面的描述,有的知识库可能侧重于描述实体与其它实体的关系,知识融合的目的就是将不同知识库对实体的描述进行整合,从而获得实体的完整描述。知识融合旨在解决如何将关于同一个实体或概念的多源描述信息融合起来。
(四)知识加工。海量数据在经信息抽取、知识融合之后得到一系列基本的事实表达,但这并不等同于知识,要想获得结构化,网络化的知识体系,还需要经过质量评估之后(部分需要人工参与甄别),才能将合格的部分纳入知识体系中以确保知识库的质量,这就是知识加工的过程。知识加工主要包括3方面内容:本体构建、知识推理和质量评估。
然后,介绍区域电力系统组成。区域电力系统是不限于省市区域的电力系统,该系统主要由分散设置在全网需要监测碳排放的各处的碳表、网侧电碳平台和连接各碳表的通信链路组成,碳表包括:需监测碳排放的多个源侧碳表、多个荷侧碳表和多个网侧电表。参见图2,是本发明提供的区域电力系统的碳排放管理的结构示意图。
区域电力系统碳排放系统主要由碳表和电碳平台通过网络化量测与集中式/分布式计算完成。碳表是用于实时测量和记录区域电力系统碳排放流基本指标的表计,其根据所安装位置的不同,可以分为:源侧、网侧和荷侧的3类碳表。源侧碳表安装在发电侧,其可以通过发电厂烟气传感器实时测量发电厂碳排放,或通过实时发电燃料消耗及燃料排放因子换算得到实时发电碳排放量,并将发电厂直接碳排放发送至网侧电碳平台;网侧碳表安装在输电网与配电网变电站以及跨省跨区电网计量关口,其通过与网侧电碳平台或其他碳表通信,实时计算线路碳流率、线路碳流密度、网损碳流率、网损间接碳排放量;荷侧碳表可直接集成在智能电表中,其采集用户用电功率信息和用户电气位置信息,根据网侧碳表信息,通过与网侧电碳平台以及其他碳表之间通信得到用电间接碳排放、用电碳排放因子信息,并记录用户累积碳排放。网侧电碳平台根据源侧直接碳排放计量结果,基于输电网潮流状态估计信息,采用碳排放流计算方法对网侧碳排放流碳排放进行追踪,并将碳排放追踪结果发送至网侧及荷侧碳表。
基于上述关于知识图谱和区域电力系统的技术介绍,进一步将介绍具体的基于知识图谱的区域电力系统碳排放大数据分析方法,但在此之前将先介绍基于知识图谱的区域电力系统碳排放的构建。
区域电力系统的碳排放知识图谱构建主要包括两个部分,模式层构建和数据层构建。模式层在有些研究中也称为概念层,是知识图谱的核心,在这一层从概念上决定了知识图谱要展示那些类型的知识,这一属性也使得模式层位于数据层之上,在本发明中首先在模式层确立区域电力系统碳排放知识图谱中的实体概念与关系概念,即知识表示。数据层是具体的数据,是知识的具体展现形式。因此,本发明其次在数据层中完成区域电力系统碳排放的知识抽取、知识融合、知识推理和知识存储的过程。参见图3,是本发明提供的区域电力系统碳排放的知识图谱构建框架。
在图3中,知识表示模块主要的作用是将区域电力系统碳排放的相关知识进行转化,形成计算机能够计算和储存的结构化知识;知识抽取模块主要是将区域电力系统碳排放非结构化、半结构化和结构化数据中的知识要素进行有效提取;知识融合模块能够将实体、关系、属性和对象之间的歧义进行消除,并对新知识进行补充、对旧知识进行更新;区域电力系统碳排放知识推理模块的主要作用是挖掘现有知识缺失事实或者隐含的知识,进一步扩展和丰富区域电力系统碳排放知识库;知识储存模块的作用是设计高效的储存模式来有效管理区域电力系统碳排放数据。
接下来的部分将通过具体的实施例,详细介绍基于知识图谱的区域电力系统碳排放大数据分析方法的技术方案。
实施例1
参见图4,是本实施例提供的一种基于知识图谱的区域电力系统碳排放大数据分析方法的流程示意图,包括:步骤S11~S13,具体为:
步骤S11、根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,并从公共平台上采集对所述区域电力系统的源侧、网侧和荷侧发布的非结构化数据。
在一些实施例中,所述区域电力系统包括:网侧电碳平台、需监测碳排放的多个源侧碳表、多个荷侧碳表和多个网侧电表,以及连接不同碳表的通信链路。
在一些实施例中,所述源侧碳表安装在发电侧,用于将监测的发电碳排放数据传输给所述网侧电碳平台。
在一些实施例中,所述网侧碳表安装在输电网与配电网变电站,以及跨区电网计量关口,用于根据从所述网侧电碳平台接收的碳排放追踪结果或根据与其他网侧碳表的通信,计算实时的网侧碳排放数据。
在一些实施例中,所述荷侧碳表集成在智能电表中,用于根据采集的初始用户碳排放数据,并根据从所述网侧电碳平台接收的碳排放追踪结果或根据与其他网侧碳表的通信,计算实时的荷侧碳排放数据。
在一些实施例中,所述网侧电碳平台,用于接收所述源侧碳表的发电碳排放数据,直接计算源侧碳排放数据,并对所述源侧碳排放数据进行跟踪,将得到的碳排放追踪结果发送至所述网侧碳表和所述荷侧碳表。
在一些实施例中,所述碳排放数据包括:所述网侧碳排放数据、所述荷侧碳排放数据和所述源侧碳排放数据。
值得说明的是,根据先前介绍的区域电力系统组成,在步骤S11中构建了本实施例所使用的区域电力系统。碳排放数据包括:从所述区域电力系统中直接收集源侧、网侧和荷侧的结构化数据和半结构化数据,以及从公共平台上采集所述区域电力系统的源侧、网侧和荷侧发布的非结构化数据(例如报告数据)。
在一些实施例中,将区域电力系统的源侧、荷侧、网侧、风电、光伏、火电、水电、变电站、输电站、用户、工厂和碳表标记为实体,将实时碳排放强度、累计间接碳排放量、平均碳排放量标记为碳排放属性,将实体间的关联标记为关系,并根据所述实体、所述碳排放属性和所述关系,建立由实体-属性-属性值和头实体-关系-尾实体的三元组来表示实体关系;其中,所述关系包括:位于、属于和包含的关联;所述实体包括:所述头实体和所述尾实体。
在一些实施例中,采用SPO三元组对区域电力系统的碳排放数据进行知识表示,SPO三元组是主语(Subject)、谓语(Predicate)和宾语(Object)三个元素组成的。
在一些实施例中,由SPO三元组对区域电力系统的碳排放数据进行知识表示,可以写为:
,
其中,为一个三元组,/>为头实体,/>为尾实体,/>则为/>到/>的约束关系;/>、/>、/>分别为知识图谱网络的实体、关系与三元组集合。
在一些实施例中,根据TransE(Translating Embeddings,知识表示)的知识图谱分布式表示方法需要获取与三元组对应的负三元组,负三元组是根据从初始的三元组中随机抽取一个样本后,用样本替代初始的三元组中的元素得到的。
在一些实施例中,初始三元组可以表示为,初始三元组集合可以表示为/>,负三元组可以表示为/>,负三元组集合可以表示为/>。
在一些实施例中,负三元组集合可以写为:
,
其中,为负三元组集合,/>和/>分别为从三元组集合随机抽取的头实体样本和尾实体样本。
在一些实施例中,负三元组集合可以写为:
,
其中,为负三元组集合,/>为从三元组集合随机抽取的关系样本。
在一些实施例中,负三元组集合是抽取的至少一个样本替换初始三元组样本得到的。
值得说明的是,三元组其由两个语义关联的碳排放系统实体与实体关系构成,具体形式为:(实体,属性,属性值)和(实体1,关系,实体2)。
在一些实施例中,概念主要为碳排放系统中所涉及的对象,对象包括:源侧、荷侧、网侧、风电、光伏、火电、水电、变电站、输电站、用户、工厂和碳表。
值得说明的是,知识图谱当中最为基本的元素为实体,例如变电站、荷侧、用户、输电网等;关系是指不同实体之间的关联,例如位于、属于和包含等;属性是指对象可能具备的参数和特征,例如源侧的属性(风电、火电等);属性值为对象特定属性所对应的值。
在一些实施例中,根据以上知识表示方法可以得到区域电力系统的碳排放知识图谱的实体与属性对照关系,参见表1,是本实施例提供的区域电力系统的碳排放知识图谱的实体与属性对照关系表。
表1区域电力系统的碳排放知识图谱的实体与属性对照关系表
在一些实施例中,根据表1,得到区域电力系统的碳排放知识图谱的实体关系,参见表2,是本实施例提供的区域电力系统的碳排放知识图谱的实体关系表,在表2中,实体2为头实体,实体1为尾实体,可以看到在一对头实体-关系-尾实体的实体关系中,例如:变电站(实体2)-属于(关系)-网侧(尾实体),在另一对头实体-关系-尾实体的实体关系中,例如:碳表(实体2)-属于(关系)-变电站(实体1)的实体关系中,变电站在不同的实体关系对中,既可以是头实体也可以是尾实体。
表2区域电力系统的碳排放知识图谱的实体关系表
在一些实施例中,根据表2,实体关系可以反映出各个实体之间的关联属性,参见图5,是本实施例提供的区域电力系统的实体关系的示意图。
值得说明的是,区域电力系统碳排放的知识抽取的主要目的是需要从非结构化、半结构化和结构化数据当中抽取相关知识,但对于不同结构数据所选用的知识提抽取方法不同。在区域电力系统碳相关数据采集和整理方面,需从各个环节采集与碳排放相关的数据,包括发电源的排放数据、电网运行数据、用电负荷数据等。这些数据来自于传感器(包括:电表和碳表)、监控设备(如尾气排放监测)、负荷侧企业用能及运营数据系统等,这些数据属于业务本身数据,是结构化数据或是半结构化数据;当从其他平台上收集对区域电力系统发布的报告数据时,得到碳排放的非结构化数据。
在一些实施例中,分别采集区域电力系统的源侧、网侧和荷侧的碳排放数据,包括:采集区域电力系统发电源的碳排数据、电网运行数据和用电负荷数据,得到结构化数据和半结构化数据,以及从公共平台上收集区域电力系统的报告数据,得到非结构化数据。
在一些实施例中,非结构化数据的来自相关报告的实体和文档,相关报告包括:能源统计年鉴;能源供应、转换和消费的统计数据;气候变化政策报告;能源统计和碳排放报告;世界发展指标(TheWorld Development Indicators,WDI);碳排放工作论文和政策简报;温室气体报告和指南;年度碳排放报告;碳追踪计划研究报告;气候变化评估报告;全球碳预算报告;碳排放数据库和清单。
值得说明的是,上述组织报告中主要包含文本(非结构性语言)+数据(结构性语言),这些数据内容是非结构化数据。
在一些实施例中,除了将所述碳排放数据中的非结构化数据,作为基于预先训练的多分支并行神经网络的输入,输出第一知识抽取结果,还包括:从所述区域电力系统中直接收集源侧、网侧和荷侧的结构化数据和半结构化数据,并基于数据库映射关系,对所述结构化数据进行知识抽取,得到第二知识抽取结果,基于分类算法,对所述半结构化数据进行知识抽取,得到第三知识抽取结果,以使根据所述融合实体标识和所述名称,对所述第一知识抽取结果、所述第二知识抽取结果和所述第三知识抽取结果同时进行知识融合;其中,所述第二知识抽取结果包括:所述结构化数据中的实体和实体之间的关系;所述第三知识抽取结果包括:所述半结构化数据中的实体和实体之间的关系。
在一些实施例中,数据库映射关系为R2RML。
在一些实施例中,分类算法为支持向量机(Support Vector Machines, SVM)。
值得说明的是,从关系数据库(Relational Databases, RDB)到资源描述框架(Resource Description Framework, RDF)数据集映射的语言,被称为R2RML(RDB to RDFMapping Language),以一个或多个三元组映射元素的形式定义RDB到RDF的映射;支持向量机用于对半结构化数据进行特征提取,得到知识抽取结果。
值得说明的是,碳排放数据包括:非结构化数据、结构化数据和半结构化数据。
采用R2RML语言对结构化数据直接进行抽取,而由于半结构化数据具有重复性较高的特点,所以采用基于有监督的包装器的方式(基于SVM的包装器)对区域电力系统半结构化数据进行知识抽取,进而完成对具有某种关系的区域电力系统碳排放数据进行知识抽取。结构化数据和半结构化数据知识提取相对简单,在此就不再赘述。
步骤S12、根据所述实体关系,将所述非结构化数据作为基于预先训练的多分支并行神经网络的输入进行知识抽取,输出第一知识抽取结果;其中,所述第一知识抽取结果包括:所述非结构化数据中的实体和实体之间的关系;多分支并行神经网络并行的多个分支网络结构相同,且结构相互独立,仅在多分支并行神经网络输入前和输入后进行数据融合。
在一些实施例中,针对非结构数据的知识抽取,多分支并行神经网络采用改进的多分支并行神经网络算法(improved Multi Branch Parallel Neural Network,MBPNN)进行知识抽取,得到区域电力系统非结构数据中所包含的实体及其之间存在的关系。
在一些实施例中,获取预先训练的多分支并行神经网络,包括:将初始实体关系作为正样本,从所述区域电力系统对象中随机抽取样本替换所述初始实体关系中的元素,得到负样本,分别将所述正样本和所述负样本作为初始多分支并行神经网络的输入,分别输出正例输出和负例输出,根据所述正例输出和所述负例输出进行训练,得到所述多分支并行神经网络。
值得说明的是,正样本是初始三元组,负样本是负三元组,正样本和负样本都分别作为初始多分支并行神经网络的输入,并分别输出正例输出和负例输出。
在一些实施例中,将所述正样本作为初始多分支并行神经网络的输入,输出正例输出,包括:将所述正样本对应的头实体、关系和尾实体进行至少两两融合后,将得到的多个第一融合结果分别作为所述初始多分支并行神经网络的输入,输出并行的多个输出结果;所述第一融合结果包括:由所述头实体与所述关系的融合、由所述关系与所述尾实体的融合、和由所述头实体、所述关系与所述尾实体的融合;对所述多个输出结果做两两融合,得到多个第二融合结果,将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出;所述多个第二融合结果包括:由第一个分支网络的输出结果与第二个分支网络的输出结果的融合、由第二个分支网络的输出结果与第三个分支网络的输出结果的融合和由第一个分支网络的输出结果与第三个分支网络的输出结果的融合。
值得说明的是,第一融合结果是在输入到初始多分支并行神经网络前,对正样本的元素进行至少两两融合后的融合结果,第二融合结果是初始多分支并行神经网络输出后,将输出结果进行两两融合的融合结果。
在一些实施例中,参见图6,是本实施例提供的初始多分支并行神经网络的结构示意图,初始多分支并行神经网络包括三个分支网络,三个分支网络分别对应头实体、关系和尾实体,在输入到初始多分支并行神经网络前,对正样本对应的三元组的头实体与关系进行交互,将头实体、尾实体和关系进行交互,以及将尾实体与关系进行交互,得到三个不同的融合结果后,输入到三个并行的分支网络中,每个分支网络相互独立,且结构相同,均包括:一层交互层、一层非线性层和一层输出层。
在图6中,在输出层输出后,得到三个并行的输出结果,并将头实体对应的第一个分支网络的输出结果,与关系实体对应的第二个分支网络的输出结果进行交互,得到;将第一个分支网络的输出结果与尾实体对应的第三个分支网络的输出结果进行交互,得到/>;将第二个分支网络的输出结果与第三个分支网络的输出结果进行交互,得到/>。
在图6的交互层中,并行的分支网络进行交互时,为来自其他分支网络的元素添加下划线进行表示。例如:在第一个分支网络中,是第二分支网络的输入,/>是第一分支网络自身的元素。值得说明的是,第一个分支网络为头实体与关系进行知识抽取,通过交互层将头实体与关系进行交互(Interaction);第二个分支网络为头实体、关系和尾实体进行知识抽取,通过交互层将头实体、关系和尾实体进行交互;第三个分支网络为尾实体和关系进行知识抽取,通过交互层尾实体和关系进行交互。三个交互层分别输出:/>、/>和/>。
在图6中的非线性层中,三个分支网络是分别对输入的、/>和/>,进行处理,分别输出/>、/>和/>,非线性层为神经网络的隐藏层,在图6中只给出了一层隐藏层,在其他实施例中,可有多层隐藏层。
在图6中的输出层中,三个分支网络分别对输入的、/>和/>,进行全连接输出,分别输出/>、/>和/>。
在一些实施例中,交互层、非线性层和输出层的前向传播函数可以分别表示为:
,/>
,
,
其中,、/>和/>分别为并行的三个分支网络在交互层的传播权重矩阵,上标/>为转置,/>、/>和/>分别为三个分支网络在交互层的偏置项;/>、/>和/>分别为在非线性层的传播权重矩阵,/>、/>和/>分别为三个分支网络在交互层的偏置项,/>、/>和/>分别为在非线性层的输出;/>、/>和/>分别在输出层的传播权重矩阵,、/>和/>分别为在输出层的输出结果,/>、/>和/>分别为三个分支网络在交互层的偏置项。
值得说明的是,在图6中并没有画出三个分支网络交互层、非线性层和输出层的偏置项,简单标出了前向传播函数(函数)和传播权重矩阵,以及标出了各层的输入和输出。
在一些实施例中,MBPNN网络在训练时,采用误差反向传播(Back Propagation,BP)算法。由于多分支网络的输入对于正样本具有相似度,而对负样本的相似度则较低。因此,传统网络的损失函数会在正负样本间震荡。为了克服该影响,引入了比例Sigmoid函数。
在一些实施例中,所述将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出,包括:将依次将多个第二融合结果通过两次Sigmoid激活函数的连续映射,得到映射结果,统计所述多个第二融合结果对应的映射结果,得到正例输出。
在一些实施例中,正例输出可以表示为:
,
其中,为动态调整因子,其可调节Sigmoid函数的取值范围,/>为第二融合结果的Sigmoid函数。
值得说明的是,是为初始多分支并行网络的输出进行交互,得到融合结果,再将融合结果取Sigmoid函数的结果,/>为对/>按比例再做一次Sigmoid函数操作得到的。本实施例采用两次Sigmoid激活函数对输出结果进行处理,能够解决正负样本输出相似度差距大的问题,减少正负样本间震荡,从而提高复杂场景下的碳排放数据的检测精确度,进而有利于通过知识抽取挖掘电力碳减排潜力,并将提取得到的碳排放数融合后进行存储,能够对区域电力系统的碳排放数据进行精确控制。
在一些实施例中,所述根据所述正例输出和所述负例输出进行训练,包括:统计每个正样本的正例输出与每个负样本的负例输出之间的输出差距,并从输出差距和预设阈值中选取最大值,通过累计所述最大值,建立铰链损失函数,根据所述铰链损失函数,对所述多分支并行神经网络进行训练。
在一些实施例中,预设阈值为0。
在一些实施例中,教练损失函数可以表示为:
,
其中,为负样本输入到初始多分支并行网络后,输出的负例输出;/>是正样本对应的正例输出;/>是正负样本间隔,/>为负样本/>的负样本集合,/>为正样本/>的正样本集合。
在一些实施例中,得到负例输出的过程,包括:将负样本的头实体、关系和尾实体进行至少两两融合后,将得到的多个融合结果分别作为初始多分支并行神经网络的输入,输出负样本的并行的多个输出结果,再将负样本的多个输出结果做两两融合,得到负样本的多个融合结果,将负样本的每个融合结果通过预设激活函数进行输出融合,得到负例输出。
在一些实施例中,将负样本的每个第二融合结果通过预设激活函数进行输出融合,得到负例输出,包括:将依次将负样本对应的多个融合结果通过两次Sigmoid激活函数的连续映射,得到映射结果,统计负样本对应的多个映射结果,得到负例输出。
步骤S13、获取融合实体标识和名称,并根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,将所述碳排放属性值存入碳排放知识库中。
在一些实施例中,所述根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,包括:根据所述融合实体标识和所述名称,爬取融合实体多源信息,并根据多特征命名,消除所述第一知识抽取结果的实体歧义,得到无歧义结果;对所述无歧义结果进行碳排放属性对齐,得到对齐结果,根据贝叶斯算法检测出所述对齐结果中的属性真值,对所述属性真值进行融合,得到所述实体关系对应的碳排放属性值。
在一些实施例中,根据所述融合实体标识和所述名称,对所述第一知识抽取结果、所述第二知识抽取结果和所述第三知识抽取结果同时进行知识融合,包括:根据融合实体标识和名称,爬取融合实体多源信息,并根据多特征命名,同时消除第一知识抽取结果、第二知识抽取结果和第三知识抽取结果的实体歧义,得到无歧义结果;对所述无歧义结果进行碳排放属性对齐,得到对齐结果,根据贝叶斯算法检测出对齐结果中的属性真值,对属性真值进行融合,得到实体关系对应的碳排放属性值。
值得说明的是,区域电力系统碳排放的知识融合是将同一实体在不同知识库中的知识进行多层面融合,其本质是将同一实体或概念的多源描述信息融合在一起。
在一些实施例中,参见图7,是本实施例提供的区域电力系统碳排放知识融合的流程示意图。在图7中,在进行区域电力系统碳排放知识融合前,收集到的数据源主要包括:结构化数据的知识抽取结果、半结构化数据的知识抽取结果和非结构化数据的知识抽取结果。对碳排放数据进行知识抽取后,得到的多个知识抽取结果的特征并不规范,需要进一步的进行统一和融合。融合时,需要导入融合实体标识(Identity document,ID)和名称,经过实体多源信息的爬取融合,进行多特征命名的实体消歧,在对属性进行对齐、发现属性真值,最后输出融合的结果,最终获取与区域电力系统碳排放相关属性对应的属性值。
在一些实施例中,采用多特征命名来消除实体歧义,基于词典(中文分词)实现属性对齐,利用贝叶斯算法发现属性真值,最终完成知识融合。
在一些实施例中,所述将所述碳排放属性值存入碳排放知识库中,包括:对所述碳排放属性值进行知识推理,挖掘与碳排放相关的缺失事实或隐含知识后,将所述缺失事实或所述隐含知识存入碳排放知识库中;所述碳排放知识库用于对碳排放数据进行管理。
在一些实施例中,选用规则推理方法来进行知识推理,将区域电力系统碳排放领域的专家知识形式化,形成一些推理规则,对区域电力系统碳排放知识进行推理。利用知识图谱推理技术,可以从已有的碳排放数据中推断出一些隐藏的关系和规律。
在一些实施例中,可以利用推理技术来发现不同能源结构和发电源类型组合下的碳排放规律、电网高峰和低谷时期的系统运行对该区域碳排放的影响、不同工业用电负荷与碳排放之间的关系等。
在一些实施例中,针对区域电力系统碳排放的知识存储,本实施例选择Neo4j图数据库作为知识储存工具。
值得说明的是,Neo4j是一种高性能的NoSQL图形数据库,可以将知识融合的结果存储在网络中,该数据库中的数据表示与储存均通过图形结构完成,且查询操作简单,关系路径可以基于图数据结构算法进行查找。使用Neo4j图数据库的优点包括:使用图结构的自然伸展特性来设计免索引邻近节点遍历的查询算法,即图的遍历算法设计;其次,考虑碳业务需求会随着时间和条件的改变而发生变化,随着需求的变化而增加的节点、关系及其属性并不会影响到原来数据的正常使用,避免采取推倒重来的方法重构整个应用系统。
将本实施例的基于知识图谱的区域电力系统碳排放大数据分析方法进行概括,包括:根据区域电力系统的基本组成和特点构建区域电力系统碳排放的知识图谱,得到区域电力系统碳排放知识图谱构建框架;然后对区域电力系统碳排放的相关信息进行知识表示,即将区域电力系统碳排放的相关知识进行转化,形成计算机能够计算和储存的结构化知识;知识表示后进行知识抽取,知识抽取主要是将区域电力系统碳排放非结构化、半结构化和结构化数据中的知识要素进行有效提取;之后进行知识融合,这一过程的目的是将实体、关系、属性和对象之间的歧义进行消除,并对新知识进行补充、对旧知识进行更新;知识融合完成后,实现对区域电力系统碳排放知识推理,挖掘现有知识缺失事实或者隐含的知识,进一步扩展和丰富区域电力系统碳排放知识库;最后,设计高效的储存模式来有效管理区域电力系统碳排放数据,即知识存储。
本实施例根据区域电力系统的基本组成模型,构造了基于知识图谱的区域电力系统碳排放的检测模型,完成了区域电力系统碳排放的知识图谱构建,实现了基于知识图谱的区域电力系统碳排放多元数据筛选融合的过程,为区域电力系统中的碳排放进行实时、准确、全面的监测评估,掌握区域电力系统碳排放现状与趋势提供方法支撑。
实施例2
参见图8,是本实施例提供的完整的基于知识图谱的区域电力系统碳排放大数据分析方法的流程示意图,包括:步骤S21~S26,具体为:
步骤S21、对所述区域电力系统的碳排放知识进行表示。具体地,给定某个区域电力系统的基本组成,分析系统的组成,根据区域电力系统的基本组成和特点,构建区域电力系统碳排放的知识图谱基本框架,对区域电力系统碳排放的相关信息进行知识表示,得到区域电力系统碳排放知识图谱的实体关系。
步骤S22、采集区域电力系统的碳排放数据。具体地,采集包括:区域电力系统发电源的排放数据、电网运行数据和用电负荷数据,以及从其他平台上收集对区域电力系统发布的报告数据。区域电力系统发电源的排放数据、电网运行数据和用电负荷数据是结构化或是半结构化数据;从其他平台上收集对区域电力系统发布的报告数据,为非结构化数据。
步骤S23、知识抽取。具体地,针对区域电力系统碳排放的相关信息的特点,对结构化数据进行知识抽取(R2RML)、半结构化数据进行知识抽取(基于SVM的包装器)和非结构化数据进行知识抽取(MBPNN)。
步骤S24、知识融合。具体地,根据步骤S23中提取的不同结构类型的知识抽取结果进行知识融合,将实体、关系、属性和对象之间的歧义进行消除,并对新知识进行补充、对旧知识进行更新,此过程中利用多特征命名来消除实体歧义,基于词典(比如使用中文分词)实现属性对齐,利用贝叶斯算法发现属性真值,最终完成知识融合。
步骤S25、得到区域电力系统碳排放知识融合后的数据后,对区域电力系统碳排放知识融合后的知识进行知识推理,挖掘现有知识缺失事实或者隐含的知识,进一步扩展和丰富区域电力系统碳排放知识库。
步骤S26、设计高效的储存模式来有效管理区域电力系统碳排放数据,完成区域电力系统碳排放知识的最终知识存储。
值得说明的是,本实施例提出的基于知识图谱的区域电力系统碳排放大数据分析方法,根据电力系统的基本组成模型,构造了基于知识图谱的区域电力系统碳排放的检测模型,完成了区域电力系统碳排放的知识图谱构建,实现了基于知识图谱的区域电力系统碳排放多元数据筛选融合的过程,为电力系统中的碳排放进行实时、准确、全面的监测评估,掌握电力系统碳排放现状与趋势提供方法支撑。
本实施例先对区域电力系统进行知识表示,获取区域电力系统对象的实体关系,并同时采集碳排放数据,并基于知识图谱,采用多分支并行神经网络对非结构碳排放数据进行知识抽取,能够准确抓取非结构化数据,从而能够提高复杂场景下的碳排放数据的检测精确度,进而有利于掌握电力行业碳排放现状与趋势,并通过知识抽取挖掘电力碳减排潜力,并将提取得到的碳排放数融合后进行存储,能够对区域电力系统的碳排放数据进行精确控制,通过碳排放知识库对区域电力系统的碳排放数据进行管理,有利于基于知识图谱获取碳排放数据后引导电力用户互动减碳、促进电力经济低碳转型和支撑碳市场健康发展。
实施例3
参见图9,是本实施例提供的一种基于知识图谱的区域电力系统碳排放大数据分析装置的结构示意图,区域电力系统碳排放大数据分析装置包括:数据采集模块31、知识抽取模块32和知识融合模块33。
值得说明的是,数据采集模块31主要用于对区域电力系统对象的实体关系进行表示,以及对碳排放数据进行采集,并将实体关系和非结构化数据传输给知识抽取模块32;知识抽取模块32接收到实体关系和非结构化数据后,进行知识抽取,并将取得的知识抽取结果传输给知识融合模块33;知识融合模块33将知识抽取结果进行融合,得到碳排放属性值,并将碳排放属性值存入碳排放知识库中。
数据采集模块31,用于根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,并从公共平台上采集对所述区域电力系统的源侧、网侧和荷侧发布的非结构化数据。
在一些实施例中,所述区域电力系统包括:网侧电碳平台、需监测碳排放的多个源侧碳表、多个荷侧碳表和多个网侧电表,以及连接不同碳表的通信链路。
在一些实施例中,所述源侧碳表安装在发电侧,用于将监测的发电碳排放数据传输给所述网侧电碳平台。
在一些实施例中,所述网侧碳表安装在输电网与配电网变电站,以及跨区电网计量关口,用于根据从所述网侧电碳平台接收的碳排放追踪结果或根据与其他网侧碳表的通信,计算实时的网侧碳排放数据。
在一些实施例中,所述荷侧碳表集成在智能电表中,用于根据采集的初始用户碳排放数据,并根据从所述网侧电碳平台接收的碳排放追踪结果或根据与其他网侧碳表的通信,计算实时的荷侧碳排放数据。
在一些实施例中,所述网侧电碳平台,用于接收所述源侧碳表的发电碳排放数据,直接计算源侧碳排放数据,并对所述源侧碳排放数据进行跟踪,将得到的碳排放追踪结果发送至所述网侧碳表和所述荷侧碳表。
在一些实施例中,所述碳排放数据包括:网侧、荷侧和源侧的结构化数据、非结构化数据和半结构化数据。
在一些实施例中,所述根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,包括:将区域电力系统的源侧、荷侧、网侧、风电、光伏、火电、水电、变电站、输电站、用户、工厂和碳表标记为实体,将实时碳排放强度、累计间接碳排放量、平均碳排放量标记为碳排放属性,将实体间的关联标记为关系,并根据所述实体、所述碳排放属性和所述关系,建立由实体-属性-属性值和头实体-关系-尾实体的三元组来表示实体关系;其中,所述关系包括:位于、属于和包含的关联;所述实体包括:所述头实体和所述尾实体。
知识抽取模块32,用于根据所述实体关系,将所述非结构化数据作为基于预先训练的多分支并行神经网络的输入进行知识抽取,输出第一知识抽取结果;其中,所述第一知识抽取结果包括:所述非结构化数据中的实体和实体之间的关系;多分支并行神经网络并行的多个分支网络结构相同,且结构相互独立,仅在多分支并行神经网络输入前和输入后进行数据融合。
在一些实施例中,获取预先训练的多分支并行神经网络,包括:将初始实体关系作为正样本,从所述区域电力系统对象中随机抽取样本替换所述初始实体关系中的元素,得到负样本,分别将所述正样本和所述负样本作为初始多分支并行神经网络的输入,分别输出正例输出和负例输出,根据所述正例输出和所述负例输出进行训练,得到所述多分支并行神经网络。
在一些实施例中,将所述正样本作为初始多分支并行神经网络的输入,输出正例输出,包括:将所述正样本对应的头实体、关系和尾实体进行至少两两融合后,将得到的多个第一融合结果分别作为所述初始多分支并行神经网络的输入,输出并行的多个输出结果;所述第一融合结果包括:由所述头实体与所述关系的融合、由所述关系与所述尾实体的融合、和由所述头实体、所述关系与所述尾实体的融合;对所述多个输出结果做两两融合,得到多个第二融合结果,将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出;所述多个第二融合结果包括:由第一个分支网络的输出结果与第二个分支网络的输出结果的融合、由第二个分支网络的输出结果与第三个分支网络的输出结果的融合和由第一个分支网络的输出结果与第三个分支网络的输出结果的融合。
在一些实施例中,所述将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出,包括:将依次将多个第二融合结果通过两次Sigmoid激活函数的连续映射,得到映射结果,统计所述多个第二融合结果对应的映射结果,得到正例输出;所述正例输出表示为:
,
其中,为第二交互结果的Sigmoid函数;/>为动态调整因子,用于调节Sigmoid函数的取值范围;/>为头实体,/>为尾实体,/>为/>到/>的约束关系。
在一些实施例中,所述根据所述正例输出和所述负例输出进行训练,包括:统计每个正样本的正例输出与每个负样本的负例输出之间的输出差距,并从输出差距和预设阈值中选取最大值,通过累计所述最大值,建立铰链损失函数,根据所述铰链损失函数,对所述多分支并行神经网络进行训练。
在一些实施例中,除了根据所述实体关系,将所述非结构化数据作为基于预先训练的多分支并行神经网络的输入进行知识抽取,输出第一知识抽取结果外,还包括:从所述区域电力系统中直接收集源侧、网侧和荷侧的结构化数据和半结构化数据,并基于数据库映射关系,对所述结构化数据进行知识抽取,得到第二知识抽取结果,基于分类算法,对所述半结构化数据进行知识抽取,得到第三知识抽取结果,以使根据所述融合实体标识和所述名称,对所述第一知识抽取结果、所述第二知识抽取结果和所述第三知识抽取结果同时进行知识融合;其中,所述第二知识抽取结果包括:所述结构化数据中的实体和实体之间的关系;所述第三知识抽取结果包括:所述半结构化数据中的实体和实体之间的关系。
知识融合模块33,用于获取融合实体标识和名称,并根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,将所述碳排放属性值存入碳排放知识库中。
在一些实施例中,所述根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,包括:根据所述融合实体标识和所述名称,爬取融合实体多源信息,并根据多特征命名,消除所述第一知识抽取结果的实体歧义,得到无歧义结果;对所述无歧义结果进行碳排放属性对齐,得到对齐结果,根据贝叶斯算法检测出所述对齐结果中的属性真值,对所述属性真值进行融合,得到所述实体关系对应的碳排放属性值。
在一些实施例中,所述将所述碳排放属性值存入碳排放知识库中,包括:对所述碳排放属性值进行知识推理,挖掘与碳排放相关的缺失事实或隐含知识后,将所述缺失事实或所述隐含知识存入碳排放知识库中;所述碳排放知识库用于对碳排放数据进行管理。
本实施例采用数据采集模块31先对区域电力系统进行知识表示,获取区域电力系统对象的实体关系,并同时采集碳排放数据,并通过知识抽取模块32基于知识图谱,采用多分支并行神经网络对非结构碳排放数据进行知识抽取,能够准确抓取非结构化数据,从而能够提高复杂场景下的碳排放数据的检测精确度,进而有利于掌握电力行业碳排放现状与趋势,并通过知识融合模块33挖掘电力碳减排潜力,并将提取得到的碳排放数融合后进行存储,能够对区域电力系统的碳排放数据进行精确控制,通过碳排放知识库对区域电力系统的碳排放数据进行管理,有利于基于知识图谱获取碳排放数据后引导电力用户互动减碳、促进电力经济低碳转型和支撑碳市场健康发展。
实施例4
本实施例提供了一种可读计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现基于实施例1提供的基于知识图谱的区域电力系统碳排放大数据分析方法的步骤。
本实施例通过将第一方面所述的基于知识图谱的区域电力系统碳排放大数据分析方法以程序的形式存储在存储介质中时,能够通过运行或者读取存储介质中的可执行程序,可以在不同操作系统和终端上对区域电力系统的碳排放数据快速采集、组织、存储和查看等操作,适用更多操作系统以及不同应用平台,可扩展性更强。
实施例5
是本实施例提供的一种电子设备,参见图10,是本实施例提供的一种电子设备示意图。电子设备包括:存储器51、处理器52以及存储在存储器51上并可在处理器52上运行的计算机程序,处理器52执行计算机程序时实现基于实施例1提供的基于知识图谱的区域电力系统碳排放大数据分析方法的步骤;其中,通过通信接口53获取计算机程序,并通过通信总线54与存储器51和处理器52传输交互的数据。
本实施例通过将第一方面所述的基于知识图谱的区域电力系统碳排放大数据分析方法集成在电子设备上时,能够通过各种电子设备对电力系统的碳排放数据,基于知识图谱进行快速现场采集、组织、存储和查看等操作,适用场景更多,场景可扩展性更强。
本领域内的技术人员应明白,本申请的实施例还可提供包括计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于知识图谱的区域电力系统碳排放大数据分析方法,其特征在于,包括:
根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,并从公共平台上采集对所述区域电力系统的源侧、网侧和荷侧发布的非结构化数据;
根据所述实体关系,将所述非结构化数据作为基于预先训练的多分支并行神经网络的输入进行知识抽取,输出第一知识抽取结果;其中,所述第一知识抽取结果包括:所述非结构化数据中的实体和实体之间的关系;多分支并行神经网络并行的多个分支网络结构相同,且结构相互独立,仅在多分支并行神经网络输入前和输入后进行数据融合;
获取融合实体标识和名称,并根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,将所述碳排放属性值存入碳排放知识库中;
所述根据所述融合实体标识和所述名称,对所述第一知识抽取结果进行知识融合,得到所述实体关系对应的碳排放属性值,包括:
根据所述融合实体标识和所述名称,爬取融合实体多源信息,并根据多特征命名,消除所述第一知识抽取结果的实体歧义,得到无歧义结果;
对所述无歧义结果进行碳排放属性对齐,得到对齐结果,根据贝叶斯算法检测出所述对齐结果中的属性真值,对所述属性真值进行融合,得到所述实体关系对应的碳排放属性值;
所述根据区域电力系统的组成,对所述区域电力系统的碳排放知识进行表示,得到区域电力系统对象的实体关系,包括:
将区域电力系统的源侧、荷侧、网侧、风电、光伏、火电、水电、变电站、输电站、用户、工厂和碳表标记为实体,将实时碳排放强度、累计间接碳排放量、平均碳排放量标记为碳排放属性,将实体间的关联标记为关系,并根据所述实体、所述碳排放属性和所述关系,建立由实体-属性-属性值和头实体-关系-尾实体的三元组来表示实体关系;其中,所述关系包括:位于、属于和包含的关联;所述实体包括:所述头实体和所述尾实体。
2.如权利要求1所述的区域电力系统碳排放大数据分析方法,其特征在于,获取预先训练的多分支并行神经网络,包括:
将初始实体关系作为正样本,从所述区域电力系统对象中随机抽取样本替换所述初始实体关系中的元素,得到负样本,分别将所述正样本和所述负样本作为初始多分支并行神经网络的输入,分别输出正例输出和负例输出,根据所述正例输出和所述负例输出进行训练,得到所述多分支并行神经网络。
3.如权利要求2所述的区域电力系统碳排放大数据分析方法,其特征在于,将所述正样本作为初始多分支并行神经网络的输入,输出正例输出,包括:
将所述正样本对应的头实体、关系和尾实体进行至少两两融合后,将得到的多个第一融合结果分别作为所述初始多分支并行神经网络的输入,输出并行的多个输出结果;所述第一融合结果包括:由所述头实体与所述关系的融合、由所述关系与所述尾实体的融合、由所述头实体、所述关系与所述尾实体的融合;
对所述多个输出结果做两两融合,得到多个第二融合结果,将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出;所述多个第二融合结果包括:由第一个分支网络的输出结果与第二个分支网络的输出结果的融合、由第二个分支网络的输出结果与第三个分支网络的输出结果的融合和由第一个分支网络的输出结果与第三个分支网络的输出结果的融合。
4.如权利要求3所述的区域电力系统碳排放大数据分析方法,其特征在于,所述将每个第二融合结果通过预设激活函数进行输出融合,得到正例输出,包括:
将依次将多个第二融合结果通过两次Sigmoid激活函数的连续映射,得到映射结果,统计所述多个第二融合结果对应的映射结果,得到正例输出;
其中,所述正例输出表示为:
,
其中,为第二交互结果的Sigmoid函数;/>为动态调整因子,用于调节Sigmoid函数的取值范围;/>为头实体,/>为尾实体,/>为/>到/>的约束关系。
5.如权利要求2所述的区域电力系统碳排放大数据分析方法,其特征在于,所述根据所述正例输出和所述负例输出进行训练,包括:
统计每个正样本的正例输出与每个负样本的负例输出之间的输出差距,并从输出差距和预设阈值中选取最大值,通过累计所述最大值,建立铰链损失函数,根据所述铰链损失函数,对所述多分支并行神经网络进行训练。
6.如权利要求1所述的区域电力系统碳排放大数据分析方法,其特征在于,除了根据所述实体关系,将所述非结构化数据作为基于预先训练的多分支并行神经网络的输入进行知识抽取,输出第一知识抽取结果外,还包括:
从所述区域电力系统中直接收集源侧、网侧和荷侧的结构化数据和半结构化数据,并基于数据库映射关系,对所述结构化数据进行知识抽取,得到第二知识抽取结果,基于分类算法,对所述半结构化数据进行知识抽取,得到第三知识抽取结果,以使根据所述融合实体标识和所述名称,对所述第一知识抽取结果、所述第二知识抽取结果和所述第三知识抽取结果同时进行知识融合;其中,所述第二知识抽取结果包括:所述结构化数据中的实体和实体之间的关系;所述第三知识抽取结果包括:所述半结构化数据中的实体和实体之间的关系。
7.如权利要求1所述的区域电力系统碳排放大数据分析方法,其特征在于,所述将所述碳排放属性值存入碳排放知识库中,包括:
对所述碳排放属性值进行知识推理,挖掘与碳排放相关的缺失事实或隐含知识后,将所述缺失事实或所述隐含知识存入碳排放知识库中;所述碳排放知识库用于对碳排放数据进行管理。
8.如权利要求1-7任一项所述的区域电力系统碳排放大数据分析方法,其特征在于,所述区域电力系统包括:网侧电碳平台、需监测碳排放的多个源侧碳表、多个荷侧碳表和多个网侧电表,以及连接不同碳表的通信链路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410330640.2A CN117934209B (zh) | 2024-03-22 | 2024-03-22 | 一种基于知识图谱的区域电力系统碳排放大数据分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410330640.2A CN117934209B (zh) | 2024-03-22 | 2024-03-22 | 一种基于知识图谱的区域电力系统碳排放大数据分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117934209A CN117934209A (zh) | 2024-04-26 |
CN117934209B true CN117934209B (zh) | 2024-05-17 |
Family
ID=90752294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410330640.2A Active CN117934209B (zh) | 2024-03-22 | 2024-03-22 | 一种基于知识图谱的区域电力系统碳排放大数据分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117934209B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114282007A (zh) * | 2021-12-08 | 2022-04-05 | 甘肃同兴智能科技发展有限责任公司 | 一种能源消费与碳排放的知识图谱实体提取方法 |
CN117689078A (zh) * | 2023-12-19 | 2024-03-12 | 国网辽宁省电力有限公司鞍山供电公司 | 一种基于电力数据驱动的钢铁行业碳排放监测方法 |
-
2024
- 2024-03-22 CN CN202410330640.2A patent/CN117934209B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114282007A (zh) * | 2021-12-08 | 2022-04-05 | 甘肃同兴智能科技发展有限责任公司 | 一种能源消费与碳排放的知识图谱实体提取方法 |
CN117689078A (zh) * | 2023-12-19 | 2024-03-12 | 国网辽宁省电力有限公司鞍山供电公司 | 一种基于电力数据驱动的钢铁行业碳排放监测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117934209A (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101093559B (zh) | 一种基于知识发现的专家系统构造方法 | |
CN111552820A (zh) | 水工程调度数据处理方法及装置 | |
Wang et al. | Power system network topology identification based on knowledge graph and graph neural network | |
Yun et al. | Research on intelligent fault diagnosis of power acquisition based on knowledge graph | |
CN115438199A (zh) | 一种基于智慧城市场景数据中台技术的知识平台系统 | |
Xu et al. | CET-4 score analysis based on data mining technology | |
Liang et al. | A multi-granular linguistic distribution-based group decision making method for renewable energy technology selection | |
CN112612819A (zh) | 一种抽水蓄能电站大数据分析挖掘方法及系统 | |
Han | System optimization of talent Life cycle management platform based on decision tree model | |
Si | Construction and application of enterprise internal audit data analysis model based on decision tree algorithm | |
Xu et al. | A novel framework of knowledge transfer system for construction projects based on knowledge graph and transfer learning | |
Le | Research on data resource management of biomass energy engineering based on data mining | |
Hu et al. | Research on modeling of power grid information system based on knowledge graph | |
Li et al. | A distributed data fabric architecture based on metadate knowledge graph | |
Ni et al. | Rapid generation of emergency response plans for unconventional emergencies | |
Wang et al. | A potential solution for intelligent energy management-knowledge graph | |
CN117934209B (zh) | 一种基于知识图谱的区域电力系统碳排放大数据分析方法 | |
Min et al. | Data mining and economic forecasting in DW-based economical decision support system | |
Tang et al. | Ontology based Knowledge Modeling and Extraction of Power Equipment Supply Chain | |
Zhao et al. | Logistic regression analysis of targeted poverty alleviation with big data in mobile network | |
Qin et al. | Correlation between Population Structure and Regional Innovation Ability Based on Big Data Analysis | |
Gong et al. | [Retracted] Exploration and Analysis of Collaborative Matching Algorithm Empowering Large Data Fiscal Budget | |
Diao et al. | Optimization of management mode of small-and medium-sized enterprises based on decision tree model | |
Li | Economic Development Analysis of China’s Coastal Industries Based on Deep Learning and SDA Model Weighting | |
Sun | Management Research of Big Data Technology in Financial Decision-Making of Enterprise Cloud Accounting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |