CN110362043A - 一种调度运行信息稀疏编码方法、系统和可读存储介质 - Google Patents

一种调度运行信息稀疏编码方法、系统和可读存储介质 Download PDF

Info

Publication number
CN110362043A
CN110362043A CN201910454645.5A CN201910454645A CN110362043A CN 110362043 A CN110362043 A CN 110362043A CN 201910454645 A CN201910454645 A CN 201910454645A CN 110362043 A CN110362043 A CN 110362043A
Authority
CN
China
Prior art keywords
management
running information
basic data
dictionary matrix
sparse coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910454645.5A
Other languages
English (en)
Inventor
王宁
单克
代江
赵倩
田年杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN201910454645.5A priority Critical patent/CN110362043A/zh
Publication of CN110362043A publication Critical patent/CN110362043A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32252Scheduling production, machining, job shop
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种调度运行信息稀疏编码方法、系统和可读存储介质,所述方法包括:获取调度运行信息的历史数据,并对历史数据内容进行预处理,得到历史基础数据集{x1,x2,…xm};将历史基础数据集{x1,x2,…xm}中的个性特征词组删除,并获得基础数据集{x1′,x2′,…xm′};对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,并获得基础数据集{x1″,x2″,…xm″};基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B;接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估;本发明引入人工智能领域广泛应用的字典学习算法,构建了面向电力系统调度运行信息的稀疏编码方法,开创了字典学习算法在电力系统调度运行信息领域的应用,具有重要的意义。

Description

一种调度运行信息稀疏编码方法、系统和可读存储介质
技术领域
本发明涉及电力领域,尤其涉及一种调度运行信息稀疏编码方法、系统和可读存储介质。
背景技术
运行控制信息稀疏编码是复杂系统决策控制的基础问题,也是大数据技术应用的前置要求。特别是在电力系统中,随着电网规模的不断扩大,运行信息的数据规模与复杂程度不断增大,对其编码效率提出了更高的要求。虽然目前已经有提出一些方法,但从实际效果来看,面对复杂系统,传统的方法在稀疏度、执行效率等方面仍不尽如人意。在传统方法解决复杂系统稀疏编码问题捉襟见肘的情况下,人工智能算法为该问题提供了新的解决思路。特别是以字典学习为代表的半监督机器学习方法已在机械设计、系统控制等领域得到了广泛关注。然而,目前尚未出现将半监督机器学习方法应用于电力系统调度运行信息领域的相关技术。
发明内容
为了解决上述至少一个技术问题,本发明提出了一种调度运行信息稀疏编码方法、系统和可读存储介质。
为了实现上述目的,本发明第一方面提出了一种调度运行信息稀疏编码方法,包括:
获取调度运行信息的历史数据,并对历史数据内容进行预处理,得到历史基础数据集{x1,x2,…xm};
将历史基础数据集{x1,x2,…xm}中的个性特征词组删除,并获得基础数据集{x1′,x2′,…xm′};
对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,并获得基础数据集{x1″,x2″,…xm″};
基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B;
接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估。
本方案中,接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估,还包括:
接收待分析的调度运行信息;
将所述调度运行信息中的个性特征词组删除;
对已删除个性特征词组的调度运行信息中的共性特征词组整合,并获得待分析的基础数据集xr
根据所述基础数据集xr和字典矩阵B,得到所述调度运行信息的稀疏表示向量αr=xr/B。
本方案中,基于给定的基础数据集{x1″,x2″,…xm″},将字典矩阵B的求解要求表示为:其中,m为基础数据集数据量,B为待求解的字典矩阵,αi为基础数据集中xi″以字典矩阵B为参照后编码所得的表示向量,λ为拟合系数。
进一步的,采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B。
进一步的,采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B,还包括:
固定字典矩阵B,利用最小绝对收缩选择算法优化编码向量αi
固定编码向量αi,利用KSVD算法优化字典矩阵B;
对迭代前后的字典矩阵B和编码向量αi的偏差进行判定,当偏差在给定阈值范围内,视为优化收敛,否则不收敛。
本方案中,所述调度运行信息稀疏编码方法,还包括:
接收由人工确定各电网调度运行信息的个性特征集,并根据所述个性特征集将历史基础数据集{x1,x2,…xm}的个性特征词组删除;和/或
根据电网调度运行共性习惯,将具有共性的特征词组整合为一个字符,并将共性特征词组定义为共性特征集,基于所述共性特征集对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,以获得基础数据集{x1″,x2″,…xm″}。
本发明第二方面还提出一种调度运行信息稀疏编码系统,所述调度运行信息稀疏编码系统包括:存储器及处理器,所述存储器中包括一种调度运行信息稀疏编码方法程序,所述调度运行信息稀疏编码方法程序被所述处理器执行时实现如下步骤:
获取调度运行信息的历史数据,并对历史数据内容进行预处理,得到历史基础数据集{x1,x2,…xm};
将历史基础数据集{x1,x2,…xm}中的个性特征词组删除,并获得基础数据集{x1′,x2′,…xm′};
对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,并获得基础数据集{x1″,x2″,…xm″};
基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B;
接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估。
本方案中,接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估,还包括:
接收待分析的调度运行信息;
将所述调度运行信息中的个性特征词组删除;
对已删除个性特征词组的调度运行信息中的共性特征词组整合,并获得待分析的基础数据集xr
根据所述基础数据集xr和字典矩阵B,得到所述调度运行信息的稀疏表示向量αr=xr/B。
本方案中,基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B,还包括:
基于给定的基础数据集{x1″,x2″,…xm″},将字典矩阵B的求解要求表示为:其中,m为基础数据集数据量,B为待求解的字典矩阵,αi为基础数据集中xi″以字典矩阵B为参照后编码所得的表示向量,λ为拟合系数;
采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B,具体包括如下步骤:
固定字典矩阵B,利用最小绝对收缩选择算法优化编码向量αi
固定编码向量αi,利用KSVD算法优化字典矩阵B;
对迭代前后的字典矩阵B和编码向量αi的偏差进行判定,当偏差在给定阈值范围内,视为优化收敛,否则不收敛。
本发明第三方面还提出一种计算机可读存储介质,所述计算机可读存储介质中包括一种调度运行信息稀疏编码方法程序,所述调度运行信息稀疏编码方法程序被处理器执行时,实现如上述的一种调度运行信息稀疏编码方法的步骤。
本发明引入人工智能领域广泛应用的字典学习算法,构建了面向调度运行信息的稀疏编码方法,通过定义共性特征集和个性特征集有效的提升了编码的稀疏度,对提升调度运行信息分析能力具有重要作用。另外,基于字典学习的调度运行信息稀疏编码方法所获得的字典矩阵用于稀疏编码时,所获得的编码往往具有一定的稀疏程度,同时不至于过于稀疏,造成信息量偏低的问题,进而符合大数据技术应用对数据稀疏程度的基本要求。
本发明的附加方面和优点将在下面的描述部分中给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1示出了本发明一种调度运行信息稀疏编码方法的流程图;
图2示出了本发明利用字典矩阵B对调度运行信息进行稀疏编码的方法流程图;
图3示出了面向调度运行信息的稀疏编码实施框架图;
图4示出了本发明求解字典矩阵B的方法流程图;
图5示出了本发明求解字典矩阵B的主要实施流程图;
图6示出了本发明一种调度运行信息稀疏编码系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种调度运行信息稀疏编码方法的流程图。
如图1所示,本发明第一方面提出一种调度运行信息稀疏编码方法,包括:
S102,获取调度运行信息的历史数据,并对历史数据内容进行预处理,得到历史基础数据集{x1,x2,…xm};
S104,将历史基础数据集{x1,x2,…xm}中的个性特征词组删除,并获得基础数据集{x1′,x2′,…xm′};
S106,对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,并获得基础数据集{x1″,x2″,…xm″};
S108,基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B;
S110,接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估。
需要说明的是,本发明的技术方案可以在PC、手机、PAD等终端设备中进行操作。
需要说明的是,字典学习是一种半监督模式机器学习算法,其基本思想是通过对基础数据集的统计分析,构造标准的基础信息库,使得对照该库所得的以矩阵形式表示的运行控制信息能够做到相对稀疏,满足大数据技术处理的基本要求。所构造出的标准基础信息库即称为字典学习算法中的字典矩阵。
需要说明的是,机器学习(machine learning)是一门多领域交叉学科,涉及了概率论、统计学、算法复杂度等多门学科。专门研究计算机怎样模拟或实现人的学习行为,它能够发现和挖掘数据所包含的潜在价值。机器学习已经成为了人工智能的一个分支,通过自学习算法,发现和挖掘数据潜在的规律,从而对未知的数据进行预测。机器学习已经广泛的运用在计算机科学研究、自然语言处理、机器视觉、语音、游戏等领域。机器学习的方法主要分为三种:监督学习(supervised learning)、无监督学习(unsupervised learning)、强化学习(reinforcement learning)。
根据本发明的实施例,所述调度运行信息稀疏编码方法,还包括:
接收由人工确定各电网调度运行信息的个性特征集,并根据所述个性特征集将历史基础数据集{x1,x2,…xm}的个性特征词组删除;和/或
根据电网调度运行共性习惯,将具有共性的特征词组整合为一个字符,并将共性特征词组定义为共性特征集,基于所述共性特征集对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,以获得基础数据集{x1″,x2″,…xm″}。
需要说明的是,与其他类型的运行信息相比,电力系统调度运行信息在实施稀疏编码过程中具有如下特点:
(1)个性特征集:不同地区电力系统调度运行信息记录中,对电网运行设备的命名规范不同。因此电网运行设备属于不具备共性的特殊信息集,不宜于纳入基础信息集,进行稀疏编码;
(2)共性特征集:不同地区电力系统对电网运行状态的称谓往往具有较高的共性特征,比如电压、电流、功率等名称,在不同地区电力系统中命名一致,因此在运行信息记录中也相同,因此可将上述共性称谓的词组视为一个单“字”,以提升编码效率。
图2示出了本发明利用字典矩阵B对调度运行信息进行稀疏编码的方法流程图。
如图2所示,接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估,还包括:
S202,接收待分析的调度运行信息;
S204,将所述调度运行信息中的个性特征词组删除;
S206,对已删除个性特征词组的调度运行信息中的共性特征词组整合,并获得待分析的基础数据集xr
S208,根据所述基础数据集xr和字典矩阵B,得到所述调度运行信息的稀疏表示向量αr=xr/B。
根据上述调度运行信息的特征,可引入字典学习算法,通过构建面向调度运行信息的字典向量实现对调度运行信息的高效稀疏编码,具体实施框架如图3所示,该实施框架包括训练阶段和验证阶段两个核心阶段。
训练阶段
训练阶段是利用字典学习算法通过对调度运行信息历史记录分析,构建面向调度运行的字典矩阵的实施过程,具体包括如下三个主要步骤。
步骤1,获取调度运行信息历史数据,并对数据内容进行预处理;
从调度运行管理系统中获取以文本形式存储的调度运行历史信息记录,并利用语境检验、别字分析等算法剔除其中的病句和错别字等错误内容。规定经过该步骤所获得的调度运行基础数据集可表示为{x1,x2,…xm},其中任意xi表示第i天的调度运行历史记录。
步骤2,个性特征集定义及剔除处理;
根据各所属电网在设备命名等方面的差异,由人工确定各电网调度运行信息的个性特征集,并将历史基础数据集对应的样本中将其个性特征集中的词组删除,以避免个性特征集对稀疏编码的影响。规定通过该步骤所获得基础数据集为{x1′,x2′,…xm′}。
步骤3,共性特征集定义及整合处理;
根据电网调度运行共性习惯,将具有较高共性的特征词组整合为一个字符,并将上述共性特征词组定义为共性特征集。在个性特征集定义和剔除处理的基础上,进一步实施共性特征集及整合处理,规定通过该步骤所得的基础数据集为{x1″,x2″,…xm″}。
步骤4,基于字典学习算法对历史数据集分析,获得字典矩阵;
对已实施共性特征集整合和个性特征集剔除处理的基础数据集{x1″,x2″,…xm″},利用字典学习算法对其分析,获取其字典矩阵B。
验证阶段
验证阶段是指对待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码,并对其稀疏程度进行评估。该阶段包括以下两个主要步骤。
步骤1,对待分析调度运行数据预处理;
对待分析调度运行信息预处理包括定义并剔除个性特征集和整合共性特征集两方面。首先根据该调度运行信息所在电网的实际情况,定义其个性特征集,并将个性特征词组从基础信息中剔除;然后按照训练阶段所定义的共性特征集,将基础信息中的共性特征词组整合,规定最终所得的基础数据集为xr
步骤2,基于字典矩阵稀疏编码;
根据预处理所得的基础数据集xr和字典矩阵B,可将其稀疏表示向量αr表示为:αr=xr/B。
根据本发明的实施例,基于给定的基础数据集{x1″,x2″,…xm″},将字典矩阵B的求解要求表示为:
其中,m为基础数据集数据量,B为待求解的字典矩阵,αi为基础数据集中xi″以字典矩阵B为参照后编码所得的表示向量,λ为拟合系数。
需要说明的是,本发明采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B。
图4示出了本发明求解字典矩阵B的方法流程图。
如图4所示,采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B,还包括:
S402,固定字典矩阵B,利用最小绝对收缩选择算法优化编码向量αi
S404,固定编码向量αi,利用KSVD算法优化字典矩阵B;
S406,对迭代前后的字典矩阵B和编码向量αi的偏差进行判定,当偏差在给定阈值范围内,视为优化收敛,否则不收敛。
需要说明的是,||xi″-Bαi||2 2为字典矩阵编码误差二范数项的平方值,将其列入目标函数以保证字典编码能保证重构性最优;||αi||1为字典编码矩阵的一范数项,以保证所得的字典编码后的表示结果尽量稀疏。λ作为拟合系数,用以控制两方面优化目标的权重值。
进一步的,可采用交替优化策略求解式的主要实施流程如图5所示,具体操作步骤如下所示。
步骤1,固定B,利用最小绝对收缩选择算法优化ai,在给定B的情况下,式可表示为:
在上述式2中,由于不涉及形式的交叉项,因此可利用最小绝对收缩选择算法对其优化求解,所得的优化结果可表示为:
在上述式3中,为经过k+1次迭代收敛所得的编码向量αi的第j个元素;L为最小绝对收缩选择算子,由人工提前预设给定;为第k次迭代所得的收缩系数向量第j个元素,可表示为:
在上述式4中,Zi为第k次迭代所得的收缩系数,αk,i为该轮迭代所得到的编码向量,为根据该编码向量优化结果所得到的目标函数梯度值。
步骤2,固定αi,利用KSVD算法优化B;
在给定的情况下,上述式1可表示为:minB||X-BA||F 2,(式5);
在上述式5中,X={x1″,x2″,…xm″},A={α1,α2,…αm},||·||F为矩阵的F-范数。对上述式5,在利用KSVD算法对其优化求解时,仅需要规定Ei≠∑j≠ibjαj,则可将上述式5转化为:
对上述式6只需要对Ei进行奇异值分解,并取最大奇异值所对应的正交向量即可实现对其优化求解。
步骤3,收敛性判定;
对迭代前后的字典矩阵B和编码向量αi的偏差进行判定。当偏差在给定阈值范围内,可视为优化收敛;否则不收敛,将步骤2所得到的字典矩阵带入步骤1,重复上述过程直至收敛。
需要特别说明的是,字典矩阵满足B∈Rd×k,行数d对应基础数据集最大元素数,列数k对应字典规模。可通过调整列数k取值,来控制字典规模,进而调控编码向量系数程度。
图6示出了本发明一种调度运行信息稀疏编码系统的框图。
如图6所示,本发明第二方面还提出一种调度运行信息稀疏编码系统6,所述调度运行信息稀疏编码系统6包括:存储器61及处理器62,所述存储器61中包括一种调度运行信息稀疏编码方法程序,所述调度运行信息稀疏编码方法程序被所述处理器62执行时实现如下步骤:
获取调度运行信息的历史数据,并对历史数据内容进行预处理,得到历史基础数据集{x1,x2,…xm};
将历史基础数据集{x1,x2,…xm}中的个性特征词组删除,并获得基础数据集{x1′,x2′,…xm′};
对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,并获得基础数据集{x1″,x2″,…xm″};
基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B;
接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估。
需要说明的是,本发明的系统可以在PC、手机、PAD等终端设备中进行操作。
需要说明的是,所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
需要说明的是,所述系统还可以包括显示器,获得的评估结果可以通过显示器反馈给用户。所述显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode,OLED)触摸器等。显示器用于显示在系统中处理的信息以及用于显示可视化的工作界面。
需要说明的是,字典学习是一种半监督模式机器学习算法,其基本思想是通过对基础数据集的统计分析,构造标准的基础信息库,使得对照该库所得的以矩阵形式表示的运行控制信息能够做到相对稀疏,满足大数据技术处理的基本要求。所构造出的标准基础信息库即称为字典学习算法中的字典矩阵。
需要说明的是,机器学习(machine learning)是一门多领域交叉学科,涉及了概率论、统计学、算法复杂度等多门学科。专门研究计算机怎样模拟或实现人的学习行为,它能够发现和挖掘数据所包含的潜在价值。机器学习已经成为了人工智能的一个分支,通过自学习算法,发现和挖掘数据潜在的规律,从而对未知的数据进行预测。机器学习已经广泛的运用在计算机科学研究、自然语言处理、机器视觉、语音、游戏等领域。机器学习的方法主要分为三种:监督学习(supervised learning)、无监督学习(unsupervised learning)、强化学习(reinforcement learning)。
根据本发明的实施例,所述调度运行信息稀疏编码方法,还包括:
接收由人工确定各电网调度运行信息的个性特征集,并根据所述个性特征集将历史基础数据集{x1,x2,…xm}的个性特征词组删除;和/或
根据电网调度运行共性习惯,将具有共性的特征词组整合为一个字符,并将共性特征词组定义为共性特征集,基于所述共性特征集对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,以获得基础数据集{x1″,x2″,…xm″}。
需要说明的是,与其他类型的运行信息相比,电力系统调度运行信息在实施稀疏编码过程中具有如下特点:
(1)个性特征集:不同地区电力系统调度运行信息记录中,对电网运行设备的命名规范不同。因此电网运行设备属于不具备共性的特殊信息集,不宜于纳入基础信息集,进行稀疏编码;
(2)共性特征集:不同地区电力系统对电网运行状态的称谓往往具有较高的共性特征,比如电压、电流、功率等名称,在不同地区电力系统中命名一致,因此在运行信息记录中也相同,因此可将上述共性称谓的词组视为一个单“字”,以提升编码效率。
根据本发明的实施例,接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估,还包括:
接收待分析的调度运行信息;
将所述调度运行信息中的个性特征词组删除;
对已删除个性特征词组的调度运行信息中的共性特征词组整合,并获得待分析的基础数据集xr
根据所述基础数据集xr和字典矩阵B,得到所述调度运行信息的稀疏表示向量αr=xr/B。
根据上述调度运行信息的特征,可引入字典学习算法,通过构建面向调度运行信息的字典向量实现对调度运行信息的高效稀疏编码,具体实施框架包括训练阶段和验证阶段两个核心阶段。
训练阶段
训练阶段是利用字典学习算法通过对调度运行信息历史记录分析,构建面向调度运行的字典矩阵的实施过程,具体包括如下三个主要步骤。
步骤1,获取调度运行信息历史数据,并对数据内容进行预处理;
从调度运行管理系统中获取以文本形式存储的调度运行历史信息记录,并利用语境检验、别字分析等算法剔除其中的病句和错别字等错误内容。规定经过该步骤所获得的调度运行基础数据集可表示为{x1,x2,…xm},其中任意xi表示第i天的调度运行历史记录。
步骤2,个性特征集定义及剔除处理;
根据各所属电网在设备命名等方面的差异,由人工确定各电网调度运行信息的个性特征集,并将历史基础数据集对应的样本中将其个性特征集中的词组删除,以避免个性特征集对稀疏编码的影响。规定通过该步骤所获得基础数据集为{x1′,x2′,…xm′}。
步骤3,共性特征集定义及整合处理;
根据电网调度运行共性习惯,将具有较高共性的特征词组整合为一个字符,并将上述共性特征词组定义为共性特征集。在个性特征集定义和剔除处理的基础上,进一步实施共性特征集及整合处理,规定通过该步骤所得的基础数据集为{x1″,x2″,…xm″}。
步骤4,基于字典学习算法对历史数据集分析,获得字典矩阵;
对已实施共性特征集整合和个性特征集剔除处理的基础数据集{x1″,x2″,…xm″},利用字典学习算法对其分析,获取其字典矩阵B。
验证阶段
验证阶段是指对待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码,并对其稀疏程度进行评估。该阶段包括以下两个主要步骤。
步骤1,对待分析调度运行数据预处理;
对待分析调度运行信息预处理包括定义并剔除个性特征集和整合共性特征集两方面。首先根据该调度运行信息所在电网的实际情况,定义其个性特征集,并将个性特征词组从基础信息中剔除;然后按照训练阶段所定义的共性特征集,将基础信息中的共性特征词组整合,规定最终所得的基础数据集为xr
步骤2,基于字典矩阵稀疏编码;
根据预处理所得的基础数据集xr和字典矩阵B,可将其稀疏表示向量αr表示为:αr=xr/B。
根据本发明的实施例,基于给定的基础数据集{x1″,x2″,…xm″},将字典矩阵B的求解要求表示为:
其中,m为基础数据集数据量,B为待求解的字典矩阵,αi为基础数据集中xi″以字典矩阵B为参照后编码所得的表示向量,λ为拟合系数。
需要说明的是,本发明采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B。
根据本发明的实施例,采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B,还包括:
固定字典矩阵B,利用最小绝对收缩选择算法优化编码向量αi
固定编码向量αi,利用KSVD算法优化字典矩阵B;
对迭代前后的字典矩阵B和编码向量αi的偏差进行判定,当偏差在给定阈值范围内,视为优化收敛,否则不收敛。
需要说明的是,||xi″-Bαi||2 2为字典矩阵编码误差二范数项的平方值,将其列入目标函数以保证字典编码能保证重构性最优;||αi||1为字典编码矩阵的一范数项,以保证所得的字典编码后的表示结果尽量稀疏。λ作为拟合系数,用以控制两方面优化目标的权重值。
进一步的,可采用交替优化策略求解式的主要实施步骤如下所示。
步骤1,固定B,利用最小绝对收缩选择算法优化ai,在给定B的情况下,式可表示为:
在上述式2中,由于不涉及形式的交叉项,因此可利用最小绝对收缩选择算法对其优化求解,所得的优化结果可表示为:
在上述式3中,为经过k+1次迭代收敛所得的编码向量αi的第j个元素;L为最小绝对收缩选择算子,由人工提前预设给定;为第k次迭代所得的收缩系数向量第j个元素,可表示为:
在上述式4中,Zi为第k次迭代所得的收缩系数,αk,i为该轮迭代所得到的编码向量,为根据该编码向量优化结果所得到的目标函数梯度值。
步骤2,固定αi,利用KSVD算法优化B;
在给定的情况下,上述式1可表示为:minB||X-BA||F 2,(式5);
在上述式5中,X={x1″,x2″,…xm″},A={α1,α2,…αm},||·||F为矩阵的F-范数。对上述式5,在利用KSVD算法对其优化求解时,仅需要规定Ei≠∑j≠ibjαj,则可将上述式5转化为:
对上述式6只需要对Ei进行奇异值分解,并取最大奇异值所对应的正交向量即可实现对其优化求解。
步骤3,收敛性判定;
对迭代前后的字典矩阵B和编码向量αi的偏差进行判定。当偏差在给定阈值范围内,可视为优化收敛;否则不收敛,将步骤2所得到的字典矩阵带入步骤1,重复上述过程直至收敛。
需要特别说明的是,字典矩阵满足B∈Rd×k,行数d对应基础数据集最大元素数,列数k对应字典规模。可通过调整列数k取值,来控制字典规模,进而调控编码向量系数程度。
本发明第三方面还提出一种计算机可读存储介质,所述计算机可读存储介质中包括一种调度运行信息稀疏编码方法程序,所述调度运行信息稀疏编码方法程序被处理器执行时,实现如上述的一种调度运行信息稀疏编码方法的步骤。
本发明引入人工智能领域广泛应用的字典学习算法,构建了面向调度运行信息的稀疏编码方法,通过定义共性特征集和个性特征集有效的提升了编码的稀疏度,对提升调度运行信息分析能力具有重要作用。另外,基于字典学习的调度运行信息稀疏编码方法所获得的字典矩阵用于稀疏编码时,所获得的编码往往具有一定的稀疏程度,同时不至于过于稀疏,造成信息量偏低的问题,进而符合大数据技术应用对数据稀疏程度的基本要求。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种调度运行信息稀疏编码方法,其特征在于,包括:
获取调度运行信息的历史数据,并对历史数据内容进行预处理,得到历史基础数据集{x1,x2,…xm};
将历史基础数据集{x1,x2,…xm}中的个性特征词组删除,并获得基础数据集{x1′,x2′,…xm′};
对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,并获得基础数据集{x1″,x2″,…xm″};
基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B;
接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估。
2.根据权利要求1所述的一种调度运行信息稀疏编码方法,其特征在于,接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估,还包括:
接收待分析的调度运行信息;
将所述调度运行信息中的个性特征词组删除;
对已删除个性特征词组的调度运行信息中的共性特征词组整合,并获得待分析的基础数据集xr
根据所述基础数据集xr和字典矩阵B,得到所述调度运行信息的稀疏表示向量αr=xr/B。
3.根据权利要求1所述的一种调度运行信息稀疏编码方法,其特征在于,基于给定的基础数据集{x1″,x2″,…xm″},将字典矩阵B的求解要求表示为:其中,m为基础数据集数据量,B为待求解的字典矩阵,αi为基础数据集中xi″以字典矩阵B为参照后编码所得的表示向量,λ为拟合系数。
4.根据权利要求3所述的一种调度运行信息稀疏编码方法,其特征在于,采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B。
5.根据权利要求4所述的一种调度运行信息稀疏编码方法,其特征在于,采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B,还包括:
固定字典矩阵B,利用最小绝对收缩选择算法优化编码向量αi
固定编码向量αi,利用KSVD算法优化字典矩阵B;
对迭代前后的字典矩阵B和编码向量αi的偏差进行判定,当偏差在给定阈值范围内,视为优化收敛,否则不收敛。
6.根据权利要求1所述的一种调度运行信息稀疏编码方法,其特征在于,所述调度运行信息稀疏编码方法,还包括:
接收由人工确定各电网调度运行信息的个性特征集,并根据所述个性特征集将历史基础数据集{x1,x2,…xn}的个性特征词组删除;和/或
根据电网调度运行共性习惯,将具有共性的特征词组整合为一个字符,并将共性特征词组定义为共性特征集,基于所述共性特征集对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,以获得基础数据集{x1″,x2″,…xm″}。
7.一种调度运行信息稀疏编码系统,其特征在于,所述调度运行信息稀疏编码系统包括:存储器及处理器,所述存储器中包括一种调度运行信息稀疏编码方法程序,所述调度运行信息稀疏编码方法程序被所述处理器执行时实现如下步骤:
获取调度运行信息的历史数据,并对历史数据内容进行预处理,得到历史基础数据集{x1,x2,…xm};
将历史基础数据集{x1,x2,…xm}中的个性特征词组删除,并获得基础数据集{x1′,x2′,…xm′};
对基础数据集{x1′,x2′,…xm′}的共性特征词组整合处理,并获得基础数据集{x1″,x2″,…xm″};
基于字典学习算法对基础数据集{x1″,x2″,…xm″}进行分析处理,并获得字典矩阵B;
接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估。
8.根据权利要求7所述的一种调度运行信息稀疏编码系统,其特征在于,接收待分析的调度运行信息,利用字典矩阵B对其进行稀疏编码并对其稀疏程度进行评估,还包括:
接收待分析的调度运行信息;
将所述调度运行信息中的个性特征词组删除;
对已删除个性特征词组的调度运行信息中的共性特征词组整合,并获得待分析的基础数据集xr
根据所述基础数据集xr和字典矩阵B,得到所述调度运行信息的稀疏表示向量αr=xr/B。
9.根据权利要求7所述的一种调度运行信息稀疏编码系统,其特征在于,基于给定的基础数据集{x1″,x2″,…xm″},将字典矩阵B的求解要求表示为:其中,m为基础数据集数据量,B为待求解的字典矩阵,αi为基础数据集中xi″以字典矩阵B为参照后编码所得的表示向量,λ为拟合系数;
采用交替优化策略求解式以获得给定基础数据集{x1″,x2″,…xm″}的字典矩阵B,具体包括如下步骤:
固定字典矩阵B,利用最小绝对收缩选择算法优化编码向量αi
固定编码向量αi,利用KSVD算法优化字典矩阵B;
对迭代前后的字典矩阵B和编码向量αi的偏差进行判定,当偏差在给定阈值范围内,视为优化收敛,否则不收敛。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括一种调度运行信息稀疏编码方法程序,所述调度运行信息稀疏编码方法程序被处理器执行时,实现如权利要求1至6中任一项所述的一种调度运行信息稀疏编码方法的步骤。
CN201910454645.5A 2019-05-29 2019-05-29 一种调度运行信息稀疏编码方法、系统和可读存储介质 Pending CN110362043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910454645.5A CN110362043A (zh) 2019-05-29 2019-05-29 一种调度运行信息稀疏编码方法、系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910454645.5A CN110362043A (zh) 2019-05-29 2019-05-29 一种调度运行信息稀疏编码方法、系统和可读存储介质

Publications (1)

Publication Number Publication Date
CN110362043A true CN110362043A (zh) 2019-10-22

Family

ID=68214969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910454645.5A Pending CN110362043A (zh) 2019-05-29 2019-05-29 一种调度运行信息稀疏编码方法、系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN110362043A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037385A (zh) * 2022-06-21 2022-09-09 重庆大学 基于Lamb波的信号调制解调通信方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204990343U (zh) * 2015-10-13 2016-01-20 深圳市唯特视科技有限公司 基于三维点云的人脸识别装置
CN103473745B (zh) * 2013-09-16 2016-11-30 东南大学 一种基于区别性字典的低剂量ct图像处理方法
US20160371348A1 (en) * 2015-06-22 2016-12-22 Samsung Electronics Co., Ltd. Method and electronic device for displaying related information of parsed data
CN106709754A (zh) * 2016-11-25 2017-05-24 云南电网有限责任公司昆明供电局 一种用基于文本挖掘的电力用户分群方法
CN106886569A (zh) * 2017-01-13 2017-06-23 重庆邮电大学 一种基于mpi的ml‑knn多标签中文文本分类方法
CN107451282A (zh) * 2017-08-09 2017-12-08 南京审计大学 一种基于大数据环境下的多源数据聚合抽样策略
CN107689795A (zh) * 2017-07-10 2018-02-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于实时压缩感知的多地区电力控制方法
CN108038055A (zh) * 2017-12-07 2018-05-15 厦门理工学院 一种有效数据处理的软件缺陷检测方法
CN109389326A (zh) * 2018-11-05 2019-02-26 国网四川省电力公司 面向监控事件的对象化建模方法、设备及系统
CN109447037A (zh) * 2018-11-26 2019-03-08 武汉大学 一种面向监控视频压缩的车辆对象多级知识字典构建方法
CN109710926A (zh) * 2018-12-12 2019-05-03 内蒙古电力(集团)有限责任公司电力调度控制分公司 电网调度专业语言语义关系抽取方法、装置及电子设备
CN105827250B (zh) * 2016-03-16 2019-10-01 江苏大学 一种基于自适应字典学习的电能质量数据压缩重构方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473745B (zh) * 2013-09-16 2016-11-30 东南大学 一种基于区别性字典的低剂量ct图像处理方法
US20160371348A1 (en) * 2015-06-22 2016-12-22 Samsung Electronics Co., Ltd. Method and electronic device for displaying related information of parsed data
CN204990343U (zh) * 2015-10-13 2016-01-20 深圳市唯特视科技有限公司 基于三维点云的人脸识别装置
CN105827250B (zh) * 2016-03-16 2019-10-01 江苏大学 一种基于自适应字典学习的电能质量数据压缩重构方法
CN106709754A (zh) * 2016-11-25 2017-05-24 云南电网有限责任公司昆明供电局 一种用基于文本挖掘的电力用户分群方法
CN106886569A (zh) * 2017-01-13 2017-06-23 重庆邮电大学 一种基于mpi的ml‑knn多标签中文文本分类方法
CN107689795A (zh) * 2017-07-10 2018-02-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于实时压缩感知的多地区电力控制方法
CN107451282A (zh) * 2017-08-09 2017-12-08 南京审计大学 一种基于大数据环境下的多源数据聚合抽样策略
CN108038055A (zh) * 2017-12-07 2018-05-15 厦门理工学院 一种有效数据处理的软件缺陷检测方法
CN109389326A (zh) * 2018-11-05 2019-02-26 国网四川省电力公司 面向监控事件的对象化建模方法、设备及系统
CN109447037A (zh) * 2018-11-26 2019-03-08 武汉大学 一种面向监控视频压缩的车辆对象多级知识字典构建方法
CN109710926A (zh) * 2018-12-12 2019-05-03 内蒙古电力(集团)有限责任公司电力调度控制分公司 电网调度专业语言语义关系抽取方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
施萱轩等: "文本挖掘技术研究及其在电力行业的应用", 《机电信息》 *
李烁: "数据挖掘技术在物流企业信息共享中的应用探究", 《电脑编程技巧与维护》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037385A (zh) * 2022-06-21 2022-09-09 重庆大学 基于Lamb波的信号调制解调通信方法

Similar Documents

Publication Publication Date Title
CN109635124B (zh) 一种结合背景知识的远程监督关系抽取方法
CN112633010B (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN106991085B (zh) 一种实体的简称生成方法及装置
CN111914085B (zh) 文本细粒度情感分类方法、系统、装置及存储介质
CN111444340A (zh) 文本分类和推荐方法、装置、设备及存储介质
CN113011189A (zh) 开放式实体关系的抽取方法、装置、设备及存储介质
CN113326377B (zh) 一种基于企业关联关系的人名消歧方法及系统
CN110569359A (zh) 识别模型的训练及应用方法、装置、计算设备及存储介质
CN112749556B (zh) 多语言模型的训练方法和装置、存储介质和电子设备
CN113704389A (zh) 一种数据评估方法、装置、计算机设备及存储介质
CN113837308A (zh) 基于知识蒸馏的模型训练方法、装置、电子设备
CN114841268B (zh) 基于Transformer和LSTM融合算法的异常电力客户识别方法
CN111353050A (zh) 一种电信客服垂直领域的词库构建方法及工具
CN111191825A (zh) 用户违约预测方法、装置及电子设备
CN113656373A (zh) 构建检索数据库的方法、装置、设备以及存储介质
CN113204674A (zh) 基于局部-整体图推理网络的视频-段落检索方法及系统
CN114091452A (zh) 一种基于适配器的迁移学习方法、装置、设备及存储介质
CN113705242B (zh) 面向教育咨询服务的智能语义匹配方法和装置
US20200183964A1 (en) Multiscale Quantization for Fast Similarity Search
Xiao et al. Introduction to Transformers: an NLP Perspective
CN110362043A (zh) 一种调度运行信息稀疏编码方法、系统和可读存储介质
CN117436522A (zh) 生物事件关系抽取方法及癌症主题的大规模生物事件关系知识库构建方法
CN111507108A (zh) 别名生成方法、装置、电子设备及计算机可读存储介质
CN116186562A (zh) 基于编码器的长文本匹配方法
Kan et al. A supervised learning to index model for approximate nearest neighbor image retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022

RJ01 Rejection of invention patent application after publication