CN112330053A - 数据感知方法及装置 - Google Patents

数据感知方法及装置 Download PDF

Info

Publication number
CN112330053A
CN112330053A CN202011319560.5A CN202011319560A CN112330053A CN 112330053 A CN112330053 A CN 112330053A CN 202011319560 A CN202011319560 A CN 202011319560A CN 112330053 A CN112330053 A CN 112330053A
Authority
CN
China
Prior art keywords
frequency data
data
low
neural network
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011319560.5A
Other languages
English (en)
Inventor
赵俊华
刘国龙
梁高琪
顾津锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong CUHK
Original Assignee
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong CUHK filed Critical Chinese University of Hong Kong CUHK
Priority to CN202011319560.5A priority Critical patent/CN112330053A/zh
Publication of CN112330053A publication Critical patent/CN112330053A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明提供了一种数据感知方法及装置，用于从低频数据中提取目标高频数据，该方法包括如下步骤：应用超分辨率感知方法，获取低频数据对高频数据的映射关系；根据所述低频数据对高频数据的映射关系，训练神经网络模型；将所述低频数据代入所述神经网络模型，获取目标高频数据。本发明的优势在于，应用超分辨率感知方法从低频数据之中提取出高频数据，能够在满足超分辨率感知问题的同时，捕获一维时间序列数据中的时间关系，结合神经网络训练之后，可以具有较高地计算效率，并且具有良好的数据重构及增强的效果，从而获得更高效、准确地识别目标对象的状态。

Description

数据感知方法及装置
技术领域
本发明涉及数据处理领域，尤其是指一种数据感知方法及装置。
背景技术
智能电表是在智能电网中收集详细的客户信息的终端，其已经在全球范围内大量使用。智能电表的数据可以用于计费定价、负荷建模、负荷预测、负荷识别、需求响应等方面。而智能电表中的高频数据，可以提供消费者电力消耗偏好之类的信息。
然而，存储、传输和分析智能电表中的高频数据是一个痛点。首先，高频数据的数据量较为庞大，需要巨大的通信带宽进行传输；其次，高频数据还需要大量的存储设备，其成本非常高；此外，电网中已经存在大量的低频电表，用高频电表代替所有低频电表是一项巨大的投资，也是对资源的浪费。而使用传统方法，来获取高频数据，其计算效率低下，且准确度低。
发明内容
本发明所要解决的技术问题是：提供一种数据感知方法及装置，从低频数据中高效地提取高频数据，保证计算效率及数据提取的准确度。
为了解决上述技术问题，本发明采用的技术方案为：提供一种数据感知方法，用于从低频数据中提取目标高频数据，包括如下步骤：
应用超分辨率感知方法，获取低频数据对高频数据的映射关系；
根据所述低频数据对高频数据的映射关系，训练神经网络模型；
将所述低频数据代入所述神经网络模型，获取目标高频数据。
其中，所述应用超分辨率感知方法，获取低频数据对高频数据的映射关系，包括如下步骤：
获取下采样矩阵、历史低频数据及对应的真实的高频历史数据；
应用所述下采样矩阵、历史低频数据及对应的真实的高频历史数据，根据最大后验估计框架，结合贝叶斯公式，获取预估高频数据的计算公式；
其中，所述预估高频数据的计算公式如下：
Figure BDA0002792424770000021
其中，y′为所述预估的历史高频数据，A表示所述下采样矩阵，h为所述真实的历史高频数据，l为所述历史低频数据，Ω(h)为所述高频数据的先验信息正则项。
进一步地，根据所述低频数据对高频数据的映射关系，训练神经网络模型，包括：
获取超分辨率感知神经网络模型的结构；
根据所述超分辨率感知神经网络模型的结构，应用所述真实的历史高频数据及所述预估的历史高频数据，按照损失函数，进行多次均方差计算，构建超分辨率感知神经网络模型；
其中，所述损失函数如下：
Figure BDA0002792424770000022
其中，h为所述真实的历史高频数据，h′为所述预估的历史高频数据。
其中，所述按照损失函数，进行多次均方差计算，构建超分辨率感知神经网络模型的步骤，还包括：
获取多次所述均方差计算的结果；
若多次均方差计算的结果均小于预设值，则停止神经网络模型的训练，所述超分辨率感知神经网络模型构建完毕。
进一步地，所述神经网络结构包括第一卷积层、第二卷积层及第三卷积层，所述将所述低频数据代入所述神经网络模型，获取目标高频数据的步骤，包括：
应用第一卷积层对所述低频数据进行特征提取，获取特征向量；
应用第二卷积层对所述特征向量进行信息补充；
将上采样因子作为步长，应用第三卷积层对补充信息的所述特征向量进行上采样及数据集合重建处理，生成所述目标高频数据。
上述方法还包括对低频数据进行预处理的步骤，具体如下：
按照采样频率，获取原始的低频数据；
使用最近邻法对原始低频数据进行下采样，获得下采样的低频数据；
向所述下采样的低频数据，添加高斯噪声，生成用于特征提取的低频数据。
其中，所述采样频率为100Hz，所述上采样因子为10。
其中，所述训练神经网络模型的步骤，还包括：采用早停法，对多个同一单位时间的电力负荷数据进行迭代训练。
具体的，所述超分辨率感知神经网络模型的结构包括第一卷积层、第二卷积层及第三卷积层，所述第一卷积层的过滤器的大小为9，过滤器数量为256，特征向量为1；所述第二卷积层为7个，第二卷积层的过滤器的大小为5，过滤器数量为256，特征向量为256；所述第三卷积层的过滤器的大小为7，过滤器数量为1，特征向量为256。
本申请第二方面提供一种数据感知装置，用于从低频数据中提取目标高频数据，包括如下模块：
映射获取模块，用于通过超分辨率感知方法，获取低频数据对高频数据的映射关系；
训练模块，用于根据所述低频数据对高频数据的映射关系，训练神经网络模型；
目标获取模块，用于将所述低频数据代入所述神经网络模型，获取目标高频数据。
本发明的优势在于，应用超分辨率感知方法从低频数据之中提取出高频数据，能够在满足超分辨率感知问题的同时，捕获一维时间序列数据中的时间关系，结合神经网络训练之后，可以具有较高地计算效率，并且具有良好的数据重构及增强的效果，从而获得更高效、准确地识别目标对象的状态。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明第一实施例中的数据感知方法的整体流程图；
图2为本发明第二实施例中的获取目标高频数据方法的流程图；
图3为本发明数据感知方法的某一实施例中的实验结果图；
图4为本发明数据感知方法的另一实施例中的实验结果图；
图5为本发明数据感知方法的又一实施例中的实验结果图；
图6为本发明第三实施例中的数据感知装置的结构图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，图1为本发明第一实施例中的数据感知方法的整体流程图；本发明提供了一种数据感知方法，用于从低频数据中提取目标高频数据，该方法包括如下步骤：
步骤S100、应用超分辨率感知方法，获取低频数据对高频数据的映射关系；
步骤S200、根据所述低频数据对高频数据的映射关系，训练神经网络模型；
步骤S300、将所述低频数据代入所述神经网络模型，获取目标高频数据。
本发明的优势在于，应用超分辨率感知方法从低频数据之中提取出高频数据，能够在满足超分辨率感知问题的同时，捕获一维时间序列数据中的时间关系，结合神经网络训练之后，可以具有较高地计算效率，并且具有良好的数据重构及增强的效果，从而获得更高效、准确地识别目标对象的状态。
其中，上述方法还包括对低频数据进行预处理的步骤，具体如下：
步骤S010、按照采样频率，获取原始的低频数据。
在一实施例中，使用1kHz作为采样频率，获取原始的低频数据时，应用如下公式：
Figure BDA0002792424770000041
其中，
Figure BDA0002792424770000042
为提取出来的低频数据，x为采集到的数据。其中，
Figure BDA0002792424770000043
保持为正数，以此保留原始数据中的内容。
步骤S020、使用最近邻法对原始低频数据进行下采样，获得下采样的低频数据。
步骤S030、向所述下采样的低频数据，添加高斯噪声，生成用于特征提取的低频数据。
在步骤S010～步骤S030的实施例中，可以使用1kHz、10kHz或者100kHz为采样频率，从超分辨率感知数据集中，提取原始的低频数据。由于原始的低频数据，是未经过特征提取的数据，其不能直接用于神经网络训练，因此，需要进行下采样处理并添加σ＝0.01的高斯噪声。而经过这些处理之后，就可以获得神经网络可以识别的低频数据。
进一步地，步骤S100、所述应用超分辨率感知方法，获取低频数据对高频数据的映射关系，包括如下步骤：
步骤S110、获取下采样矩阵、历史低频数据及对应的真实的高频历史数据；
步骤S120、应用下采样矩阵、历史低频数据及对应的真实的高频历史数据，根据最大后验估计框架，结合贝叶斯公式，获取预估高频数据的计算公式；
其中，所述预估高频数据的计算公式如下：
Figure BDA0002792424770000051
其中，y′为所述预估的历史高频数据，A表示所述下采样矩阵，h为所述真实的历史高频数据，l为所述历史低频数据，Ω(h)为所述高频数据的先验信息正则项。其中，
Figure BDA0002792424770000052
是假定服从高斯分布的测量带来的噪声。
在步骤S110～步骤S120的神经网络训练之中，l是被给定的低频序列，而真实的历史数据h与下采样矩阵A是输入变量，且均与低频序列相对应。而Ω(h)是通过正则化约束求解神经网络的参数集θ所获得的，Ω(h)用来克服SRP问题的不适定性。
进一步地，步骤S200中，所述训练神经网络模型的步骤，还包括：
步骤S201、采用早停法，对多个同一单位时间的电力负荷数据进行迭代训练。
以步骤S201为核心的一具体实施例中，将10s作为单位，随机裁剪电力负荷数据。此时，采用早停法，可以减少过拟合并提高泛化性；而在训练过程中，迭代次数大约在6,500到650,000之间。对于第一个106的小批量更新，学习率初始化为10-4，接下来的106小批量更新用学习率10-6进行微调。
进一步地，步骤S200、所述根据所述低频数据对高频数据的映射关系，训练神经网络模型，包括：
步骤S210、获取超分辨率感知神经网络模型的结构。
超分辨率感知神经网络模型主要由卷积层构成，卷积层一般表示为Conv(fi，ni，ci)，而用于转置的卷积层表示为DeConv(fi，ni，ci)，，fi，ni，ci′分别代表第i层过滤器的大小，过滤器的数量和特征向量的数量。本实施例中，包括三种卷积层，分别为第一卷积层、第二卷积层、第三卷积层；
其中，所述第一卷积层的过滤器的大小为9，过滤器数量为256，特征向量为1；所述第二卷积层的数量为7个，第二卷积层的过滤器的大小为5，过滤器数量为256，特征向量为256；所述第三卷积层的过滤器的大小为7，过滤器数量为1，特征向量为256。
步骤S220、根据所述超分辨率感知神经网络模型的结构，应用所述真实的历史高频数据及所述预估的历史高频数据，按照损失函数，进行多次均方差计算，构建超分辨率感知神经网络模型；
其中，所述损失函数如下：
Figure BDA0002792424770000061
其中，h为所述真实的历史高频数据，h′为所述预估的历史高频数据。
本实施例中，使用均方差的方式，获取偏离值，当偏离值趋近于某一特定值，或者，偏离值处于某一阈值范围之中，即可认为超分辨率感知神经网络模型已经训练完成，可以用来准确地预测高频数据。
进一步地，为了使真实的高频数据与预估的高频数据的偏离值更小，步骤S220包括：
步骤S221、获取多次所述均方差计算的结果；
步骤S222、若多次均方差计算的结果均小于预设值，则停止神经网络模型的训练，所述超分辨率感知神经网络模型构建完毕。
在步骤S221～S222中，可以选取5次均方差计算的结果，也可以选取10次均方差计算的结果，而应用这些结果共同构建超分辨率感知神经网络模型，可以更精确地推导出高频数据。
在一实施例中，步骤S221～S222，可以表示为如下函数：
Figure BDA0002792424770000062
其中，h为真实的高频数据；F(l；θ)表示预估的历史高频数据的计算公式，l为低频序列；θ为神经网络的参数集。
进一步地，请参阅图2，图2为本发明第二实施例中的获取目标高频数据方法的流程图。本实施例中，卷积层表示为Conv(fi，ni，ci)，转置的卷积层表示为DeConv(fi，ni，ci)，fi，ni，ci分别代表第i层过滤器的大小，过滤器的数量和特征向量的数量。步骤S300、将所述低频数据代入所述神经网络模型，获取目标高频数据的步骤，包括：
步骤S310、应用第一卷积层对所述低频数据进行特征提取，获取特征向量；
在某一实施例中，步骤S310、第一卷积层表示为Conv(fi，ni，ci)；第一卷积层的参数中，f1＝9，n1＝256，c1＝1，应用第一卷积层对原始低频数据执行特征提取；提取出来的特征是256个特征向量，均包含输入的抽象特征信息。需要注意的是，获取的每个特征向量的大小与输入序列中向量的大小是相同的，以避免失真问题，从而增强获取数据的完整性。
步骤S320、应用第二卷积层对所述特征向量进行信息补充。
步骤S320中，第二卷积层可以表示为Conv(fi，ni，ci)，第二卷积层的参数中，fi＝5，ni＝256，ci＝256；第二卷积层，用于补充丢失的信息到特征向量中。在一实施例中，使用7个卷积层，可以较好的补充丢失的信息。
步骤S330、将上采样因子作为步长，应用第三卷积层对补充信息的所述特征向量进行上采样及数据集合重建处理，生成所述目标高频数据。
步骤S330中，第三卷积层包括转置卷积层，可以表示为DeConv(fi，ni，ci)，第三卷积层的参数中，f9＝7，n9＝1，c9＝256。转置卷积层是卷积运算的逆操作，以将步骤S320中的数据进行上采样，并进行集合与重建处理。其中，上采样因子也可称为超分辨率感知因子。
运用步骤S310～步骤S330，可以将低频数据，直接转换成目标高频数据。而且，具有较高的准确度及较快的速度。
请参阅图3、图4及图5；图3为本发明数据感知方法的某一实施例中的实验结果图；图4为本发明数据感知方法的另一实施例中的实验结果图；图5为本发明数据感知方法的又一实施例中的实验结果图。图3中采样频率为10Hz，上采样因子为10；图4中采样频率为100Hz，上采样因子为10；图5中采样频率为10Hz，上采样因子为100。
如图3、图4及图5所示，本实施例中的方法与两个经典的插值方法(线性插值和立方插值)比较，实验结果显示线性插值方法和立方插值方法无法恢复数据在下采样时所损失的信息，而超分辨率感知方法可以有效地恢复高频数据。
为了更好地说明本方法的优势，需要对不同插值方法和超分辨率感知方法进行定量比较。因此，本实施例中将上采样因子α，称为超分辨率感知因子；使用均方根误差和动态时间弯曲距离作为评价标准(RMSE/DTW)，不同插值方法与超分辨率方法感知的定量比较结果如表1所示。
Figure BDA0002792424770000081
表1
无论是在10Hz还是100Hz采样频率下，所提出的超分辨率感知方法都明显优于现有的线性插值和立方插值。特别是考虑到动态时间弯曲距离，超分辨率感知方法的结果不仅比通过插值方法获得的结果小，而且数值较小，即本实施例中的方法可以更好地恢复高频数据中的形状特征。
值得注意的是，由于高频数据包含有关系统状态的更多详细信息，因此，输入频率为100Hz且超分辨率感知因子α为10的实验，具有最佳的超分辨率感知结果。同时，与其他两组实验相比，应用超分辨率感知方法的信息恢复效果更优，并且优势明显。而在超分辨率感知因子α为10的情况下，由于更多的信息丢失，超分辨率感知方法在10Hz时的效果远不如在100Hz时显著。另外，较大的超分辨率感知因子会带来更多失真的问题，也增大了不确定性。
此外，为了说明卷积神经网络CNN与超分辨率感知方法相组合的优势，在通过超分辨率感知方法获得高频数据后，识别设备及其工作状态，使用非侵入式负荷监测来验证所提出方法的有效性。6种网络的结果如表2所示。卷积神经网络CNN由于其强大的特征提取能力而明显优于其他五种网络。综上所述，超分辨率感知方法与卷积层神经网络相结合之后，可以对低频智能电表数据进行良好的数据重构和信息增强，从而获得更高的精度。
Figure BDA0002792424770000091
表2
请参阅图6，图6为本发明第三实施例中的数据感知装置的结构图。本申请第二方面提供了一种数据感知装置，用于从低频数据中提取目标高频数据，包括如下模块：
映射获取模块100，用于通过最大后验估计框架，获取低频数据对高频数据的映射关系；
训练模块200，用于根据所述低频数据对高频数据的映射关系，训练神经网络模型；
目标获取模块300，用于将所述低频数据代入所述神经网络模型，获取目标高频数据。
需要了解的是，上述模块仅为粗略划分的模块，模块内部的各个功能，是可以依靠多种单元的组合所形成的。从本质上来看，上述装置是作为上述方法的虚拟执行主体，用于承载上述方法。
在一实施例中，提供一种存储介质，包括上述装置的执行程序，装置的执行程序被分析器加载并执行时，实现上述的方法中的步骤。
所述分析器可以是中央分析单元，还可以是其他通用分析器、数字信号分析器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用分析器可以是微分析器或者该分析器也可以是任何常规的分析器等。
本申请第三方面提供了一种用于处理智能电表数据的方法，应用上述第一方面的感知方法，从智能电网中的不满意数据中重建高质量数据，并对低频智能电表数据进行良好的数据重构和信息增强，从而获得精度更高的数据，有效提高设备状态识别的准确性。
本申请的第一方面、第二方面及第三方面，着重介绍本发明解决的技术问题、技术方案及技术效果。而为了更好地理解超分辨率感知方法，本申请的第四方面，会从理论的角度进行论述，具体如下：
智能电表数据的超分辨率感知问题旨在寻找映射
Figure BDA0002792424770000101
恢复因下采样损失的信息，重建高频数据。假设l是电表低频数据，h是真实的高频数据；
为找到最可行的超分辨率感知问题的解决方案，需要使用最大后验估计框架。而根据贝叶斯公式，后验概率为：
Figure BDA0002792424770000102
其中，p(h|l)是下采样模型的可能概率；p(h)是h的先验值；p(l)在已知l时，是常数。在已给定的前提下，h以通过以下公式来估计：
Figure BDA0002792424770000103
其中，h′为预测出来的高频数据；
Figure BDA0002792424770000104
表示在给定低频数据序列时，获取低频数据序列与高频数据的最大关联度；p(h)是高频数据的先验值。
基于此，在确定高频数据的先验值之后，就可以应用低频数据精确预测高频数据；而在经过多次实验之后，选择卷积层神经网络是最佳的选择。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据感知方法，用于从低频数据中提取目标高频数据，其特征在于，包括如下步骤：
应用超分辨率感知方法，获取低频数据对高频数据的映射关系；
根据所述低频数据对高频数据的映射关系，训练神经网络模型；
将所述低频数据代入所述神经网络模型，获取目标高频数据。
2.如权利要求1所述的数据感知方法，其特征在于，所述应用超分辨率感知方法，获取低频数据对高频数据的映射关系，包括如下步骤：
获取下采样矩阵、历史低频数据及对应的真实的高频历史数据；
应用所述下采样矩阵、历史低频数据及对应的真实的高频历史数据，根据最大后验估计框架，结合贝叶斯公式，获取预估高频数据的计算公式；
其中，所述预估高频数据的计算公式如下：
Figure FDA0002792424760000011
其中，y′为所述预估的历史高频数据，A表示所述下采样矩阵，h为所述真实的历史高频数据，l为所述历史低频数据，Ω(h)为所述高频数据的先验信息正则项。
3.如权利要求2所述的数据感知方法，其特征在于，所述根据所述低频数据对高频数据的映射关系，训练神经网络模型，包括：
获取超分辨率感知神经网络模型的结构；
根据所述超分辨率感知神经网络模型的结构，应用所述真实的历史高频数据及所述预估的历史高频数据，按照损失函数，进行多次均方差计算，构建超分辨率感知神经网络模型；
其中，所述损失函数如下：
Figure FDA0002792424760000012
其中，h为所述真实的历史高频数据，h′为所述预估的历史高频数据。
4.如权利要求3所述的数据感知方法，其特征在于，所述按照损失函数，进行多次均方差计算，构建超分辨率感知神经网络模型的步骤，还包括：
获取多次所述均方差计算的结果；
若多次均方差计算的结果均小于预设值，则停止神经网络模型的训练，所述超分辨率感知神经网络模型构建完毕。
5.如权利要求1～4任意一项所述的数据感知方法，其特征在于，所述神经网络结构包括第一卷积层、第二卷积层及第三卷积层，所述将所述低频数据代入所述神经网络模型，获取目标高频数据的步骤，包括：
应用第一卷积层对所述低频数据进行特征提取，获取特征向量；
应用第二卷积层对所述特征向量进行信息补充；
将上采样因子作为步长，应用第三卷积层对补充信息的所述特征向量进行上采样及数据集合重建处理，生成所述目标高频数据。
6.如权利要求5所述的数据感知方法，其特征在于，所述方法还包括对低频数据进行预处理的步骤，具体如下：
按照采样频率，获取原始的低频数据；
使用最近邻法对原始低频数据进行下采样，获得下采样的低频数据；
向所述下采样的低频数据，添加高斯噪声，生成用于特征提取的低频数据。
7.如权利要求6所述的数据感知方法，其特征在于：所述采样频率为100Hz，所述上采样因子为10。
8.如权利要求1所述的数据感知方法，其特征在于，所述训练神经网络模型的步骤，还包括：
采用早停法，对多个同一单位时间的电力负荷数据进行迭代训练。
9.如权利要求3所述的数据感知方法，其特征在于：所述超分辨率感知神经网络模型的结构包括第一卷积层、第二卷积层及第三卷积层，所述第一卷积层的过滤器的大小为9，过滤器数量为256，特征向量为1；所述第二卷积层为7个，第二卷积层的过滤器的大小为5，过滤器数量为256，特征向量为256；所述第三卷积层的过滤器的大小为7，过滤器数量为1，特征向量为256。
10.一种数据感知装置，用于从低频数据中提取目标高频数据，其特征在于，包括如下模块：
映射获取模块，用于通过超分辨率感知方法，获取低频数据对高频数据的映射关系；
训练模块，用于根据所述低频数据对高频数据的映射关系，训练神经网络模型；
目标获取模块，用于将所述低频数据代入所述神经网络模型，获取目标高频数据。
CN202011319560.5A 2020-11-23 2020-11-23 数据感知方法及装置 Withdrawn CN112330053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011319560.5A CN112330053A (zh) 2020-11-23 2020-11-23 数据感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011319560.5A CN112330053A (zh) 2020-11-23 2020-11-23 数据感知方法及装置

Publications (1)

Publication Number Publication Date
CN112330053A true CN112330053A (zh) 2021-02-05

Family

ID=74322297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011319560.5A Withdrawn CN112330053A (zh) 2020-11-23 2020-11-23 数据感知方法及装置

Country Status (1)

Country Link
CN (1) CN112330053A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法
US20190138838A1 (en) * 2017-11-09 2019-05-09 Boe Technology Group Co., Ltd. Image processing method and processing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138838A1 (en) * 2017-11-09 2019-05-09 Boe Technology Group Co., Ltd. Image processing method and processing device
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUOLONG LIU 等: "Super Resolution Perception for Smart Meter Data", 《INFORMATION SCIENCES》 *

Similar Documents

Publication Publication Date Title
US10671889B2 (en) Committed information rate variational autoencoders
CN110222220B (zh) 图像处理方法、装置、计算机可读介质及电子设备
US20230206396A1 (en) Image super-resolution reconstructing
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111091524A (zh) 基于深度卷积神经网络的前列腺经直肠超声图像分割方法
Ren et al. Enhanced non-local total variation model and multi-directional feature prediction prior for single image super resolution
CN112529908B (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
Zhu et al. Semantic image segmentation with shared decomposition convolution and boundary reinforcement structure
CN117688984A (zh) 神经网络结构搜索方法、装置及存储介质
CN118053027A (zh) 一种缺陷识别方法、装置、电子设备及存储介质
CN113409307A (zh) 基于异质噪声特性的图像去噪方法、设备及介质
Khan et al. Multi‐scale GAN with residual image learning for removing heterogeneous blur
Ketsoi et al. SREFBN: Enhanced feature block network for single‐image super‐resolution
CN112330053A (zh) 数据感知方法及装置
US20220318950A1 (en) Video enhancement method and apparatus, and electronic device and storage medium
Zhao et al. WTransU-Net: Wiener deconvolution meets multi-scale transformer-based U-net for image deblurring
CN114782768A (zh) 预训练网络模型的训练方法、医学图像处理方法和设备
CN115620017A (zh) 图像的特征提取方法、装置、设备及存储介质
CN115482248A (zh) 图像分割方法、装置、电子设备及存储介质
CN114065913A (zh) 模型量化方法、装置及终端设备
Simchony et al. Stochastic and deterministic algorithms for MAP texture segmentation
CN113780239A (zh) 虹膜识别方法、装置、电子设备和计算机可读介质
Li et al. Spatial frequency enhanced salient object detection
CN113436199B (zh) 半监督视频目标分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210205