CN114254739A - 多模态电力传感器的数据处理方法、装置和计算机设备 - Google Patents

多模态电力传感器的数据处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN114254739A
CN114254739A CN202111572214.2A CN202111572214A CN114254739A CN 114254739 A CN114254739 A CN 114254739A CN 202111572214 A CN202111572214 A CN 202111572214A CN 114254739 A CN114254739 A CN 114254739A
Authority
CN
China
Prior art keywords
data
network model
eigenvector
vector
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111572214.2A
Other languages
English (en)
Inventor
朱艺伟
江瑾
徐键
谢尧
许淳
杨显志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Digital Grid Technology Guangdong Co ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202111572214.2A priority Critical patent/CN114254739A/zh
Publication of CN114254739A publication Critical patent/CN114254739A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种多模态电力传感器的数据处理方法、装置、计算机设备、存储介质和计算机程序产品。通过获取设置在待处理设备中的多模态电力传感器发送的采集数据，将该采集数据输入目标对抗网络模型的编码器，获取编码器输出的采集数据对应的本征向量，并将本征向量输入目标对抗网络模型的解码器，获取解码器输出的采集数据对应的复原数据，根据复原数据对待处理设备进行数据分析。相较于传统的通过合成较短时间长度的传感器数据进行数据处理，本方案通过利用目标对抗网络模型对多模态电力传感器采集的数据进行数据特征提取以及数据复原，从而可以基于复原的数据对待处理设备进行数据分析，实现提高数据多样性的效果。

Description

多模态电力传感器的数据处理方法、装置和计算机设备
技术领域
本申请涉及信息处理技术领域，特别是涉及一种多模态电力传感器的数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
近年来随着深度学习技术的发展，生成对抗网络(GANs)作为一种训练生成模型的框架，在图像样本合成领域取得了众多令人瞩目的成果，目前已经越来越受研究人员的关注，被广泛应用于其他各个领域，如视频合成、音乐合成、文本生成、自然语言合成、异常检测等。
同时，目前多数研究也仅能通过合成较短时间长度的传感器数据，如几十个样本点或几百个样本点的传感器时间序列样本。但是通过该方式生成的网络进行传感器数据处理，由于传感器序列样本时间较短，不能完全表征感知对象的实际状态。
因此，目前的电力传感器数据处理方法存在数据多样性低的缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据多样性的多模态电力传感器的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种多模态电力传感器的数据处理方法，所述方法包括：
获取多模态电力传感器发送的采集数据；所述多模态电力传感器设置在待处理设备中；
将所述采集数据输入目标对抗网络模型的编码器，获取所述编码器输出的所述采集数据对应的本征向量；所述目标对抗网络模型基于样本采集数据对待训练对抗网络模型中的生成器和判别器训练得到；
将所述本征向量输入所述目标对抗网络模型的解码器，获取所述解码器输出的所述采集数据对应的复原数据，根据所述复原数据对所述待处理设备进行数据分析。
在其中一个实施例中，所述方法还包括：
获取训练数据集，并对所述训练数据集中多模态电力传感器对应的训练数据进行预处理，得到所述样本采集数据；
将所述样本采集数据输入待训练对抗网络模型；所述待训练对抗网络模型中包括查询卷积层、键值卷积层以及价值卷积层；
通过所述查询卷积层获取所述样本采集数据对应的查询向量、通过所述键值卷积层获取所述样本采集数据对应的键值向量，以及通过所述价值卷积层获取所述样本采集数据对应的价值向量；
根据所述查询向量、所述键值向量以及所述价值向量，获取所述样本采集数据对应的真实本征向量；
获取所述样本采集数据的类别向量以及随机噪声数据，将所述类别向量和所述随机噪声数据输入所述待训练对抗网络模型中的生成器，获取所述生成器输出的合成本征向量；
将所述真实本征向量和所述合成本征向量输入所述待训练对抗网络模型中的判别器，获取所述判别器输出的判别结果；
将所述判别结果输入预设损失函数，检测所述预设损失函数的输出值是否小于预设数值；
若否，根据所述输出值调整所述待训练对抗网络模型，并返回将所述样本采集数据输入待训练对抗网络模型的步骤；
若是，将当前待训练对抗网络模型作为目标对抗网络模型。
在其中一个实施例中，所述对所述训练数据集中多模态电力传感器对应的训练数据进行预处理，得到所述样本采集数据，包括：
对所述训练数据进行插值处理，得到第一处理结果；
对所述第一处理结果进行滤波处理，得到第二处理结果；
对所述第二处理结果进行归一化处理，得到第三处理结果；
根据目标对抗网络模型的维度，对所述第三处理结果进行转换处理，得到所述样本采集数据。
在其中一个实施例中，所述根据所述查询向量、所述键值向量以及所述价值向量，获取所述样本采集数据对应的真实本征向量，包括：
获取所述查询向量的转置与所述键值向量的第一乘积；
根据所述第一乘积的指数函数，确定对应的注意力权重向量；
根据所述价值向量与所述注意力权重向量的第二乘积，得到所述真实本征向量。
在其中一个实施例中，所述待训练对抗网络模型中包括解码器，所述解码器包括输入层以及本征向量表征层；
所述获取所述样本采集数据的类别向量，包括：
获取所述解码器的输入层到本征向量表征层对应的权重向量；
根据所述样本采集数据与所述权重向量的乘积，得到所述类别向量。
在其中一个实施例中，所述将所述真实本征向量和所述合成本征向量输入所述待训练对抗网络模型中的判别器，获取所述判别器输出的判别结果，包括：
将所述真实本征向量和所述合成本征向量输入所述判别器，通过所述判别器判断所述真实本征向量和所述合成本征向量的相似度；
若所述相似度大于预设相似度阈值，获取所述判别器输出的第一预设数值；
若所述相似度小于或等于预设相似度阈值，获取所述判别器输出的第二预设数值；所述第一预设数值和所述第二预设数值不同。
第二方面，本申请提供了一种多模态电力传感器的数据处理装置，所述装置包括：
获取模块，用于获取多模态电力传感器发送的采集数据；所述多模态电力传感器设置在待处理设备中；
输入模块，用于将所述采集数据输入目标对抗网络模型的编码器，获取所述编码器输出的所述采集数据对应的本征向量；所述目标对抗网络模型基于样本采集数据对待训练对抗网络模型中的生成器和判别器训练得到；
分析模块，用于将所述本征向量输入所述目标对抗网络模型的解码器，获取所述解码器输出的所述采集数据对应的复原数据，根据所述复原数据对所述待处理设备进行数据分析。
第三方面，本申请提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
上述多模态电力传感器的数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取设置在待处理设备中的多模态电力传感器发送的采集数据，将该采集数据输入目标对抗网络模型的编码器，获取编码器输出的采集数据对应的本征向量，并将本征向量输入目标对抗网络模型的解码器，获取解码器输出的采集数据对应的复原数据，根据复原数据对待处理设备进行数据分析。相较于传统的通过合成较短时间长度的传感器数据进行数据处理，本方案通过利用目标对抗网络模型对多模态电力传感器采集的数据进行数据特征提取以及数据复原，从而可以基于复原的数据对待处理设备进行数据分析，实现提高数据多样性的效果。
附图说明
图1为一个实施例中多模态电力传感器的数据处理方法的应用环境图；
图2为一个实施例中多模态电力传感器的数据处理方法的流程示意图；
图3为一个实施例中对抗网络模型训练步骤的流程示意图；
图4为一个实施例中向量获取步骤的流程示意图；
图5为一个实施例中本征向量获取步骤的流程示意图；
图6为一个实施例中输入损失函数步骤的流程示意图；
图7为一个实施例中多模态电力传感器的数据处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的多模态电力传感器的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102可以与多模态传感器进行通信，多模态电力传感器可以设置在待处理设备上。终端102可以获取多模态电力传感器发送的采集数据，并且通过目标对抗网络模型对采集数据进行特征提取和复原，从而终端102可以基于复原的数据对待处理设备进行数据分析。另外，在一些实施例中，还包括服务器104。其中，终端102通过网络与服务器104进行通信。终端102可以将上述复原后的数据存储到服务器104的数据存储系统中。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种多模态电力传感器的数据处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S202，获取多模态电力传感器发送的采集数据；多模态电力传感器设置在待处理设备中。
其中，多模态电力传感器可以是一种可以采集特定类型数据的传感器，多模态电力传感器采集的数据类型可以根据电力传感器本身的类型确定，例如多模态电力传感器可以是三轴加速度传感器、三轴陀螺仪和三轴磁力计等传感器，分别采集其传感器对应类型的数据。多模态电力传感器可以设置在待处理设备上。待处理设备可以是需要进行数据分析的设备，多模态电力传感器设置在待处理设备上时，可以按照预设周期采集待处理设备的相应数据，例如当待处理设备产生相应的行为动作时，多模态电力传感器如三轴加速度传感器、三轴陀螺仪等可以采集相应的数据。多模态电力传感器可以将采集数据发送至终端102中，终端102可以获取多模态电力传感器发送的采集数据，从而终端102可以对采集数据进行相应的处理。
步骤S204，将采集数据输入目标对抗网络模型的编码器，获取编码器输出的采集数据对应的本征向量；目标对抗网络模型基于样本采集数据对待训练对抗网络模型中的生成器和判别器训练得到。
其中，采集数据可以是多模态电力传感器发送的待处理设备对应的数据。终端102可以在接收到采集数据后，将采集数据输入目标对抗网络模型。其中，目标对抗网络模型中可以包括有编码器和解码器，还可以包括生成器和判别器，目标对抗网络模型可以是一种用于提取输入数据的特征并进行数据还原的模型，该模型可以通过对抗学习的方式实现还原数据逼真程度的提高，该目标对抗网络模型可以通过样本采集数据对待训练对抗网络模型中的生成器和判别器训练得到的。终端102可以通过目标对抗网络模型的编码器，提取出上述采集数据对应的本征向量。其中，本征向量一般指特征向量，矩阵的特征向量是矩阵理论上的重要概念之一，它有着广泛的应用。数学上，线性变换的特征向量(本征向量)是一个非简并的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值(本征值)。
步骤S206，将本征向量输入目标对抗网络模型的解码器，获取解码器输出的采集数据对应的复原数据，根据复原数据对待处理设备进行数据分析。
其中，目标对抗网络模型中还可以包括解码器，解码器可以用于对上述采集数据对应的本征向量进行数据还原。终端102可以将上述编码器提取出的本征向量输入到目标对抗网络模型中的解码器中，从而终端102可以通过解码器将上述本征向量还原成采集数据对应的还原数据。其中，还原数据可以是相较于原始的采集数据数量更多，多样性更足的数据，从而终端102可以基于更多的还原数据对待处理设备进行数据分析。
具体地，终端102在将本征向量输入目标对抗网络模型的训练好的解码器，将本征向量映射会真实传感器数据空间，得到采集数据的复原数据。终端102可以利用语义自编码器(Semantic Autoencoder)将多模态传感器数据编码为仅包含最具信息价值的向量，同时将原始传感器数据作为一种约束条件，使编码后的本征向量能够尽可能完整地恢复出原始传感器数据。
以一层隐层构建的语义编码器和语义解码器为例，对本征向量映射方法进行理论分析，假设原始传感器数据为X，解码器的输入层到本征向量表征层之间的权重向量为W，解码器的映射表征层到还原的传感器数据输出层为权重向量为
Figure BDA0003423639050000075
还原的传感器数据为
Figure BDA0003423639050000076
语义自动编码器的目标使要是输入X和
Figure BDA0003423639050000077
尽可能相似，同时还要保证表征向量S具有类别属性语义，即满足WX＝S的约束条件，其中，S为类别向量，X为样本采集数据，W为解码器的输入层到本征向量表征层之间的权重向量。因此本发明所采用的基于语义自编码器(SemanticAutoencoder)本征向量映射方法的目标函数可形式化表示为：
Figure BDA0003423639050000071
另外，在语义自编码器(Semantic Autoencoder)中，终端102需要保证编码器的权重向量与解码器的权重向量保持一种权值镜像共享关系，即W和
Figure BDA0003423639050000078
之间成对称转置关系W＝WT。因此，终端102可以将原目标函数转换为：
Figure BDA0003423639050000072
例如，WX＝S；为了便于优化求解，终端102可以将语义约束条件嵌入目标函数，得到：
Figure BDA0003423639050000073
终端102通过卷积神经网络构建编码器，同时通过转置卷积构建解码器，利用端对端的深度学习方式训练。将训练好的编码器用于将原始传感器数据转换为本征表征向量，并将其作为下一步生成对抗网络学习和合成的目标数据。而训练好的语义编码器又可以将合成的本征表征向量恢复为逼真的传感器数据，从而更充分有效地利用多模态传感器数据中潜在的重要信息属性和特征。
另外，本方案框架主要包括一个生成器和判别器，其中生成器用于学习目标数据的潜在分布特性，从而能够具备不断合成逼真数据的能力，而判别器则用于甄别输入的数据的真假。两者之间存在对抗且共生关系，其生成器的性能提升的动力来自判别器反向传播的梯度信息，而判别器的能力提升受到生成器合成数据的逼真程度的影响，因此两者之间训练的价值函数为：
Figure BDA0003423639050000074
终端102可以针对多模态传感器数据的时空特性，通过一维卷积、二维卷积及三维卷积构建多维度的生成对抗网络学习框架，并通过设置不同的卷积核、步长等参数，使的该生成对抗网络(GANs，Generative Adversarial Nets)框架具有多尺度的时空学习能力。同时，终端102通过语义自编码器(Semantic Autoencoder)将生成对抗网络的学习目标转换到本征向量空间中，使得生成对抗网络能够避免受到原始传感器数据中的噪声及无效信息的影响，从而更有效地学习传感器数据的潜在数据分布。并且，终端102训练好的生成器能够根据类别向量条件控制合成大量的本征向量，这些本征向量就可以输入到训练好的编码器中，用于恢复出目标类别的传感器数据。
上述多模态电力传感器的数据处理方法中，通过获取设置在待处理设备中的多模态电力传感器发送的采集数据，将该采集数据输入目标对抗网络模型的编码器，获取编码器输出的采集数据对应的本征向量，并将本征向量输入目标对抗网络模型的解码器，获取解码器输出的采集数据对应的复原数据，根据复原数据对待处理设备进行数据分析。相较于传统的通过合成较短时间长度的传感器数据进行数据处理，本方案通过利用目标对抗网络模型对多模态电力传感器采集的数据进行数据特征提取以及数据复原，从而可以基于复原的数据对待处理设备进行数据分析，实现提高数据多样性的效果。
在一个实施例中，还包括：获取训练数据集，并对训练数据集中多模态电力传感器对应的训练数据进行预处理，得到样本采集数据；将样本采集数据输入待训练对抗网络模型；待训练对抗网络模型中包括查询卷积层、键值卷积层以及价值卷积层；通过查询卷积层获取样本采集数据对应的查询向量、通过键值卷积层获取样本采集数据对应的键值向量，以及通过价值卷积层获取样本采集数据对应的价值向量；根据查询向量、键值向量以及价值向量，获取样本采集数据对应的真实本征向量；获取样本采集数据的类别向量以及随机噪声数据，将类别向量和随机噪声数据输入待训练对抗网络模型中的生成器，获取生成器输出的合成本征向量；将真实本征向量和合成本征向量输入待训练对抗网络模型中的判别器，获取判别器输出的判别结果；将判别结果输入预设损失函数，检测预设损失函数的输出值是否小于预设数值；若否，根据输出值调整待训练对抗网络模型，并返回将样本采集数据输入待训练对抗网络模型的步骤；若是，将当前待训练对抗网络模型作为目标对抗网络模型。
本实施例中，终端102可以通过对待训练对抗网络模型进行训练，得到上述目标对抗网络模型。如图3所示，图3为一个实施例中对抗网络模型训练步骤的流程示意图。终端102可以通过利用原始传感器数据，即样本采集数据，通过待训练对抗网络模型中的编码器和解码器分别进行特征提取和还原工作，并通过判别器和生成器分别对编码器和解码器输出的数据进行检测，从而实现对判别器和生成器的训练，最终得到上述目标对抗网络模型。终端102可以获取训练数据集，并对训练集中的多模态电力传感器对应的训练数据进行预处理，得到样本采集数据。
终端102得到样本采集数据后，可以对样本采集数据进行编码，从而得到真实本征向量。例如，如图4所示，图4为一个实施例中向量获取步骤的流程示意图。待训练对抗网络模型中可以包括查询卷积层、键值卷积层和价值卷积层等。终端102可以将上述样本采集数据输入待训练对抗网络模型，并通过查询卷积层获取样本采集数据对应的查询向量，通过键值卷积层获取样本采集数据对应的键值向量，以及通过价值卷积层获取样本采集数据对应的价值向量。从而终端102可以根据查询向量、键值向量和价值向量，得到上述样本采集数据对应的真实本征向量。具体地，如图4所示，终端102在构建网络时通过自注意力(Self-Attention)机制来使模型具备学习多模态数据之间全局、长时序依赖关系，并增强多个模态中的重要信息，抑制无效或冗余信息。终端102可以通过一维卷积神经网络分别构建查询卷积层、键值卷积层和价值卷积层：然后，利用它们分别计算多模态传感器数据的查询向量Q、键值向量K以及价值向量V。终端102可以将上述样本采集数据输入待训练对抗网络模型中的查询卷积层进行处理，得到查询向量Q、将上述样本采集数据输入待训练对抗网络模型中的键值卷积层进行处理，得到键值向量K，以及将样本采集数据输入价值卷积层进行处理，得到价值向量V。其中，查询向量Q＝Wq X，键值向量K＝Wk X，价值向量V＝Wv X，Wq为要查询的权重向量，X为样本采集数据。
终端102还可以获取样本采集数据的类别向量以及随机噪声数据，并将类别向量和随机噪声数据输入待训练对抗网络模型中的生成器，从而获取生成器输出的合成本征向量。终端102得到上述真实本征向量和合成本征向量后，可以将真实本征向量与合成本征向量输入待训练对抗网络模型中的判别器，并获取判别器输出的判别结果，并将判别结果输入预设损失函数；终端102可以获取预设损失函数的输出值，并检测该输出值是否小于预设数值。若否，则终端102可以根据该输出值调整待训练对抗网络模型，并返回将样本采集数据输入待训练对抗网络模型的步骤，从而基于调整后的模型进行下一次训练；若是，则终端102可以将当前待训练对抗网络模型作为训练完成的目标对抗网络模型，并结束训练。
通过本实施例，终端102可以基于样本采集数据、以及待训练对抗网络模型中的多个卷积层，对待训练对抗网络模型进行训练，并基于损失函数确定训练成果，从而最终得到训练完成的目标对抗网络模型。进而终端102可以基于目标对抗网络模型进行多模态电力传感器的采集数据的处理，提高了数据多样性。
在一个实施例中，对训练数据集中多模态电力传感器对应的训练数据进行预处理，得到样本采集数据，包括：对训练数据进行插值处理，得到第一处理结果；对第一处理结果进行滤波处理，得到第二处理结果；对第二处理结果进行归一化处理，得到第三处理结果；根据目标对抗网络模型的维度，对第三处理结果进行转换处理，得到样本采集数据。
本实施例中，终端102在从训练数据集中获取多模态电力传感器对应的训练数据后，可以对训练数据进行预处理，从而得到样本采集数据。终端102可以对上述训练数据进行插值处理，得到第一处理结果；终端102还可以对上述第一处理结果进行滤波处理，得到第二处理结果，终端102还可以对上述第二处理结果进行归一化处理，得到第三处理结果。其中，由于目标对抗网络模型有对应的数据维度，因此终端102可以基于目标对抗网络模型的维度，对第三处理结果进行转换处理，将第三处理结果转换为与目标对抗网络的数据的维度对应的维度的数据，作为上述样本采集数据。
通过本实施例，终端102可以通过对训练数据分别进行插值、滤波、归一化和转换处理，得到作为训练样本的样本采集数据，训练得到目标对抗网络模型，从而提高了多模态电力传感器的采集数据的多样性。
在一个实施例中，根据查询向量、键值向量以及价值向量，获取样本采集数据对应的真实本征向量，包括：获取查询向量的转置与键值向量的第一乘积；根据第一乘积的指数函数，确定对应的注意力权重向量；根据价值向量与注意力权重向量的第二乘积，得到真实本征向量。
本实施例中，终端102可以基于上述通过不同卷积层得到的查询向量、键值向量和价值向量，获取样本采集数据对应的真实本征向量。终端102可以获取查询向量的转置，并将该转置与键值向量进行相乘，得到第一乘积；终端102还可以基于第一乘积获取对应的指数函数，并根据该指数函数确定对应的注意力权重向量，并获取价值向量与注意力权重向量的第二乘积，从而基于该第二乘积得到上述真实本征向量。
具体地，如图5所示，图5为一个实施例中本征向量获取步骤的流程示意图。终端102可以通过语义编码器中的多层卷积层得到本征向量。终端102可以通过公式αj,i＝QTK，得到查询向量Q和键值向量K的乘积αj,i，其中，QT为查询向量Q的转置；终端102可以利用Softmax激活函数计算获得注意力权重向量，例如，终端102可以通过下述公式，得到注意力权重向量
Figure BDA0003423639050000111
Figure BDA0003423639050000112
其中，注意力权重向量
Figure BDA0003423639050000113
表示各个模态数据对输出的本征向量的贡献能力的大小，exp(αj,i)为αj,i的指数函数；通过公式
Figure BDA0003423639050000114
得到真实本征向量，其中，Oj为本征向量，Vi为第i个价值向量，即价值向量可以包括多个。
通过本实施例，终端102可以利用查询向量、键值向量、价值向量以及注意力权重向量，获取样本采集数据对应的真实本征向量，从而终端102可以基于真实本征向量对待训练对抗网络模型进行训练，训练得到目标对抗网络模型，从而提高了多模态电力传感器的采集数据的多样性。
在一个实施例中，待训练对抗网络模型中包括解码器，解码器包括输入层以及本征向量表征层；获取样本采集数据的类别向量，包括：获取解码器的输入层到本征向量表征层对应的权重向量；根据样本采集数据与权重向量的乘积，得到类别向量。
本实施例中，上述待训练对抗网络模型中包括解码器，解码器包括输入层以及本征向量表征层。终端102可以获取上述解码器的输入层到本征向量表征层对应的权重向量，并获取上述样本采集数据与权重向量的乘积，从而终端102可以基于该乘积得到上述类别向量。具体地，终端102可以根据样本采集数据的类别向量S和随机噪声数据输入生成器进行处理，得到合成本征向量；而对于类别向量S，终端102可以根据公式：WX＝S得到。其中，X为样本采集数据，W为解码器的输入层到本征向量表征层之间的权重向量。
通过本实施例，终端102可以基于解码器不同层之间的权重向量以及样本采集数据，通过预设的公式得到类别向量，从而终端102可以基于类别向量训练得到目标对抗网络模型，从而提高了多模态电力传感器的采集数据的多样性。
在一个实施例中，将真实本征向量和合成本征向量输入待训练对抗网络模型中的判别器，获取判别器输出的判别结果，包括：将真实本征向量和合成本征向量输入判别器，通过判别器判断真实本征向量和合成本征向量的相似度；若相似度大于预设相似度阈值，获取判别器输出的第一预设数值；若相似度小于或等于预设相似度阈值，获取判别器输出的第二预设数值；第一预设数值和第二预设数值不同。
本实施例中，终端102可以将真实本征向量和合成本征向量输入判别器，通过判别器判断真实本征向量和合成本征向量的相似度。终端102判断该相似度是否大于预设相似度阈值，若是，则终端102可以获取判别器输出的第一预设数值；若否，则终端102可以获取判别器输出的第二预设数值。其中，判别器输出的第一预设数值和第二预设数值可以不同，即判别器输出的不同数值是用于表征上述相似度与预设相似度阈值之间的大小关系的。
具体地，如图6所示，图6为一个实施例中输入损失函数步骤的流程示意图。其中生成器和判别器是通过一维卷积、二维卷积和三维卷积构建而成，而不需要通过递归神经网络构建。终端102可以通过多尺度多维度的卷积网络构建就能够对传感器内部多轴数据以及多模态传感器数据之间的时空特性进行有效学习和利用。从而终端102可以将上述真实本征向量和合成本征向量输入判别器中，得到对应的相似度。
通过本实施例，终端102可以通过判别器对真实本征向量和合成本征向量的相似度的判断，确定输出的数值，从而终端102可以基于输出的数值和预设损失函数训练得到目标对抗网络模型，从而提高了多模态电力传感器的采集数据的多样性。
在一个实施例中，提供一种应用实施例，以可穿戴行为识别应用场景下的加速度、陀螺仪、磁力计数据为例说明，包括数据采集和训练的过程：
对于训练数据采集：数据采集基于实验室模拟环境建立的行为识别数据采集研究平台，采集过程包含的数据信息有：1)三轴加速度传感器数据；2)三轴陀螺仪数据；3)三轴磁力计数据。测试人员被要求做指定的行为动作，加速度、陀螺仪和磁力计等传感器被穿戴在受试者的手腕部位，指定的动作和手势主要包括：(1)走路摆臂；(2)手掌翻转；(3)手臂平移；(4)手臂垂直移动；(5)手臂平举；(6)摆臂；(7)曲臂；(8)指鼻。
数据采集后，终端102需要对原始传感器数据进行数据预处理工作，主要包括插值、滤波及归一化等操作，对于一些存在缺失数据的传感器数据要对数据进行删减或补齐操作，同时要对数据进行切分操作，将其转换成指定网络所需要的数据维度。
经过数据预处理后，终端102可以直接利用这些切分好的传感器数据进行端到端的训练，首先通过自动编码器将原始传感器数据转换为本征向量，然后将这些本征向量作为训练基于卷积网络的生成对抗网络的学习对象和目标。在生成对抗网络完成训练后，利用训练好的生成器根据指定的条件输入合成目标行为的本征向量，然后再利用训练好的解码器将这些合成的本征向量映射会真实传感器数据空间，从而最终达到充足数量和多样性的行为识别的传感器数据。
为了验证通过本发明所合成的传感器数据的逼真程度，终端102可以分别绘制同一种行为类别的真实数据和合成的数据，然后通过视觉图灵测试评估合成数据的效果及多样性，主要对比评测真实传感器和合成传感器时序图的变化趋势、幅值范围、噪声程度等视觉特性。同时为了定量评估合成数据的质量，终端102可以使用欧式距离、余弦距离等多种距离评估指标评价同一种类别的合成数据与真实数据之间的距离。
通过上述实施例，终端102通过利用目标对抗网络模型对多模态电力传感器采集的数据进行数据特征提取以及数据复原，从而可以基于复原的数据对待处理设备进行数据分析，实现提高数据多样性的效果。
并且，终端102能够有效地利用多模态传感器数据的时空特性，并减小多模态数据之间的冗余性，利用注意力机制充分突出重要的模态信息，从而提高模型合成传感器数据的质量和多样性。上述实施例所述的方法通过语义自编码器(Semantic Autoencoder)将原始传感器数据映射到本征向量空间；通过多维度多尺度的卷积网络构建生成对抗网络模型，不仅能够有效地学习单个传感器中多轴数据的时空特性，也能够以及多模态数据之间的时空关联性；通过注意力机制来学习多模态数据之间的重要性及关联性。
上述实施例的方法还能够充分利用不同模态传感器数据自身的时序特性、多轴间的空间特征以及多个模态之间的时空关联特性等，能够更好地挖掘传感器数据潜在的数据分布特性，从而使模型能够合成更加真实且多样的多模态传感器数据。以及基于多尺度的时空卷积设计生成对抗网络模型，使得模型能够更充分地学习传感器数据自身以及传感器数据之间的时空特性，有效地利用了多模态数据之间的相关性、冗余性和互补性等多方面的优势；通过语义自编码器将原始传感器数据映射到本征向量空间，提出传感器数据中最具代表性的特征作为生成对抗网络学习的目标数据，避免了无效特征以及传感器数据内在噪声对训练生成对抗网络的不利影响，从而提高生成器学习潜在数据分布的效果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的多模态电力传感器的数据处理方法的多模态电力传感器的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多模态电力传感器的数据处理装置实施例中的具体限定可以参见上文中对于多模态电力传感器的数据处理方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种多模态电力传感器的数据处理装置，包括：获取模块500、输入模块502和分析模块504，其中：
获取模块500，用于获取多模态电力传感器发送的采集数据；多模态电力传感器设置在待处理设备中。
输入模块502，用于将采集数据输入目标对抗网络模型的编码器，获取编码器输出的采集数据对应的本征向量；目标对抗网络模型基于样本采集数据对待训练对抗网络模型中的生成器和判别器训练得到。
分析模块504，用于将本征向量输入目标对抗网络模型的解码器，获取解码器输出的采集数据对应的复原数据，根据复原数据对待处理设备进行数据分析。
在一个实施例中，上述装置还包括：训练模块，用于获取训练数据集，并对训练数据集中多模态电力传感器对应的训练数据进行预处理，得到样本采集数据；将样本采集数据输入待训练对抗网络模型；待训练对抗网络模型中包括查询卷积层、键值卷积层以及价值卷积层；通过查询卷积层获取样本采集数据对应的查询向量、通过键值卷积层获取样本采集数据对应的键值向量，以及通过价值卷积层获取样本采集数据对应的价值向量；根据查询向量、键值向量以及价值向量，获取样本采集数据对应的真实本征向量；获取样本采集数据的类别向量以及随机噪声数据，将类别向量和随机噪声数据输入待训练对抗网络模型中的生成器，获取生成器输出的合成本征向量；将真实本征向量和合成本征向量输入待训练对抗网络模型中的判别器，获取判别器输出的判别结果；将判别结果输入预设损失函数，检测预设损失函数的输出值是否小于预设数值；若否，根据输出值调整待训练对抗网络模型，并返回将样本采集数据输入待训练对抗网络模型的步骤；若是，将当前待训练对抗网络模型作为目标对抗网络模型。
在一个实施例中，上述训练模块，具体用于对训练数据进行插值处理，得到第一处理结果；对第一处理结果进行滤波处理，得到第二处理结果；对第二处理结果进行归一化处理，得到第三处理结果；根据目标对抗网络模型的维度，对第三处理结果进行转换处理，得到样本采集数据。
在一个实施例中，上述训练模块，具体用于获取查询向量的转置与键值向量的第一乘积；根据第一乘积的指数函数，确定对应的注意力权重向量；根据价值向量与注意力权重向量的第二乘积，得到真实本征向量。
在一个实施例中，上述训练模块，具体用于获取解码器的输入层到本征向量表征层对应的权重向量；根据样本采集数据与权重向量的乘积，得到类别向量。
在一个实施例中，上述训练模块，具体用于将真实本征向量和合成本征向量输入判别器，通过判别器判断真实本征向量和合成本征向量的相似度；若相似度大于预设相似度阈值，获取判别器输出的第一预设数值；若相似度小于或等于预设相似度阈值，获取判别器输出的第二预设数值；第一预设数值和第二预设数值不同。
上述多模态电力传感器的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多模态电力传感器的数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述的多模态电力传感器的数据处理方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的多模态电力传感器的数据处理方法。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的多模态电力传感器的数据处理方法。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种多模态电力传感器的数据处理方法，其特征在于，所述方法包括：
获取多模态电力传感器发送的采集数据；所述多模态电力传感器设置在待处理设备中；
将所述采集数据输入目标对抗网络模型的编码器，获取所述编码器输出的所述采集数据对应的本征向量；所述目标对抗网络模型基于样本采集数据对待训练对抗网络模型中的生成器和判别器训练得到；
将所述本征向量输入所述目标对抗网络模型的解码器，获取所述解码器输出的所述采集数据对应的复原数据，根据所述复原数据对所述待处理设备进行数据分析。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据集，并对所述训练数据集中多模态电力传感器对应的训练数据进行预处理，得到所述样本采集数据；
将所述样本采集数据输入待训练对抗网络模型；所述待训练对抗网络模型中包括查询卷积层、键值卷积层以及价值卷积层；
通过所述查询卷积层获取所述样本采集数据对应的查询向量、通过所述键值卷积层获取所述样本采集数据对应的键值向量，以及通过所述价值卷积层获取所述样本采集数据对应的价值向量；
根据所述查询向量、所述键值向量以及所述价值向量，获取所述样本采集数据对应的真实本征向量；
获取所述样本采集数据的类别向量以及随机噪声数据，将所述类别向量和所述随机噪声数据输入所述待训练对抗网络模型中的生成器，获取所述生成器输出的合成本征向量；
将所述真实本征向量和所述合成本征向量输入所述待训练对抗网络模型中的判别器，获取所述判别器输出的判别结果；
将所述判别结果输入预设损失函数，检测所述预设损失函数的输出值是否小于预设数值；
若否，根据所述输出值调整所述待训练对抗网络模型，并返回将所述样本采集数据输入待训练对抗网络模型的步骤；
若是，将当前待训练对抗网络模型作为目标对抗网络模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述训练数据集中多模态电力传感器对应的训练数据进行预处理，得到所述样本采集数据，包括：
对所述训练数据进行插值处理，得到第一处理结果；
对所述第一处理结果进行滤波处理，得到第二处理结果；
对所述第二处理结果进行归一化处理，得到第三处理结果；
根据目标对抗网络模型的维度，对所述第三处理结果进行转换处理，得到所述样本采集数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述查询向量、所述键值向量以及所述价值向量，获取所述样本采集数据对应的真实本征向量，包括：
获取所述查询向量的转置与所述键值向量的第一乘积；
根据所述第一乘积的指数函数，确定对应的注意力权重向量；
根据所述价值向量与所述注意力权重向量的第二乘积，得到所述真实本征向量。
5.根据权利要求2所述的方法，其特征在于，所述待训练对抗网络模型中包括解码器，所述解码器包括输入层以及本征向量表征层；
所述获取所述样本采集数据的类别向量，包括：
获取所述解码器的输入层到本征向量表征层对应的权重向量；
根据所述样本采集数据与所述权重向量的乘积，得到所述类别向量。
6.根据权利要求2所述的方法，其特征在于，所述将所述真实本征向量和所述合成本征向量输入所述待训练对抗网络模型中的判别器，获取所述判别器输出的判别结果，包括：
将所述真实本征向量和所述合成本征向量输入所述判别器，通过所述判别器判断所述真实本征向量和所述合成本征向量的相似度；
若所述相似度大于预设相似度阈值，获取所述判别器输出的第一预设数值；
若所述相似度小于或等于预设相似度阈值，获取所述判别器输出的第二预设数值；所述第一预设数值和所述第二预设数值不同。
7.一种多模态电力传感器的数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取多模态电力传感器发送的采集数据；所述多模态电力传感器设置在待处理设备中；
输入模块，用于将所述采集数据输入目标对抗网络模型的编码器，获取所述编码器输出的所述采集数据对应的本征向量；所述目标对抗网络模型基于样本采集数据对待训练对抗网络模型中的生成器和判别器训练得到；
分析模块，用于将所述本征向量输入所述目标对抗网络模型的解码器，获取所述解码器输出的所述采集数据对应的复原数据，根据所述复原数据对所述待处理设备进行数据分析。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111572214.2A 2021-12-21 2021-12-21 多模态电力传感器的数据处理方法、装置和计算机设备 Pending CN114254739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111572214.2A CN114254739A (zh) 2021-12-21 2021-12-21 多模态电力传感器的数据处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111572214.2A CN114254739A (zh) 2021-12-21 2021-12-21 多模态电力传感器的数据处理方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN114254739A true CN114254739A (zh) 2022-03-29

Family

ID=80796352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111572214.2A Pending CN114254739A (zh) 2021-12-21 2021-12-21 多模态电力传感器的数据处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN114254739A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502092A (zh) * 2023-06-26 2023-07-28 国网智能电网研究院有限公司 多源异构数据的语义对齐方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733444A (zh) * 2020-12-30 2021-04-30 浙江大学 基于CycleGAN神经网络的多步长时间序列预测方法
WO2021189960A1 (zh) * 2020-10-22 2021-09-30 平安科技（深圳）有限公司 对抗网络训练、医疗数据补充方法、装置、设备及介质
CN113610212A (zh) * 2021-07-05 2021-11-05 宜通世纪科技股份有限公司 一种多模态传感器数据的合成方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021189960A1 (zh) * 2020-10-22 2021-09-30 平安科技（深圳）有限公司 对抗网络训练、医疗数据补充方法、装置、设备及介质
CN112733444A (zh) * 2020-12-30 2021-04-30 浙江大学 基于CycleGAN神经网络的多步长时间序列预测方法
CN113610212A (zh) * 2021-07-05 2021-11-05 宜通世纪科技股份有限公司 一种多模态传感器数据的合成方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502092A (zh) * 2023-06-26 2023-07-28 国网智能电网研究院有限公司 多源异构数据的语义对齐方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Chen et al. Rolling bearing fault diagnosis using time-frequency analysis and deep transfer convolutional neural network
Bu et al. Learning high-level feature by deep belief networks for 3-D model retrieval and recognition
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
Burlina et al. Where's Wally now? Deep generative and discriminative embeddings for novelty detection
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
Yang et al. Deep sparse tensor filtering network for synthetic aperture radar images classification
US20220249906A1 (en) On-device activity recognition
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN115222998B (zh) 一种图像分类方法
CN113610212B (zh) 一种多模态传感器数据的合成方法、装置及存储介质
CN114254739A (zh) 多模态电力传感器的数据处理方法、装置和计算机设备
Ou et al. CBW-MSSANet: A CNN framework with compact band weighting and multiscale spatial attention for hyperspectral image change detection
CN111260074B (zh) 一种超参数确定的方法、相关装置、设备及存储介质
EP3588441B1 (en) Imagification of multivariate data sequences
Kachuee et al. Context-aware feature query to improve the prediction performance
CN115033700A (zh) 基于相互学习网络的跨领域情感分析方法、装置以及设备
CN115132324A (zh) 心理健康预测方法和装置、电子设备、存储介质
Liu et al. GSC-YOLO: a lightweight network for cup and piston head detection
JP7168393B2 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
Shen et al. Residual network based on convolution attention model and feature fusion for dance motion recognition
Shi et al. Dual-graph hierarchical interaction network for referring image segmentation
Chao et al. Structural feature representation and fusion of human spatial cooperative motion for action recognition
US20230282031A1 (en) Pose prediction for articulated object
CN117576248B (zh) 基于姿态引导的图像生成方法和装置
Gong et al. Small Sample Face Recognition Method Under Unnatural Circumstances

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230411

Address after: Full Floor 14, Unit 3, Building 2, No. 11, Middle Spectra Road, Huangpu District, Guangzhou, Guangdong 510700

Applicant after: China Southern Power Grid Digital Grid Technology (Guangdong) Co.,Ltd.

Address before: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

TA01 Transfer of patent application right