CN116484878A - 电力异质数据的语义关联方法、装置、设备及存储介质 - Google Patents
电力异质数据的语义关联方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116484878A CN116484878A CN202310737583.5A CN202310737583A CN116484878A CN 116484878 A CN116484878 A CN 116484878A CN 202310737583 A CN202310737583 A CN 202310737583A CN 116484878 A CN116484878 A CN 116484878A
- Authority
- CN
- China
- Prior art keywords
- image
- text
- semantic association
- feature
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 118
- 230000006870 function Effects 0.000 claims description 66
- 230000015654 memory Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及信息检索技术领域，公开了电力异质数据的语义关联方法、装置、设备及存储介质，本发明提供的方法，首先对多模态数据集进行模态内特征联合学习，包括全局特征和上下文特征，根据文本的全局特征向量、文本上下文特征向量，得到文本语义关联空间，根据图像的全局特征向量、图像上下文特征向量，得到图像语义关联空间，根据文本语义关联空间、图像语义关联空间，得到共享语义关联空间，将预设图像、预设文本映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量，通过计算其相似度，得到预设图像、预设文本的语义关联度。通过本发明提供的方法能够很好地学习电网场景下不同子类别间的判别性以及异构数据间的关联关系。
Description
技术领域
本发明涉及信息检索技术领域，具体涉及电力异质数据的语义关联方法、装置、设备及存储介质。
背景技术
人工智能技术的高速发展为电力领域感知世界赋予了无限活力，变电站里主设备安装了多种传感器，随着时间的推移，传感器采集了庞大的数据，例如图像、语音、文本等，用于支撑多源异构数据分析。其中，对于多源异构数据的多模态数据进行检索存在“同一模态内特征判别性不强”和“不同模态间语义关联较弱”问题使之难以进行高效语义关联分析。
发明内容
有鉴于此，本发明提供了一种电力异质数据的语义关联方法、装置、设备及存储介质，以解决多源异构数据的多模态数据进行检索时，“同一模态内特征判别性不强”和“不同模态间语义关联较弱”的问题。
第一方面，本发明提供了一种电力异质数据的语义关联方法，方法包括：
获取多模态数据集，多模态数据集包括：电力图像数据库和电力文本数据库；
通过多个预设特征提取器分别提取图像和文本的全局特征向量、上下文特征向量；
根据第一目标函数，对文本的全局特征向量、文本上下文特征向量进行矩阵变换，得到文本语义关联空间；
根据第二目标函数，对图像的全局特征向量、图像上下文特征向量进行矩阵变换，得到图像语义关联空间；
根据第三目标函数，对文本语义关联空间、图像语义关联空间进行矩阵变换，得到共享语义关联空间；
根据第四目标函数、第五目标函数分别将预设图像、预设文本映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量；
通过计算第一特征向量、第二特征向量的相似度，得到预设图像、预设文本的语义关联度。
通过本发明提供的方法能够很好地学习电网场景下不同子类别间的判别性以及异构数据间的关联关系。
在一种可选的实施方式中，通过预设特征提取器对图像进行下文特征向量特征提取，包括：
将图像划分成互不重叠的多个图像区块；
通过预设神经网络的线性映射层，生成对应区块的线性特征向量；
分别对图像的各个区块进行位置编码；
各区块的线性特征向量及位置编码通过Transformer编码器，利用自注意力算法生成各个区块的特征向量；
各个区块的特征向量通过预设神经网络的多层全连接网络，完成图像下文特征向量的特征提取。
本发明通过预设特征提取器，针对每一个图像区块分别进行特征编码，并考虑了图像区块之间的邻接关系，能够有效地捕获图像的局部细节依赖关系信息，从而有利于提取更鲁棒的图像特征。
在一种可选的实施方式中，第一目标函数为：
其中，、/>分别为图像全局特征集合和图像上下文特征集合，F为范数，j、p分别为图像全局特征的维度和图像上下文特征的维度，n为样本数量，/>、分别为图像全局空间的基和图像上下文空间中的基，k为共享语义关联空间的维度，/>为/>和/>共同所投影的隐空间特征表示，/>为/>的第i列，/>为/>的第i列，/>和/>分别为调节图像全局特征的权重和图像上下文特征的权重。
本发明通过第一目标函数，约束和/>所共同映射的语义关联特征Z一致，实现了图像-文本两个异质空间对齐。
在一种可选的实施方式中，第二目标函数为：
其中，、/>分别为文本全局特征集合和文本上下文特征集合，j、p分别为文本全局特征的维度和文本上下文特征的维度，/>和/>分别为文本全局空间的基和文本上下文空间中的基，/>为/>和/>共同所投影的隐空间特征表示，/>为/>的第i列，/>为/>的第i列，/>和/>分别为调节文本全局特征的权重和文本上下文特征的权重。
本发明通过第二目标函数，约束和/>所共同映射的语义关联特征Z一致，实现了图像-文本两个异质空间对齐。
在一种可选的实施方式中，第三目标函数为：
其中，为样本的类别标签，/>为类的个数，对应于样本/>的一个0向量或1向量，其中非零的项为第i个图像的类，U为共享语义关联空间中分类器的权重。
本发明通过第三目标函数，构建共享语义关联空间，进而增强模态间语义关联。
在一种可选的实施方式中，第四目标函数为：
其中，和/>分别为预设图像的全局特征和预设图像的上下文特征，/>为预设图像在共享语义关联空间中的特征。
本发明通过第四目标函数，将预设图像映射至共享语义关联空间中，计算第一特征向量，为计算相似度做准备。
在一种可选的实施方式中，第五目标函数为：
其中，和/>分别为预设文本的全局特征和预设文本上下文特征，/>为预设文本在共享语义关联空间中的特征。
本发明通过第五目标函数，将预设文本映射至共享语义关联空间中，计算第二特征向量，为计算相似度做准备。
第二方面，本发明提供了一种电力异质数据的语义关联装置，装置包括：
获取模块，用于获取多模态数据集，多模态数据集包括：电力图像数据库和电力文本数据库；
多特征提取模块，用于通过多个预设特征提取器分别提取图像和文本的全局特征向量、上下文特征向量；
文本语义关联空间生成模块，用于根据第一目标函数，对文本的全局特征向量、文本上下文特征向量进行矩阵变换，得到文本语义关联空间；
图像语义关联空间生成模块，用于根据第二目标函数，对图像的全局特征向量、图像上下文特征向量进行矩阵变换，得到图像语义关联空间；
共享语义关联空间生成模块，用于根据第三目标函数，对文本语义关联空间、图像语义关联空间进行矩阵变换，得到共享语义关联空间；
特征向量计算模块，用于根据第四目标函数、第五目标函数分别将预设图像、预设文本映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量；
语义关联计算模块，用于通过计算第一特征向量、第二特征向量的相似度，得到预设图像、预设文本的语义关联度。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的电力异质数据的语义关联方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的电力异质数据的语义关联方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的电力异质数据的语义关联方法的流程示意图；
图2是根据本发明实施例的电力异质数据的语义关联装置的结构框图；
图3是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要应用于基于全局-上下文特征共享语义学习的电力异质数据语义关联，通过构建共享语义关联空间，借助矩阵变换，将多个特征映射到该空间中，以解决异质鸿沟问题。
根据本发明实施例，提供了一种电力异质数据的语义关联方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种电力异质数据的语义关联方法，图1是根据本发明实施例的电力异质数据的语义关联方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取多模态数据集，多模态数据集包括：电力图像数据库和电力文本数据库。
在本发明实施例中，采集视觉、文本两种异质空间中的多模态数据集，多模态数据集包括：电力图像数据库和电力文本数据库。根据采集不同的数据选取不同的采集仪器，对采集的方式不作限制。
步骤S102，通过多个预设特征提取器分别提取图像和文本的全局特征向量、上下文特征向量。
在本发明实施例中，通过不同的预设特征提取器分别提取图像和文本的全局特征向量、上下文特征向量。例如：通过VggNet特征提取器提取图像全局特征，通过预设特征提取器对图像进行下文特征向量特征提取，采用BOW、Bert特征提取器分别提取文本的全局、上下文特征。仅以此举例，不以此为限，在实际应用中根据实际情况选取相应的特征提取器。
步骤S103，根据第一目标函数，对文本的全局特征向量、文本上下文特征向量进行矩阵变换，得到文本语义关联空间。
在本发明实施例中，通过第一目标函数，对文本的全局特征向量、文本上下文特征向量进行矩阵变换，实现文本的全局特征向量、文本上下文特征向量的对齐，得到文本语义关联空间。
步骤S104，根据第二目标函数，对图像的全局特征向量、图像上下文特征向量进行矩阵变换，得到图像语义关联空间。
在本发明实施例中，通过第一目标函数，对图像的全局特征向量、图像上下文特征向量进行矩阵变换，实现图像的全局特征向量、图像上下文特征向量的对齐，得到图像语义关联空间。
步骤S105，根据第三目标函数，对文本语义关联空间、图像语义关联空间进行矩阵变换，得到共享语义关联空间。
在本发明实施例中，由于图像和文本是异构的，因此共享语义学习对于实现视觉语言对齐至关重要，通过第三目标函数，对文本语义关联空间、图像语义关联空间进行矩阵变换，使其映射至同一个空间，得到共享语义关联空间。
步骤S106，根据第四目标函数、第五目标函数分别将预设图像、预设文本映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量。
在本发明实施例中，首先利用预设的特征提取器分别提取预设图像、预设文本的全局和上下文的特征向量，将预设图片的全局和上下文的特征向量映射至共享语义关联空间中，将预设文本的全局和上下文的特征向量映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量。
步骤S107，通过计算第一特征向量、第二特征向量的相似度，得到预设图像、预设文本的语义关联度。
在本发明实施例中，利用余弦距离来度量第一特征向量和第二特征向量之间的相似度，根据相似度的数值得到预设图像、预设文本的语义关联度。
本实施例提供的电力异质数据的语义关联方法，提出了全局-上下文共享语义学习方法，能够很好地学习电网场景下不同子类别间的判别性以及异构数据间的关联关系。
在一些可选的实施方式中，通过预设特征提取器对图像进行下文特征向量特征提取，包括：
步骤a1，将图像划分成互不重叠的多个图像区块。
步骤a2，通过预设神经网络的线性映射层，生成对应区块的线性特征向量。
步骤a3，分别对图像的各个区块进行位置编码。
步骤a4，各区块的线性特征向量及位置编码通过Transformer编码器，利用自注意力算法生成各个区块的特征向量。
步骤a5，各个区块的特征向量通过预设神经网络的多层全连接网络，完成图像下文特征向量的特征提取。
在本发明实施例中，将一张电网业务图像划分成若干个互不重叠的图像区块，通过线性映射层得到其对应区块的线性特征向量，对于每一个图像区块，定义一个特定的位置编码，用于保持图像区块在原始图像中的位置信息，将所有图像区块的线性特征向量及其位置编码通过Transformer编码器中，不同图像区块的特征之间通过自注意力算法建立关联关系，并通过多层全连接网络完成图像下文特征向量的特征提取。
本发明实施例通过构建的图像上下文特征提取器，针对每一个图像区块分别进行特征编码，并考虑了图像区块之间的邻接关系，能够有效地捕获图像的局部细节依赖关系信息，从而有利于提取更鲁棒的图像特征。
在一些可选的实施方式中，第一目标函数为：
其中，、/>分别为图像全局特征集合和图像上下文特征集合，F为范数，j、p分别为图像全局特征的维度和图像上下文特征的维度，n为样本数量，/>、分别为图像全局空间的基和图像上下文空间中的基，k为共享语义关联空间的维度，/>为/>和/>共同所投影的隐空间特征表示，/>为/>的第i列，/>为/>的第i列，/>和/>分别为调节图像全局特征的权重和图像上下文特征的权重。
本发明实施例通过第一目标函数，约束和/>所共同映射的语义关联特征Z一致，实现了图像-文本两个异质空间对齐。
在一些可选的实施方式中，第二目标函数为：
其中，、/>分别为文本全局特征集合和文本上下文特征集合，j、p分别为文本全局特征的维度和文本上下文特征的维度，/>和/>分别为文本全局空间的基和文本上下文空间中的基，/>为/>和/>共同所投影的隐空间特征表示，/>为/>的第i列，/>为/>的第i列，/>和/>分别为调节文本全局特征的权重和文本上下文特征的权重。
本发明实施例通过第二目标函数，约束和/>所共同映射的语义关联特征Z一致，实现了图像-文本两个异质空间对齐。
在一些可选的实施方式中，第三目标函数为：
其中，为样本的类别标签，/>为类的个数，对应于样本/>的一个0向量或1向量，其中非零的项为第i个图像的类，U为共享语义关联空间中分类器的权重。
本发明实施例通过第三目标函数，构建共享语义关联空间，进而增强模态间语义关联。
在一些可选的实施方式中，第四目标函数为：
其中，和/>分别为预设图像的全局特征和预设图像的上下文特征，/>为预设图像在共享语义关联空间中的特征。
本发明实施例通过第四目标函数，将预设图像映射至共享语义关联空间中，计算第一特征向量，为计算相似度做准备。
在一些可选的实施方式中，第五目标函数为：
其中，和/>分别为预设文本的全局特征和预设文本上下文特征，/>为预设文本在共享语义关联空间中的特征。
本发明实施例通过第五目标函数，将预设文本映射至共享语义关联空间中，计算第二特征向量，为计算相似度做准备。
在本实施例中还提供了一种电力异质数据的语义关联装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种电力异质数据的语义关联装置，如图2所示，包括：
获取模块201，用于获取多模态数据集，多模态数据集包括：电力图像数据库和电力文本数据库。
多特征提取模块202，用于通过多个预设特征提取器分别提取图像和文本的全局特征向量、上下文特征向量。
文本语义关联空间生成模块203，用于根据第一目标函数，对文本的全局特征向量、文本上下文特征向量进行矩阵变换，得到文本语义关联空间。
图像语义关联空间生成模块204，用于根据第二目标函数，对图像的全局特征向量、图像上下文特征向量进行矩阵变换，得到图像语义关联空间。
共享语义关联空间生成模块205，用于根据第三目标函数，对文本语义关联空间、图像语义关联空间进行矩阵变换，得到共享语义关联空间。
特征向量计算模块206，用于根据第四目标函数、第五目标函数分别将预设图像、预设文本映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量。
语义关联计算模块207，用于通过计算第一特征向量、第二特征向量的相似度，得到预设图像、预设文本的语义关联度。
在一些可选的实施方式中，多特征提取模块202中，通过预设特征提取器对图像进行下文特征向量特征提取，包括：
划分单元，用于将图像划分成互不重叠的多个图像区块；
第一特征向量生成单元，用于通过预设神经网络的线性映射层，生成对应区块的线性特征向量；
位置编码单元，用于分别对图像的各个区块进行位置编码；
第二特征向量生成单元，用于各区块的线性特征向量及位置编码通过Transformer编码器，利用自注意力算法生成各个区块的特征向量；
特征提取单元，用于各个区块的特征向量通过预设神经网络的多层全连接网络，完成图像下文特征向量的特征提取。
在一些可选的实施方式中，文本语义关联空间生成模块203中的第一目标函数为：
其中，、/>分别为图像全局特征集合和图像上下文特征集合，F为范数，j、p分别为图像全局特征的维度和图像上下文特征的维度，n为样本数量，/>、分别为图像全局空间的基和图像上下文空间中的基，k为共享语义关联空间的维度，/>为/>和/>共同所投影的隐空间特征表示，/>为/>的第i列，/>为/>的第i列，/>和/>分别为调节图像全局特征的权重和图像上下文特征的权重。
在一些可选的实施方式中，图像语义关联空间生成模块204的第二目标函数为：
其中，、/>分别为文本全局特征集合和文本上下文特征集合，j、p分别为文本全局特征的维度和文本上下文特征的维度，/>和/>分别为文本全局空间的基和文本上下文空间中的基，/>为/>和/>共同所投影的隐空间特征表示，/>为/>的第i列，/>为/>的第i列，/>和/>分别为调节文本全局特征的权重和文本上下文特征的权重。
在一些可选的实施方式中，共享语义关联空间生成模块205的第三目标函数为：
其中，为样本的类别标签，/>为类的个数，对应于样本/>的一个0向量或1向量，其中非零的项为第i个图像的类，U为共享语义关联空间中分类器的权重。
在一些可选的实施方式中，特征向量计算模块206的第四目标函数为：
其中，和/>分别为预设图像的全局特征和预设图像的上下文特征，/>为预设图像在共享语义关联空间中的特征。
在一些可选的实施方式中，特征向量计算模块206的第五目标函数为：
其中，和/>分别为预设文本的全局特征和预设文本上下文特征，/>为预设文本在共享语义关联空间中的特征。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的电力异质数据的语义关联装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图2所示的电力异质数据的语义关联装置。
请参阅图3，图3是本发明可选实施例提供的一种计算机设备的结构示意图，如图3所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图3中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种电力异质数据的语义关联方法，其特征在于，所述方法包括：
获取多模态数据集，所述多模态数据集包括：电力图像数据库和电力文本数据库；
通过多个预设特征提取器分别提取图像和文本的全局特征向量、上下文特征向量；
根据第一目标函数，对文本的全局特征向量、文本上下文特征向量进行矩阵变换，得到文本语义关联空间；
根据第二目标函数，对图像的全局特征向量、图像上下文特征向量进行矩阵变换，得到图像语义关联空间；
根据第三目标函数，对文本语义关联空间、图像语义关联空间进行矩阵变换，得到共享语义关联空间；
根据第四目标函数、第五目标函数分别将预设图像、预设文本映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量；
通过计算第一特征向量、第二特征向量的相似度，得到所述预设图像、所述预设文本的语义关联度。
2.根据权利要求1所述的方法，其特征在于，通过预设特征提取器对图像进行下文特征向量特征提取，包括：
将图像划分成互不重叠的多个图像区块；
通过预设神经网络的线性映射层，生成对应区块的线性特征向量；
分别对图像的各个区块进行位置编码；
各区块的线性特征向量及位置编码通过Transformer编码器，利用自注意力算法生成各个区块的特征向量；
各个区块的特征向量通过预设神经网络的多层全连接网络，完成图像下文特征向量的特征提取。
3.根据权利要求1所述的方法，其特征在于，所述第一目标函数为：
其中，、/>分别为图像全局特征集合和图像上下文特征集合，F为范数，j、p分别为图像全局特征的维度和图像上下文特征的维度，n为样本数量，/>、分别为图像全局空间的基和图像上下文空间中的基，k为共享语义关联空间的维度，/>为/>和/>共同所投影的隐空间特征表示，/>为/>的第i列，/>为/>的第i列，/>和/>分别为调节图像全局特征的权重和图像上下文特征的权重。
4.根据权利要求3所述的方法，其特征在于，所述第二目标函数为：
其中，、/>分别为文本全局特征集合和文本上下文特征集合，j、p分别为文本全局特征的维度和文本上下文特征的维度，/>和/>分别为文本全局空间的基和文本上下文空间中的基，/>为/>和/>共同所投影的隐空间特征表示，为/>的第i列，/>为/>的第i列，/>和/>分别为调节文本全局特征的权重和文本上下文特征的权重。
5.根据权利要求4所述的方法，其特征在于，所述第三目标函数为：
其中，为样本的类别标签，/>为类的个数，/>对应于样本/>的一个0向量或1向量，其中非零的项为第i个图像的类，U为共享语义关联空间中分类器的权重。
6.根据权利要求5所述的方法，其特征在于，所述第四目标函数为：
其中，和/>分别为预设图像的全局特征和预设图像的上下文特征，/>为预设图像在共享语义关联空间中的特征。
7.根据权利要求6所述的方法，其特征在于，所述第五目标函数为：
其中，和/>分别为预设文本的全局特征和预设文本上下文特征，/>为预设文本在共享语义关联空间中的特征。
8.一种电力异质数据的语义关联装置，其特征在于，所述装置包括：
获取模块，用于获取多模态数据集，所述多模态数据集包括：电力图像数据库和电力文本数据库；
多特征提取模块，用于通过多个预设特征提取器分别提取图像和文本的全局特征向量、上下文特征向量；
文本语义关联空间生成模块，用于根据第一目标函数，对文本的全局特征向量、文本上下文特征向量进行矩阵变换，得到文本语义关联空间；
图像语义关联空间生成模块，用于根据第二目标函数，对图像的全局特征向量、图像上下文特征向量进行矩阵变换，得到图像语义关联空间；
共享语义关联空间生成模块，用于根据第三目标函数，对文本语义关联空间、图像语义关联空间进行矩阵变换，得到共享语义关联空间；
特征向量计算模块，用于根据第四目标函数、第五目标函数分别将预设图像、预设文本映射至共享语义关联空间中，分别生成第一特征向量、第二特征向量；
语义关联计算模块，用于通过计算第一特征向量、第二特征向量的相似度，得到预设图像、预设文本的语义关联度。
9.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的电力异质数据的语义关联方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的电力异质数据的语义关联方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310737583.5A CN116484878B (zh) | 2023-06-21 | 2023-06-21 | 电力异质数据的语义关联方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310737583.5A CN116484878B (zh) | 2023-06-21 | 2023-06-21 | 电力异质数据的语义关联方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116484878A true CN116484878A (zh) | 2023-07-25 |
| CN116484878B CN116484878B (zh) | 2023-09-08 |
Family
ID=87214146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310737583.5A Active CN116484878B (zh) | 2023-06-21 | 2023-06-21 | 电力异质数据的语义关联方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116484878B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117808923A (zh) * | 2024-02-29 | 2024-04-02 | 浪潮电子信息产业股份有限公司 | 一种图像生成方法、系统、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107562812A (zh) * | 2017-08-11 | 2018-01-09 | 北京大学 | 一种基于特定模态语义空间建模的跨模态相似性学习方法 |
| CN108132968A (zh) * | 2017-12-01 | 2018-06-08 | 西安交通大学 | 网络文本与图像中关联语义基元的弱监督学习方法 |
| WO2019007041A1 (zh) * | 2017-07-06 | 2019-01-10 | 北京大学深圳研究生院 | 基于多视图联合嵌入空间的图像-文本双向检索方法 |
| CN113191357A (zh) * | 2021-05-18 | 2021-07-30 | 中国石油大学(华东) | 基于图注意力网络的多层次图像-文本匹配方法 |
| CN113779361A (zh) * | 2021-08-27 | 2021-12-10 | 华中科技大学 | 基于多层注意力机制的跨模态检索模型的构建方法及应用 |
| CN114817673A (zh) * | 2022-04-14 | 2022-07-29 | 华侨大学 | 一种基于模态关系学习的跨模态检索方法 |
-
2023
- 2023-06-21 CN CN202310737583.5A patent/CN116484878B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019007041A1 (zh) * | 2017-07-06 | 2019-01-10 | 北京大学深圳研究生院 | 基于多视图联合嵌入空间的图像-文本双向检索方法 |
| CN107562812A (zh) * | 2017-08-11 | 2018-01-09 | 北京大学 | 一种基于特定模态语义空间建模的跨模态相似性学习方法 |
| CN108132968A (zh) * | 2017-12-01 | 2018-06-08 | 西安交通大学 | 网络文本与图像中关联语义基元的弱监督学习方法 |
| CN113191357A (zh) * | 2021-05-18 | 2021-07-30 | 中国石油大学(华东) | 基于图注意力网络的多层次图像-文本匹配方法 |
| CN113779361A (zh) * | 2021-08-27 | 2021-12-10 | 华中科技大学 | 基于多层注意力机制的跨模态检索模型的构建方法及应用 |
| CN114817673A (zh) * | 2022-04-14 | 2022-07-29 | 华侨大学 | 一种基于模态关系学习的跨模态检索方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHUHUI WANG 等: "Improving cross-modal correlation learning with hyperlinks", 2015 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME) * |
| 王琪等: "基于跨模态语义增强的图像检索方法", 南阳理工学院学报 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117808923A (zh) * | 2024-02-29 | 2024-04-02 | 浪潮电子信息产业股份有限公司 | 一种图像生成方法、系统、电子设备及可读存储介质 |
| CN117808923B (zh) * | 2024-02-29 | 2024-05-14 | 浪潮电子信息产业股份有限公司 | 一种图像生成方法、系统、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116484878B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7193252B2 (ja) | 画像の領域のキャプション付加 | |
| US10754851B2 (en) | Question answering for data visualizations | |
| Xu et al. | Remote sensing image scene classification based on generative adversarial networks | |
| CN110827929B (zh) | 疾病分类编码识别方法、装置、计算机设备及存储介质 | |
| CN113705733A (zh) | 医疗票据图像处理方法及装置、电子设备、存储介质 | |
| CA3119249C (en) | Querying semantic data from unstructured documents | |
| CN116484878B (zh) | 电力异质数据的语义关联方法、装置、设备及存储介质 | |
| CN117523593B (zh) | 患者病历数据处理方法及系统 | |
| CN116776872A (zh) | 医疗数据结构化归档系统 | |
| CN110874591A (zh) | 一种图像定位方法、装置、设备及存储介质 | |
| Siebert et al. | Multi-modal fusion transformer for visual question answering in remote sensing | |
| CN115238670A (zh) | 信息文本抽取方法、装置、设备及存储介质 | |
| Guan et al. | On-device mobile visual location recognition by using panoramic images and compressed sensing based visual descriptors | |
| CN116721713B (zh) | 一种面向化学结构式识别的数据集构建方法和装置 | |
| CN115905524B (zh) | 融合句法和语义信息的情感分析方法、装置以及设备 | |
| CN114782720A (zh) | 文案的配图确定方法、装置、电子设备、介质及程序产品 | |
| Kawano et al. | TAG: Guidance-free Open-Vocabulary Semantic Segmentation | |
| KR20230053361A (ko) | 입력 이미지를 기반으로 인터넷 쇼핑몰에 전시되는 상품 이미지를 생성하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 | |
| CN117173731B (zh) | 一种模型训练的方法、图像处理的方法以及相关装置 | |
| CN116108843B (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
| Gordin et al. | Optical character recognition for complex scripts: A case-study in cuneiform | |
| CN113761940B (zh) | 新闻主体判断方法、设备及计算机可读介质 | |
| CN117938951B (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
| CN118134589A (zh) | 通过电脑端与移动终端联动创建商品信息的方法及计算设备 | |
| CN118152518A (zh) | 一种基于图像嵌入和数据增强的图像与文本混合检索方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |