CN113822290A - 数据融合方法、装置、电子设备和计算机可读存储介质 - Google Patents

数据融合方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113822290A
CN113822290A CN202111130228.9A CN202111130228A CN113822290A CN 113822290 A CN113822290 A CN 113822290A CN 202111130228 A CN202111130228 A CN 202111130228A CN 113822290 A CN113822290 A CN 113822290A
Authority
CN
China
Prior art keywords
initial
correlation function
characteristic
matrix
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111130228.9A
Other languages
English (en)
Inventor
王越辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wingtech Electronic Technology Co Ltd
Original Assignee
Shanghai Wingtech Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wingtech Electronic Technology Co Ltd filed Critical Shanghai Wingtech Electronic Technology Co Ltd
Priority to CN202111130228.9A priority Critical patent/CN113822290A/zh
Priority to PCT/CN2021/139312 priority patent/WO2023045137A1/zh
Publication of CN113822290A publication Critical patent/CN113822290A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种数据融合方法、装置、电子设备和计算机可读存储介质，包括：构建目标数据样本集对应的初始特征关联函数；通过约束函数优化初始特征关联函数的初始参数得到目标参数；基于所述目标参数，重构所述初始特征关联函数得到目标特征关联函数；基于所述目标特征关联函数进行数据融合，实现在数据融合时剔除噪声数据。

Description

数据融合方法、装置、电子设备和计算机可读存储介质
技术领域
本公开涉及数据融合技术领域，尤其涉及一种数据融合方法、装置、电子设备和计算机可读存储介质。
背景技术
海量媒体数据伴随着科技进步不断产生，这些媒体数据是指图像、视频及与之相伴的标题、文字等文本信息，而如何借助科学工具来对数据进行检索、对视频中异常行为的检测及跟踪已成为计算机视觉和模式识别中要解决的关键问题。然而，在解决这些问题时往往会涉及到对图像进行分类。
现有技术中基于各类异质和同质特征信息的数据融合方法能够极大提升图像分类的效率与准确度。
然而，当前的基于数据融合方法的通常需要将数据的异质特征数据投影为同质特征网络，覆盖了异质特征数据的内部结构，无法剔除噪声特征网络的影响，进而图像分类结果较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据融合方法、装置、电子设备和计算机可读存储介质，实现在数据融合时剔除噪声数据。
第一方面，本公开实施例提供了一种数据融合方法，包括：
构建目标数据样本集对应的初始特征关联函数；
通过约束函数优化初始特征关联函数的初始参数得到目标参数；
基于所述目标参数，重构所述初始特征关联函数得到目标特征关联函数；
基于所述目标特征关联函数进行数据融合。
可选的，所述构建目标数据样本集对应的初始特征关联函数，包括：
构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数；
确定所述初始异质特征关联函数对应的第一初始权重以及所述初始同质特征关联函数对应的第二初始权重，其中，所述第一初始权重为异质特征关联函数所对应的权重，所述第二初始权重为同质特征关联函数对应的权重；
根据所述初始异质特征关联函数、所述初始同质特征关联函数、所述第一初始权重和所述第二初始权重确定初始特征关联函数。
可选的，所述构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数，包括：
确定目标数据样本集对应的初始异质特征关联矩阵和初始同质特征关联矩阵；
确定所述初始异质特征关联矩阵对应的初始低秩特征矩阵；
确定所述初始低秩特征矩阵对应的初始低秩特征矩阵关联函数；
基于所述初始异质特征关联矩阵、所述初始低秩特征矩阵以及所述初始低秩特征矩阵关联函数构建目标数据样本集对应的初始异质特征关联函数；
基于所述初始同质特征关联矩阵以及所述初始低秩特征矩阵构建目标数据样本集对应的初始同质特征关联函数。
可选的，所述通过约束函数优化初始特征关联函数的初始参数得到目标参数，包括：
基于约束函数，通过交替方向乘子法优化初始特征关联函数的初始参数得到目标参数。
可选的，所述基于约束函数，通过交替方向乘子法优化初始特征关联函数的初始参数得到目标参数，包括：
基于约束函数，通过交替方向乘子法依次求解所述初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数，其中，所述最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数为所述目标参数。
可选的，所述基于约束函数，通过交替方向乘子法依次求解所述初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数，包括：
设置所述第一初始权重、所述第二初始权重、所述初始低秩特征矩阵为固定值，对所述初始特征关联函数求第一偏导，在所述第一偏导值为零时，确定最优初始低秩特征矩阵关联函数；
设置所述第一初始权重、所述第二初始权重、所述初始低秩特征矩阵关联函数为固定值，对所述初始特征关联函数求第二偏导，在所述第二偏导值为零时，确定最优初始低秩特征矩阵；
设置所述第二初始权重、所述初始低秩特征矩阵、所述初始低秩特征矩阵关联函数为固定值，对所述初始特征关联函数求第三偏导，基于约束条件，确定最优第一初始权重；
设置所述第一初始权重、所述初始低秩特征矩阵、所述初始低秩特征矩阵关联函数为固定值，对所述初始特征关联函数求第四偏导，基于约束条件，确定最优第二初始权重。
可选的，所述方法还包括：
获取数据样本集，并对所述数据样本集进行分类得到目标数据样本集。
第二方面，本公开实施例提供一种数据融合装置，包括：
初始特征关联函数构建模块，用于构建目标数据样本集对应的初始特征关联函数；
目标参数确定模块，用于通过约束函数优化初始特征关联函数的初始参数得到目标参数；
目标特征关联函数确定模块，用于基于所述目标参数，重构所述初始特征关联函数得到目标特征关联函数；
数据融合模块，用于基于所述目标特征关联函数进行数据融合。
第三方面，本公开实施例提供一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权第一方面中任一所述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供的数据融合方法、装置、电子设备和计算机可读存储介质，构建目标数据样本集对应的初始特征关联函数，通过约束函数优化初始特征关联函数的初始参数得到目标参数，基于所述目标参数，重构初始特征关联函数得到目标特征关联函数，基于目标特征关联函数进行数据融合，重构的目标特征关联函数进行数据融合时剔除了噪声数据，在后续采用目标特征关联函数进行图像分类时提高图像分类精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种数据融合方法的流程示意图；
图2是本公开实施例提供的另一种数据融合方法的流程示意图；
图3是本公开实施例提供的又一种数据融合方法的流程示意图；
图4是本公开实施例提供的又一种数据融合方法的流程示意图；
图5是本公开实施例提供的又一种数据融合方法的流程示意图；
图6是本公开实施例提供的一种数据融合装置的结构示意图；
图7是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
示例性地，本公开提供一种数据融合方法、装置、电子设备和计算机存储介质，数据融合方法利用同质网络引入平滑项约束来指导矩阵协同分解，实现各类型的低秩矩阵和各特征网络的权重在求解过程中共同优化。
其中，本公开的数据融合方法由电子设备或者电子设备中的应用程序、网页、公众号等来执行。电子设备可以是平板电脑、手机、可穿戴设备、车载设备、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、智能电视、智慧屏、高清电视、4K电视、智能音箱、智能投影仪等设备，本公开对电子设备的具体类型不作任何限制。
本公开对电子设备的操作系统的类型不做限定。例如，Android系统、Linux系统、Windows系统、iOS系统等。
基于前述描述，本公开以实施例将以电子设备为例，结合应用场景，对本公开提供的数据融合方法进行详细阐述。
如图1所示，数据融合的方法包括：
S10、构建目标数据样本集对应的初始特征关联函数。
其中，初始特征关联函数的初始参数包括第一初始权重、第二初始权重、初始低秩特征矩阵以及初始低秩特征矩阵关联函数，第一初始权重为异质特征关联函数所对应的权重，第二初始权重为同质特征关联函数对应的权重，初始低秩特征矩阵为异质特征关联函数中异质特征关联矩阵对应的低秩特征矩阵，低秩特征矩阵关联函数为低秩特征矩阵对应的关联函数。
具体的，构建的目标数据样本集对应的初始特征关联函数为：
Figure BDA0003280247240000061
其中，
Figure BDA0003280247240000062
Wr表示第一权重，Wh表示第二权重
Figure BDA0003280247240000063
表示第i种类型图像的第一权重，
Figure BDA0003280247240000064
表示第i种类型图像的第二权重，
Figure BDA0003280247240000065
Rij表示第i种类型图像的ni个样本之间的异质特征关联矩阵，
Figure BDA0003280247240000066
表示第i种类型图像的ni个样本之间低秩特征矩阵，
Figure BDA0003280247240000067
表示第j种类型图像的低秩特征矩阵，ki和kj表示低秩特征矩阵的维度，
Figure BDA0003280247240000068
表示低秩特征矩阵对应的关联函数，
Figure BDA0003280247240000069
Figure BDA0003280247240000071
表示第i种类型图像的ni个样本之间的多源同质特征关联矩阵。
式1.1中，同质特征关联函数对应的第二权重可以协同指导异质特征关联函数对于低秩特征矩阵Gi的求解。假设Gi第i种类型图像的ni个样本之间低秩特征矩阵，而Gj是nj第j种类型图像的低秩特征矩阵，则可以通过重构
Figure BDA0003280247240000072
来完成对该图像数据的重构。然而，如式1.1所示，在所有异质特征关联函数中，当Rij具有最小的近似损失
Figure BDA0003280247240000073
时，Rij的权重将为
Figure BDA0003280247240000074
这意味着而其他异质特征关联矩阵将全都被忽略。同样，当
Figure BDA0003280247240000075
在第i种类型图像的所有同质特征关联矩阵中具有最少的勿连约束，则式1.1也倾向于将
Figure BDA0003280247240000076
分配给
Figure BDA0003280247240000077
换句话说，同质特征关联矩阵越稀疏，分配给它的权重就越大。因此，其他所有的同质特征矩阵的贡献都将被忽略。
由于差异性的整合不同异质关联数据可以提高目标关联关系的预测准确性，此外，多个同质关联数据也影响目标关联关系的预测准确性。
S20、通过约束函数优化初始特征关联函数的初始参数得到目标参数。
由于不同的数据源彼此之间可以提供补充信息。因此，仅使用单个的异质特征关联数据和单个的同质特征关联数据可能无法给出可靠的预测。为了弥补这一缺陷，通过约束函数优化初始特征关联函数的初始参数得到目标参数，直至达到指定的迭代次数或者收敛，满足迭代次数或者满足收敛的初始特征关联函数对应的初始参数为目标参数。
具体的，通过在权重Wr,Wh上添加了两个基于l2范数的正则项，并更新了式1.2如下：
Figure BDA0003280247240000081
其中，vec(Wr)是将Wr的行堆叠拼接后的向量，α＞0,β＞0被用来控制vec(Wr)和vec(Wh)的复杂度。同时，α,β还可以帮助选择性的集成不同的异质特征关联数据和同质特征关联数据。
示例性的，对公式1.2进行优化求解，直至公式1.2达到指定的迭代次数或者收敛，满足迭代次数或者满足收敛的初始特征关联函数对应的初始参数为目标参数。
可选的，基于约束函数，通过交替方向乘子法优化初始特征关联函数的初始参数得到目标参数。
由于初始特征关联函数在G,S,Wr,Wh上是非凸的，因此可以借助交替方向乘子法(Alternating Direction Method ofMultipliers,ADMM)对其进行优化求解，该方法常用于非负矩阵求解。总体的求解思路是，对于G,S,Wr,Wh，总是可以视其中三个参数为常数，同时优化另一个，反复迭代，直至所有的参数都求解完成。
S30、基于目标参数，重构初始特征关联函数得到目标特征关联函数。
当通过约束函数优化初始特征关联函数的初始参数得到目标参数后，基于目标参数，重构初始特征关联函数得到目标特征关联函数。
S40、基于目标特征关联函数进行数据融合。
在获取到目标特征关联函数后，基于目标特征关联函数进行数据融合能够差异性地融合同质数据源，提出噪声数据，进而提升图像分类精度。
本公开实施例提供的数据融合方法，构建目标数据样本集对应的初始特征关联函数，通过约束函数优化初始特征关联函数的初始参数得到目标参数，基于所述目标参数，重构初始特征关联函数得到目标特征关联函数，基于目标特征关联函数进行数据融合，重构的目标特征关联函数进行数据融合时剔除了噪声数据，在后续采用目标特征关联函数进行图像分类时提高图像分类精度。
图2是本公开实施例提供的另一种数据融合方法的流程示意图，本公开实施例是在上述实施例的基础上，如图2所示，步骤S10的一种可实现方式包括：
S11、构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数。
具体的，构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数，包括：
确定目标数据样本集对应的初始异质特征关联矩阵和初始同质特征关联矩阵。
确定初始异质特征关联矩阵对应的初始低秩特征矩阵。
确定初始低秩特征矩阵对应的低秩特征矩阵关联函数。
基于初始异质特征关联矩阵、初始低秩特征矩阵以及初始低秩特征矩阵关联函数构建目标数据样本集对应的初始异质特征关联函数。
基于初始同质特征关联矩阵以及初始低秩特征矩阵构建目标数据样本集对应的初始同质特征关联函数。
示例性的，目标数据样本集为
Figure BDA0003280247240000091
初始异质特征关联函数为
Figure BDA0003280247240000092
初始同质特征关联函数tr(GTΘ(t)G)，其中，
Figure BDA0003280247240000093
Rij表示第i种类型图像的ni个样本之间的异质特征关联矩阵，
Figure BDA0003280247240000094
表示第i种类型图像的ni个样本之间低秩特征矩阵，
Figure BDA0003280247240000095
表示第j种类型图像的低秩特征矩阵，ki和kj表示低秩特征矩阵的维度，
Figure BDA0003280247240000096
表示低秩特征矩阵对应的关联函数，
Figure BDA0003280247240000097
Figure BDA0003280247240000098
表示第i种类型图像的ni个样本之间的多源同质特征关联矩阵。
S12、确定初始异质特征关联函数对应的第一初始权重以及初始同质特征关联函数对应的第二初始权重。
具体的，设置初始异质特征关联函数对应的第一初始权重为
Figure BDA0003280247240000101
初始同质特征关联函数对应的第二初始权重为
Figure BDA0003280247240000102
S13、根据初始异质特征关联函数、初始同质特征关联函数、第一初始权重和第二初始权重确定初始特征关联函数。
基于初始异质特征关联函数、初始同质特征关联函数、第一初始权重和第二初始权重确定的初始特征关联函数为：
Figure BDA0003280247240000103
s.t.Wr≥0,Wh≥0,∑vec(Wr)＝1,∑vec(Wr)＝1
本公开实施例提供的数据融合方法，构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数，确定初始异质特征关联函数对应的第一初始权重以及初始同质特征关联函数对应的第二初始权重，根据初始异质特征关联函数、初始同质特征关联函数、第一初始权重和第二初始权重确定初始特征关联函数，实现初始特征关联函数的构建。
图3是本公开实施例提供的又一种数据融合方法的流程示意图，本公开实施例是上述实施例的基础上，如图3所示，步骤S20的一种可实现方式包括：
S21、基于约束函数，通过交替方向乘子法依次求解初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数。
具体的，在步骤S10中构建的初始特征关联函数为公式1.1，通过在初始特征关联函数中增加约束函数，通过交替方向乘子法依次求解初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数，具体的，在初始特征关联函数中增加约束函数后的初始特征关联函数为公式1.2，通过交替方向乘子法依次求解初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数。示例性的，公式1.2中，为确定最优第一初始权重
Figure BDA0003280247240000111
最优第二初始权重
Figure BDA0003280247240000112
最优初始低秩特征矩阵G′i以及最优初始低秩特征矩阵关联函数S′ij，对于第一初始权重
Figure BDA0003280247240000113
第二初始权重
Figure BDA0003280247240000114
初始低秩特征矩阵Gi以及最优初始低秩特征矩阵关联函数Sij，可以视其中三个参数为常数，同时优化另一个，反复迭代，直至所有的参数都求解完成。
在求解到最优第一初始权重
Figure BDA0003280247240000115
最优第二初始权重
Figure BDA0003280247240000116
最优初始低秩特征矩阵G′i以及最优初始低秩特征矩阵关联函数S′ij后，确定最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数为目标参数，此时，基于目标参数，重构所述初始特征关联函数得到目标特征关联函数为：
Figure BDA0003280247240000117
本公开实施例提供的数据融合方法，基于约束函数，通过交替方向乘子法依次求解初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数，确定最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数为目标参数，进而根据目标参数确定目标特征关联函数。
图4是本公开实施例提供的又一种数据融合方法的流程示意图，本公开实施例是在图3对应的实施例的基础上，如图4所示，步骤S21的一种可实现方式包括：
S211、设置第一初始权重、第二初始权重、初始低秩特征矩阵为固定值，对初始特征关联函数求第一偏导，在第一偏导值为零时，确定最优初始低秩特征矩阵关联函数。
具体的，在初始特征关联函数中增加约束函数后的初始特征关联函数为公式1.2，假设G,Wr,Wh已知，可以优化Sij(如果
Figure BDA0003280247240000121
)，因此对式1.2求关于Sij的偏导数：
Figure BDA0003280247240000122
对于
Figure BDA0003280247240000123
使得
Figure BDA0003280247240000124
可以得到：
Figure BDA0003280247240000125
即最优初始低秩特征矩阵关联函数为
Figure BDA0003280247240000126
S212、设置第一初始权重、第二初始权重、初始低秩特征矩阵关联函数为固定值，对初始特征关联函数求第二偏导，在所述第二偏导值为零时，确定最优初始低秩特征矩阵。
具体的，在初始特征关联函数中增加约束函数后的初始特征关联函数为公式1.2，假设S,Wr,Wh已知，可以对式1.2求关于Gi的偏导数:
Figure BDA0003280247240000127
多项式因子λi可以通过令
Figure BDA0003280247240000128
获得，由Karush-Kuhn-Tucker(KKT)条件可得：
Figure BDA0003280247240000129
其中⊙代表哈达玛积，式1.7是一个定点方程且解必须满足收敛条件，因此可使得：
Figure BDA0003280247240000131
对于
Figure BDA0003280247240000132
Figure BDA0003280247240000133
对于t＝1,2,...,maxiti：
Figure BDA0003280247240000134
式1.8、式1.9和式2.0中的正值和负值符号可分别定义为
Figure BDA0003280247240000135
和
Figure BDA0003280247240000136
因此，低秩特征矩阵G可更新为：
Figure BDA0003280247240000137
即最优初始低秩特征矩阵为
Figure BDA0003280247240000138
S213、设置第二初始权重、初始低秩特征矩阵、初始低秩特征矩阵关联函数为固定值，对初始特征关联函数求第三偏导，基于约束条件，确定最优第一初始权重。
在最优初始低秩特征矩阵和最优初始低秩特征矩阵关联函数确定之后，可以将其视为已知的常数并继续对式1.2求Wr的偏导。当对Wr求偏导时，式1.2右侧的第2和第4部分与Wr无关，因此可以忽略。进而可得：
Figure BDA0003280247240000139
令
Figure BDA0003280247240000141
代表异质关联Rij的重构损失，式2.1可简化为：
Figure BDA0003280247240000142
式2.2可看作是关于vec(Wr)的二次规划问题，同样引入拉格朗日乘数(δ,γ)来约束Wr，则有：
Figure BDA0003280247240000143
基于KKT条件，Wr的优化需符合下述四个条件：
A:
Figure BDA0003280247240000144
B:
Figure BDA0003280247240000145
C:
Figure BDA0003280247240000146
D:
Figure BDA0003280247240000147
根据A条件，可得：
Figure BDA0003280247240000148
Figure BDA0003280247240000149
取决于δij和γ的取值，其取值的结果对
Figure BDA00032802472400001410
的影响共有下述几种：
(i).若γ＞Lij，由于δij≥0，所以
Figure BDA00032802472400001411
又根据D条件可得
Figure BDA00032802472400001412
得出δij＝0，
Figure BDA00032802472400001413
(ii).若γ＝Lij，由于
Figure BDA00032802472400001414
所以δij＝0，
Figure BDA00032802472400001415
(iii).若γ＜Lij，因为
Figure BDA00032802472400001416
则满足δij＞0，又由于
Figure BDA00032802472400001417
所以
Figure BDA00032802472400001418
通过上述分析，
Figure BDA00032802472400001419
存在如下的显示解：
Figure BDA00032802472400001420
为便于讨论，假设
Figure BDA00032802472400001421
存储着向量vec(L)的实际数值即按升序排列的各异质关联矩阵的重构损失，
Figure BDA00032802472400001422
存储着向量vec(Wr)的实际数值即各异质关联矩阵所获得的权重。对于给定的α，若α不是非常大，则存在
Figure BDA0003280247240000151
当vL(p)＜γ并且vr(p+1)≥γ，满足
Figure BDA0003280247240000152
因此vr(p′)具有下述显示解：
Figure BDA0003280247240000153
由于
Figure BDA0003280247240000154
可得γ的数值解：
Figure BDA0003280247240000155
则最优第一初始权重为
Figure BDA0003280247240000156
S214、设置第一初始权重、初始低秩特征矩阵、初始低秩特征矩阵关联函数为固定值，对初始特征关联函数求第四偏导，基于约束条件，确定最优第二初始权重。
同理，确定第二初始权重的过程与确定第一初始权重的过程类似，对Wh求偏导时，式1.2右侧的第1和第3部分与无关，因此可以忽略。进而可得：
Figure BDA0003280247240000157
令
Figure BDA0003280247240000158
代表低秩表示Gi的同质内部约束，式2.8可简化为：
Figure BDA0003280247240000159
式2.9可看作是关于vec(Wh)的二次规划问题，同样引入拉格朗日乘数(λ,μ)来约束Wh，则有：
Figure BDA0003280247240000161
基于KKT条件，Wh的优化需符合下列四个条件：
A:
Figure BDA0003280247240000162
B:
Figure BDA0003280247240000163
C:
Figure BDA0003280247240000164
D:
Figure BDA0003280247240000165
根据A条件，可得：
Figure BDA0003280247240000166
Figure BDA0003280247240000167
取决于
Figure BDA0003280247240000168
和μ的取值，其取值的结果对
Figure BDA0003280247240000169
的影响有下列几种：
(i).若
Figure BDA00032802472400001610
由于
Figure BDA00032802472400001611
所以
Figure BDA00032802472400001612
又按照上述D条件可得
Figure BDA00032802472400001613
得到
Figure BDA00032802472400001614
(ii).若
Figure BDA00032802472400001615
由于要求
Figure BDA00032802472400001616
因此
Figure BDA00032802472400001617
(iii).若
Figure BDA00032802472400001618
因为
Figure BDA00032802472400001619
则满足
Figure BDA00032802472400001620
又由于
Figure BDA00032802472400001621
所以
Figure BDA00032802472400001622
通过上述分析，
Figure BDA00032802472400001623
存在如下的显示解：
Figure BDA00032802472400001624
为便于讨论，假设
Figure BDA00032802472400001625
存储着向量vec(K)的实际数值即第i种类型图像第t种来源的同质关联数据的勿连约束的个数且按升序排列，
Figure BDA00032802472400001626
存储着向量vec(Wh)的实际数值即各同质关联矩阵所获得的权重。对于给定的β，若β不是非常大，则存在q∈{1,2,...,|Θ|}当vK(q)＜μ并且vh(q+1)≥μ，满足
Figure BDA0003280247240000171
因此vh(q′)具有下述显示解：
Figure BDA0003280247240000172
由于
Figure BDA0003280247240000173
可得γ的数值解：
Figure BDA0003280247240000174
则最优第二初始权重为
Figure BDA0003280247240000175
图5是本公开实施例提供的又一种数据融合方法的流程示意图，本公开实施例是在上述实施例的基础上，如图5所述，数据融合方法还包括：
S01、获取数据样本集，并对数据样本集进行分类得到目标数据样本集。
当获取到数据样本集后，通过对数据样本集进行分类确定数据样本集中各数据的关联关系，进而确定同质特征关联数据和异质特征关联数据。
在上述实施例的基础上，图6是本公开实施例提供的一种数据融合装置的结构示意图，如图6所示，数据融合装置包括：
初始特征关联函数构建模块610，用于构建目标数据样本集对应的初始特征关联函数，其中，所述初始特征关联函数的初始参数包括第一初始权重、第二初始权重、初始低秩特征矩阵以及初始低秩特征矩阵关联函数，所述第一初始权重为异质特征关联函数所对应的权重，所述第二初始权重为同质特征关联函数对应的权重，所述初始低秩特征矩阵为所述异质特征关联函数中异质特征关联矩阵对应的低秩特征矩阵，所述低秩特征矩阵关联函数为所述低秩特征矩阵对应的关联函数；
目标参数确定模块620，用于通过约束函数优化初始特征关联函数的初始参数得到目标参数。
目标特征关联函数确定模块630，用于基于目标参数，重构初始特征关联函数得到目标特征关联函数。
数据融合模块640，用于基于目标特征关联函数进行数据融合。
本公开实施例提供的数据融合装置，初始特征关联函数构建模块构建目标数据样本集对应的初始特征关联函数，目标参数确定模块通过约束函数优化初始特征关联函数的初始参数得到目标参数，目标特征关联函数确定模块，基于目标参数，重构初始特征关联函数得到目标特征关联函数，数据融合模块基于目标特征关联函数进行数据融合，重构的目标特征关联函数进行数据融合时剔除了噪声数据，在后续采用目标特征关联函数进行图像分类时提高图像分类精度。
可选的，初始特征关联函数构建模块包括：
函数构建单元，用于构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数；
权重确定单元，用于确定初始异质特征关联函数对应的第一初始权重以及初始同质特征关联函数对应的第二初始权重；
初始特征关联函数确定单元，用于根据初始异质特征关联函数、初始同质特征关联函数、第一初始权重和第二初始权重确定初始特征关联函数。
可选的，函数构建单元包括：
关联矩阵确定单元，用于确定目标数据样本集对应的初始异质特征关联矩阵和初始同质特征关联矩阵；
初始低秩特征矩阵确定单元，用于确定初始异质特征关联矩阵对应的初始低秩特征矩阵；
低秩特征矩阵关联函数确定单元，用于低秩特征矩阵关联函数确定初始低秩特征矩阵对应的低秩特征矩阵关联函数；
初始异质特征关联函数确定单元，用于基于初始异质特征关联矩阵、所述初始低秩特征矩阵以及所述初始低秩特征矩阵关联函数构建目标数据样本集对应的初始异质特征关联函数；
初始同质特征关联函数确定单元，用于基于初始同质特征关联矩阵以及初始低秩特征矩阵构建目标数据样本集对应的初始同质特征关联函数。
可选的，还包括：
目标参数确定单元，用于基于约束函数，通过交替方向乘子法优化初始特征关联函数的初始参数得到目标参数。
可选的，还包括：
最优初始参数确定单元，用于基于约束函数，通过交替方向乘子法依次求解所述初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数，其中，最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数为目标参数。
可选的，还包括：
最优初始低秩特征矩阵关联函数确定单元，用于设置第一初始权重、第二初始权重、初始低秩特征矩阵为固定值，对初始特征关联函数求第一偏导，在第一偏导值为零时，确定最优初始低秩特征矩阵关联函数；
最优初始低秩特征矩阵确定单元，用于设置第一初始权重、第二初始权重、初始低秩特征矩阵关联函数为固定值，对初始特征关联函数求第二偏导，在第二偏导值为零时，确定最优初始低秩特征矩阵；
最优第一初始权重确定单元，用于设置第二初始权重、初始低秩特征矩阵、初始低秩特征矩阵关联函数为固定值，对初始特征关联函数求第三偏导，基于约束条件，确定最优第一初始权重；
最优第二初始权重确定单元，用于设置第一初始权重、初始低秩特征矩阵、初始低秩特征矩阵关联函数为固定值，对初始特征关联函数求第四偏导，基于约束条件，确定最优第二初始权重。
可选的，还包括目标数据样本集确定单元，用于获取数据样本集，并对数据样本集进行分类得到目标数据样本集。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本发明实施例所提供的装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
图7是本公开实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备包括处理器810、存储器820、输入装置830和输出装置840；电子设备中处理器810的数量可以是一个或多个，图7中以一个处理器810为例；电子设备中的处理器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器820作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现本发明实施例所提供的方法。
存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，可以包括键盘、鼠标等，输出装置840可包括显示屏等显示设备。
本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现本发明实施例所提供的方法。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的方法中的相关操作。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据融合方法，其特征在于，包括：
构建目标数据样本集对应的初始特征关联函数；
通过约束函数优化初始特征关联函数的初始参数得到目标参数；
基于所述目标参数，重构所述初始特征关联函数得到目标特征关联函数；
基于所述目标特征关联函数进行数据融合。
2.根据权利要求1所述的方法，其特征在于，所述构建目标数据样本集对应的初始特征关联函数，包括：
构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数；
确定所述初始异质特征关联函数对应的第一初始权重以及所述初始同质特征关联函数对应的第二初始权重，其中，所述第一初始权重为异质特征关联函数所对应的权重，所述第二初始权重为同质特征关联函数对应的权重；
根据所述初始异质特征关联函数、所述初始同质特征关联函数、所述第一初始权重和所述第二初始权重确定初始特征关联函数。
3.根据权利要求2所述的方法，其特征在于，所述构建目标数据样本集对应的初始异质特征关联函数和初始同质特征关联函数，包括：
确定目标数据样本集对应的初始异质特征关联矩阵和初始同质特征关联矩阵；
确定所述初始异质特征关联矩阵对应的初始低秩特征矩阵；
确定所述初始低秩特征矩阵对应的初始低秩特征矩阵关联函数；
基于所述初始异质特征关联矩阵、所述初始低秩特征矩阵以及所述初始低秩特征矩阵关联函数构建目标数据样本集对应的初始异质特征关联函数；
基于所述初始同质特征关联矩阵以及所述初始低秩特征矩阵构建目标数据样本集对应的初始同质特征关联函数。
4.根据权利要求1所述的方法，其特征在于，所述通过约束函数优化初始特征关联函数的初始参数得到目标参数，包括：
基于约束函数，通过交替方向乘子法优化初始特征关联函数的初始参数得到目标参数。
5.根据权利要求4所述的方法，其特征在于，所述基于约束函数，通过交替方向乘子法优化初始特征关联函数的初始参数得到目标参数，包括：
基于约束函数，通过交替方向乘子法依次求解所述初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数，其中，所述最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数为所述目标参数。
6.根据权利要求5所述的方法，其特征在于，所述基于约束函数，通过交替方向乘子法依次求解所述初始特征关联函数对应的最优第一初始权重、最优第二初始权重、最优初始低秩特征矩阵以及最优初始低秩特征矩阵关联函数，包括：
设置所述第一初始权重、所述第二初始权重、所述初始低秩特征矩阵为固定值，对所述初始特征关联函数求第一偏导，在所述第一偏导值为零时，确定最优初始低秩特征矩阵关联函数；
设置所述第一初始权重、所述第二初始权重、所述初始低秩特征矩阵关联函数为固定值，对所述初始特征关联函数求第二偏导，在所述第二偏导值为零时，确定最优初始低秩特征矩阵；
设置所述第二初始权重、所述初始低秩特征矩阵、所述初始低秩特征矩阵关联函数为固定值，对所述初始特征关联函数求第三偏导，基于约束条件，确定最优第一初始权重；
设置所述第一初始权重、所述初始低秩特征矩阵、所述初始低秩特征矩阵关联函数为固定值，对所述初始特征关联函数求第四偏导，基于约束条件，确定最优第二初始权重。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取数据样本集，并对所述数据样本集进行分类得到目标数据样本集。
8.一种数据融合装置，其特征在于，包括：
初始特征关联函数构建模块，用于构建目标数据样本集对应的初始特征关联函数；
目标参数确定模块，用于通过约束函数优化初始特征关联函数的初始参数得到目标参数；
目标特征关联函数确定模块，用于基于所述目标参数，重构所述初始特征关联函数得到目标特征关联函数；
数据融合模块，用于基于所述目标特征关联函数进行数据融合。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～7中任一所述的方法。
CN202111130228.9A 2021-09-26 2021-09-26 数据融合方法、装置、电子设备和计算机可读存储介质 Pending CN113822290A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111130228.9A CN113822290A (zh) 2021-09-26 2021-09-26 数据融合方法、装置、电子设备和计算机可读存储介质
PCT/CN2021/139312 WO2023045137A1 (zh) 2021-09-26 2021-12-17 数据融合方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111130228.9A CN113822290A (zh) 2021-09-26 2021-09-26 数据融合方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113822290A true CN113822290A (zh) 2021-12-21

Family

ID=78921282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111130228.9A Pending CN113822290A (zh) 2021-09-26 2021-09-26 数据融合方法、装置、电子设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113822290A (zh)
WO (1) WO2023045137A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115227569A (zh) * 2022-06-23 2022-10-25 齐齐哈尔市祥和中医器械有限责任公司 基于现实虚拟的人体穴位识别方法和系统
WO2023045149A1 (zh) * 2021-09-26 2023-03-30 上海闻泰电子科技有限公司 图像融合方法、装置、电子设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443221B2 (en) * 2019-07-26 2022-09-13 Lockheed Martin Corporation Distributed incorruptible accordant management of nonlocal data fusion, unified scheduling and engage-ability
CN111324594B (zh) * 2020-02-17 2023-08-11 武汉轻工大学 用于粮食加工业的数据融合方法、装置、设备及存储介质
CN113157678B (zh) * 2021-04-19 2022-03-15 中国人民解放军91977部队 一种多源异构数据关联方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045149A1 (zh) * 2021-09-26 2023-03-30 上海闻泰电子科技有限公司 图像融合方法、装置、电子设备和存储介质
CN115227569A (zh) * 2022-06-23 2022-10-25 齐齐哈尔市祥和中医器械有限责任公司 基于现实虚拟的人体穴位识别方法和系统
CN115227569B (zh) * 2022-06-23 2024-02-23 齐齐哈尔市祥和中医器械有限责任公司 基于现实虚拟的人体穴位识别系统

Also Published As

Publication number Publication date
WO2023045137A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
CN109886326B (zh) 一种跨模态信息检索方法、装置和存储介质
CN112184508B (zh) 一种用于图像处理的学生模型的训练方法及装置
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
CN110377740B (zh) 情感极性分析方法、装置、电子设备及存储介质
CN113822290A (zh) 数据融合方法、装置、电子设备和计算机可读存储介质
WO2023045149A1 (zh) 图像融合方法、装置、电子设备和存储介质
US20160012318A1 (en) Adaptive featurization as a service
CN110795944A (zh) 推荐内容处理方法及装置、情感属性确定方法及装置
WO2018121198A1 (en) Topic based intelligent electronic file searching
CN113407814B (zh) 文本搜索方法、装置、可读介质及电子设备
CN111639247A (zh) 用于评估评论的质量的方法、装置、设备以及计算机可读存储介质
CN111159563A (zh) 用户兴趣点信息的确定方法、装置、设备及存储介质
CN116601626A (zh) 个人知识图谱构建方法、装置及相关设备
EP4343616A1 (en) Image classification method, model training method, device, storage medium, and computer program
CN117350360A (zh) 大模型的微调方法、装置、电子设备和存储介质
CN110929499B (zh) 文本相似度获取方法、装置、介质及电子设备
US20200174760A1 (en) Automatic code generation
US11734602B2 (en) Methods and systems for automated feature generation utilizing formula semantification
CN115293252A (zh) 信息分类的方法、装置、设备和介质
CN114139636A (zh) 异常作业处理方法及装置
CN115587297A (zh) 构建图像识别模型和图像识别的方法、装置、设备及介质
Son et al. DAO-CP: Data-Adaptive Online CP decomposition for tensor stream
Malik et al. Sampling-based decomposition algorithms for arbitrary tensor networks
CN116501993B (zh) 房源数据推荐方法及装置
CN114048392B (zh) 多媒体资源推送方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination