CN110110742B

CN110110742B - 多特征融合方法、装置、电子设备及存储介质

Info

Publication number: CN110110742B
Application number: CN201910233345.4A
Authority: CN
Inventors: 赛义德·穆罕默德·阿德南
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2019-03-26
Filing date: 2019-03-26
Publication date: 2021-02-12
Anticipated expiration: 2039-03-26
Also published as: CN110110742A

Abstract

本申请提供了一种多特征融合方法、装置、电子设备及存储介质，包括：获取目标对象的图像数据对中多个非线性特征；将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。本申请获取的融合特征可以实现将多特征映射到非线性特征投影空间，实现了多特征的最优组合，简化大数据的计算复杂度。

Description

多特征融合方法、装置、电子设备及存储介质

技术领域

本申请实施例一次性识别技术领域，尤其涉及一种多特征融合方法、装置、电子设备及存储介质。

背景技术

最近，人类身份识别在计算机视觉领域受到了广泛关注，人类的身份识别是大型摄像机网络(例如大型监视摄像机网络)中重要任务之一。它有几个潜在的应用，包括在嘈杂和拥挤的空间(如购物中心)，或在电子商务中，或在地铁/公交车站上，或在机场和公园等拥挤的公共区域内进行实时人类身份追踪，以保证公共安全，例如，应用于街道或室外监控摄像机捕获户外嫌疑人的一次性识别应用中。

相关技术中，人类身份识别使用的一次性识别技术中，通常只有一个查询的样本图像可用，而图库中可能包含或不包含每个不同身份的一个或多个实例。因此，在图库中找到与实际拍摄图像匹配的图像是一项非常困难的任务。

此外，一次性识别中大多采用经典的特征学习方法(如获取图像特征直接进行学习训练)，然后进行特征匹配以找到实际匹配对应的身份信息。在特征学习中，从查询图像中可以提取大量不同的特征(例如服装纹理，面部纹理，人体部位的颜色特征或不同身体区域的特征颜色直方图)，以收集关于查询人员的越来越多的细微特征。其中，提取大量特征是为了更精确的匹配，然而，由于忽略了所有这些不同的特征具有不同的性质和不同的非线性分布，只是线性连接所有这些提取的特征将不能实现信息的最佳集成。导致根据上述多特征学习方式，无法准确有效的实现身份识别模型。

因此，一种能够很好地处理这些特征的复杂非线性分布的最佳特征融合方法是本发明要解决的技术问题。

发明内容

本申请实施例提供一种多特征融合方法、装置、电子设备及存储介质，以解决相关技术中提取图像和文本的特征不能有效利用图像以及文本之间的相关性，且导致处理的效率低下的问题。

第一方面，本申请实施例提供了一种多特征融合方法，该方法包括：

获取目标对象的图像数据对中多个非线性特征；

将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；

根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。

第二方面，本申请实施例提供了一种多特征融合装置，该装置包括：

非线性特征获取模块，用于获取目标对象的图像数据对中多个非线性特征；

特征权重值获得模块，用于将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；

融合特征获得模块，用于根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。

第三方面，本申请实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本申请提供的多特征融合方法的步骤。

第四方面，本申请实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本申请提供的多特征融合方法的步骤。

在本申请实施例中，可以通过获取目标对象的图像数据对中多个非线性特征；将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。本申请非线性特征在多核空间的映射，获取每个特征所针对的核函数的权重值，根据权重值将多个特征融合为一个特征。通过每个特征不同的权重值增强了特征匹配中的辨别度，并可以实现将融合特征映射到一个最佳的投影空间，便于图像处理的后续计算。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本申请实施例提供的一种多特征融合方法的步骤流程图；

图2是本申请实施例提供的另一种多特征融合方法的步骤流程图；

图3是本申请实施例提供的一种多特征融合装置的框图；

图4是本申请实施例提供的另一种多特征融合装置的框图；

图5是本申请另一个实施例的电子设备的逻辑框图；

图6是本申请另一个实施例的电子设备的逻辑框图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1是本申请实施例提供的一种多特征融合方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、获取目标对象的图像数据对中多个非线性特征；

在对象识别中，特征融合通常采用的简单的单位权重特征连接，而由于不同特征针对识别对象的重要性不同，需要针对每个不同的特征确定其权重值。

在本申请实施例中，如果识别对象为人物时，针对每一个人物通过两个不同的摄像头获取两张不同图像数据，成为图像数据对，两个不同的摄像头针对该人物进行拍摄时，面对同一场景的不同角度进行拍摄。

在获取多个不同人物数据的图像数据对后，分别从每幅图像中提取多个不重叠的区域，并以区域的形式获取其颜色特征和纹理特征，颜色特征和纹理特征中包括：SIFT，(Scale-invariant feature transform，尺度不变特征变换)、LBP(局部二值模式)、HSV(色调、饱和度、明度)信息、RGB(红、绿、蓝)直方图和深度特征，YUV(明亮度、色度、浓度)颜色编码方法以及颜色命名空间等图像信息，作为图像数据中的非线性特征。

步骤102、将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；

在本申请实施例中，假设上述步骤中每幅图像中获得的非线性特征有F个，将这F个不同的非线性特征分别输入到预设多核函数中的一内核函数中，使用预先学习的匹配函数，确定各非线性特征对应的特征权重值。

其中，将F个非线性特征的每一个对应预设多核函数中的剩余K-1个核函数重复上述步骤，得到针对每个核函数的核权重值。针对每个核函数得到到多个核权重值，计算其平均值，得到针对该核函数的最终权重值，由于每个核函数对应一个非线性特征，那么核函数的最终权重值即是对应非线性特征的特征权重值。

步骤103、根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。

在本申请实施例中，通过各特征权重值与各非线性特征的加权和，得到模板图像的非线性特征的融合特征。

计算公式如下：

其中，φ_n为融合特征，β_k为核k的最终权重，

为对应特征F的核函数K。

综上所述，本申请实施例提供的一种多特征融合方法，可以获取目标对象的图像数据对中多个非线性特征；将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。实现了将图像中多个非线性特征利用分析加权方法融合在单特征中的目的，具备即可以对每个不同特征进行加权，有可以增加特征匹配的判断力的有益效果。

图2是本申请实施例提供的另一种多特征融合方法的步骤流程图，如图2所示，该方法可以包括：

步骤201、获取所述第一图像数据中的多个第一非线性特征，以及所述第二图像数据中的多个第二非线性特征；

优选地，所述图像数据对包括拍摄于不同拍照设备的第一图像数据和第二图像数据。

在本申请实施例中，获取第一图像数据(假设来自摄像头1)和第二图像数据(假设来自摄像头6)中的多个非线性特征，例如，SIFT，LBP，RGB直方图，HSV直方图和深度特征，分别作为第一非线性特征和第二非线性特征。

其中，将来自两个不同摄像机视图(例如摄像机1和摄像机6)的所有n个样本中的每个单个特征(例如LBP特征)投影到如下所示的选定内核k(假设选择的sigma＝0.3的RBF，Radial Basis Function径向基函数作为内核函数)。

步骤202、分别将第一非线性特征和第二非线性特征进行相似度训练，得到对应各所述非线性特征的匹配函数；

在本发明实施例中，要得到多核函数中针对每个特征的核函数的权重值，首先需要通过预设学习得到的匹配函数，进一步选定内核K的权重。

其中，首先需要将第一图像数据与第二图像数据进行匹配，计算他们的相似度。

当然，计算两个图像之间的相似度可以通过第一非线性特征和第二非线性特征，通过Fisher线性判别函数FDA来计算匹配度，其原理是将第一非线性特征和第二非线性特征的倒置矩阵来计算匹配度量，公式如下描述：

其中，Xi是来自第一图像数据i的LBP的特征向量，Xj是来自第二图像数据j的LBP的特征向量，n为第一图像数据和第二图像数据的样本序号，M为匹配函数。

其中，通过样本集中所有样本(人物)对应的第一图像数据和第二图像数据的各非线性特征进行上述匹配，分别得到各非线性特征之间的相似度。

通过上述所有特征的匹配度计算，在匹配度超过预设阈值，或者匹配度最高值时的M，确定为训练好的匹配函数。

步骤203、通过所述匹配函数，计算各所述第一非线性特征和各所述第二非线性特征之间的各相似度；

在本申请实施例中，通过上述步骤学习得到的匹配函数，使用内核k(具有sigma＝0.3的RBF内核)基于特征LBP的平均准确度来计算权重。

当然，内核函数不限定RBF内核函数，本发明实施例对具体内核函数不加以限制。

具体的，在本申请的一种实现方式中，步骤203可以通过下述步骤2031～2032来实现：

子步骤2031、分别将各所述第一非线性特征对应的预设多核函数中的各核函数输入所述匹配函数，获得每个核函数的第一核权重值

子步骤2032、分别将各所述第二非线性特征对应的预设多核函数中的各核函数输入所述匹配函数，获得第二非线性特征对应的每个核函数的第二核权重值。

其中，将各非线性特征对应的第一非线性特征，或，第二非线性特征分别输入上述匹配函数，分别得到各非线性特征的第一核权重值和第二核权重值。

具体地，通过下列公式计算：

其中，r是使用特征f的样本n的等级(因为我们已经采用LBP，所以是LBP)，等级基本上按距离定义，即摄像头1拍摄的样本ID＝n的第一图像数据与来自摄像头6的相应序号的第二图像数据之间的距离，其与使用预先学习的匹配函数M具有最高匹配值。

其中，等级差E_f是针对所有特征(直方图RBF，HSV直方图，SIFT，LBP等)的计算，当获得针对每个样本中特征的等级差后，可使用等式计算核k的权重。

进一步地，通过下列公式计算核K的权重值：

其中，w为权重值，|F|是特征的总数，符号φ表示内核函数，此外，这是针对一个内核的权重计算，可以对集合K中的所有其他内核执行相同的过程。假设集合K包含具有不同sigma的3个RBF内核，具有不同多项式程度的3个多项式内核和其他内核。

步骤204、计算各相同核函数的不同核权重值的平均值，确定为各所述非线性特征的特征权重值。

具体的，在本申请的一种实现方式中，步骤204可以通过下述步骤2041来实现：

子步骤2041、计算针对各核函数的所述第一权重值和所述第二权重值的平均值，确定为各所述非线性特征的特征权重值。

本公开实施例中，针对上述公式计算出每一个核函数对应的核权重值后，计算针对同一核函数的多个核权重值的平均值，即为该核函数的最终权重值，由于一个核函数对应一个非线性特征，所以核函数的最终权重值即为该非线性特征的特征权重值。

步骤205、根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。

本步骤的实现方式与上述步骤103的实现过程类似，本申请实施例在此不再详述。

综上所述，本申请实施例提供的另一种多特征融合方法，可以获取所述第一图像数据中的多个第一非线性特征，以及所述第二图像数据中的多个第二非线性特征；分别将第一非线性特征和第二非线性特征进行相似度训练，得到对应各所述非线性特征的匹配函数；通过所述匹配函数，计算各所述第一非线性特征和各所述第二非线性特征之间的各相似度；分别将各所述相似度与所述预设多核函数中的一核函数的相乘，确定为上一核函数的核权重值；计算各相同核函数的不同核权重值的平均值，确定为各所述非线性特征的特征权重值。实现了通过多核函数将目标对象的图像对中第一非线性特征和第二非线性特征进行加权融合在单特征中的目的，具备将大数据集的计算复杂度降低有益效果。

图3是本申请实施例提供的一种多特征融合装置的框图，如图3所示，包括：

非线性特征获取模块301，用于获取目标对象的图像数据对中多个非线性特征；

特征权重值获得模块302，用于将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；

融合特征获得模块303，用于根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。

图4是本申请实施例提供的另一种多特征融合装置的框图，如图4所示，包括：

非线性特征获取模块401，用于获取目标对象的图像数据对中多个非线性特征；

可选的，所述图像数据对包括拍摄于不同拍照设备的第一图像数据和第二图像数据。

可选的，非线性特征获取模块401，包括：

非线性特征获得子模块4011，用于获取所述第一图像数据中的多个第一非线性特征，以及所述第二图像数据中的多个第二非线性特征；

特征权重值获得模块402，用于将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值；

可选的，特征权重值获得模块402，包括：

匹配函数得到子模块4021，用于分别将第一非线性特征和第二非线性特征进行相似度训练，得到对应各所述非线性特征的匹配函数；

相似度得到子模块4022，用于通过所述匹配函数，计算各所述第一非线性特征和各所述第二非线性特征之间的各相似度；

可选的，相似度得到子模块4022，包括：

第一核权重值获取单元，用于分别将各所述第一非线性特征对应的预设多核函数中的各核函数输入所述匹配函数，获得每个核函数的第一核权重值；

第二核权重值获取单元，用于分别将各所述第二非线性特征对应的预设多核函数中的各核函数输入所述匹配函数，获得第二非线性特征对应的每个核函数的第二核权重值。

特征权重值确定子模块4023，用于计算各相同核函数的不同核权重值的平均值，确定为各所述非线性特征的特征权重值。

可选的，特征权重值确定子模块4023，包括：

特征权重值计算单元，用于计算针对各核函数的所述第一权重值和所述第二权重值的平均值，确定为各所述非线性特征的特征权重值。

融合特征获得模块403，用于根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征。

图5是根据一示例性实施例示出的一种电子设备500的框图。例如，电子设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等移动终端。

参照图5，电子设备500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制电子设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在电子设备500的操作。这些数据的示例包括用于在电子设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为电子设备500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为电子设备500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述电子设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当电子设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当电子设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为电子设备500提供各个方面的状态评估。例如，传感器组件514可以检测到电子设备500的打开/关闭状态，组件的相对定位，例如所述组件为电子设备500的显示器和小键盘，传感器组件514还可以检测电子设备500或电子设备500一个组件的位置改变，用户与电子设备500接触的存在或不存在，电子设备500方位或加速/减速和电子设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于电子设备500和其他设备之间有线或无线方式的通信。电子设备500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行获取多媒体样本，所述多媒体样本包括图像信息和文本信息；分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征；将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二图像特征。

在示例性实施例中，还提供了一种包括指令的非临时性存储介质，例如包括指令的存储器504，上述指令可由电子设备500的处理器520执行以完成上述方法。例如，所述非临时性存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的一种电子设备600的框图。例如，电子设备600可以被提供为一服务器。参照图6，电子设备600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行获取多媒体样本，所述多媒体样本包括图像信息和文本信息；分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征；将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二图像特征。

电子设备600还可以包括一个电源组件626被配置为执行电子设备600的电源管理，一个有线或无线网络接口650被配置为将电子设备600连接到网络，和一个输入输出(I/O)接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本申请实施例还提供一种应用程序，所述应用程序由电子设备的处理器执行时，实现如本申请提供的获取包括图像信息和文本信息的多媒体样本；分别提取图像信息的第一图像特征以及文本信息的第一文本特征；将第一图像特征和第一文本特征导入注意力机制模型，输出基于第一图像特征的注意力的第二文本特征，和/或基于第一文本特征的注意力的第二图像特征的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

A1、一种多特征融合方法，所述方法包括：

获取目标对象的图像数据对中多个非线性特征；

A2、根据权利要求A1所述的方法，所述图像数据对包括拍摄于不同拍照设备的第一图像数据和第二图像数据。

A3、根据权利要求A2所述的方法，其特征在于，所述获取目标对象的图像数据对中多个非线性特征，包括：

获取所述第一图像数据中的多个第一非线性特征，以及所述第二图像数据中的多个第二非线性特征。

A4、根据权利要求A3所述的方法，所述将各所述非线性特征分别输入预设多核函数，分别得到对应各所述非线性特征的特征权重值，包括：

分别将第一非线性特征和第二非线性特征进行相似度训练，得到对应各所述非线性特征的匹配函数；

通过所述匹配函数，计算各所述第一非线性特征和各所述第二非线性特征之间的各相似度；

分别将各所述相似度与所述预设多核函数中的一核函数的相乘，确定为上一核函数的核权重值；

计算各相同核函数的不同核权重值的平均值，确定为各所述非线性特征的特征权重值。

A5、根据权利要求A4所述的方法，所述通过所述匹配函数，计算各所述第一非线性特征和各所述第二非线性特征之间的各相似度，包括：

分别将各所述第一非线性特征对应的预设多核函数中的各核函数输入所述匹配函数，获得每个核函数的第一核权重值；

分别将各所述第二非线性特征对应的预设多核函数中的各核函数输入所述匹配函数，获得第二非线性特征对应的每个核函数的第二核权重值。

A6、根据权利要求A5所述的方法，所述计算各相同核函数的不同核权重值的平均值，确定为各所述非线性特征的特征权重值，包括：

计算针对各核函数的所述第一权重值和所述第二权重值的平均值，确定为各所述非线性特征的特征权重值。

B7、一种多特征融合装置，所述装置包括：

B8、根据权利要求B7所述的装置，所述图像数据对包括拍摄于不同拍照设备的第一图像数据和第二图像数据。

B9、根据权利要求B8所述的装置，所述非线性特征获取模块，包括：

非线性特征获得子模块，用于获取所述第一图像数据中的多个第一非线性特征，以及所述第二图像数据中的多个第二非线性特征。

B10、根据权利要求B9所述的装置，所述特征权重值获得模块，包括：

匹配函数得到子模块，用于分别将第一非线性特征和第二非线性特征进行相似度训练，得到对应各所述非线性特征的匹配函数；

相似度得到子模块，用于通过所述匹配函数，计算各所述第一非线性特征和各所述第二非线性特征之间的各相似度；

特征权重值确定子模块，用于计算各相同核函数的不同核权重值的平均值，确定为各所述非线性特征的特征权重值。

B11、根据权利要求B10所述的装置，所述相似度得到子模块，包括：

第一核权重值获取单元，用于分别将各所述第一非线性特征对应的预设多核函数中的各核函数输入所述匹配函数，获得每个核函数的第一核权重值

B12、根据权利要求B11所述的装置，所述特征权重值确定子模块，包括：

C13、一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求A1至A6中任一项所述的多特征融合方法的步骤。

D14、一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求A1至A6中任一项所述的多特征融合方法的步骤。

Claims

1.一种多特征融合方法，其特征在于，所述方法包括：

获取目标对象的图像数据对中多个非线性特征；

分别输入各所述非线性特征的预设多核函数，得到对应各所述非线性特征的特征权重值；

根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征；

分别输入各所述非线性特征的预设多核函数，得到对应各所述非线性特征的特征权重值，包括：

获得对应各所述非线性特征的匹配函数；

针对所述预设多核函数中的每一个核函数，根据所述匹配函数与所述核函数的上一时刻的核权重值，获得所述核函数的核权重值；

将所述核函数的不同核权重值的平均值确定为所述核函数对应的非线性特征的特征权重值。

2.根据权利要求1所述的方法，其特征在于，所述图像数据对包括拍摄于不同拍照设备的第一图像数据和第二图像数据。

3.根据权利要求2所述的方法，其特征在于，所述获取目标对象的图像数据对中多个非线性特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述分别输入各所述非线性特征的预设多核函数，得到对应各所述非线性特征的特征权重值，包括：

针对所述预设多核函数中的每一个核函数，分别将各所述相似度与所述核函数的上一时刻的核权重值的乘积，确定为所述核函数的核权重值；

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

分别输入各所述第一非线性特征对应的预设多核函数中的各核函数，获得每个核函数的第一核权重值；

分别输入各所述第二非线性特征对应的预设多核函数中的各核函数，获得第二非线性特征对应的每个核函数的第二核权重值。

6.根据权利要求5所述的方法，其特征在于，所述计算各相同核函数的不同核权重值的平均值，确定为各所述非线性特征的特征权重值，包括：

计算针对各核函数的所述第一核权重值和所述第二核权重值的平均值，确定为各所述非线性特征的特征权重值。

7.一种多特征融合装置，其特征在于，所述装置包括：

特征权重值获得模块，用于分别输入各所述非线性特征的预设多核函数，得到对应各所述非线性特征的特征权重值；

融合特征获得模块，用于根据各所述特征权重值与对应各所述非线性特征的核函数的加权和，得到各所述非线性特征的融合特征；

所述特征权重值获得模块还用于：获得对应各所述非线性特征的匹配函数；针对所述预设多核函数中的每一个核函数，根据所述匹配函数与所述核函数的上一时刻的核权重值，获得所述核函数的核权重值；将所述核函数的不同核权重值的平均值确定为所述核函数对应的非线性特征的特征权重值。

8.根据权利要求7所述的装置，所述图像数据对包括拍摄于不同拍照设备的第一图像数据和第二图像数据。

9.根据权利要求8所述的装置，其特征在于，所述非线性特征获取模块，包括：

10.根据权利要求9所述的装置，其特征在于，所述特征权重值获得模块，包括：

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

第一核权重值获取单元，用于分别输入各所述第一非线性特征对应的预设多核函数中的各核函数，获得每个核函数的第一核权重值

第二核权重值获取单元，用于分别输入各所述第二非线性特征对应的预设多核函数中的各核函数，获得第二非线性特征对应的每个核函数的第二核权重值。

12.根据权利要求11所述的装置，其特征在于，所述特征权重值确定子模块，包括：

特征权重值计算单元，用于计算针对各核函数的所述第一核权重值和所述第二核权重值的平均值，确定为各所述非线性特征的特征权重值。

13.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的多特征融合方法的步骤。

14.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多特征融合方法的步骤。