CN111126324B - 一种多源异构数据融合的方法、装置、计算机设备及介质 - Google Patents

Abstract

一种多源异构数据融合的方法、装置、产品及介质，包括根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像，根据多张人脸图像与人口特征库中的人脸特征进行特征匹配，在特征匹配成功时，根据匹配成功的人脸特征获得对应该特定对象的第一真实标签，获取由第二物联网传感器传输的信息，根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签，第一物联网传感器与第二物联网传感器传输信息的数据格式不同，根据第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合，实现多源异构数据融合。

Description

一种多源异构数据融合的方法、装置、计算机设备及介质

技术领域

本发明涉及物联网数据融合领域，具体涉及一种多源异构数据融合的方法、装置、计算机设备及介质。

背景技术

在安防及社会治理行业，各种物联网信息采集设备采集了大量视频、图片、门禁、交通卡口、水电煤气，乘车等数据，这些数据由不同的系统采集，用于不同的场景应用。这些数据在语义层面存在很强的关联性，譬如一个人的视频轨迹，门禁刷卡，图片抓拍，家庭的水电煤气记录等，但鉴于他们的多源异构特性，即它们是属于多种不同的数据来源，且数据结构不同，数据格式不同，包括结构化、半结构化、非结构化，在数据融合及使用方面存在诸多困难。跨媒介知识融合现在也成为了人工智能的关键基础。

智能安防及社区治理中大量依赖视频采集设备捕捉的视频及抓拍图像数据，这类数据所含的信息量极大，然而大部分需要人才能理解识别，人脑解析某个画面中所含目标的信息(包括类型，特性)后会对其与已有知识库中的事物特征做融合关联，进而挖掘其背后的知识。

我们面对的信息世界是跨媒体多源多模态的，来自音视频及文档等各种各样形式的数据需要进行关联与计算才能挖掘及推理出隐藏在背后的知识。计算机视觉可以识别，语音也可以识别，可如何将识别出来的数据包括从文本中理解的知识联系在一起是数据融合领域一直在研究的问题。

在社区治理及智慧安防物联网领域，我们采集到大量的人像、人脸的非结构化数据，卡口、门禁等事件的结构化数据，投诉、报警等的非结构化文本数据，如何利用技术手段对这些数据进行融合，展示一人一档，一事一档及背后的事件关系推理与预测是亟待解决的。

发明内容

本发明主要解决的技术问题是提供一种多源异构数据融合方法，用于将物联网传感器采集的大量的多源异构信息进行融合。

根据第一方面，一种实施例中提供一种多源异构数据融合的方法，包括：

根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像；

根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配；

在特征匹配成功时，根据匹配成功的人脸特征所对应特定对象的身份信息获得对应该特定对象的第一真实标签；

获取由第二物联网传感器传输的信息，其中，所述第二物联网传感器传输的信息绑定特定对象的身份信息，所述第一物联网传感器与第二物联网传感器传输信息的数据格式不同；

根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签；

根据所述第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合。

在其中一种可能实现方式中，所述根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配包括：

根据所述人脸图像进行聚类，获得不同的簇；

对每一簇分配对应的虚拟标签；

针对每一簇，根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征；

根据所述融合特征与人口特征库中的人脸特征进行特征匹配。

在其中一种可能实现方式中，所述根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征包括：

针对同一簇内具有同一虚拟标签的每一人脸特征，获取对应的特征相似度和，其中所述特征相似度和包括该人脸特征与该簇内其余人脸特征之间的人脸特征相似度的加和；

将同一簇内的所有特征相似度和相加得到第一加和；

针对同一簇内具有同一虚拟标签的每一人脸特征，获取其对应的权重，其中，所述权重包括该人脸特征所对应的特征相似度和与第一加和的比重；

根据每一人脸特征及其对应的权重进行加权求和获得融合特征。

在其中一种可能实现方式中，所述根据所述融合特征与人口特征库中的人脸特征进行特征匹配包括：

根据预先建立的近似最近邻ANN索引，将融合特征与人口特征库中的人脸特征进行特征匹配。

在其中一种可能实现方式中，在特征匹配成功时，将所述融合特征所对应簇的虚拟标签更新为第一真实标签，其中第一真实标签为人口特征库中匹配成功的人脸特征所对应特定对象的标签。

在特征匹配不成功时，获取不同时空中特征匹配不成功的虚拟标签所对应的陌生人脸特征；

将所述陌生人脸特征进行聚类融合，得到陌生融合特征；

将所述陌生融合特征及其虚拟标签存储进陌生人口特征库中。

在其中一种可能实现方式中，所述将所述陌生人脸特征进行聚类融合，得到陌生融合特征包括：

将陌生人脸特征进行聚类，获得不同的簇；

针对每一簇，获取该簇的第一人脸特征，其中，第一人脸特征为该簇内当前时刻的陌生人脸特征；

针对每一簇，根据时空的相近性为每一类中与第一人脸特征相似的其余陌生人脸特征分配权重；

针对每一簇，根据所述第一人脸特征、与第一人脸特征相似的陌生人脸特征及其对应的权重进行加权求和得到陌生融合特征。

在其中一种可能实现方式中，针对所述陌生人口特征库中持续出现的陌生融合特征，将其及其对应的虚拟标签存进人口特征库，以用于与由第一物联网传感器传输的信息进行融合；

针对所述陌生人口特征库中超过预设阈值没有出现的陌生融合特征，进行删除。

根据第二方面，一种实施例中提供一种多源异构数据融合装置，包括：

第一物联网信息获取模块，用于根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像；

匹配模块，用于根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配；

第一标签获取模块，用于在特征匹配成功时，根据匹配成功的人脸特征所对应特定对象的身份信息获得对应该特定对象的第一真实标签；

第二物联网信息获取模块，用于获取由第二物联网传感器传输的信息，其中，所述第二物联网传感器传输的信息绑定特定对象的身份信息，所述第一物联网传感器与第二物联网传感器传输信息的数据格式不同；

第二标签获取模块，用于根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签；

融合模块，用于根据所述第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合。

根据第三方面，一种实施例中提供一种计算机设备，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如上所述多源异构数据融合的方法。

根据第四方面，一种实施例中提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如上所述多源异构数据融合的方法。

实施本实施例具有如下有益效果：

一种多源异构数据融合的方法、装置、计算机设备及介质，包括根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像，根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配，在特征匹配成功时，根据匹配成功的人脸特征所对应特定对象的身份信息获得对应该特定对象的第一真实标签，获取由第二物联网传感器传输的信息，其中，所述第二物联网传感器传输的信息绑定特定对象的身份信息，所述第一物联网传感器与第二物联网传感器传输信息的数据格式不同，根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签，根据所述第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合。人口特征库中存有对应每一特定对象的身份信息，根据每一特定对象的身份信息分配一真实标签，将由第一物联网传感器传输的多张人脸图像与人口特征库中的人脸特征进行特征匹配，获得多张人脸图像对应的第一真实标签，由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签，根据第一真实标签与第二真实标签确定是否为同一特定对象，以实现将由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合，为特定对象建立起对应的档案。

附图说明

图1为本发明实施例提供的一种多源异构数据融合的方法流程示意图；

图2为本发明实施例提供的一种人脸特征匹配方法流程示意图；

图3为本发明实施例提供的匹配相似度矩阵示意图；

图4为本发明实施例提供的邻接矩阵示意图；

图5为本发明实施例提供的转化图示意图；

图6为本发明实施例提供的聚类结果示意图；

图7为本发明实施例提供的虚拟标签传递示意图；

图8为本发明实施例提供的计算融合特征的方法流程示意图；

图9为本发明实施例提供的特征匹配方法流程示意图；

图10为本发明实施例提供的特征匹配不成功时的方法流程示意图；

图11为本发明实施例提供的计算陌生融合特征方法流程示意图；

图12为本发明实施例提供的一种多源异构数据融合装置结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

在本发明实施例中，为了实现将多种不同数据来源，且数据结构不同，数据格式不同的数据信息融合，通过建立人口特征库，人口特征库系统中可以存在实名库人像单元，内有常驻人口的信息与人脸图像及其特征。为每一特定对象建立一个档案，分配对应的真实标签，在后续获取得到由第二物联网传感器传输的具有明确特定对象身份信息的结构化信息时，直接根据该特定对象身份信息找到对应的档案，为该结构化信息分配对应的真实标签。在获取得到由第一物联网传感器传输的不具有明确特定对象身份信息的信息时，根据该信息的特征与人口特征库中的人脸特征进行特征匹配，在匹配成功时，为其分配一真实标签，然后根据为每一物联网传感器分配的真实标签进行比对，在真实标签一致时，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行关联，实现不同源不同结构的信息融合。

实施例一

如图1，一种多源异构数据融合的方法，包括步骤S10至步骤S60，本发明实施例的多源异构数据融合的方法可以应用于小区治理、城市道路监控及智慧安防等领域，对此不作具体限定，下面以该方法应用于小区内进行具体说明。

步骤S10：根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像。

在本发明实施例中，所述第一物联网传感器传输的信息是不具有明确特定对象身份信息，其可以包括摄像装置，例如是位于小区的出入口或是小区走道内的摄像装置。通过设定预设时间间隔，获取某具体的摄像装置某一定间隔时间段内捕获的数据。

在本发明实施例中，所述第一物联网传感器可以包括多个摄像装置，多个摄像装置可以并程进行多源异构数据融合，针对每一摄像装置根据预设时间间隔获取视频，对获取的视频截取出多张人脸图像，获得的多张人脸图像将进行后续步骤S20至步骤S60的处理。

步骤S20：根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配。

在其中一种可能实现方式中，如图2，步骤S20根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配包括步骤S21至步骤S24，下面具体说明。

步骤S21：根据所述人脸图像进行聚类，获得不同的簇。

需要说明的是，对预设时间间隔获得的视频截取出人脸图像，并利用深度卷积神经网络模型对视频中检测到的人脸图像进行特征提取及属性抽取，提取到的一帧中的人脸信息包括人脸的CNN特征，人脸的属性特征可以包括是否戴眼镜、年龄估计、抓拍摄像头位置及其他一些是否睁眼张嘴微笑等，一帧中的人像信息包括行人重识别ReID特征及相关属性如上衣类型、裤子裙子类型、上衣颜色、裤子裙子颜色、单肩包、双肩包、手提包、发型等。

在本发明实施例中，通过调节相似度阈值，密度聚类邻域的阈值，可以精确控制人脸图像聚类融合的效果。具体实现方式如下：

步骤一：对数据进行初步划分

以每个摄像头的每间隔5分钟的采集图像数据为时空片段。记第i个采集设备为Ci，t为某时间段，对应的(t-1)为上一个时间段，两者共同确定的时空片段内采集的数据记为Seg(Ci,t),设摄像头A在5分钟内捕获1500张图片(300秒，每秒按抽取5帧算)，假设解析出5000张人脸，对这批时空片段数据利用人脸特征相似度及属性信息进行初步划分，假设可以得到100个簇。

步骤二：对数据进行聚类

用F(Seg(Ci,t))表示对这时空片段内的数据进行聚类融合，即将同一人在该时空片段内的多次抓拍聚类融合在一起。进一步地，聚类融合步骤包括：

(1)依据采用特征相似度矩阵经阈值过滤后进行二值化，即将相似度达标的两个特征关系设为1，不达标的设置为0。如，5个特征两两计算其相似度，那么得到一个5*5的矩阵M，其中M(3,4)就表示3号和4号的相似度，阈值就是取一个标准，大于等于该阈值的算是同一个人，小于该阈值就是就无关的人。进行二值化也就是大于等于的就换为1，小于1的转化为0。将二值化结果作为图的邻接矩阵，然后转化为图，根据其两两之间相似度是否达标作为是否存在边的依据转换为此图。其中边的权重为余弦距离cosd，cosd即为1-相似度。举例说明，假设相似度预设阈值为0.92，且a、b、c、d、e共5个特征的相似度分别如下：

sim(a，b)＝0.93,sim(a，c)＝0.92,sim(b，c)＝0.91,sim(d，e)＝0.95，5个特征互相计算其相似度得到相似度矩阵如图3，其邻接矩阵如图4，转成的图如图5，即如下：

b<--(1-0.93)-->a<--(1-0.92)-->c及d<--(1-0.95)-->e

＝>b<--0.07-->a<--0.08-->c及d<--0.05-->e

(2)利用密度聚类的思想，用边权重作为距离，取某值，例如0.07作为邻域半径ε，一个特征p的ε邻域定义为：N(p)＝{q|cosd(p,q)<＝ε}，某特征p的ε邻域内特征q的个数称为该特征的密度,此处cosd为前述根据特征相似度得到余弦距离。

(3)确定核心特征、边界特征及噪音特征。

核心特征表示其密度大于某个阈值，如3的点，即该人脸图像至少存在3张其他人脸与之相似。

若一个特征的密度小于某阈值，如3，则称之为非核心特征。对于某非核心特征来说，若其邻域内存在核心特征，则该特征称为边界点。

对于既不属于核心特征，又不属于边界特征的称之为离群特征。

(4)根据余弦距离及核心特征，边界特征及噪音特征确定各个特征的之间关系，由此得到各簇。如图6，在a的附近聚类特征b、c、d、e及f，得到一特征集合，特征g、h及i聚类，得到另一特征集合，j与k聚类，得到另一特征集合。

在本发明实施例中，通常余弦相似度cos衡量两个特征向量的相似性，其取值范围为[-1,1]取值为1则表示完全一样。余弦距离cosd则定义为数值1与余弦相似度cos的差值，其取值范围为[0,2]，数值非负且越小越相似，更贴近距离的定义。基于余弦距离的定义，采用密度聚类的思想确立核心特征，边界特征及离群特征，并制定其虚拟标签的标注规则。

步骤S22：对每一簇分配对应的虚拟标签。

在本发明实施例中，对于特征集合中的特征可以选定初始特征p并赋予标签一个uuid作为虚拟标签。在对时空片段数据定义其特征距离，利用密度聚类思想进行虚拟标签的分配。通过对数据的划分，边界点标签的确定机制等提高了计算效率及特征标签划分的准确性，使得多人被合并为一人及一人被分成多人的现象得到减少。

如图7，若p为噪音特征，则与其关联邻接点共同自成一类。若p为核心特征，则对该特征及邻域内的特征q均设置为同一虚拟标签，进一步的，若特征q为核心特征，其下一步对应邻域内的特征也同样赋予此虚拟标签；若特征q为边界特征，则不对q的邻接点标签进行传播。若p为边界特征，则跳过。

综上，即核心特征可以把他的标签传播出去，但是边界点不能将标签传播。即理解为两个团簇的交接点，虽然与两个团簇都很近，但只划归一个团簇，两个团簇不能具有同一个标签。两个人的各一组照片，某张新照片与这两组照片都相似，但只能把他划到某一组中去，不能将两组通过他合并为一个。切断的原则为从边界链的最大值处切断。

步骤S23：针对每一簇，根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征。

在本发明实施例中，提出一种融合特征的计算方式，充分利用其相似度关联聚集程度，计算的融合特征具有最佳的代表性。融合特征的计算充分考虑其权重，反应了与周边特征的关系紧密程度，计算出来的融合特征减少了偏移，对融合特征的稳定性有很好的提升。通过该融合特征可以实现时空粒度内的同一标签数据对应特征的加权平均及去重。即譬如一个摄像装置在5分钟内抓拍了张三的10张照片，李四的7张照片这17条记录中每条都含有人脸的高维特征，人脸的属性信息。其中高维特征包括不限于512浮点数组成的向量，两个特征的相似度能反应对应人的相似度。基于特征及属性信息进行了特征比对，根据相似度进行了聚类，划分为了A类和B类，A类有10张，B类有7张，我们分别对A类中的10个特征进行加权平均得到了1个融合特征a，对B类中的7个特征同样融合为1个特征b，分别编号为虚拟标签label-a和label-b，后面再来的特征则只需要与a和b两个特征比较即可，与a相似则赋予虚拟标签label-a，与b相似则赋予虚拟标签label-b，同时做到了去重减少后面与人口特征库中人脸特征比对的计算量。

在其中一种可能实现方式中，如图8，步骤S23根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征包括步骤S231至步骤S234，下面具体说明。

步骤S231：针对同一簇内具有同一虚拟标签的每一人脸特征，获取对应的特征相似度和，其中所述特征相似度和包括该人脸特征与该簇内其余人脸特征之间的人脸特征相似度的加和。

在本发明实施例中，在时空片段内的抓拍人脸经步骤S22后产生的是多组具有各自标签的簇，针对具有相同标签的人脸特征，计算其一个融合特征。融合特征的计算依赖于该簇内各成员特征的权重。一个特征p的S值取为该特征p与该簇内除了特征P之外的与特征P相似的人脸特征间相似度的和，一个特征p在融合时的权重W(p)为该特征的S值在该标签中所有特征S值之和中的比重。如图7，对于uuid2簇，包含g、h、i三个特征，这三个特征需要融为一个特征作为代表，即对于特征g其对应的特征相似度和为S(g)＝0.92+0.95＝1.87,对于特征为h其对应的特征相似度和为：S(h)＝0.92+0.93＝1.85,对于特征为i其对应的特征相似度和为：S(i)＝0.93+0.95＝1.88。

步骤S232：将同一簇内的所有特征相似度和相加得到第一加和。

在本发明实施例中，第一加和即W(p)＝S(p)/sum(S(x)),x取同一簇内的所有特征。W(p)为1.87+1.85+1.88＝5.6。

步骤S233：针对同一簇内具有同一虚拟标签的每一人脸特征，获取其对应的权重，其中，所述权重包括该人脸特征所对应的特征相似度和与第一加和的比重。

在本发明实施例中，对于特征g其对应的比重为W(g)＝1.87/5.6,对于特征h其对应的比重为W(h)＝1.85/5.6,对于特征i其对应的比重为W(i)＝1.88/5.6。

步骤S234：根据每一人脸特征及其对应的权重进行加权求和获得融合特征。

在本发明实施例中，融合特征的值fused(uuid1)＝sum(W(p)*p),其中p为该虚拟ID标签内所有的特征。该方法考虑了相似性的邻居数量因素，可以准确取得最有代表性的融合人脸特征。

步骤S24：根据所述融合特征与人口特征库中的人脸特征进行特征匹配。

在其中一种可能实现方式中，步骤S24根据所述融合特征与人口特征库中的人脸特征进行特征匹配包括：

根据预先建立的近似最近邻ANN索引，将融合特征与人口特征库中的人脸特征进行特征匹配。

在本发明实施例中，利用人口特征库相对稳定的特性，计算人口特征库的ANN索引，进行融合特征与人口特征库中人脸特征的比对融合。对计算效率，比对准确率有很大提升。

在本发明实施例中，如图9，将上述融合特征与人口特征库中的特征进行比对，用以对在人口特征库内的人口的标注。与人口特征的比对通过对人口特征库预先建立近似最近邻ANN索引，利用高维特征的索引进行融合特征的检索以加快比对标注速度，做到实时标注。f1，f2，f3三个融合特征与人口特征库比较时，f1，f3找到对应的记录，f2并没有相似度阈值达标的记录。虚拟标签uuid2内的各原始特征仍被标注为uuid2。

步骤S30：在特征匹配成功时，根据匹配成功的人脸特征所对应特定对象的身份信息获得对应该特定对象的第一真实标签。

在其中一种可能实现方式中，在特征匹配成功时，将所述融合特征所对应簇的虚拟标签更新为第一真实标签，其中第一真实标签为人口特征库中匹配成功的人脸特征所对应特定对象的标签。比对成功的将虚拟标签更新为真实人员ID。前述时空片段内的抓拍路人融合特征并非均能与人口特征库比对成功，如外来或其他情形的未登记人员等，这种则暂时继续沿用其虚拟标签。

步骤S40：获取由第二物联网传感器传输的信息，其中，所述第二物联网传感器传输的信息绑定特定对象的身份信息，所述第一物联网传感器与第二物联网传感器传输信息的数据格式不同。

在本发明实施例中，对于水电煤气、乘车、消费及门禁等这类具有明确身份信息，我们可以利用知识图谱等数据融合方式关联在一起。例如，在使用门禁卡a时，其绑定的特定对象为用户A。

步骤S50：根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签。

在本发明实施例中，在得到门禁卡a绑定的特定对象为用户A，则可以根据用户A得到用户A在人口特征库中的真实标签，即为第二真实标签。

步骤S60：根据所述第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合。

在本发明实施例中，在第一真实标签与第二真实标签一致时，则可以确认由第一物联网传感器传输的信息中与由第二物联网传感器传输的信息中的特定对象为相同的，即可以将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行关联融合一起。例如，在使用用户A的门禁卡进入小区时，则第二物联网传感器传输的门禁信息就可以得到目前的特定对象为用户A，但是对第一物联网传感器拍摄到的当前正在使用门禁卡的目标是否为用户A，还需要进行上述步骤S10至步骤S30，进行人脸识别后确认是否为人口特征库中特定对象用户A。在确定该特定对象为用户A时，则可以实现门禁卡与摄像装置之间的信息关联与融合。

在其中一种可能实现方式中，如图10，还包括步骤S70至步骤S90，下面具体说明。

在本发明实施例中，历史数据由多个时空片段数据组成，其中，历史数据均为为成功匹配的人脸特征，对此将会做基于特征及属性的进一步融合，并解决唯一虚拟标签的替代问题。

步骤S70：在特征匹配不成功时，获取不同时空中特征匹配不成功的虚拟标签所对应的陌生人脸特征。

步骤S80：将所述陌生人脸特征进行聚类融合，得到陌生融合特征。

在其中一种可能实现方式中，如图11，步骤S80将所述陌生人脸特征进行聚类融合，得到陌生融合特征包括：

步骤S81:将陌生人脸特征进行聚类，获得不同的簇。

步骤S82：针对每一簇，获取该簇的第一人脸特征，其中，第一人脸特征为该簇内当前时刻的陌生人脸特征。

步骤S83：针对每一簇，根据时空的相近性为每一类中与第一人脸特征相似的其余陌生人脸特征分配权重。

步骤S84：针对每一簇，根据所述第一人脸特征、与第一人脸特征相似的陌生人脸特征及其对应的权重进行加权求和得到陌生融合特征。

在本发明实施例中，陌生融合特征的融合策略采用如上融合特征加权求和的方式，不同点在于，时间越久的权重低，摄像装置距离越近的则权重高。相似度关系越密集的权重高，关系稀疏的则权重低。计算陌生融合特征时，获得该簇内当前时刻的陌生人脸特征，即第一人脸特征p，对于该簇中有pi(i＝1,..,n)均与之相似，其最后出现时间距今时长分别为Ti(i＝1,..,n)秒,则pi先做合并，一种简化权重为：

W(pi)＝sum(Tj)/sum(Ti)

其中，j＝1到n且排除i，i为1到n。

合并后p’＝Sum(W(pi)*pi)

最终陌生融合特征为：pnew为(p+p’)/2即最新特征权重占一半。

具体来说，第一人脸特征p，该簇中有p1,p2,p3均与之相似，其最后出现时间距今时长分别为T1,T2,T3秒,则p1,p2,p3先合并为p’。

p’＝p1*(T2+T3)/(T1+T2+T3)+p2*(T1+T3)/(T1+T2+T3)+p3*(T1+T2)/(T1+T2+T3)

最终陌生融合特征为：pnew＝(p+p’)/2。

即在本发明实施例中，对多个时空片段，每个片段的聚类采用结合前面该其他片段聚类的结果，也结合其他前面时刻片段聚类的结果。即一个抓拍设备内的出现多次的机会最高，临近的也可能出现，同一片段内距离越远其出现同一人的概率越低，相当于以当前时间地点为中心，随着距离的越远，时间的越久其出现该人的概率是降低的，计算时会有权重来体现。每个历史片段在参与聚类时的权重是随着时间慢慢降低的，即理解为同一位置的照片随着时间流逝其对后来的参考意义逐渐降低。每个历史片段的聚类也依赖其他摄像装置的数据来源，对于临近时间段相距越近的采集设备的上一时刻输出虚拟标签的数据其权重越大。

步骤S90：将所述陌生融合特征及其虚拟标签存储进陌生人口特征库中。

在本发明实施例中，在多个时空片段中产生的虚拟标签是独立产生全局唯一的，但正常是会出现一个人在多个时空片段中出现，所以需要做虚拟标签的融合。对于未与人脸特征库中的人脸特征匹配成功的，将会与同一时间段所有片段中未匹配成功的一起参与集体融合，目的为同一人的多个虚拟标签合并。合并后的特征为每个档案的陌生融合特征，互相独立。这批档案的陌生融合特征进入陌生人口特征库。陌生人口特征库中最开始是空的，将会直接进入；若加入陌生人口特征库时库中非空，则要与其中的特征融合，以合并某同一人的多份档案。

在其中一种可能实现方式中，针对所述陌生人口特征库中持续出现的陌生融合特征，将其及其对应的虚拟标签存进人口特征库，以用于与由第一物联网传感器传输的信息进行融合；

针对所述陌生人口特征库中超过预设阈值没有出现的陌生融合特征，进行删除。

在本发明实施例中，对陌生人口特征库中持续出现的陌生融合特征，可以周期性加入人口特征库，其标签即为在陌生人口特征库中的标签，直接参与后续中时空片段的比对标注。对出现次数极少，或近期(如一个月)未出现过的陌生人库中的记录可以移除。次数或时长的标准支持系统配置动态生效。提出一种陌生人口特征库的融合特征对特征库的动态更新机制，可以加速在小时空片段比较时能尽早成功标注的概率，减少后续融合的成本。

实施本实施例具有如下特点：

人口特征库中存有对应每一特定对象的身份信息，根据每一特定对象的身份信息分配一真实标签，将由第一物联网传感器传输的多张人脸图像与人口特征库中的人脸特征进行特征匹配，获得多张人脸图像对应的第一真实标签，由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签，根据第一真实标签与第二真实标签确定是否为同一特定对象，以实现将由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合，为特定对象建立起对应的档案。

实施例二

参见图12，一种多源异构数据融合装置，包括：

第一物联网信息获取模块10，用于根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像；

匹配模块20，用于根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配；

第一标签获取模块30，用于在特征匹配成功时，根据匹配成功的人脸特征所对应特定对象的身份信息获得对应该特定对象的第一真实标签；

第二物联网信息获取模块40，用于获取由第二物联网传感器传输的信息，其中，所述第二物联网传感器传输的信息绑定特定对象的身份信息，所述第一物联网传感器与第二物联网传感器传输信息的数据格式不同；

第二标签获取模块50，用于根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签；

融合模块60，用于根据所述第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合。

实施本实施例具有如下特点：

人口特征库中存有对应每一特定对象的身份信息，根据每一特定对象的身份信息分配一真实标签，将由第一物联网传感器传输的多张人脸图像与人口特征库中的人脸特征进行特征匹配，获得多张人脸图像对应的第一真实标签，由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签，根据第一真实标签与第二真实标签确定是否为同一特定对象，以实现将由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合，为特定对象建立起对应的档案。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (8)

1.一种多源异构数据融合的方法，其特征在于，包括：

根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像；

根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配；

在特征匹配成功时，根据匹配成功的人脸特征所对应特定对象的身份信息获得对应该特定对象的第一真实标签；

获取由第二物联网传感器传输的信息，其中，所述第二物联网传感器传输的信息绑定特定对象的身份信息，所述第一物联网传感器与第二物联网传感器传输信息的数据格式不同；

根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签；

根据所述第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合；

所述根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配包括：

根据所述人脸图像进行聚类，获得不同的簇；

对每一簇分配对应的虚拟标签；

针对每一簇，根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征；

根据所述融合特征与人口特征库中的人脸特征进行特征匹配；

所述根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征包括：

针对同一簇内具有同一虚拟标签的每一人脸特征，获取对应的特征相似度和，其中所述特征相似度和包括该人脸特征与该簇内其余人脸特征之间的人脸特征相似度的加和；

将同一簇内的所有特征相似度和相加得到第一加和；

针对同一簇内具有同一虚拟标签的每一人脸特征，获取其对应的权重，其中，所述权重包括该人脸特征所对应的特征相似度和与第一加和的比重；

根据每一人脸特征及其对应的权重进行加权求和获得融合特征。

2.如权利要求1所述的方法，其特征在于，所述根据所述融合特征与人口特征库中的人脸特征进行特征匹配包括：

根据预先建立的近似最近邻ANN索引，将融合特征与人口特征库中的人脸特征进行特征匹配。

3.如权利要求2所述的方法，其特征在于，

在特征匹配成功时，将所述融合特征所对应簇的虚拟标签更新为第一真实标签，其中第一真实标签为人口特征库中匹配成功的人脸特征所对应特定对象的标签；

在特征匹配不成功时，获取不同时空中特征匹配不成功的虚拟标签所对应的陌生人脸特征；

将所述陌生人脸特征进行聚类融合，得到陌生融合特征；

将所述陌生融合特征及其虚拟标签存储进陌生人口特征库中。

4.如权利要求3所述的方法，其特征在于，所述将所述陌生人脸特征进行聚类融合，得到陌生融合特征包括：

将陌生人脸特征进行聚类，获得不同的簇；

针对每一簇，获取该簇的第一人脸特征，其中，第一人脸特征为该簇内当前时刻的陌生人脸特征；

针对每一簇，根据时空的相近性为每一类中与第一人脸特征相似的其余陌生人脸特征分配权重；

针对每一簇，根据所述第一人脸特征、与第一人脸特征相似的陌生人脸特征及其对应的权重进行加权求和得到陌生融合特征。

5.如权利要求3或4所述的方法，其特征在于，

针对所述陌生人口特征库中持续出现的陌生融合特征，将其及其对应的虚拟标签存进人口特征库，以用于与由第一物联网传感器传输的信息进行融合；

针对所述陌生人口特征库中超过预设阈值没有出现的陌生融合特征，进行删除。

6.一种多源异构数据融合装置，其特征在于，包括：

第一物联网信息获取模块，用于根据预设时间间隔，获取由第一物联网传感器传输的多张人脸图像；

匹配模块，用于根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配；所述根据所述多张人脸图像与人口特征库中的人脸特征进行特征匹配包括：

根据所述人脸图像进行聚类，获得不同的簇；

对每一簇分配对应的虚拟标签；

针对每一簇，根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征；

根据所述融合特征与人口特征库中的人脸特征进行特征匹配；

所述根据同一簇内具有同一虚拟标签的人脸特征计算得到一融合特征包括：

针对同一簇内具有同一虚拟标签的每一人脸特征，获取对应的特征相似度和，其中所述特征相似度和包括该人脸特征与该簇内其余人脸特征之间的人脸特征相似度的加和；

将同一簇内的所有特征相似度和相加得到第一加和；

针对同一簇内具有同一虚拟标签的每一人脸特征，获取其对应的权重，其中，所述权重包括该人脸特征所对应的特征相似度和与第一加和的比重；

根据每一人脸特征及其对应的权重进行加权求和获得融合特征；

第一标签获取模块，用于在特征匹配成功时，根据匹配成功的人脸特征所对应特定对象的身份信息获得对应该特定对象的第一真实标签；

第二物联网信息获取模块，用于获取由第二物联网传感器传输的信息，其中，所述第二物联网传感器传输的信息绑定特定对象的身份信息，所述第一物联网传感器与第二物联网传感器传输信息的数据格式不同；

第二标签获取模块，用于根据所获取的由第二物联网传感器传输的信息所绑定的特定对象的身份信息，获取对应的第二真实标签；

融合模块，用于根据所述第一真实标签与第二真实标签，将所获取的由第一物联网传感器传输的多张人脸图像与所获取的由第二物联网传感器传输的信息进行融合。

7.一种计算机设备，其特征在于包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-5中任一项所述的方法。