CN115565229A - 一种档案对象识别方法、装置及介质 - Google Patents

Abstract

本申请提出了一种档案对象识别方法包括：获取待识别档案，每个所述待识别档案包括多张人脸图像；根据所述待识别档案的类中心特征向量检索对象库，得到候选对象，其中所述类中心特征向量用于表征所述待识别档案中多张人脸图像特征向量的平均向量，所述候选对象包括单张人脸图像；获取所述待识别档案和所述候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息；将所述多维度特征信息和交叉特征信息输入到训练好的机器学习模型中，根据所述机器学习模型的输出结果判断所述待识别档案是否识别归档为所述候选对象。本申请的档案对象识别方法融合了更多维度的特征信息，档案的对象信息更准确，提高了档案的实名率。

Description

一种档案对象识别方法、装置及介质

技术领域

本申请涉及图像处理的技术领域，具体涉及一种档案对象识别方法、装置及介质。

背景技术

在安防领域，图片聚档是一项十分重要的技术。其首先对物联感知图片采用深度神经网络提取图像特征，接着基于特征进行图片聚类，聚类结果再和档案库比对，若未比中，则形成一个新的档案，比中则合并到已有的档案。对于档案库中的档案，往往采取和对象库(一般由对象的正面清晰照组成)特征比对的方式，将相似度达到预设阈值的档案进行实名化，即识别出档案所属对象。

档案是由多张图片组成的集合，应用中往往采用多张图片特征向量的平均向量作为档案类中心特征或者采用最具代表性(比如质量分最高)的那张图片作为代表性图片，将档案特征转化为图片特征。现有技术一般采用档案特征和对象特征比对，相似度达到预设阈值的，则认为比中，识别出档案所属对象。该方法一般存在比中率较低的特点，造成档案库中匿名档较多的现象，即实名率低。

发明内容

为了解决现有技术中的档案识别准确度较低的技术问题，本申请提出了一种档案对象识别方法、装置及介质。

根据本申请的第一方面，提出了一种档案对象识别方法，包括：

获取待识别档案，每个所述待识别档案包括多张人脸图像；

根据所述待识别档案的类中心特征向量检索对象库，得到候选对象，其中所述类中心特征向量用于表征所述待识别档案中多张人脸图像特征向量的平均向量，所述候选对象包括单张人脸图像；

获取所述待识别档案和所述候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息；

将所述多维度特征信息和交叉特征信息输入到训练好的机器学习模型中，根据所述机器学习模型的输出结果判断所述待识别档案是否识别归档为所述候选对象。

优选的，所述根据所述待识别档案的类中心特征向量检索对象库，得到候选对象，包括：

根据所述待识别档案的类中心特征向量检索对象库，得到对应不同相似度的所述候选对象；

判断所述候选对象中的最大相似度是否达到第一预设阈值，若否，则结束对所述待识别档案的识别。

优选的，所述待识别档案和所述候选对象中的人脸图像的多维度特征，包括：

所述待识别档案中的人脸图像的年龄、性别、是否佩戴口罩、平均质量分、内聚性、图像数量、最后出现时间距离当下的天数，其中所述内聚性用于表征所述待识别档案中任意两张人脸图像特征向量相似度的平均值；以及

最大相似度的所述候选对象中的人脸图像的年龄、性别、图像拍摄时间距离当下的天数。

优选的，所述待识别档案和所述候选对象中的人脸图像的交叉特征信息，包括：

所述待识别档案中的人脸图像与最大相似度的所述候选对象中的人脸图像的性别一致性、年龄一致性和基于所述检索对象库的检索结果相似度的变化规律，其中所述检索结果相似度的变化规律具体包括：所述候选对象中的最大相似度、最大相似度相对次级相似度的减少幅度、最大相似度与次级相似度差值的平均值与标准差。

优选的，所述检索结果相似度的变化规律的特征提取方式至少包括以下一种：

将所述检索对象库的检索结果相似度作为一个序列，采用深度学习中的序列模型自动提取特征；

将所述检索对象库的检索结果相似度作为图结构网络，采用图神经网络提取图级别的特征。

优选的，所述检索对象库的方法至少包括以下一种：

向量引擎搜索、相似向量检索。

优选的，根据所述机器学习模型的输出结果判断所述待识别档案是否归档为所述候选对象，包括：

所述机器学习模型输出所述待识别档案与最大相似度的所述候选对象属于同一目标的置信度，若所述置信度达到第二预设阈值，则将所述待识别档案识别为最大相似度的所述候选对象。

优选的，所述方法还包括：

将识别归档后的所述候选对象更新到档案库中，同时校验所述档案库中是否存在对应该候选对象的其它档案，若存在，则进行合并更新。

根据本申请的第二方面，提出了一种档案对象识别装置，包括：

获取模块，配置用于获取待识别档案，每个所述待识别档案包括多张人脸图像；

检索模块，配置用于根据所述待识别档案的类中心特征向量检索对象库，得到候选对象，其中所述类中心特征向量用于表征所述待识别档案中多张人脸图像特征向量的平均向量，所述候选对象包括单张人脸图像；

特征提取模块，配置用于获取所述待识别档案和所述候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息；

预测模块，配置用于将所述多维度特征信息和交叉特征信息输入到训练好的机器学习模型中，根据所述机器学习模型的输出结果判断所述待识别档案是否识别归档为所述候选对象。

根据本申请的第三方面，提出了一种计算机可读储存介质，其储存有计算机程序，所述计算机程序在被处理器执行时实施如本申请第一方面所述的档案对象识别方法。

本申请提出了一种档案对象识别方法、装置及介质，通过刻画待识别档案、检索得到的候选对象中的人脸图像的多个维度的特征信息以及两者的交叉特征信息，采用机器学习模型来给出待识别档案与候选对象属于同一个目标的置信度，相比传统方案，融合了更多维度的特征信息，能够使得档案的对象信息更准确，同时提高了档案的实名率。

附图说明

包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本申请的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。

图1是根据本申请实施例的档案对象识别方法流程图；

图2是根据本申请一个具体实施例的待识别档案的类中心特征向量检索对象库的检索结果示意图；

图3是根据本申请实施例的档案对象识别装置的结构框图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括......”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

根据本申请的第一方面，提出了一种档案对象识别方法。图1示出了根据本申请实施例的档案对象识别方法流程图，如图1所示，该方法包括以下步骤：

S101：获取待识别档案，每个待识别档案包括多张人脸图像。

在具体的实施例中，获取待识别档案时，在实际工程中，是采用离线方式每日执行，由于计算资源有限，就涉及到哪些档案优先的问题。本实施例中，获取档案的准则具体如下：1、优先选取新生成的档案；2、优先选取未进行过对象识别的档案；3、优先选取上次对象识别失败但时间最早的档案；4、优先选取档案图片平均质量分较高的档案。

S102：根据待识别档案的类中心特征向量检索对象库，得到候选对象，其中类中心特征向量用于表征待识别档案中多张人脸图像特征向量的平均向量，候选对象包括单张人脸图像。

在具体的实施例中，待识别档案是由多张人脸图像组成的集合，因此采用多张人脸图像特征向量的平均向量作为待识别档案的类中心特征向量。待识别档案的类中心特征向量检索对象库，可以采用主流的向量检索，如向量引擎搜索(milvus)、相似向量检索(faiss)等。

图2示出了根据本申请一个具体实施例的待识别档案的类中心特征向量检索对象库的检索结果示意图，如图2所示，在具体的实施例中，根据待识别档案的类中心特征向量检索对象库时，检索结果输出为多个不同相似度等级的候选对象，当候选对象中的最大相似度达到第一预设阈值时，继续对该待识别档案的识别流程，否则结束识别，认为该待识别档案识别失败，在对象库中无法找到对应的候选对象。

S103：获取待识别档案和候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息。

在具体的实施例中，待识别档案中的人脸图像的多维度特征包括但不限于：年龄、性别、是否佩戴口罩、平均质量分、内聚性、图像数量、最后出现时间距离当下的天数。其中，内聚性用于表征待识别档案中任意两张人脸图像特征向量相似度的平均值。

在具体的实施例中，选用与待识别档案具有最大相似度的候选对象，计算人脸图像的多维度特征信息，包括但不限于：年龄、性别、图像拍摄时间距离当下的天数。

在具体的实施例中，待识别档案和最大相似度的候选对象中的人脸图像的交叉特征信息包括但不限于：人脸图像的性别一致性、年龄一致性和基于检索对象库的检索结果相似度的变化规律。其中检索结果相似度的变化规律具体包括：候选对象中的最大相似度、最大相似度相对次级相似度的减少幅度、最大相似度与次级相似度差值的平均值与标准差。

其中：

内聚性计算：假设待识别档案中的人脸图像特征向量为x＝(x₁,x₂,…,x_n)，则内聚性可转化为x和x的内积，即

检索结果相似度的变化规律：假设从对象库中检索到的所有候选对象的相似度从大到小排序为s₁,s₂,…,s_n，则s₂相对s₁的减少幅度为

s₂-s₄与s₁差值的平均值m为

标准差为

需要说明的是，本实施例中，选取检索结果相似度中数值大的前4个相似度，对于最大相似度相对次级相似度的减少幅度的计算，选取的是相似度s₁相对于s₂的减少幅度；对于最大相似度与次级相似度差值的平均值与标准差的计算，选取的是s₁与s₂-s₄。在其它实施方式中，也可根据实际需求选取不同大小的相似度进行相应的计算。

在具体的实施例中，检索结果相似度的变化规律的特征提取方式可以是将检索对象库的检索结果相似度作为一个序列，然后采用深度学习中的序列模型自动提取特征；也可以是将检索对象库的检索结果相似度作为图结构网络，然后采用图神经网络提取图级别的特征；亦或者可以是根据经验或者数据分析人工构建的特征。

S104：将多维度特征信息和交叉特征信息输入到训练好的机器学习模型中，根据机器学习模型的输出结果判断待识别档案是否识别归档为候选对象。

在具体的实施例中，采用事先训练好的机器学习模型，输入以上待识别档案和候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息，机器学习模型输出待识别档案与最大相似度的候选对象属于同一目标的置信度，若置信度达到第二预设阈值，则将待识别档案识别为该最大相似度的候选对象。事先训练的机器学习模型，可以采用集成学习模型，如随机森林、xgboost、lightgbm等建立分类模型。这里第二预设阈值可以根据机器学习模型离线训练时，在验证集上的效果确定：实际场景中会更侧重精确率，要求较高精确率下尽可能提高召回率，因此会要求在精确率不低于99％约束下，使得F0.5或者F1达到最大的概率阈值推荐为第二预设阈值。

S105：将识别归档后的候选对象更新到档案库中，同时校验档案库中是否存在对应该候选对象的其它档案，若存在，则进行合并更新。

在具体的实施例中，将置信度达到第二预设阈值的待识别档案识别为最大相似度的候选对象，并将识别归档后的候选对象更新到档案库中，同时需校验档案库中是否已经存在对应该候选对象的档案，若存在，则需对同一对象的多个档案进行合并更新。

综上，本申请的档案对象识别方法通过刻画待识别档案、检索得到的候选对象中的人脸图像的多个维度的特征信息以及两者的交叉特征信息，采用机器学习模型来给出待识别档案与候选对象属于同一个目标的置信度，从而判断两者是否识别归档成功。相比传统方案，融合了更多维度的特征信息，能够使得档案的对象信息更准确，同时提高了档案的实名率

根据本申请的第二方面，基于同样的构思，本申请实施例还提出了一种档案对象识别装置。图3示出了根据本申请实施例的档案对象识别装置的结构框图，如图3所示，该装置包括：

获取模块201，配置用于获取待识别档案，每个待识别档案包括多张人脸图像；

检索模块202，配置用于根据待识别档案的类中心特征向量检索对象库，得到候选对象，其中类中心特征向量用于表征待识别档案中多张人脸图像特征向量的平均向量，候选对象包括单张人脸图像；

特征提取模块203，配置用于获取待识别档案和候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息；

预测模块204，配置用于将多维度特征信息和交叉特征信息输入到训练好的机器学习模型中，根据机器学习模型的输出结果判断待识别档案是否识别归档为候选对象。

在优选的实施例中，该装置还包括：

更新模块205，配置用于将识别归档后的候选对象更新到档案库中，同时校验档案库中是否存在对应该候选对象的其它档案，若存在，则进行合并更新。

根据本申请的第三方面，基于同样的构思，本申请实施例进一步提出了一种计算机可读储存介质，其储存有计算机程序，该计算机程序在被处理器执行时实施如本申请第一方面的档案对象识别。

在本申请实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置/系统/方法实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

显然，本领域技术人员在不偏离本申请的精神和范围的情况下可以作出对本申请的实施例的各种修改和改变。以该方式，如果这些修改和改变处于本申请的权利要求及其等同形式的范围内，则本申请还旨在涵盖这些修改和改变。词语“包括”不排除未在权利要求中列出的其它元件或步骤的存在。某些措施记载在相互不同的从属权利要求中的简单事实不表明这些措施的组合不能被用于获利。权利要求中的任何附图标记不应当被认为限制范围。

Claims (10)

1.一种档案对象识别方法，其特征在于，包括：

获取待识别档案，每个所述待识别档案包括多张人脸图像；

根据所述待识别档案的类中心特征向量检索对象库，得到候选对象，其中所述类中心特征向量用于表征所述待识别档案中多张人脸图像特征向量的平均向量，所述候选对象包括单张人脸图像；

获取所述待识别档案和所述候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息；

将所述多维度特征信息和交叉特征信息输入到训练好的机器学习模型中，根据所述机器学习模型的输出结果判断所述待识别档案是否识别归档为所述候选对象。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别档案的类中心特征向量检索对象库，得到候选对象，包括：

根据所述待识别档案的类中心特征向量检索对象库，得到对应不同相似度的所述候选对象；

判断所述候选对象中的最大相似度是否达到第一预设阈值，若否，则结束对所述待识别档案的识别。

3.根据权利要求2所述的方法，其特征在于，所述待识别档案和所述候选对象中的人脸图像的多维度特征，包括：

所述待识别档案中的人脸图像的年龄、性别、是否佩戴口罩、平均质量分、内聚性、图像数量、最后出现时间距离当下的天数，其中所述内聚性用于表征所述待识别档案中任意两张人脸图像特征向量相似度的平均值；以及

最大相似度的所述候选对象中的人脸图像的年龄、性别、图像拍摄时间距离当下的天数。

4.根据权利要求2所述的方法，其特征在于，所述待识别档案和所述候选对象中的人脸图像的交叉特征信息，包括：

所述待识别档案中的人脸图像与最大相似度的所述候选对象中的人脸图像的性别一致性、年龄一致性和基于所述检索对象库的检索结果相似度的变化规律，其中所述检索结果相似度的变化规律具体包括：所述候选对象中的最大相似度、最大相似度相对次级相似度的减少幅度、最大相似度与次级相似度差值的平均值与标准差。

5.根据权利要求4所述的方法，其特征在于，所述检索结果相似度的变化规律的特征提取方式至少包括以下一种：

将所述检索对象库的检索结果相似度作为一个序列，采用深度学习中的序列模型自动提取特征；

将所述检索对象库的检索结果相似度作为图结构网络，采用图神经网络提取图级别的特征。

6.根据权利要求1所述的方法，其特征在于，所述检索对象库的方法至少包括以下一种：

向量引擎搜索、相似向量检索。

7.根据权利要求2所述的方法，其特征在于，根据所述机器学习模型的输出结果判断所述待识别档案是否归档为所述候选对象，包括：

所述机器学习模型输出所述待识别档案与最大相似度的所述候选对象属于同一目标的置信度，若所述置信度达到第二预设阈值，则将所述待识别档案识别为最大相似度的所述候选对象。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将识别归档后的所述候选对象更新到档案库中，同时校验所述档案库中是否存在对应该候选对象的其它档案，若存在，则进行合并更新。

9.一种档案对象识别装置，其特征在于，包括：

获取模块，配置用于获取待识别档案，每个所述待识别档案包括多张人脸图像；

检索模块，配置用于根据所述待识别档案的类中心特征向量检索对象库，得到候选对象，其中所述类中心特征向量用于表征所述待识别档案中多张人脸图像特征向量的平均向量，所述候选对象包括单张人脸图像；

特征提取模块，配置用于获取所述待识别档案和所述候选对象中的人脸图像的多维度特征信息以及两者之间的交叉特征信息；

预测模块，配置用于将所述多维度特征信息和交叉特征信息输入到训练好的机器学习模型中，根据所述机器学习模型的输出结果判断所述待识别档案是否识别归档为所述候选对象。

10.一种计算机可读储存介质，其储存有计算机程序，所述计算机程序在被处理器执行时实施如权利要求1-8中任一项所述的方法。

Images