CN110941730B - 基于人脸特征数据偏移的检索方法与装置 - Google Patents

Abstract

本发明提供一种基于人脸特征数据偏移的检索方法与装置，包括：接收输入的待搜索人脸的N维度特征数据；将N维度特征数据与连续内存中人脸底库存储的人脸特征数据，按照每次地址偏移N的方式依次计算欧式距离并记录最小欧式距离值对应的人脸特征数据偏移；根据人脸特征数据偏移获取人脸标识数据偏移；根据人脸标识偏移取出人脸标识数据；以及输出最小欧式距离及其对应的人脸标识数据。本发明基于连续的内存数据结构，使得内存使用量相对于复杂的数据结构大幅度降低。

Description

基于人脸特征数据偏移的检索方法与装置

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种基于人脸特征数据偏移的检索方法。

背景技术

人脸搜索技术即根据传入的人脸特征数据，在对应人脸库中暴力计算所有的欧式距离并找出距离最小的那个特征，此最小特征对应的那个人脸标识即为要搜索输出的人脸。

人脸搜索对设备和服务器的性能和并发要求很高，数据都是全部存在内存中。数据包含两部分，一是人脸特征数据，二是人脸特征数据对应的人脸相关信息数据。人脸特征数据和对应人脸相关信息数据按照一定的数据结构存放内存。这种数据结构设计的要求是既要最少的内存使用资源，又要最快的计算欧式距离的速度。实际中往往越是速度快的数据结构就会越复杂，内存使用率往往越高。

发明内容

本发明目的在于提供一种基于人脸特征数据偏移的检索方法，既能使用最少的内存资源，又能快速计算欧式距离的数据结构，解决人脸搜索中资源和速度的矛盾。

为实现上述目的，本发明所采用的技术方案如下：

基于人脸特征数据偏移的检索方法，包括：

接收输入的待搜索人脸的N维度特征数据，其中N为每个人脸特征数据长度N，即对应的单浮点数；

将N维度特征数据与连续内存中人脸底库存储的人脸特征数据，按照每次地址偏移N的方式依次计算欧式距离并记录最小欧式距离值对应的人脸特征数据偏移；

根据人脸特征数据偏移获取人脸标识数据偏移；

根据人脸标识偏移取出人脸标识数据；以及

输出最小欧式距离及其对应的人脸标识数据。

进一步地，在所述人脸底库中，对于由N个单浮点构成的每一人脸特征数据，对应使用固定长度为L的字符串表示人脸标识数据，在存储人脸特征数据时，将人脸特征数据和人脸标识数据分开存储，其中使用一块连续的内存将人脸特征数据依次存储，使用另一块连续的内存按照人脸特征数据的顺序依次存储人脸标识数据。

进一步地，计算欧式距离的操作中，从人脸特征数据的首地址开始与待搜索人脸特征数据计算欧式距离，将得到的欧式距离D与最小欧式距离的值比较，如果小于最小欧式距离，则将最小欧式距离的值赋值为当前得到的欧式距离D，同时将对应的偏移的值赋值为当前人脸特征数据对应的偏移；

然后计算首地址向后偏移N的重复操作，直至计算首地址到人脸库人脸特征数据内存地址末尾位置。

进一步地，获取人脸标识数据偏移的操作包括：

最小欧式距离对应的人脸标识数据的偏移按照下述方式获得：L*(M/N)。

其中，M为最小欧式距离对应的人脸特征数据偏移。

进一步地，所述取出人脸标识数据的操作包括：

根据最小欧式距离对应的人脸标识数据的偏移L*(M/N)，则在人脸底库中以此为首地址、以L为长度取出人脸标识数据。

根据本发明的改进还提出一种基于人脸特征数据偏移的检索装置，包括：

用于接收输入待搜索人脸的N维度特征数据的模块，其中N为每个人脸特征数据长度N，即对应的单浮点数；

用于将N维度特征数据与连续内存中人脸底库存储的人脸特征数据，按照每次地址偏移N的方式依次计算欧式距离并记录最小欧式距离值对应的人脸特征数据偏移的模块；

用于根据人脸特征数据偏获取出人脸标识数据偏移的模块；

用于根据人脸标识偏移取出人脸标识数据的模块；以及

用于输出最小欧式距离及其对应的人脸标识数据的模块。

进一步地，所述计算欧式距离的操作中，包括：

从人脸特征数据的首地址开始与待搜索人脸特征数据计算欧式距离，将得到的欧式距离D与最小欧式距离的值比较，如果小于最小欧式距离，则将最小欧式距离的值赋值为当前得到的欧式距离D，同时将对应的偏移的值赋值为当前人脸特征数据对应的偏移；

然后计算首地址向后偏移N的重复操作，直至计算首地址到人脸库人脸特征数据内存地址末尾位置；

其中设最小欧式距离的值为单浮点数最大值，则最小欧式距离值对应的人脸底库的人脸特征数据的偏移为0。

进一步地，获取人脸标识数据偏移的操作包括：

最小欧式距离对应的人脸标识数据的偏移按照下述方式获得：L*(M/N)。

其中，M为最小欧式距离对应的人脸特征数据偏移。

进一步地，所述取出人脸标识数据的操作包括：

根据最小欧式距离对应的人脸标识数据的偏移L*(M/N)，则在人脸底库中以此为首地址、以L为长度取出人脸标识数据。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明基于人脸特征数据偏移的检索方法的流程示意图。

图2是本发明使用的人脸底库中人脸特征数据内存存储示意图。

图3是本发明使用的人脸底库中人脸标识数据内存存储示意图。

图4是本发明基于人脸特征数据偏移的人脸增加流程示意图。

图5是本发明基于人脸特征数据偏移的人脸删除流程示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1-图5所示，本发明旨在根据人脸特征数据计算欧式距离的特点而提出的既能使用最少的内存资源，又能快速计算欧式距离的人脸数据库的管理与操作方法，包括对人脸特征数据的检索、删除和增加方式等处理，以解决人脸搜索中资源消耗占用和速度需求的矛盾。

本发明的人脸数据库的管理与操作方法中，结合图2、3，对于由N(例如常用712)个单精度浮点型数据构成的单个人脸特征数据，与之对应的用固定长度为L(例如常用36)的字符串表示人脸标识数据。在向人脸数据库存储人脸数据时，将人脸特征数据和人脸标识数据分开存储，使用一块连续的内存将人脸特征数据依次挨着存储，同时使用另一块连续的内存按照人脸特征数据的顺序依次存储人脸标识数据。连续内存是最简单的数据结构同时也是内存消耗最少的。而人脸搜索技术需要将外界输入的人脸特征数据与人脸数据库中所有的人脸特征数据进行欧式距离计算，因此在本发明的实现过程中，使用这样的数据结构以实现提高运算性能，同时兼顾资源和速度的问题。

结合图1-3示例性地表示了基于人脸特征数据偏移的检索方法的过程，包括：

接收输入的待搜索人脸的N维度特征数据(例如前述的712个维度)，其中N为每个人脸特征数据长度N，即对应的单浮点数；

将N维度特征数据与连续内存中人脸底库存储的人脸特征数据，按照每次地址偏移N的方式依次计算欧式距离并记录最小欧式距离值对应的人脸特征数据偏移；

根据人脸特征数据偏移获取人脸标识数据偏移；

根据人脸标识偏移取出人脸标识数据；以及

输出最小欧式距离及其对应的人脸标识数据。

优选地，在人脸底库中，对于由N个单浮点构成的每一人脸特征数据，对应使用固定长度为L的字符串表示人脸标识数据，在存储人脸特征数据时，将人脸特征数据和人脸标识数据分开存储，其中使用一块连续的内存将人脸特征数据依次存储，使用另一块连续的内存按照人脸特征数据的顺序依次存储人脸标识数据。

并且，在存储过程中，人脸特征数据和人脸标识数据顺序一一对应。

计算欧式距离的操作中，设最小欧式距离的值为单浮点数最大值，则最小欧式距离值对应的人脸底库的人脸特征数据的偏移为0。在具体计算过程中，首先从人脸特征数据的首地址开始与待搜索人脸特征数据计算欧式距离，将得到的欧式距离D与最小欧式距离的值比较，如果小于最小欧式距离，则将最小欧式距离的值赋值为当前得到的欧式距离D，同时将对应的偏移的值赋值为当前人脸特征数据对应的偏移；然后计算首地址向后偏移N的重复操作，直至计算首地址到人脸库人脸特征数据内存地址末尾位置。

优选地，获取人脸标识数据偏移的操作包括：

最小欧式距离对应的人脸标识数据的偏移按照下述方式获得：L*(M/N)。

其中，M为最小欧式距离对应的人脸特征数据偏移。

优选地，前述的取出人脸标识数据的操作包括：

根据最小欧式距离对应的人脸标识数据的偏移L*(M/N)，则在人脸底库中以此为首地址、以L为长度取出人脸标识数据。

如此，本发明通过连续的内存数据结构和对应的储存排序，使得内存使用量相对于复杂的数据结构大幅度降低，例如100W数量级的人脸数据(人脸底库数据)由20GB降至4GB，使得存储的人脸数大大增加。同时，连续的特征数据计算欧式距离，使得特征地址取得更快速，而且连续的内存方式更适合使用CPU指令加速计算，使得计算速度提高至传统方案的4倍以上。

图4示例性地表示了基于上述存储和检索方式对人脸底库的人脸添加流程，具体过程包括：

输入新增的人脸数据，包括人脸特征数据+人脸标识数据；

将新增人脸的人脸特征数据插入人脸库人脸特征数据内存存储地址的末尾；

将新增人脸的人脸标识数据插入人脸库人脸标识数据内存存储地址的末尾。

如此，在人脸底库的数量基础上更新并增加新增的人脸数。

图5示例性地表示了基于上述存储和检索方式对人脸底库的人脸删除的流程，基于人脸特征数据偏移实现，其具体过程包括：

接收输入的待删除人脸的人脸标识数据；

查找待删除的人脸标识数据在人脸底库人脸标识数据的偏移；

将人脸标识数据与人脸底库人脸标识以L长度的人脸标识数据进行比较，如相同，记录下该人脸底库人脸标识数据偏移P；若不相同则将比较位置向后偏移L长度，并重复上面操作直到人脸底库人脸标识数据末尾偏移；

根据人脸标识偏移获取对应人脸特征偏移；在可选的例子中，具体包括：

人脸标识数据偏移为P，单个人脸标识数据的长度为L，则对应的人脸数据偏移Q为N*(P/L)；

将末尾人脸标识数据移动至待删除人脸标识数据偏移位置进行覆盖，具体包括：

将末尾长度为L的人脸标识数据移动至人脸底库人脸标识数据偏移地址P的位置，覆盖此待删除的人脸标识数据；

将末尾人脸特征数据移动至待删除人脸特征数据偏移位置进行覆盖；具体包括：

将末尾长度为N的人脸特征数据移动至人脸库人脸特征数据偏移地址N*(P/L)的位置，覆盖此待删除的人脸特征数据；

最后，在人脸底库的数量基础上更新并减去删除的人脸数。

结合图示以及以上实施例，根据本发明的教导的示例性实施例还可以配置如下。

{基于人脸特征数据偏移的检索装置}

一种基于人脸特征数据偏移的检索装置，包括：

用于接收输入待搜索人脸的N维度特征数据的模块，其中N为每个人脸特征数据长度N，即对应的单浮点数；

用于将N维度特征数据与连续内存中人脸底库存储的人脸特征数据，按照每次地址偏移N的方式依次计算欧式距离并记录最小欧式距离值对应的人脸特征数据偏移的模块；

用于根据人脸特征数据偏获取出人脸标识数据偏移的模块；

用于根据人脸标识偏移取出人脸标识数据的模块；以及

用于输出最小欧式距离及其对应的人脸标识数据的模块。

其中，在人脸底库中，人脸特征数据被配置成按照下述方式存储：

对于由N个单浮点构成的每一人脸特征数据，对应使用固定长度为L的字符串表示人脸标识数据，将人脸特征数据和人脸标识数据分开存储，其中使用一块连续的内存将人脸特征数据依次存储，使用另一块连续的内存按照人脸特征数据的顺序依次存储人脸标识数据。

其中，计算欧式距离的操作中，包括：

从人脸特征数据的首地址开始与待搜索人脸特征数据计算欧式距离，将得到的欧式距离D与最小欧式距离的值比较，如果小于最小欧式距离，则将最小欧式距离的值赋值为当前得到的欧式距离D，同时将对应的偏移的值赋值为当前人脸特征数据对应的偏移；

然后计算首地址向后偏移N的重复操作，直至计算首地址到人脸库人脸特征数据内存地址末尾位置；

其中设最小欧式距离的值为单浮点数最大值，则最小欧式距离值对应的人脸底库的人脸特征数据的偏移为0。

其中，获取人脸标识数据偏移的操作包括：

最小欧式距离对应的人脸标识数据的偏移按照下述方式获得：L*(M/N)。

其中，M为最小欧式距离对应的人脸特征数据偏移。

其中，取出人脸标识数据的操作包括：

根据最小欧式距离对应的人脸标识数据的偏移L*(M/N)，则在人脸底库中以此为首地址、以L为长度取出人脸标识数据。

{基于人脸特征数据偏移的人脸删除方法}

基于人脸特征数据偏移的人脸删除方法，包括以下过程：

接收输入的待删除人脸的人脸标识数据；

查找待删除的人脸标识数据在人脸底库人脸标识数据的偏移；

将人脸标识数据与人脸底库人脸标识以L长度的人脸标识数据进行比较，如相同，记录下该人脸底库人脸标识数据偏移P；若不相同则将比较位置向后偏移L长度，并重复上面操作直到人脸底库人脸标识数据末尾偏移；

根据人脸标识偏移获取对应人脸特征偏移；在可选的例子中，具体包括：

人脸标识数据偏移为P，单个人脸标识数据的长度为L，则对应的人脸数据偏移Q为N*(P/L)；

将末尾人脸标识数据移动至待删除人脸标识数据偏移位置进行覆盖，具体包括：

将末尾长度为L的人脸标识数据移动至人脸底库人脸标识数据偏移地址P的位置，覆盖此待删除的人脸标识数据；

将末尾人脸特征数据移动至待删除人脸特征数据偏移位置进行覆盖；具体包括：

将末尾长度为N的人脸特征数据移动至人脸库人脸特征数据偏移地址N*(P/L)的位置，覆盖此待删除的人脸特征数据；

最后，在人脸底库的数量基础上更新并减去删除的人脸数。

{基于人脸特征数据偏移的人脸删除装置}

基于人脸特征数据偏移的人脸删除装置，包括：

用于接收输入的待删除人脸的人脸标识数据的模块；

用于查找待删除的人脸标识数据在人脸底库人脸标识数据的偏移的模块；

用于将人脸标识数据与人脸底库人脸标识以L长度的人脸标识数据进行比较，如相同，记录下该人脸底库人脸标识数据偏移P；若不相同则将比较位置向后偏移L长度，并重复上面操作直到人脸底库人脸标识数据末尾偏移的模块；

用于根据人脸标识偏移获取对应人脸特征偏移的模块；在可选的例子中，具体包括：

人脸标识数据偏移为P，单个人脸标识数据的长度为L，则对应的人脸数据偏移Q为N*(P/L)；

用于将末尾人脸标识数据移动至待删除人脸标识数据偏移位置进行覆盖的模块，具体包括：

将末尾长度为L的人脸标识数据移动至人脸底库人脸标识数据偏移地址P的位置，覆盖此待删除的人脸标识数据；

用于将末尾人脸特征数据移动至待删除人脸特征数据偏移位置进行覆盖的模块；具体包括：

将末尾长度为N的人脸特征数据移动至人脸库人脸特征数据偏移地址N*(P/L)的位置，覆盖此待删除的人脸特征数据；

用于在人脸底库的数量基础上更新并减去删除的人脸数的模块。

{基于人脸特征数据偏移的人脸数据库管理与操作方法}

基于人脸特征数据偏移的人脸数据库管理与操作方法，包括：

基于连续内存进行人脸底库中人脸数据的储存，其中对于由N个单浮点构成的每一人脸特征数据，对应使用固定长度为L的字符串表示人脸标识数据，在存储人脸特征数据时，将人脸特征数据和人脸标识数据分开存储，其中使用一块连续的内存将人脸特征数据依次存储，使用另一块连续的内存按照人脸特征数据的顺序依次存储人脸标识数据；在存储过程中，人脸特征数据和人脸标识数据顺序一一对应；

对人脸特征数据进行基于人脸特征数据偏移的检索、删除或者新增操作处理，其中检索、删除或者新增人脸的操作过程如以上实施例所描述的具体操作实现。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (9)

1.一种基于人脸特征数据偏移的检索方法，其特征在于，包括：

接收输入的待搜索人脸的N维度特征数据，其中N为每个人脸特征数据长度N，即对应的单浮点数；

将N维度特征数据与连续内存中人脸底库存储的人脸特征数据，按照每次地址偏移N的方式依次计算欧式距离并记录最小欧式距离值对应的人脸特征数据偏移；

根据人脸特征数据偏移获取人脸标识数据偏移；

根据人脸标识偏移取出人脸标识数据；以及

输出最小欧式距离及其对应的人脸标识数据；

其中，在所述人脸底库中，对于由N个单浮点构成的每一人脸特征数据，对应使用固定长度为L的字符串表示人脸标识数据，在存储人脸特征数据时，将人脸特征数据和人脸标识数据分开存储，其中使用一块连续的内存将人脸特征数据依次存储，使用另一块连续的内存按照人脸特征数据的顺序依次存储人脸标识数据。

2.根据权利要求1所述的基于人脸特征数据偏移的检索方法，其特征在于，计算欧式距离的操作中，设最小欧式距离的值为单浮点数最大值，则最小欧式距离值对应的人脸底库的人脸特征数据的偏移为0。

3.根据权利要求2所述的基于人脸特征数据偏移的检索方法，其特征在于，计算欧式距离的操作中，从人脸特征数据的首地址开始与待搜索人脸特征数据计算欧式距离，将得到的欧式距离D与最小欧式距离的值比较，如果小于最小欧式距离，则将最小欧式距离的值赋值为当前得到的欧式距离D，同时将对应的偏移的值赋值为当前人脸特征数据对应的偏移；

然后计算首地址向后偏移N的重复操作，直至计算首地址到人脸库人脸特征数据内存地址末尾位置。

4.根据权利要求1所述的基于人脸特征数据偏移的检索方法，其特征在于，获取人脸标识数据偏移的操作包括：

最小欧式距离对应的人脸标识数据的偏移按照下述方式获得：L*(M/N)；

其中，M为最小欧式距离对应的人脸特征数据偏移。

5.根据权利要求1所述的基于人脸特征数据偏移的检索方法，其特征在于，所述取出人脸标识数据的操作包括：

根据最小欧式距离对应的人脸标识数据的偏移L*(M/N)，则在人脸底库中以此为首地址、以L为长度取出人脸标识数据。

6.一种基于人脸特征数据偏移的检索装置，其特征在于，包括：

用于接收输入待搜索人脸的N维度特征数据的模块，其中N为每个人脸特征数据长度N，即对应的单浮点数；

用于将N维度特征数据与连续内存中人脸底库存储的人脸特征数据，按照每次地址偏移N的方式依次计算欧式距离并记录最小欧式距离值对应的人脸特征数据偏移的模块；

用于根据人脸特征数据偏获取出人脸标识数据偏移的模块；

用于根据人脸标识偏移取出人脸标识数据的模块；以及

用于输出最小欧式距离及其对应的人脸标识数据的模块；

其中，在所述人脸底库中，人脸特征数据被配置成按照下述方式存储：

对于由N个单浮点构成的每一人脸特征数据，对应使用固定长度为L的字符串表示人脸标识数据，将人脸特征数据和人脸标识数据分开存储，其中使用一块连续的内存将人脸特征数据依次存储，使用另一块连续的内存按照人脸特征数据的顺序依次存储人脸标识数据。

7.根据权利要求6所述的基于人脸特征数据偏移的检索装置，其特征在于，所述计算欧式距离的操作中，包括：

从人脸特征数据的首地址开始与待搜索人脸特征数据计算欧式距离，将得到的欧式距离D与最小欧式距离的值比较，如果小于最小欧式距离，则将最小欧式距离的值赋值为当前得到的欧式距离D，同时将对应的偏移的值赋值为当前人脸特征数据对应的偏移；

然后计算首地址向后偏移N的重复操作，直至计算首地址到人脸库人脸特征数据内存地址末尾位置；

其中设最小欧式距离的值为单浮点数最大值，则最小欧式距离值对应的人脸底库的人脸特征数据的偏移为0。

8.根据权利要求7所述的基于人脸特征数据偏移的检索装置，其特征在于，获取人脸标识数据偏移的操作包括：

最小欧式距离对应的人脸标识数据的偏移按照下述方式获得：L*(M/N)；

其中，M为最小欧式距离对应的人脸特征数据偏移。

9.根据权利要求8所述的基于人脸特征数据偏移的检索装置，其特征在于，所述取出人脸标识数据的操作包括：

根据最小欧式距离对应的人脸标识数据的偏移L*(M/N)，则在人脸底库中以此为首地址、以L为长度取出人脸标识数据。

Images