CN114022934B - 一种基于多数原则的实时人像聚档方法、系统和介质 - Google Patents
一种基于多数原则的实时人像聚档方法、系统和介质 Download PDFInfo
- Publication number
- CN114022934B CN114022934B CN202111299244.0A CN202111299244A CN114022934B CN 114022934 B CN114022934 B CN 114022934B CN 202111299244 A CN202111299244 A CN 202111299244A CN 114022934 B CN114022934 B CN 114022934B
- Authority
- CN
- China
- Prior art keywords
- snapshot
- pictures
- library
- face
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多数原则的实时人像聚档方法、系统和介质，属于人像聚档技术领域。所述方法通过抓拍图片先搜索抓拍库，得到同一个人的一组抓拍图片，将该组抓拍图片一一同静态库比对，得到一或多个满足阈值的身份，取匹配最多抓拍图片的身份为该组所有抓拍图片的身份，通过一组抓拍图片与静态库比对身份，降低了一张抓拍图片受不同角度、不同光照、模糊、遮挡等扰动因素干扰导致比对失败的概率，大大提高了聚档准确率和成功率。
Description
技术领域
本发明涉及人像聚档技术领域，特别涉及一种基于多数原则的实时人像聚档方法、系统和介质。
背景技术
所谓人像聚档，就是将摄像头抓拍的人脸图片进行身份确认，并将相同身份的图片归到一个档案下。
人像聚档，常规实现方法是将抓拍图片与静态库相比，将静态库中最相似且相似度满足一定阈值的图片身份做为抓拍图片的身份。
由于静态库中的图片一般是身份证或其他摆拍图片，与路面抓拍图片对应的人脸年龄有较大的间隔，静态库图片与抓拍图片对比，容易受抓拍图片不同角度、不同光照、模糊、遮挡等扰动因素干扰，导致本是同个人却没比中的结果。
发明内容
本发明要解决的技术问题，在于提供一种基于多数原则的实时人像聚档方法、系统和介质，通过一组抓拍图片与静态库比对身份，降低了一张抓拍图片受不同角度、不同光照、模糊、遮挡等扰动因素干扰导致比对失败的概率，大大提高了聚档准确率和成功率。
第一方面，本发明提供了一种基于多数原则的实时人像聚档方法，包括：
步骤10、创建结构化静态库及向量搜索引擎的静态库；
步骤20、利用抓拍图片创建结构化抓拍库，并对所述抓拍图片建模得到产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的抓拍库；
步骤30、从所述结构化抓拍库中批量读取已建模未聚档的抓拍图片；
步骤40、对批量读取的抓拍图片按相似度进行内部分组，得到一个或一个以上分组，每组包含一张或一张以上的抓拍图片；
步骤50、分别在每一个分组中取一张图片，在向量搜索引擎的抓拍库中搜索，将相似度满足阈值的抓拍图片加入分组，实现组成员的扩充；
步骤60、分别判断每一个分组中是否包含已聚档记录，如是，取多数抓拍图片对应的身份为本组图片的身份；如否，则进入下一步；
步骤70、将分组中的所有成员与静态库一一比对，得到一或多个满足阈值的身份；然后取匹配最多抓拍图片的身份作为该组抓拍图片的身份。
进一步地，所述步骤10具体为：
从第三方数据源中导入静态人员信息，所述静态人员信息包括图片信息和身份信息，将图片保存在云存储服务器，将云存产生的图片URL地址写入结构化静态库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，所述将人脸特征编码写入向量搜索引擎的静态库。
进一步地，所述步骤20具体为：
实时获取抓拍摄像头抓拍的人脸图片，将抓拍图片保存在云存储服务器，将云存产生的图片URL地址及图片相关信息写入结构化抓拍库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的抓拍库。
进一步地，所述步骤40具体包括：
步骤41、记批量读取结构化抓拍库已建模且未聚档抓拍记录的人脸特征编码为E，计算特征向量交叉比对相似度，记为S，S是一个n×n数组，其中，n为批量大小，第1行第1列表示第1个人脸特征向量和第1个人脸特征向量的相似度，第1行第2列表示第1个人脸特征向量和第2个人脸特征向量的相似度，以此类推；
步骤42、由于S具有对称性，将S对角线上右上角的值全部置为0，降低计算量；
步骤43、计算S中相似度大于阈值的元素，得到R，R是一个2×m数组，其中m≦n×n，第1行存储S中相似度满足阈值的行坐标，第2行存储S中相似度满足阈值的列坐标；行坐标及列坐标均表示人脸编号；
步骤44、维护一个数组G，长度为n，初始化数据为-1，数组下标表示人脸编号，共n个人脸编号，数组元素表示人脸编号对应的组号；
步骤45、将R中行坐标相同的列坐标存储到一个临时数组中，行坐标记为x，其对应的列坐标数组记为Y，将G中元素值大于-1的下标与Y取交集，得到K，G中下标为K的值为V，将G中元素值为V以及G中下标为Y的所有人脸进行组合并，组号为x；
步骤46、重复执行步骤45，直接所有行都被处理，完成人脸分组，分成b组，其中b为自然数，且b不为固定值。
第二方面，本发明提供了一种基于多数原则的实时人像聚档系统，包括：静态库创建模块、抓拍库创建模块、批量读取模块、分组模块、组成员扩充模块以及聚档模块；
所述静态库创建模块，用于创建结构化静态库及向量搜索引擎的静态库；
所述抓拍库创建模块，用于利用抓拍图片创建结构化抓拍库，并对所述抓拍图片建模得到产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的抓拍库；
所述批量读取模块，用于从所述结构化抓拍库中批量读取已建模未聚档的抓拍图片；
所述分组模块，用于对批量读取的抓拍图片按相似度进行内部分组，得到一个或一个以上分组，每组包含一张或一张以上的抓拍图片；
所述组成员扩充模块，用于分别在每一个分组中取一张图片，在向量搜索引擎的抓拍库中搜索，将相似度满足阈值的抓拍图片加入分组，实现组成员的扩充；
所述聚档模块，用于分别判断每一个分组中是否包含已聚档记录，如是，取多数抓拍图片对应的身份为本组图片的身份；如否，则进入下一步；
将分组中的所有成员与静态库一一比对，得到一或多个满足阈值的身份；然后取匹配最多抓拍图片的身份作为该组抓拍图片的身份。
进一步地，所述静态库创建模块具体用于：
从第三方数据源中导入静态人员信息，所述静态人员信息包括图片信息和身份信息，将图片保存在云存储服务器，将云存产生的图片URL地址写入结构化静态库；读取所述结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，所述将人脸特征编码写入向量搜索引擎的静态库。
进一步地，所述抓拍库创建模块具体用于：
实时获取抓拍摄像头抓拍的人脸图片，将抓拍图片保存在云存储服务器，将云存产生的图片URL地址及图片相关信息写入结构化抓拍库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的抓拍库。
进一步地，所述分组模块具体用于执行如下步骤：
步骤41、记批量读取结构化抓拍库已建模且未聚档抓拍记录的人脸特征编码为E，计算特征向量交叉比对相似度，记为S，S是一个n×n数组，其中，n为批量大小，第1行第1列表示第1个人脸特征向量和第1个人脸特征向量的相似度，第1行第2列表示第1个人脸特征向量和第2个人脸特征向量的相似度，以此类推；
步骤42、由于S具有对称性，将S对角线上右上角的值全部置为0，降低计算量；
步骤43、计算S中相似度大于阈值的元素，得到R，R是一个2×m数组，其中m≦n×n，第1行存储S中相似度满足阈值的行坐标，第2行存储S中相似度满足阈值的列坐标；行坐标及列坐标均表示人脸编号；
步骤44、维护一个数组G，长度为n，初始化数据为-1，数组下标表示人脸编号，共n个人脸编号，数组元素表示人脸编号对应的组号；
步骤45、将R中行坐标相同的列坐标存储到一个临时数组中，行坐标记为x，其对应的列坐标数组记为Y，将G中元素值大于-1的下标与Y取交集，得到K，G中下标为K的值为V，将G中元素值为V以及G中下标为Y的所有人脸进行组合并，组号为x；
步骤46、重复执行步骤45，直接所有行都被处理，完成人脸分组，分成b组，其中，b为自然数，且b不为固定值。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的技术方案，至少具有如下技术效果或优点：
用抓拍图片先搜索抓拍库，得到同一个人的一组抓拍图片，将该组抓拍图片一一同静态库比对，得到一或多个满足阈值的身份，取匹配最多抓拍图片的身份为该组所有抓拍图片的身份，通过一组抓拍图片与静态库比对身份，降低了一张抓拍图片受不同角度、不同光照、模糊、遮挡等扰动因素干扰导致比对失败的概率，大大提高了聚档准确率和成功率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例一中方法的流程图；
图2为本发明实施例二中装置的结构示意图；
图3为本发明实施例三中介质的结构示意图。
具体实施方式
本申请实施例中的技术方案，总体思路如下：
同一个人在不同摄像头下产生的多张抓拍图片，年龄基本没有跨度，有更高的相似度，更容易聚在一起。用抓拍图片先搜索抓拍库，得到同一个人的一组抓拍图片，将该组抓拍图片一一同静态库比对，得到一或多个满足阈值的身份，取匹配最多抓拍图片的身份为该组所有抓拍图片的身份。通过一组抓拍图片与静态库比对身份，降低了一张抓拍图片受不同角度、不同光照、模糊、遮挡等扰动因素干扰导致比对失败的概率，大大提高了聚档准确率和成功率。
实施例一
本实施例提供一种基于多数原则的实时人像聚档方法，如图1所示，包括：
步骤10、创建结构化静态库及向量搜索引擎的静态库；
步骤20、利用抓拍图片创建结构化抓拍库，并对所述抓拍图片建模得到产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的抓拍库；
步骤30、从所述结构化抓拍库中批量读取已建模未聚档的抓拍图片；
步骤40、对批量读取的抓拍图片按相似度进行内部分组，得到一个或一个以上分组，每组包含一张或一张以上的抓拍图片；
步骤50、分别在每一个分组中取一张图片，在向量搜索引擎的抓拍库中搜索，将相似度满足阈值的抓拍图片加入分组，实现组成员的扩充；
步骤60、分别判断每一个分组中是否包含已聚档记录，如是，取多数抓拍图片对应的身份为本组图片的身份；如否，则进入下一步；
步骤70、将分组中的所有成员与静态库一一比对，得到一或多个满足阈值的身份；然后取匹配最多抓拍图片的身份作为该组抓拍图片的身份。
较佳地，所述步骤10具体为：
从第三方数据源中导入静态人员信息，所述静态人员信息包括图片信息和身份信息，将图片保存在云存储服务器，将云存产生的图片URL地址写入结构化静态库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，所述将人脸特征编码写入向量搜索引擎的静态库。
较佳地，所述步骤20具体为：
实时获取抓拍摄像头抓拍的人脸图片，将抓拍图片保存在云存储服务器，将云存产生的图片URL地址及图片相关信息写入结构化抓拍库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的抓拍库。
较佳地，所述步骤40具体包括：
步骤41、记批量读取结构化抓拍库已建模且未聚档抓拍记录的人脸特征编码为E，计算特征向量交叉比对相似度，记为S，S是一个n×n数组，其中，n为批量大小，第1行第1列表示第1个人脸特征向量和第1个人脸特征向量的相似度，第1行第2列表示第1个人脸特征向量和第2个人脸特征向量的相似度，以此类推；
步骤42、由于S具有对称性，将S对角线上右上角的值全部置为0，降低计算量；
步骤43、计算S中相似度大于阈值的元素，得到R，R是一个2×m数组，其中m≦n×n，第1行存储S中相似度满足阈值的行坐标，第2行存储S中相似度满足阈值的列坐标；行坐标及列坐标均表示人脸编号；
步骤44、维护一个数组G，长度为n，初始化数据为-1，数组下标表示人脸编号，共n个人脸编号，数组元素表示人脸编号对应的组号；
步骤45、将R中行坐标相同的列坐标存储到一个临时数组中，行坐标记为x，其对应的列坐标数组记为Y，将G中元素值大于-1的下标与Y取交集，得到K，G中下标为K的值为V，将G中元素值为V以及G中下标为Y的所有人脸进行组合并，组号为x；
步骤46、重复执行步骤45，直接所有行都被处理，完成人脸分组，分成b组，其中b为自然数，且b不为固定值。
一具体实例如下：
步骤1、创建静态库。
1)从第三方数据源中导入静态人员信息(图片、姓名、性别、身份证号码等)，图片保存在云存储服务器，云存产生的图片URL地址及图片其他相关信息写入ES(Elasticsearch)静态库，也可以采用其它类型的结构化数据库。
2)读取ES静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的静态库。
步骤2、抓拍图片入库及建模。
1)实时获取抓拍摄像头抓拍的人脸图片，将图片保存在云存储服务器，云存产生的图片URL地址及图片相关信息(如抓拍时间、抓拍地点)写入ES抓拍库。
2)读取ES抓拍库未建模的抓拍记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的抓拍库。
步骤3、小批量读取ES抓拍库已建模且未聚档抓拍记录，将该批量抓拍图片进行内部分组，分成b组(b不固定)，每组都包含一张或多张图片。
1)记批量读取ES抓拍库已建模且未聚档抓拍记录的人脸特征编码为E，使用Python第三方计算库Numpy.dot计算Embs(特征向量)交叉比对相似度，记为S。S是一个n×n数组，n为批量大小，第1行第1列表示第1个人脸特征向量和第1个人脸特征向量的相似度，第1行第2列表示第1个人脸特征向量和第2个人脸特征向量的相似度，以此类推。
2)由于S具有对称性，使用Numpy.tril将S对角线上右上角的值全部置为0，降低计算量。
3)使用Numpy.where计算S中相似度大于阈值的元素，得到R，R是一个2×m数组(m≦n×n)，第1行存储S中相似度满足阈值的行坐标，第2行存储S中相似度满足阈值的列坐标。行坐标及列坐标均可表示人脸编号。
4)维护一个Numpy数组G，长度为n，初始化数据为-1。数组下标表示人脸编号，共n个人脸编号，数组元素表示人脸编号对应的组号。
5)将R中行坐标相同的列坐标存储到一个临时数组中，行坐标记为x，其对应的列坐标数组记为Y，将G中元素值大于-1的下标与Y取交集，得到K，G中下标为K的值为V，将G中元素值为V以及G中下标为Y的所有人脸进行组合并，组号为x。
6)重复执行第5步骤，直接所有行都被处理，完成人脸分组，分成b组(b不固定)。
步骤4、第3步生产的组，由于小批量抓拍记录大都是同个时间点(时间跨度一般不超过5分钟)，所以组成员一般较少。为了扩充组成员，每组取一张图片搜索抓拍库(使用成熟的向量搜索引擎Faiss)，得到相似度满足阈值的若干抓拍图片，将其纳入组成员之中。
步骤5、若组成员中包含已聚档记录，取多数抓拍图片对应的身份为本组身份；若组成员中未包含已聚档记录，则将该组所有成员与静态库一一比对，得到一或多个满足阈值的身份，取匹配最多抓拍图片的身份为该组所有抓拍图片的身份。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
在本实施例中提供了一种基于多数原则的实时人像聚档系统，如图2所示，包括：静态库创建模块、抓拍库创建模块、批量读取模块、分组模块、组成员扩充模块以及聚档模块；
所述静态库创建模块，用于创建结构化静态库及向量搜索引擎的静态库；
所述抓拍库创建模块，用于利用抓拍图片创建结构化抓拍库，并对所述抓拍图片建模得到产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的抓拍库；
所述批量读取模块，用于从所述结构化抓拍库中批量读取已建模未聚档的抓拍图片；
所述分组模块，用于对批量读取的抓拍图片按相似度进行内部分组，得到一个或一个以上分组，每组包含一张或一张以上的抓拍图片；
所述组成员扩充模块，用于分别在每一个分组中取一张图片，在向量搜索引擎的抓拍库中搜索，将相似度满足阈值的抓拍图片加入分组，实现组成员的扩充；
所述聚档模块，用于分别判断每一个分组中是否包含已聚档记录，如是，取多数抓拍图片对应的身份为本组图片的身份；如否，则进入下一步；
将分组中的所有成员与静态库一一比对，得到一或多个满足阈值的身份；然后取匹配最多抓拍图片的身份作为该组抓拍图片的身份。
较佳地，所述静态库创建模块具体用于：
从第三方数据源中导入静态人员信息，所述静态人员信息包括图片信息和身份信息，将图片保存在云存储服务器，将云存产生的图片URL地址写入结构化静态库；读取所述结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，所述将人脸特征编码写入向量搜索引擎的静态库。
较佳地，所述抓拍库创建模块具体用于：
实时获取抓拍摄像头抓拍的人脸图片，将抓拍图片保存在云存储服务器，将云存产生的图片URL地址及图片相关信息写入结构化抓拍库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的抓拍库。
较佳地，所述分组模块具体用于执行如下步骤：
步骤41、记批量读取结构化抓拍库已建模且未聚档抓拍记录的人脸特征编码为E，计算特征向量交叉比对相似度，记为S，S是一个n×n数组，其中，n为批量大小，第1行第1列表示第1个人脸特征向量和第1个人脸特征向量的相似度，第1行第2列表示第1个人脸特征向量和第2个人脸特征向量的相似度，以此类推；
步骤42、由于S具有对称性，将S对角线上右上角的值全部置为0，降低计算量；
步骤43、计算S中相似度大于阈值的元素，得到R，R是一个2×m数组，其中m≦n×n，第1行存储S中相似度满足阈值的行坐标，第2行存储S中相似度满足阈值的列坐标；行坐标及列坐标均表示人脸编号；
步骤44、维护一个数组G，长度为n，初始化数据为-1，数组下标表示人脸编号，共n个人脸编号，数组元素表示人脸编号对应的组号；
步骤45、将R中行坐标相同的列坐标存储到一个临时数组中，行坐标记为x，其对应的列坐标数组记为Y，将G中元素值大于-1的下标与Y取交集，得到K，G中下标为K的值为V，将G中元素值为V以及G中下标为Y的所有人脸进行组合并，组号为x；
步骤46、重复执行步骤45，直接所有行都被处理，完成人脸分组，分成b组，其中，b为自然数，且b不为固定值。
由于本发明实施例二所介绍的系统，为实施本发明实施例一的方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的计算机可读存储介质，详见实施例三。
实施例三
本实施例提供一种计算机可读存储介质，如图3所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的计算机可读存储介质为实施本申请实施例一中方法所采用的计算机可读存储介质，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的计算机可读存储介质的具体实施方式以及其各种变化形式，所以在此对于该计算机可读存储介质如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的计算机可读存储介质，都属于本申请所欲保护的范围。
本发明实施例用抓拍图片先搜索抓拍库，得到同一个人的一组抓拍图片，将该组抓拍图片一一同静态库比对，得到一或多个满足阈值的身份，取匹配最多抓拍图片的身份为该组所有抓拍图片的身份，通过一组抓拍图片与静态库比对身份，降低了一张抓拍图片受不同角度、不同光照、模糊、遮挡等扰动因素干扰导致比对失败的概率，大大提高了聚档准确率和成功率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (7)
1.一种基于多数原则的实时人像聚档方法，其特征在于，包括：
步骤10、创建结构化静态库及向量搜索引擎的静态库；
步骤20、利用抓拍图片创建结构化抓拍库，并对所述抓拍图片建模得到产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的抓拍库；
步骤30、从所述结构化抓拍库中批量读取已建模未聚档的抓拍图片；
步骤40、对批量读取的抓拍图片按相似度进行内部分组，得到一个或一个以上分组，每组包含一张或一张以上的抓拍图片；
所述步骤40具体包括：
步骤41、记批量读取结构化抓拍库已建模且未聚档抓拍记录的人脸特征编码为E，计算特征向量交叉比对相似度，记为S，S是一个n×n数组，其中，n为批量大小，第1行第1列表示第1个人脸特征向量和第1个人脸特征向量的相似度，第1行第2列表示第1个人脸特征向量和第2个人脸特征向量的相似度，以此类推；
步骤42、由于S具有对称性，将S对角线上右上角的值全部置为0，降低计算量；
步骤43、计算S中相似度大于阈值的元素，得到R，R是一个2×m数组，其中m≦n×n，第1行存储S中相似度满足阈值的行坐标，第2行存储S中相似度满足阈值的列坐标；行坐标及列坐标均表示人脸编号；
步骤44、维护一个数组G，长度为n，初始化数据为-1，数组下标表示人脸编号，共n个人脸编号，数组元素表示人脸编号对应的组号；
步骤45、将R中行坐标相同的列坐标存储到一个临时数组中，行坐标记为x，其对应的列坐标数组记为Y，将G中元素值大于-1的下标与Y取交集，得到K，G中下标为K的值为V，将G中元素值为V以及G中下标为Y的所有人脸进行组合并，组号为x；
步骤46、重复执行步骤45，直接所有行都被处理，完成人脸分组，分成b组，其中b为自然数，且b不为固定值；
步骤50、分别在每一个分组中取一张图片，在向量搜索引擎的抓拍库中搜索，将相似度满足阈值的抓拍图片加入分组，实现组成员的扩充；
步骤60、分别判断每一个分组中是否包含已聚档记录，如是，取多数抓拍图片对应的身份为本组图片的身份；如否，则进入下一步；
步骤70、将分组中的所有成员与静态库一一比对，得到一或多个满足阈值的身份；然后取匹配最多抓拍图片的身份作为该组抓拍图片的身份。
2.根据权利要求1所述的方法，其特征在于，所述步骤10具体为：
从第三方数据源中导入静态人员信息，所述静态人员信息包括图片信息和身份信息，将图片保存在云存储服务器，将云存产生的图片URL地址写入结构化静态库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的静态库。
3.根据权利要求1所述的方法，其特征在于，所述步骤20具体为：
实时获取抓拍摄像头抓拍的人脸图片，将抓拍图片保存在云存储服务器，将云存产生的图片URL地址及图片相关信息写入结构化抓拍库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的抓拍库。
4.一种基于多数原则的实时人像聚档系统，其特征在于，包括：静态库创建模块、抓拍库创建模块、批量读取模块、分组模块、组成员扩充模块以及聚档模块；
所述静态库创建模块，用于创建结构化静态库及向量搜索引擎的静态库；
所述抓拍库创建模块，用于利用抓拍图片创建结构化抓拍库，并对所述抓拍图片建模得到产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的抓拍库；
所述批量读取模块，用于从所述结构化抓拍库中批量读取已建模未聚档的抓拍图片；
所述分组模块，用于对批量读取的抓拍图片按相似度进行内部分组，得到一个或一个以上分组，每组包含一张或一张以上的抓拍图片；
所述组成员扩充模块，用于分别在每一个分组中取一张图片，在向量搜索引擎的抓拍库中搜索，将相似度满足阈值的抓拍图片加入分组，实现组成员的扩充；
所述聚档模块，用于分别判断每一个分组中是否包含已聚档记录，如是，取多数抓拍图片对应的身份为本组图片的身份；如否，则进入下一步；
将分组中的所有成员与静态库一一比对，得到一或多个满足阈值的身份；然后取匹配最多抓拍图片的身份作为该组抓拍图片的身份；
所述分组模块具体用于执行如下步骤：
步骤41、记批量读取结构化抓拍库已建模且未聚档抓拍记录的人脸特征编码为E，计算特征向量交叉比对相似度，记为S，S是一个n×n数组，其中，n为批量大小，第1行第1列表示第1个人脸特征向量和第1个人脸特征向量的相似度，第1行第2列表示第1个人脸特征向量和第2个人脸特征向量的相似度，以此类推；
步骤42、由于S具有对称性，将S对角线上右上角的值全部置为0，降低计算量；
步骤43、计算S中相似度大于阈值的元素，得到R，R是一个2×m数组，其中m≦n×n，第1行存储S中相似度满足阈值的行坐标，第2行存储S中相似度满足阈值的列坐标；行坐标及列坐标均表示人脸编号；
步骤44、维护一个数组G，长度为n，初始化数据为-1，数组下标表示人脸编号，共n个人脸编号，数组元素表示人脸编号对应的组号；
步骤45、将R中行坐标相同的列坐标存储到一个临时数组中，行坐标记为x，其对应的列坐标数组记为Y，将G中元素值大于-1的下标与Y取交集，得到K，G中下标为K的值为V，将G中元素值为V以及G中下标为Y的所有人脸进行组合并，组号为x；
步骤46、重复执行步骤45，直接所有行都被处理，完成人脸分组，分成b组，其中，b为自然数，且b不为固定值。
5.根据权利要求4所述的系统，其特征在于，所述静态库创建模块具体用于：
从第三方数据源中导入静态人员信息，所述静态人员信息包括图片信息和身份信息，将图片保存在云存储服务器，将云存产生的图片URL地址写入结构化静态库；读取所述结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将所述人脸特征编码写入向量搜索引擎的静态库。
6.根据权利要求4所述的系统，其特征在于，所述抓拍库创建模块具体用于：
实时获取抓拍摄像头抓拍的人脸图片，将抓拍图片保存在云存储服务器，将云存产生的图片URL地址及图片相关信息写入结构化抓拍库；读取结构化静态库未建模的静态记录，调用人脸建模接口进行建模，产生人脸特征编码，将人脸特征编码写入向量搜索引擎的抓拍库。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111299244.0A CN114022934B (zh) | 2021-11-04 | 2021-11-04 | 一种基于多数原则的实时人像聚档方法、系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111299244.0A CN114022934B (zh) | 2021-11-04 | 2021-11-04 | 一种基于多数原则的实时人像聚档方法、系统和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022934A CN114022934A (zh) | 2022-02-08 |
| CN114022934B true CN114022934B (zh) | 2023-06-27 |
Family
ID=80060947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111299244.0A Active CN114022934B (zh) | 2021-11-04 | 2021-11-04 | 一种基于多数原则的实时人像聚档方法、系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022934B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102947822A (zh) * | 2010-05-26 | 2013-02-27 | Cpa全球专利研究有限公司 | 使用分类学的搜索 |
| CN109241888A (zh) * | 2018-08-24 | 2019-01-18 | 北京旷视科技有限公司 | 神经网络训练与对象识别方法、装置和系统及存储介质 |
| CN112232178A (zh) * | 2020-10-13 | 2021-01-15 | 重庆紫光华山智安科技有限公司 | 基于人像聚档的区域落脚点判定方法、系统、设备及介质 |
| CN112417197A (zh) * | 2020-12-02 | 2021-02-26 | 云从科技集团股份有限公司 | 一种排序方法、装置、机器可读介质及设备 |
| CN112749583A (zh) * | 2019-10-29 | 2021-05-04 | 杭州海康威视数字技术股份有限公司 | 人脸图像分组方法、装置、计算机设备和存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663354B (zh) * | 2012-03-26 | 2014-02-19 | 腾讯科技（深圳）有限公司 | 人脸标定方法和系统 |
| CN104156947B (zh) * | 2014-07-23 | 2018-03-16 | 小米科技有限责任公司 | 图像分割方法、装置及设备 |
| US10482336B2 (en) * | 2016-10-07 | 2019-11-19 | Noblis, Inc. | Face recognition and image search system using sparse feature vectors, compact binary vectors, and sub-linear search |
| CN107491518B (zh) * | 2017-08-15 | 2020-08-04 | 北京百度网讯科技有限公司 | 一种搜索召回方法和装置、服务器、存储介质 |
| CN108170732A (zh) * | 2017-12-14 | 2018-06-15 | 厦门市美亚柏科信息股份有限公司 | 人脸图片检索方法及计算机可读存储介质 |
| CN110941754B (zh) * | 2018-09-21 | 2023-11-24 | 微软技术许可有限责任公司 | 基于增强学习生成向量最近邻搜索策略 |
| CN110163135B (zh) * | 2019-05-10 | 2021-09-07 | 杭州商警云智能科技有限公司 | 一种基于动态算法的一人一档人脸聚类的方法及系统 |
| CN110929068B (zh) * | 2019-11-15 | 2022-06-21 | 南威软件股份有限公司 | 一种基于终端设备的人脸搜索方法 |
| CN111144332A (zh) * | 2019-12-30 | 2020-05-12 | 深圳云天励飞技术有限公司 | 一种图片聚档方法、装置和电子设备 |
| CN111242040B (zh) * | 2020-01-15 | 2022-08-02 | 佳都科技集团股份有限公司 | 一种动态人脸聚类方法、装置、设备和存储介质 |
| CN112101267B (zh) * | 2020-09-23 | 2022-04-29 | 浙江浩腾电子科技股份有限公司 | 一种基于深度学习和哈希编码的快速人脸检索方法 |
| CN113052079B (zh) * | 2021-03-26 | 2022-01-21 | 重庆紫光华山智安科技有限公司 | 一种基于人脸聚类的区域客流统计方法、系统、设备和介质 |
-
2021
- 2021-11-04 CN CN202111299244.0A patent/CN114022934B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102947822A (zh) * | 2010-05-26 | 2013-02-27 | Cpa全球专利研究有限公司 | 使用分类学的搜索 |
| CN109241888A (zh) * | 2018-08-24 | 2019-01-18 | 北京旷视科技有限公司 | 神经网络训练与对象识别方法、装置和系统及存储介质 |
| CN112749583A (zh) * | 2019-10-29 | 2021-05-04 | 杭州海康威视数字技术股份有限公司 | 人脸图像分组方法、装置、计算机设备和存储介质 |
| CN112232178A (zh) * | 2020-10-13 | 2021-01-15 | 重庆紫光华山智安科技有限公司 | 基于人像聚档的区域落脚点判定方法、系统、设备及介质 |
| CN112417197A (zh) * | 2020-12-02 | 2021-02-26 | 云从科技集团股份有限公司 | 一种排序方法、装置、机器可读介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022934A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046235B (zh) | 基于人脸识别的声像档案搜索方法、系统、设备及介质 | |
| CN108229314B (zh) | 目标人物的搜索方法、装置和电子设备 | |
| KR100651010B1 (ko) | 3차원 물체 모델을 사용한 화상 대조 시스템, 화상 대조 방법 및 화상 대조 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 | |
| CN108875542B (zh) | 一种人脸识别方法、装置、系统及计算机存储介质 | |
| CN108921204B (zh) | 电子装置、图片样本集生成方法和计算机可读存储介质 | |
| CN105630972A (zh) | 数据处理方法及装置 | |
| CN110009662B (zh) | 人脸跟踪的方法、装置、电子设备及计算机可读存储介质 | |
| CN107491674A (zh) | 基于特征信息进行用户验证的方法及装置 | |
| CN105957149A (zh) | 一种适用于高效渲染的城市三维模型数据预处理方法 | |
| CN114139015A (zh) | 基于关键事件识别的视频存储方法、装置、设备及介质 | |
| CN114022934B (zh) | 一种基于多数原则的实时人像聚档方法、系统和介质 | |
| CN114494744A (zh) | 对象轨迹相似度的获得方法、装置、电子设备及存储介质 | |
| CN116958267B (zh) | 位姿处理方法、装置、电子设备及存储介质 | |
| CN114049568A (zh) | 基于图像比对的标的物形变检测方法、装置、设备及介质 | |
| CN110209863A (zh) | 用于相似图片检索的方法与设备 | |
| CN117115718A (zh) | 政务视频数据的处理方法、系统及计算机可读存储介质 | |
| CN109886996B (zh) | 一种视觉追踪优化方法 | |
| CN114757822B (zh) | 一种基于双目的人体三维关键点检测方法及系统 | |
| Zhou et al. | Feature extraction based on local directional pattern with svm decision-level fusion for facial expression recognition | |
| CN115630660A (zh) | 基于卷积神经网络的条码定位方法和装置 | |
| CN106354516B (zh) | 追踪设备的方法及装置 | |
| CN112016609B (zh) | 一种图像聚类方法、装置、设备及计算机存储介质 | |
| CN107809613B (zh) | 视频索引创建方法及装置、计算机可读存储介质、终端 | |
| CN107704609B (zh) | 视频内容检索方法及装置、计算机可读存储介质、终端 | |
| CN111177450A (zh) | 一种图像检索云识别方法、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220713 Address after: 100000 Tsinghua Garden, Haidian District, Beijing Applicant after: TSINGHUA University Applicant after: LINEWELL SOFTWARE Co.,Ltd. Address before: 362000 16 / F, building 2, Nanwei building, Fenghai Road, Fengze District, Quanzhou City, Fujian Province Applicant before: LINEWELL SOFTWARE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |