CN117113321B - 一种以脸搜脸的图像搜索方法及系统 - Google Patents
一种以脸搜脸的图像搜索方法及系统 Download PDFInfo
- Publication number
- CN117113321B CN117113321B CN202311130062.XA CN202311130062A CN117113321B CN 117113321 B CN117113321 B CN 117113321B CN 202311130062 A CN202311130062 A CN 202311130062A CN 117113321 B CN117113321 B CN 117113321B
- Authority
- CN
- China
- Prior art keywords
- vector
- face
- facial
- certificate
- searching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims abstract description 201
- 230000001815 facial effect Effects 0.000 claims abstract description 124
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000010845 search algorithm Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种以脸搜脸的图像搜索方法及系统，属于图像搜索技术领域；该方法包括：对待搜索的申请开户人的活体人脸照和证件人脸照分别进行预处理和特征提取，得到活体人脸照向量[a]和证件人脸照向量[a']；计算向量[a]与向量[a']的中心向量[c]，以向量[c]为中心，以预设的相似距离搜索人脸特征向量库中近邻的人脸向量集合Bk；关联查询出集合Bk中各特征向量所对应的活体人脸照pi和/或证件人脸照p'i，并经去重处理后，得到最终的搜索结果。本发明可降低相似人脸照漏检率，提高对一人多证重复注册的风控能力；风控处理时间损耗降低近一倍，提高用户操作体验。
Description
技术领域
本发明涉及图像搜索技术领域，具体涉及一种以脸搜脸的图像搜索方法及系统。
背景技术
当采用eKYC技术为客户提供远程开户注册业务时，需校验申请开户人之前是否已有过开户记录。如果申请人在此次申请开户时采用与上次申请时所持证件不同的其他证件时，通过证件识别就无法甄别出申请人的开户状况。在这种情景下，采用以人脸搜人脸，进行人脸比对是一种较好的风控技术手段；可防止一人套用多个伪造证件进行多个账户开户等欺诈活动。
由于人脸特征数据，通常是通过Embedding向量化算法获得，并存储在向量数据库中，所以人脸的搜索比对，就转换为向量搜索工作。
在向量数据库搜索领域，有许多常用的算法被用于高效检索相似向量。这些算法广泛应用于推荐系统、图像检索、语义搜索等领域。
以下是一些常见的向量数据搜索算法：
1. 余弦相似度：
- 算法原理：通过计算向量之间的余弦相似度来评估它们的相似性，余弦相似度越接近于1，表示向量越相似。
- 优势：计算简单、高效，适用于高维稀疏向量。
- 缺点：忽略了向量之间的尺度信息，对于存在大量相同元素的向量搜索效果较差。
2. 欧氏距离：
- 算法原理：通过计算向量之间的欧氏距离来衡量它们的相似性，距离越小，表示向量越相似。
- 优势：直观简单，适用于稠密向量。
- 缺点：在高维空间中，维数灾难会导致搜索效率下降。
3. 局部敏感哈希（Locality Sensitive Hashing，LSH）：
- 算法原理：通过将相似的向量映射到同一哈希桶中，以提高相似向量的检索效率。
- 优势：适用于高维稀疏向量，能够在大规模数据集中快速搜索相似向量。
- 缺点：哈希冲突可能导致误判相似向量，不适用于要求高精度的搜索任务。
4. k最近邻（k-Nearest Neighbors，k-NN）：
- 算法原理：对于给定的查询向量，找到距离最近的k个向量作为搜索结果。
- 优势：直观简单，易于实现。
- 缺点：搜索时间复杂度与数据库大小相关，适用于中小规模数据库。
5. 近似最近邻（Approximate Nearest Neighbors，ANN）：
- 算法原理：通过牺牲一定的精度来加快最近邻搜索，以满足大规模数据集的要求。
- 优势：适用于大规模向量数据库，具有较好的搜索效率。
- 缺点：搜索结果可能不够精确，需要权衡搜索速度和结果精度。
以上向量搜索算法，在用于eKYC远程开户的细分场景时，存在搜索结果缺失、搜索效率不高、搜索返回数量不确定等问题，既影响风控效果，又影响用户体验；具体为：
1.搜索结果缺失：以上向量搜索算法，是忽略所搜索的向量数据之间可能存在的聚类关系，执行无差别的搜索；上述搜索策略，导致在人脸搜索时，对于同一人在不同证件上的人脸照、在不同时间做活体检测时抓拍的人脸照，进行无关联的搜索，所以获得的近似最近k个近邻搜索结果中，不能确保同属一个人的人脸照均被搜索在内，从而可能造成风控时的漏检。
2.搜索效率不高：虽然采用近似最近邻这类搜索算法，可在很大程度上提高搜索效率，但就其搜索空间而言，算法复杂度与搜索向量空间之间还是线性关系：O(2n)，其中n为人脸库中的全部数据量，2n是由于需要对活体检测抓拍的人脸、证件照中的人脸分别进行一次搜索。
3.返回数量不确定：在eKYC这种电子远程开户的应用场景中，是需要分别将活体检测抓拍的人脸照和证件人脸照与人脸库中的数据进行比对搜索，也会造成两次搜索结果可能只有部分交集，甚至没有交集，对于可能存在的不同种近似照搜索结果组合，也很难制定统一有效的风控规则。
发明内容
为了解决常规向量数据库搜索算法应用在eKYC这种电子远程开户的应用场景中所存在的上述缺陷，本发明提供一种基于KNN的人脸图像向量聚类实现以脸搜脸的图像搜索方法及系统，可有效解决风控中的漏检、风控规则复杂、用户交互体验差等问题。
本发明公开了一种以脸搜脸的图像搜索方法，包括：
获取待搜索的申请开户人的活体人脸照和证件人脸照；
对所述活体人脸照和证件人脸照分别进行512维向量化和归一化处理，得到活体人脸照向量[a]和证件人脸照向量[a']；
基于所述活体人脸照向量[a]与证件人脸照向量[a']，判断是否为同一申请开户人；
若为同一申请开户人，则计算向量[a]与向量[a']的中心向量[c]；
以向量[c]为中心，以预设的相似距离对人脸特征向量库中所有人脸向量集合S进行搜索并升序排序，得到候选向量集合B；其中，B={b1,b2,…,bi,…}，bi为候选向量集合B中的第i个人脸向量；
顺序比对向量[bi]与向量[a]、向量[a']的欧式距离ei、e'i，留下满足以下条件的前k个向量bi：ei=|bi-a|≤ε或e'i=|bi-a'|≤ε；其中，ε为系统设定的人脸比对相似度阈值，0<ε<1；
将得到的前k个向量bi组成的新向量集合Bk={b1,b2,…,bk}，并得到对应的欧式距离集合Dk={d1,d2,…,dk}；其中，di=min(ei,e'i)，di≤di+1；
关联查询出集合Bk中各特征向量所对应的活体人脸照pi和/或证件人脸照p'i，得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}；
去除集合Pk中重复的成对人脸照组合，返回前n组人脸照组合的集合Pn={(p1,p'1), (p2,p'2),…,(pn,p'n)}以及对应的欧式距离Dn={d1,d2,…,dn}；其中，n＜k。
作为本发明的进一步改进，所述基于所述活体人脸照向量[a]与证件人脸照向量[a']，判断是否为同一申请开户人；包括：
计算向量[a]与向量[a']的欧式距离m：m=|a-a'|；
若m≤ε，则判断为同一申请开户人；否则，判断为不同的申请开户人。
作为本发明的进一步改进，还包括：
若不为同一申请开户人，则直接结束。
作为本发明的进一步改进，预设的相似距离为ε+m/2。
作为本发明的进一步改进，候选向量集合B满足si=|bi-c|≤ε+m/2，bi∈S，且si<si+1；其中，si为向量[bi]与向量[c]的欧式距离。
作为本发明的进一步改进，还包括：构建人脸特征向量库和人脸图像库；
具体包括：
获取已知申请开户人的人脸图像集，所述人脸图像集包括已知申请开户人的活体人脸照和/或证件人脸照；
将人脸图像集中的每张图像进行512维向量化和归一化处理，并将得到的人脸向量存储在人脸特征向量库内，得到所述人脸向量集合S；其中，每一人脸向量对应唯一的向量id：milvus_id；
将人脸图像集中的每张图像分别存储于人脸图像库；其中，已知申请开户人的活体人脸照与证件人脸照对应同一用户id：user_id。
作为本发明的进一步改进，建立向量id、用户id与人脸图像image_path的对应关系。
作为本发明的进一步改进，所述关联查询出集合Bk中各特征向量所对应的活体人脸照pi和/或证件人脸照p'i，得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}；包括：
对集合Bk中的每一向量[bi]，确定对应的活体人脸照pi或证件人脸照p'i；
基于确定的活体人脸照pi或证件人脸照p'i，搜索人脸图像库中是否有对应的证件人脸照p'i或活体人脸照pi；
若有对应的证件人脸照p'i或活体人脸照pi，则将成对的人脸照组合(pi,p'i)作为输出；
若没有对应的证件人脸照p'i或活体人脸照pi，则将单一的活体人脸照pi或证件人脸照p'i作为输出；
完成对集合Bk中所有向量的关联查询，最终得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}。
作为本发明的进一步改进，采用向前合并算法，去除集合Pk中相同user_id的成对人脸照组合。
本发明还公开了一种以脸搜脸的图像搜索系统，用于实现上述的以脸搜脸的图像搜索系统；包括：
采集模块，用于获取待搜索的申请开户人的活体人脸照和证件人脸照；
预处理及特征提取模块，用于对所述活体人脸照和证件人脸照分别进行512维向量化和归一化处理，得到活体人脸照向量[a]和证件人脸照向量[a']；
第一判断模块，用于基于所述活体人脸照向量[a]与证件人脸照向量[a']，判断是否为同一申请开户人；
计算模块，用于在判断为同一申请开户人时，计算向量[a]与向量[a']的中心向量[c]；
第一筛选模块，用于以向量[c]为中心，以预设的相似距离对人脸特征向量库中所有人脸向量集合S进行搜索并升序排序，得到候选向量集合B；其中，B={b1,b2,…,bi,…}，bi为候选向量集合B中的第i个人脸向量；
第二筛选模块，用于顺序比对向量[bi]与向量[a]、向量[a']的欧式距离ei、e'i，留下满足以下条件的前k个向量bi：ei=|bi-a|≤ε或e'i=|bi-a'|≤ε；其中，ε为系统设定的人脸比对相似度阈值，0<ε<1；将得到的前k个向量bi组成的新向量集合Bk={b1,b2,…,bk}，并得到对应的欧式距离集合Dk={d1,d2,…,dk}；其中，di=min(ei,e'i)，di≤di+1；
关联查询模块，用于关联查询出集合Bk中各特征向量所对应的活体人脸照pi和/或证件人脸照p'i，得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}；
去重模块，用于去除集合Pk中重复的成对人脸照组合，返回前n组人脸照组合的集合Pn={(p1,p'1), (p2,p'2),…,(pn,p'n)}以及对应的欧式距离Dn={d1,d2,…,dn}；其中，n＜k。
与现有技术相比，本发明的有益效果为：
1.本发明所返回的人脸搜索结果，能够确保活体人脸照与证件人脸照中，只要有一张人脸照向量与现有人脸向量库符合近邻搜索条件，均可被搜索并返回相应人脸照组，在降低搜索复杂度的同时还确保了最小漏检率；
2.本发明引入了人脸向量的中心向量定义，通过改进的KNN算法，将常规的人脸搜索算法的计算复杂度降低一倍；
3.本发明的人脸搜索结果固定为n组人脸照，便于风控系统制定统一的风控模型，如制定欧式距离阶梯控制规则。
附图说明
图1为本发明公开的以脸搜脸的图像搜索方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种以脸搜脸的图像搜索方法，包括：
步骤1、构建人脸特征向量库和人脸图像库；
具体包括：
1）获取已知申请开户人的人脸图像集，人脸图像集包括已知申请开户人的活体人脸照和/或证件人脸照；例如，已知申请开户人的人脸图像集包括510个用户的1010张活体人脸照和证件人脸照；其中，500个用户同时具有相对应的活体人脸照和证件人脸照，10个用户仅具有证件人脸照（活体人脸照因拍摄不清楚而导致无法使用）；正常情况下，图像数据集中仅具有单一活体人脸照或证件人脸照的用户比例不高于5%；
2）将人脸图像集中的每张图像分别进行512维向量化和归一化处理，并将得到的人脸向量存储在人脸特征向量库内，得到人脸向量集合S；其中，每一人脸向量对应唯一的向量id：milvus_id；例如，人脸向量集合S中包含1010张图像所对应的1010个人脸特征向量，milvus_id可为id1~id1000；进一步，存储在向量库collection 中；
3）将人脸图像集中的每张图像分别存储于人脸图像库；其中，已知申请开户人的活体人脸照与证件人脸照对应同一用户id：user_id；例如，user_id为user_id1~user_id510；
4）建立向量id、用户id与人脸图像image_path的对应关系；如：将向量id存储在MySQL的表milvus_search中，对应的数据结构为：
Insert into milvus_search(milvus_id, user_id, image_path)
Values(id1, user_id, ‘image_path1’)
Insert into milvus_search(milvus_id, user_id, image_path)
Values(id2, user_id, ‘image_path2’)。
基于此，在进行关联查询时，可基于人脸特征向量确定唯一的向量id，基于向量id确定对应的用户id，基于用户id查询到该用户的活体人脸照和/或证件人脸照。
步骤2、在用户进行eKYC时，获取待搜索的申请开户人的活体人脸照和证件人脸照。
步骤3、通过人脸特征提取神经网络FaceNet对活体人脸照和证件人脸照分别进行512维向量化，并做归一化处理，得到活体人脸照向量[a]和证件人脸照向量[a']。
步骤4、基于活体人脸照向量[a]与证件人脸照向量[a']，判断是否为同一申请开户人；具体的判断方法为：
计算向量[a]与向量[a']的欧式距离m：m=|a-a'|；
若m≤ε，ε为系统设定的人脸比对相似度阈值，0<ε<1；则判断为同一申请开户人，并进行后续基于改进的KNN算法搜索该用户相似人脸照向量；否则，判断为不同的申请开户人，直接结束。
步骤5、若为同一申请开户人，则计算向量[a]与向量[a']的中心向量[c]：[c]=|(a+a')/2|。
步骤6、以向量[c]为中心、ε+m/2为相似距离，对步骤1的人脸特征向量库中所有人脸向量集合S进行搜索并升序排序，得到候选向量集合B；其中，B={b1,b2,…,bi,…}，bi为候选向量集合B中的第i个人脸向量，候选向量集合B满足si=|bi-c|≤ε+m/2，bi∈S，且si<si+1；其中，si为向量[bi]与向量[c]的欧式距离。
步骤7、顺序比对向量[bi]与向量[a]、向量[a']的欧式距离ei、e'i，留下满足以下条件的前k个向量bi：ei=|bi-a|≤ε或e'i=|bi-a'|≤ε。
步骤8、将得到的前k个向量bi组成的新向量集合Bk={b1,b2,…,bk}，并得到对应的欧式距离集合Dk={d1,d2,…,dk}；其中，di=min(ei,e'i)，di≤di+1。
步骤9、关联查询出集合Bk中各特征向量所对应的活体人脸照pi和/或证件人脸照p'i，得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}；具体包括：
1）基于步骤1的关联关系，对集合Bk中的每一向量[bi]，确定对应的活体人脸照pi或证件人脸照p'i；
2）基于确定的活体人脸照pi或证件人脸照p'i，搜索人脸图像库中是否有对应的证件人脸照p'i或活体人脸照pi；
3）若有对应的证件人脸照p'i或活体人脸照pi，则将成对的人脸照组合(pi,p'i)作为输出；
4）若没有对应的证件人脸照p'i或活体人脸照pi，则将单一的活体人脸照pi或证件人脸照p'i作为输出；
5）完成对集合Bk中所有向量的关联查询，最终得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}；
步骤10、去除集合Pk中重复的成对人脸照组合，返回前n组人脸照组合的集合Pn={(p1,p'1), (p2,p'2),…,(pn,p'n)}以及对应的欧式距离Dn={d1,d2,…,dn}；其中，n＜k；其中，优选n为10；
考虑到在步骤9中可获取同一用户的两个相同的成对人脸照组合，例如：针对向量[b1]确定用户A的活体人脸照p1，基于活体人脸照p1关联到用户A的证件人脸照p'1；针对向量[b2]确定用户A的证件人脸照p'1，基于证件人脸照p'1关联到用户A的活体人脸照p1；其会造成Pk中出现两个相同的成对人脸照组合；因此，本发明采用向前合并算法，去除集合Pk中相同user_id的成对人脸照组合。进一步，若Pk中的(pi,p'i)均存在，则最终去除一半的重复成对人脸照组合，即n=k/2。
本发明还提供一种以脸搜脸的图像搜索系统，用于实现上述的以脸搜脸的图像搜索系统；包括：
构建模块，用于实现上述步骤1；
采集模块，用于实现上述步骤2；
预处理及特征提取模块，用于实现上述步骤3；
第一判断模块，用于实现上述步骤5；
计算模块，用于实现上述步骤6；
第一筛选模块，用于实现上述步骤7；
第二筛选模块，用于实现上述步骤8；
关联查询模块，用于实现上述步骤9；
去重模块，用于实现上述步骤10。
实施例
准备了一组人脸照及证件照进行向量化入库存储，共计19022张，其中有978张是单张的人脸照，其余18044张共9022组是已识别为人脸能匹配成对的人脸照和证件照；对比人脸照单独搜索、证件照单独搜索与本发明的人脸和证件照向量聚类搜索，得到如表1~3的测试数据（部分示例）：
表1
表2
表3
采用本发明的人脸和证件照聚类算法搜索，最终得到的最优搜索结果如表4所示；
表4
根据验证结果，采用本发明的人脸和证件照聚类算法搜索，能够很好解决以下问题：
1. 能确保同一人的对应另一照片被搜索出来；
2. 只需一次聚类后全量搜索，减少了人脸照和证件照分别全量搜索量
3. 可以确保每次搜索返回固定数量的（测试用例中是10个）近似人脸和证件照（如果将相似度阈值设为0.5，可看到独立搜索结果不固定，数据离散度较大）。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种以脸搜脸的图像搜索方法，其特征在于，包括：
获取待搜索的申请开户人的活体人脸照和证件人脸照；
对所述活体人脸照和证件人脸照分别进行512维向量化和归一化处理，得到活体人脸照向量[a]和证件人脸照向量[a']；
基于所述活体人脸照向量[a]与证件人脸照向量[a']，判断是否为同一申请开户人；
若为同一申请开户人，则计算向量[a]与向量[a']的中心向量[c]，[c]=|(a+a')/2|；
以向量[c]为中心，以预设的相似距离对人脸特征向量库中所有人脸向量集合S进行搜索并升序排序，得到候选向量集合B；其中，B={b1,b2,…,bi,…}，bi为候选向量集合B中的第i个人脸向量；
顺序比对向量[bi]与向量[a]、向量[a']的欧式距离ei、e' i，留下满足以下条件的前k个向量bi：ei=|bi-a|≤ε或e' i=|bi-a'|≤ε；其中，ε为系统设定的人脸比对相似度阈值，0<ε<1；
将得到的前k个向量bi组成的新向量集合Bk={b1,b2,…,bk}，并得到对应的欧式距离集合Dk={d1,d2,…,dk}；其中，di’=min(ei’,e'i’)，di’≤di’+1；
关联查询出集合Bk中各特征向量所对应的活体人脸照pi’和/或证件人脸照p'i’，得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}；
去除集合Pk中重复的成对人脸照组合，返回前n组人脸照组合的集合Pn={(p1,p'1),(p2,p'2),…,(pn,p'n)}以及对应的欧式距离集合Dn={d1,d2,…,dn}；其中，n＜k。
2.如权利要求1所述的以脸搜脸的图像搜索方法，其特征在于，所述基于所述活体人脸照向量[a]与证件人脸照向量[a']，判断是否为同一申请开户人；包括：
计算向量[a]与向量[a']的欧式距离m：m=|a-a'|；
若m≤ε，则判断为同一申请开户人；否则，判断为不同的申请开户人。
3.如权利要求2所述的以脸搜脸的图像搜索方法，其特征在于，还包括：
若为不同的申请开户人，则直接结束。
4.如权利要求2所述的以脸搜脸的图像搜索方法，其特征在于，预设的相似距离为(ε+m)/2。
5.如权利要求4所述的以脸搜脸的图像搜索方法，其特征在于，候选向量集合B满足si=|bi-c|≤(ε+m)/2，bi∈S，且si<si+1；其中，si为向量[bi]与向量[c]的欧式距离。
6.如权利要求1~5中任一项所述的以脸搜脸的图像搜索方法，其特征在于，还包括：构建人脸特征向量库和人脸图像库；
具体包括：
获取已知申请开户人的人脸图像集，所述人脸图像集包括已知申请开户人的活体人脸照和/或证件人脸照；
将人脸图像集中的每张图像进行512维向量化和归一化处理，并将得到的人脸向量存储在人脸特征向量库内，得到所述人脸向量集合S；其中，每一人脸向量对应唯一的向量id：milvus_id；
将人脸图像集中的每张图像分别存储于人脸图像库；其中，已知申请开户人的活体人脸照与证件人脸照对应同一用户id：user_id。
7.如权利要求6所述的以脸搜脸的图像搜索方法，其特征在于，建立向量id、用户id与人脸图像image_path的对应关系。
8.如权利要求7所述的以脸搜脸的图像搜索方法，其特征在于，所述关联查询出集合Bk中各特征向量所对应的活体人脸照pi’和/或证件人脸照p'i’，得到图像集合Pk={(p1,p'1),(p2,p'2),…,(pk,p'k)}；包括：
对集合Bk中的每一向量[bi’]，确定对应的活体人脸照pi’或证件人脸照p'i’；
基于确定的活体人脸照pi’或证件人脸照p'i’，搜索人脸图像库中是否有对应的证件人脸照p'i'或活体人脸照pi’；
若有对应的证件人脸照p'i’或活体人脸照pi’，则将成对的人脸照组合(pi’,p'i’)作为输出；
若没有对应的证件人脸照p'i’或活体人脸照pi’，则将单一的活体人脸照pi’或证件人脸照p'i’作为输出；
完成对集合Bk中所有向量的关联查询，最终得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}。
9.如权利要求8所述的以脸搜脸的图像搜索方法，其特征在于，采用向前合并算法，去除集合Pk中相同user_id的成对人脸照组合。
10.一种以脸搜脸的图像搜索系统，用于实现如权利要求1~9中任一项所述的以脸搜脸的图像搜索方法；其特征在于，包括：
采集模块，用于获取待搜索的申请开户人的活体人脸照和证件人脸照；
预处理及特征提取模块，用于对所述活体人脸照和证件人脸照分别进行512维向量化和归一化处理，得到活体人脸照向量[a]和证件人脸照向量[a']；
第一判断模块，用于基于所述活体人脸照向量[a]与证件人脸照向量[a']，判断是否为同一申请开户人；
计算模块，用于在判断为同一申请开户人时，计算向量[a]与向量[a']的中心向量[c]，[c]=|(a+a')/2|；
第一筛选模块，用于以向量[c]为中心，以预设的相似距离对人脸特征向量库中所有人脸向量集合S进行搜索并升序排序，得到候选向量集合B；其中，B={b1,b2,…,bi,…}，bi为候选向量集合B中的第i个人脸向量；
第二筛选模块，用于顺序比对向量[bi]与向量[a]、向量[a']的欧式距离ei、e' i，留下满足以下条件的前k个向量bi：ei=|bi-a|≤ε或e' i=|bi-a'|≤ε；其中，ε为系统设定的人脸比对相似度阈值，0<ε<1；将得到的前k个向量bi组成的新向量集合Bk={b1,b2,…,bk}，并得到对应的欧式距离集合Dk={d1,d2,…,dk}；其中，di’=min(ei’,e'i’)，di’≤di’+1；
关联查询模块，用于关联查询出集合Bk中各特征向量所对应的活体人脸照pi’和/或证件人脸照p'i’，得到图像集合Pk={(p1,p'1), (p2,p'2),…,(pk,p'k)}；
去重模块，用于去除集合Pk中重复的成对人脸照组合，返回前n组人脸照组合的集合Pn={(p1,p'1), (p2,p'2),…,(pn,p'n)}以及对应的欧式距离集合Dn={d1,d2,…,dn}；其中，n＜k。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311130062.XA CN117113321B (zh) | 2023-09-04 | 2023-09-04 | 一种以脸搜脸的图像搜索方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311130062.XA CN117113321B (zh) | 2023-09-04 | 2023-09-04 | 一种以脸搜脸的图像搜索方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117113321A CN117113321A (zh) | 2023-11-24 |
| CN117113321B true CN117113321B (zh) | 2024-01-30 |
Family
ID=88799928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311130062.XA Active CN117113321B (zh) | 2023-09-04 | 2023-09-04 | 一种以脸搜脸的图像搜索方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117113321B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020147257A1 (zh) * | 2019-01-16 | 2020-07-23 | 平安科技（深圳）有限公司 | 一种人脸识别方法和装置 |
| CN114048344A (zh) * | 2021-11-25 | 2022-02-15 | 天翼数字生活科技有限公司 | 一种相似人脸搜索方法、装置、设备和可读存储介质 |
| CN114241588A (zh) * | 2022-02-24 | 2022-03-25 | 北京锐融天下科技股份有限公司 | 一种自适应人脸比对方法及系统 |
-
2023
- 2023-09-04 CN CN202311130062.XA patent/CN117113321B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020147257A1 (zh) * | 2019-01-16 | 2020-07-23 | 平安科技（深圳）有限公司 | 一种人脸识别方法和装置 |
| CN114048344A (zh) * | 2021-11-25 | 2022-02-15 | 天翼数字生活科技有限公司 | 一种相似人脸搜索方法、装置、设备和可读存储介质 |
| CN114241588A (zh) * | 2022-02-24 | 2022-03-25 | 北京锐融天下科技股份有限公司 | 一种自适应人脸比对方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117113321A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jégou et al. | Improving bag-of-features for large scale image search | |
| Yue et al. | Hashing based fast palmprint identification for large-scale databases | |
| CN106815362B (zh) | 一种基于kpca多表索引图像哈希检索方法 | |
| CN109815775A (zh) | 一种基于人脸属性的人脸识别方法及系统 | |
| CN102254015A (zh) | 基于视觉词组的图像检索方法 | |
| Ross et al. | Augmenting ridge curves with minutiae triplets for fingerprint indexing | |
| WO2023082641A1 (zh) | 电子档案生成方法、装置、终端设备及存储介质 | |
| CN105760875A (zh) | 基于随机森林算法的判别二进制图像特征相似实现方法 | |
| CN109241315B (zh) | 一种基于深度学习的快速人脸检索方法 | |
| Castillo-Rosado et al. | Latent fingerprint matching using distinctive ridge points | |
| WO2019085765A1 (zh) | 图像检索 | |
| CN117113321B (zh) | 一种以脸搜脸的图像搜索方法及系统 | |
| CN112084353A (zh) | 一种快速陆标-卷积特征匹配的词袋模型方法 | |
| CN110532867B (zh) | 一种基于黄金分割法的人脸图像聚类方法 | |
| CN111241323A (zh) | 一种基于深度学习的由粗到精的快速人脸检索方法 | |
| Parekh et al. | Review of Parameters of Fingerprint Classification Methods Based on Algorithmic Flow | |
| Li et al. | Shoeprint image retrieval based on dual knowledge distillation for public security Internet of Things | |
| Parmar et al. | Fingerprint indexing approaches for biometric database: a review | |
| Vij et al. | Fingerprint indexing based on local arrangements of minutiae neighborhoods | |
| CN115690027A (zh) | 一种适用于物体自身纹理的通用特征检索防伪方法 | |
| Jain et al. | An efficient content based image retrieval algorithm using clustering techniques for large dataset | |
| CN111539471A (zh) | 一种基于多特征的身份信息融合系统 | |
| Germain | Large scale systems | |
| WO2005066879A1 (en) | Method and system for quality based fingerprint matching | |
| Li et al. | A light-weight relevance feedback solution for large scale content-based video retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |