CN107862242A - 一种基于Map‑Reduce的海量人脸特征比对方法及系统 - Google Patents

一种基于Map‑Reduce的海量人脸特征比对方法及系统 Download PDF

Info

Publication number
CN107862242A
CN107862242A CN201710852217.9A CN201710852217A CN107862242A CN 107862242 A CN107862242 A CN 107862242A CN 201710852217 A CN201710852217 A CN 201710852217A CN 107862242 A CN107862242 A CN 107862242A
Authority
CN
China
Prior art keywords
face characteristic
nodes
characteristic information
map
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710852217.9A
Other languages
English (en)
Inventor
陈晓雨
买清清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opzoon Technology Co Ltd
Original Assignee
Opzoon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opzoon Technology Co Ltd filed Critical Opzoon Technology Co Ltd
Priority to CN201710852217.9A priority Critical patent/CN107862242A/zh
Publication of CN107862242A publication Critical patent/CN107862242A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于Map‑Reduce的海量人脸特征比对方法及方法，其中方法包括：基于Map‑Reduce模型，设置至少一个二级Map节点，为每个二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的存储空间；利用每个二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；利用二级Reduce节点将比对结果进行汇总。本发明提供的一种基于Map‑Reduce的海量人脸特征比对方法及系统，一定程度上降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。

Description

一种基于Map-Reduce的海量人脸特征比对方法及系统
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种基于Map-Reduce的海量人脸特征比对方法及系统。
背景技术
随着智慧城市和天眼工程的建设，居民小区、火车站、政府机关单位、机场等都安装了视频监控系统，基本上做到了视频的全覆盖，极大地提升了这些区域的安保级别。
然而，随着视频接入数量的规模增加，平台和安保人员承受的压力也成倍增加，根据不同的业务逻辑需求，需要实时判断出现在监控视频中的每一个人脸是否为目标人员，即进行人脸特征比对。例如，需要实时判断出现在监控视频中的每一个人脸是否属于“白名单”或“黑名单””中的目标人员。
现有技术中虽提供了针对海量人脸特征比对的解决方案，但对于海量目标数据的情况，例如，“白名单”或“黑名单””中的目标人员数据量非常庞大的情况下，现有的解决方案效率大打折扣，处理速度遇到瓶颈，无法满足各类安保业务需求。
发明内容
本发明为了克服现有技术中在存在海量目标数据的情况下，人脸特征比对的处理效率低，难以满足各类安保业务需求的问题，提供一种基于Map-Reduce的海量人脸特征比对方法及系统。
一方面，本发明提供一种基于Map-Reduce的海量人脸特征比对方法，包括：
S1，基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；
S2，利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；
S3，利用所述二级Reduce节点将所述比对结果进行汇总。
优选地，所述步骤S2之前还包括：
每个所述二级Map节点初始化加载对应存储空间中目标人员的人脸特征信息。
优选地，所述步骤S2之前还包括：
获取所述待识别的人脸特征信息，将所述待识别的人脸特征信息发送至每个所述二级Map节点。
优选地，所述获取待识别的人脸特征信息进一步包括：
将摄像头采集的各帧图像平均分发给至少一个一级Map节点；
每个所述一级Map节点分别提取出接收到的各帧图像中的人脸特征信息，并将各自提取出的人脸特征信息分别发送给一级Reduce节点；
一级Reduce节点汇总所有所述一级Map节点发送的人脸特征信息，获得所述待识别的人脸特征信息。
优选地，所述步骤S1还包括：
获取所述目标人员的身份信息，并将所述目标人员的身份信息与所述目标人员的人脸特征信息对应存储至不同的所述存储空间。
优选地，根据目标人员的数量设置所述二级Map节点的个数。
优选地，根据所述摄像头所处位置的人流量预先设定所述一级Map节点的个数。
一方面，本发明提供一种基于Map-Reduce的海量人脸特征比对系统，包括分配模块、比对模块和汇总模块，其中：
所述分配模块，用于基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；
所述比对模块，用于利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；
所述汇总模块，用于利用所述二级Reduce节点将所述比对结果进行汇总。
一方面，本发明提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行所述基于Map-Reduce的海量人脸特征比对方法。
一方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述基于Map-Reduce的海量人脸特征比对方法。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法及系统，针对海量目标人员的情况，基于Map-Reduce模型，通过将目标人员的人脸特征信息平均分配存储至各Map节点对应的存储空间，并使得各Map节点分别加载和比对对应存储空间的目标人员的人脸特征信息，一定程度上减少了各Map节点加载和比对的信息量，降低了各Map节点的负载，并有效提升了各Map节点的处理速度；同时，基于Map-Reduce模型，预先将摄像头采集的各帧图像中的人脸特征信息进行比对，将相同的人脸特征信息进行汇总，从而确定出待识别的人脸特征信息，一定程度上减少了待识别的人脸特征信息的数量，有效避免了各Map节点重复加载和比对相同的人脸特征信息，进一步降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
附图说明
图1为本发明实施例的一种基于Map-Reduce的海量人脸特征比对方法的整体流程示意图；
图2为本发明实施例的一种基于Map-Reduce的海量人脸特征比对系统的整体结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例的一种基于Map-Reduce的海量人脸特征比对方法的整体流程示意图，如图1所示，本发明提供一种基于Map-Reduce的海量人脸特征比对方法，包括：
S1，基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；
S2，利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；
S3，利用所述二级Reduce节点将所述比对结果进行汇总。
具体地，本实施例提供的海量人脸特征比对方法是基于Map-Reduce模型进行设计的。Map-Reduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。
上述Map-Reduce模型提供了并行计算的思想，其主要方式是将计算任务分配给多个Map节点进行并行计算，再由Reduce节点收集计算结果。本实施例中，将Map-Reduce模型应用于海量人脸特征比对，在人脸特征比对的任务中，需要将待识别人员的人脸特征信息和目标人员的人脸特征信息进行比对。当目标人员的数量相较于待识别人员的数量更为庞大时，基于Map-Reduce模型，仅仅将待识别人员的人脸特征信息分配给不同的Map节点进行并行处理是远远不够的，由于目标人员的数量较多，每个Map节点均需要将分配的待识别人员与所有目标人员进行比对，整体处理效率并不能得到有效地提高。
有鉴于此，本实施例中，基于Map-Reduce模型，设置至少一个二级Map节点，其中，二级Map节点的数量可以根据目标人员的数量进行设置，若目标人员的数量较多，则对应设置的二级Map节点的数量也较多，由此通过多个二级Map节点并行处理人脸特征信息的比对，可有效提高整体的处理效率。同时，对于设置的每个二级Map节点，给每个二级Map节点分配一个对应的存储空间，则存储空间的个数与二级Map节点的个数相同。然后，根据目标人员的数量，将目标人员的人脸特征信息平均分配存储至不同的存储空间，即对目标人员的人脸特征信息进行分区存储。
进一步地，由于每个二级Map节点对应一个存储空间，且每个二级Map节点对应的存储空间中平均分配存储了目标人员的人脸特征信息，在此基础上，利用每个二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对。其中，每个二级Map节点通过Map函数实现计算比对，输出相似度高的人脸特征信息。最后，每个二级Map节点分别将比对结果发送给二级Reduce节点。
进一步地，基于Map-Reduce模型，每个二级Map节点对应一个二级Reduce节点，该二级Reduce节点收集各二级Map节点的比对结果，并将各二级Map节点的比对结果进行汇总。例如，可以将比对结果按相似度进行排序，采用模糊综合对比手段，输出最终的比对结果，并将最终的比对结果返回给调用者，用于后续的业务逻辑。二级Reduce节点的具体操作由具体的Reduce函数实现，Reduce函数的具体实现方式，此处不做具体限定。
为了更好地理解本实施例的技术方案，现以下述示例进行具体说明：
假定待识别人员的数量为30人，根据待识别人员的数量预先设置了3个二级Map节点，目标人员的数量为3000人。在此基础上，现有技术中，3个二级Map节点对应同一个存储空间，该存储空间中存储了3000目标人员的人脸特征信息，则3个二级Map节点各自均需将待识别人员的人脸特征信息与3000目标人员的人脸特征信息进行比对，需比对的信息量很大，处理效率并不高。而本实施例中，给3个二级Map节点分别分配了一个存储空间，同时将3000目标人员的人脸特征信息平均分配存储至3个二级Map节点对应的存储空间，则3个二级Map节点各自对应的存储空间中仅存储了1000目标人员的人脸特征信息。由此，3个二级Map节点各自仅需将待识别人员的人脸特征信息与1000目标人员的人脸特征信息进行比对，需比对的信息量相对减少，可有效提高处理效率。最终，3个二级Map节点分别将各自的比对结果发送给二级Reduce节点，由二级Reduce节点将各比对结果进行汇总。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法，针对海量目标人员的情况，基于Map-Reduce模型，通过将目标人员的人脸特征信息平均分配存储至各Map节点对应的存储空间，并使得各Map节点分别加载和比对对应存储空间的目标人员的人脸特征信息，一定程度上减少了各Map节点加载和比对的信息量，降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
基于上述任一实施例，提供一种基于Map-Reduce的海量人脸特征比对方法，所述步骤S2之前还包括：
每个所述二级Map节点初始化加载对应存储空间中目标人员的人脸特征信息。
具体地，本实施例中，每个二级Map节点对应一个存储空间，每个二级Map节点在进行人脸特征信息比对之前，需先进行初始化，加载对应存储空间中目标人员的人脸特征信息，再将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对。由此，每个二级Map节点加载的目标人员的人脸特征信息均为分配后的目标人员的人脸特征信息，加载的信息量相对减少，有效降低了各Map节点的负载。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法，每个二级Map节点初始化加载对应存储空间中目标人员的人脸特征信息，由此，每个二级Map节点加载的目标人员的人脸特征信息均为分配后的目标人员的人脸特征信息，加载的信息量相对减少，有效降低了各Map节点的负载。
基于上述任一实施例，提供一种基于Map-Reduce的海量人脸特征比对方法，所述步骤S2之前还包括：
获取所述待识别的人脸特征信息，将所述待识别的人脸特征信息发送至每个所述二级Map节点。
具体地，本实施例中，首先获取监控摄像头拍摄的待识别人员的视频流，再从视频流中获取各帧图像，最后从各帧图像中提取待识别的人脸特征信息。然后，将提取的待识别的人脸特征信息发送至预先设置的多个二级Map节点，由多个二级Map节点将待识别的人脸特征信息与目标人员的人脸特征信息进行比对，由此，通过多个二级Map节点实现对待识别人脸特征信息的并行处理。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法，首先获取待识别的人脸特征信息，再将待识别的人脸特征信息发送至每个二级Map节点，最终通过多个二级Map节点实现对待识别人脸特征信息的并行处理，有效提升了各Map节点的整体处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
基于上述任一实施例，提供一种基于Map-Reduce的海量人脸特征比对方法，所述获取待识别的人脸特征信息进一步包括：
将摄像头采集的各帧图像平均分发给至少一个一级Map节点；
每个所述一级Map节点分别提取出接收到的各帧图像中的人脸特征信息，并将各自提取出的人脸特征信息分别发送给一级Reduce节点；
一级Reduce节点汇总所有所述一级Map节点发送的人脸特征信息，获得所述待识别的人脸特征信息。
具体地，在实际应用中，监控摄像头采集的视频流中包括多帧图像，由于各帧图像采集的时间间隔非常小，相邻两帧或多帧图像中出现的人脸基本相同，现有技术中，将各帧图像中提取的人脸均分发给Map节点进行处理，其中包括多个重复的人脸数据，无疑增加了Map节点的数据处理量，处理效率相对较低。
有鉴于此，本实施例中，在获取待识别的人脸特征信息时，基于Map-Reduce模型，首先获取摄像头采集的视频流中的各帧图像，再将各帧图像平均分发给至少一个一级Map节点，一级Map节点的数量可以根据摄像头所处位置的人流量进行确定，当摄像头所处位置的人流量较多时，则设置的一级Map节点的个数也较多，从而由多个一级Map节点对各帧图像进行并行处理。
进一步地，每个一级Map节点接收到各自对应的各帧图像后，首先对各帧图像中出现的人脸进行检测，再对检测出的人脸进行人脸特征提取，即提取出各自接收到的各帧图像中的人脸特征信息。其中，每个一级Map节点是通过人脸特征提取函数进行人脸特征提取的，且针对每一个人脸提取出的人脸特征信息为一个2K-6K的二进制值。最后，每个一级Map节点将各自提取出的人脸特征信息分别发送给一级Reduce节点
进一步地，一级Reduce节点接收到每个一级Map节点发送的人脸特征信息，将所有一级Map节点发送的人脸特征信息进行汇总。具体地，一级Reduce节点将接收到的所有的人脸特征信息进行相互比对，将相同的人脸特征信息认定为重复的人脸特征信息，并将重复的人脸特征信息进行相应地删除，最终一级Reduce节点汇总出的人脸特征信息均为不同的人脸特征信息，即确定为待识别的人脸特征信息，有效避免出现重复的待识别的人脸特征信息，一定程度上减少了待识别人脸特征信息的数量，从而一定程度上减少了分配到各二级Map节点的待识别的人脸特征信息的数量，即有效减少了各二级Map节点处理的信息量，有利于提高各二级Map节点的处理效率。
为了更好地理解本实施例的技术方案，现以下述示例进行具体说明：
假设摄像头拍摄的视频流中共有6帧图像，6帧图像中出现的人脸数量总共为60人。在此基础上，现有技术中则会将60人的人脸特征信息一并作为待识别的人脸特征信息，并最终将60人的人脸特征信息分发至各二级Map节点进行处理。而在实际应用中，6帧图像中出现的人脸存在重复的现象，6帧图像中真正出现的人脸往往少于60人。有鉴于此，本实施例中，假设预先设置了3个一级Map节点，则将6帧图像平均分发至3个一级Map节点，每个一级Map节点接收到2帧图像，再对2帧图像中出现的人脸进行检测，并通过Map函数提取出2帧图像中的人脸特征信息，最终每个一级Map节点将各自提取出的人脸特征信息分别发送给一级Reduce节点。一级Reduce节点汇总3个一级Map节点发送的人脸特征信息，并由此确定待识别的人脸特征信息。假设60人对应的人脸特征信息中存在重复的20人对应的人脸特征信息，则最终确定的待识别的人脸特征信息为40人对应的人脸特征信息。由此，最后分发至各二级Map节点的待识别的人脸特征信息相应减少，有效减少了各二级Map节点处理的信息量，有利于提高各二级Map节点的处理效率。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法，基于Map-Reduce模型，预先将摄像头采集的各帧图像中的人脸特征信息进行比对，将相同的人脸特征信息进行汇总，从而确定出待识别的人脸特征信息，一定程度上减少了待识别的人脸特征信息的数量，有效避免了各Map节点重复加载和比对相同的人脸特征信息，进一步降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
基于上述任一实施例，提供一种基于Map-Reduce的海量人脸特征比对方法，所述步骤S1还包括：
获取所述目标人员的身份信息，并将所述目标人员的身份信息与所述目标人员的人脸特征信息对应存储至不同的所述存储空间。
具体地，在实际应用中，实际需求有所不同，若需判断监控视频中是否出现了符合身份条件的目标人员，则可先获取目标人员的身份信息，再将目标人员的身份信息与目标人员的人脸特征信息对应存储至不同的存储空间。由此，各二级Map节点在初始化加载数据时，不仅加载了对应存储空间存储的目标人员的人脸特征信息，还同时加载了对应存储空间存储的目标人员的身份信息，最终二级Reduce节点汇总各二级Map节点的比对结果，不仅可以判断出与目标人员的人脸特征信息相同的待识别人员的人脸特征信息，还可以识别出待识别人员的身份信息。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法，基于Map-Reduce模型，预先获取目标人员的身份信息，并将目标人员的身份信息与目标人员的人脸特征信息对应存储至不同的存储空间，由此可以根据目标人员的身份信息确定与目标人员的人脸特征信息相同的待识别人员的身份信息，有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
基于上述任一实施例，提供一种基于Map-Reduce的海量人脸特征比对方法，根据目标人员的数量设置所述二级Map节点的个数。
具体地，本实施例中，二级Map节点的个数与目标人员的数量相关，为了节省目标人员的人脸特征信息的整体比对时间，根据目标人员的数量设置二级Map节点的个数，若目标人员的数量较多，则设置的二级Map节点的个数也较多。由此，可将数量较多的目标人员的人脸特征信息分区存储至多个二级Map节点各自对应的存储空间，使得每个二级Map节点初始化加载和比对的数据量相对减少，降低了每个二级Map节点的负载，有效提升了每个二级Map节点的处理速度，同时也有效提高了各二级Map节点的整体处理效率。举例而言，假如目标人员的数量为600人，并相应设置了3个二级Map节点；若目标人员的数量增加到1200人，则可相应设置了6个二级Map节点，由此可有效减少各二级Map节点的总体处理时间。此外，二级Map节点的个数可以根据实际需求进行设置，此处不做具体限定。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法，根据目标人员的数量设置二级Map节点的个数，由此可将数量较多的目标人员的人脸特征信息分区存储至多个二级Map节点各自对应的存储空间，使得每个二级Map节点初始化加载和比对的数据量相对减少，降低了每个二级Map节点的负载，有效提升了每个二级Map节点的处理速度，同时也有效提高了各二级Map节点的整体处理效率。
基于上述任一实施例，提供一种基于Map-Reduce的海量人脸特征比对方法，根据所述摄像头所处位置的人流量预先设定所述一级Map节点的个数。
具体地，由于摄像头所处的位置不同，对应的人流量也不尽相同。本实施例中，根据摄像头所处位置的人流量，可以预先确定出摄像头采集的各帧图像中人脸的数量范围，从而预先设定一级Map节点的个数。例如，若摄像头A安装在私人区域，摄像头B安装在公共区域，由此，一般情况下，摄像头A所处位置的人流量相较于摄像头B所处位置的人流量更多，进而摄像头A采集的视频流中人脸的数量比摄像头B采集的视频流中人脸的数量更多。由此，摄像头A对应的一级Map节点处理的人脸数据也更多，为了节省摄像头A对应的一级Map节点整体的处理时间，则可针对摄像头A设置更多的一级Map节点，由更多的一级Map并行处理摄像头A采集的视频流中的人脸数据。此外，一级Map节点的个数可以根据实际需求进行设置，此处不做具体限定。
本发明提供的一种基于Map-Reduce的海量人脸特征比对方法，根据摄像头所处位置的人流量预先设定一级Map节点的个数，从而由多个一级Map节点并行处理摄像头采集的视频流中的人脸数据，有效提高了各一级Map节点的整体处理效率，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
图2为本发明实施例的一种基于Map-Reduce的海量人脸特征比对系统的整体结构示意图，如图2所示，基于上述任一实施例，提供一种基于Map-Reduce的海量人脸特征比对系统，包括分配模块1、比对模块2和汇总模块3，其中：
所述分配模块1，用于基于Map-Reduce模型，设置至少一个二级Map节点，给每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；
所述比对模块2，用于利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；
所述汇总模块3，用于利用所述二级Reduce节点将所述比对结果进行汇总。
具体地，本实施例中，所述分配模块1，基于Map-Reduce模型，设置至少一个二级Map节点，其中，二级Map节点的数量可以根据目标人员的数量进行设置，目标人员的数量较多，则对应设置的二级Map节点的数量也较多，由此通过多个二级Map节点并行处理人脸特征信息比对，可有效提高整体的处理效率。同时，对于设置的每个二级Map节点，所述分配模块1给每个二级Map节点分配一个对应的存储空间，则存储空间的个数与二级Map节点的个数相同。然后，所述分配模块1根据目标人员的数量，将目标人员的人脸特征信息平均分配存储至不同的存储空间，即对目标人员的人脸特征信息进行分区存储。
进一步地，由于每个二级Map节点对应一个存储空间，且每个二级Map节点对应的存储空间中平均分配存储了目标人员的人脸特征信息，在此基础上，所述比对模块2利用每个二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，其中，每个二级Map节点通过Map函数实现比对，输出相似度高的人脸特征信息。最后，每个二级Map节点分别将比对结果发送给二级Reduce节点。
进一步地，基于Map-Reduce模型，比对模块1中的每个二级Map节点对应一个二级Reduce节点，汇总模块3通过二级Reduce节点收集各二级Map节点的比对结果，并将各二级Map节点的比对结果进行汇总。例如，可以将比对结果按相似度进行排序，采用模糊综合对比手段，输出最终的比对结果，并将最终的比对结果返回给调用者，用于后续的业务逻辑。其中，二级Reduce节点的具体操作由具体的Reduce函数实现，Reduce函数的具体实现方式，此处不做具体限定。
本发明提供的一种基于Map-Reduce的海量人脸特征比对系统，针对海量目标人员的情况，基于Map-Reduce模型，通过分配模块将目标人员的人脸特征信息平均分配存储至各Map节点对应的存储空间，并使得比对模块通过各Map节点分别加载和比对对应存储空间的目标人员的人脸特征信息，一定程度上减少了各Map节点加载和比对的信息量，降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
综上所述，本发明提供的一种基于Map-Reduce的海量人脸特征比对方法及系统，针对海量目标人员的情况，基于Map-Reduce模型，通过将目标人员的人脸特征信息平均分配存储至各Map节点对应的存储空间，并使得各Map节点分别加载和比对对应存储空间的目标人员的人脸特征信息，一定程度上减少了各Map节点加载和比对的信息量，降低了各Map节点的负载，并有效提升了各Map节点的处理速度；同时，基于Map-Reduce模型，预先将摄像头采集的各帧图像中的人脸特征信息进行比对，将相同的人脸特征信息进行汇总，从而确定出待识别的人脸特征信息，一定程度上减少了待识别的人脸特征信息的数量，有效避免了各Map节点重复加载和比对相同的人脸特征信息，进一步降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。
基于上述任一实施例，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：基于Map-Reduce模型，设置至少一个二级Map节点，为每个二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的存储空间；利用每个二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；利用二级Reduce节点将比对结果进行汇总。
基于上述任一实施例，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：基于Map-Reduce模型，设置至少一个二级Map节点，为每个二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的存储空间；利用每个二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；利用二级Reduce节点将比对结果进行汇总。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Map-Reduce的海量人脸特征比对方法，其特征在于，包括：
S1，基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；
S2，利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；
S3，利用所述二级Reduce节点将所述比对结果进行汇总。
2.根据权利要求1所述的方法，其特征在于，所述步骤S2之前还包括：
每个所述二级Map节点初始化加载对应存储空间中目标人员的人脸特征信息。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2之前还包括：
获取所述待识别的人脸特征信息，将所述待识别的人脸特征信息发送至每个所述二级Map节点。
4.根据权利要求3所述的方法，其特征在于，所述获取待识别的人脸特征信息进一步包括：
将摄像头采集的各帧图像平均分发给至少一个一级Map节点；
每个所述一级Map节点分别提取出接收到的各帧图像中的人脸特征信息，并将各自提取出的人脸特征信息分别发送给一级Reduce节点；
一级Reduce节点汇总所有所述一级Map节点发送的人脸特征信息，获得所述待识别的人脸特征信息。
5.根据权利要求1所述的方法，其特征在于，所述步骤S1还包括：
获取所述目标人员的身份信息，并将所述目标人员的身份信息与所述目标人员的人脸特征信息对应存储至不同的所述存储空间。
6.根据权利要求1所述的方法，其特征在于，根据目标人员的数量设置所述二级Map节点的个数。
7.根据权利要求4所述的方法，其特征在于，根据所述摄像头所处位置的人流量预先设定所述一级Map节点的个数。
8.一种基于Map-Reduce的海量人脸特征比对系统，其特征在于，包括分配模块、比对模块和汇总模块，其中：
所述分配模块，用于基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；
所述比对模块，用于利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；
所述汇总模块，用于利用所述二级Reduce节点将所述比对结果进行汇总。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201710852217.9A 2017-09-19 2017-09-19 一种基于Map‑Reduce的海量人脸特征比对方法及系统 Pending CN107862242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710852217.9A CN107862242A (zh) 2017-09-19 2017-09-19 一种基于Map‑Reduce的海量人脸特征比对方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710852217.9A CN107862242A (zh) 2017-09-19 2017-09-19 一种基于Map‑Reduce的海量人脸特征比对方法及系统

Publications (1)

Publication Number Publication Date
CN107862242A true CN107862242A (zh) 2018-03-30

Family

ID=61699504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710852217.9A Pending CN107862242A (zh) 2017-09-19 2017-09-19 一种基于Map‑Reduce的海量人脸特征比对方法及系统

Country Status (1)

Country Link
CN (1) CN107862242A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446692A (zh) * 2018-06-08 2018-08-24 南京擎华信息科技有限公司 人脸比对方法、装置和系统
CN109002776A (zh) * 2018-06-29 2018-12-14 金蝶软件（中国）有限公司 人脸识别方法、系统、计算机设备和计算机可读存储介质
CN109325964A (zh) * 2018-08-17 2019-02-12 深圳市中电数通智慧安全科技股份有限公司 一种人脸追踪方法、装置及终端
CN109522824A (zh) * 2018-10-30 2019-03-26 平安科技（深圳）有限公司 人脸属性识别方法、装置、计算机装置及存储介质
WO2020125544A1 (zh) * 2018-12-18 2020-06-25 华为技术有限公司 一种分布式图像分析方法、系统及存储介质
CN112749583A (zh) * 2019-10-29 2021-05-04 杭州海康威视数字技术股份有限公司 人脸图像分组方法、装置、计算机设备和存储介质
CN114758388A (zh) * 2022-03-31 2022-07-15 北京瑞莱智慧科技有限公司 一种人脸识别方法、相关装置及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446692A (zh) * 2018-06-08 2018-08-24 南京擎华信息科技有限公司 人脸比对方法、装置和系统
CN109002776A (zh) * 2018-06-29 2018-12-14 金蝶软件（中国）有限公司 人脸识别方法、系统、计算机设备和计算机可读存储介质
CN109002776B (zh) * 2018-06-29 2021-06-15 金蝶软件（中国）有限公司 人脸识别方法、系统、计算机设备和计算机可读存储介质
CN109325964A (zh) * 2018-08-17 2019-02-12 深圳市中电数通智慧安全科技股份有限公司 一种人脸追踪方法、装置及终端
CN109522824A (zh) * 2018-10-30 2019-03-26 平安科技（深圳）有限公司 人脸属性识别方法、装置、计算机装置及存储介质
WO2020087922A1 (zh) * 2018-10-30 2020-05-07 平安科技（深圳）有限公司 人脸属性识别方法、装置、计算机装置及存储介质
WO2020125544A1 (zh) * 2018-12-18 2020-06-25 华为技术有限公司 一种分布式图像分析方法、系统及存储介质
CN112749583A (zh) * 2019-10-29 2021-05-04 杭州海康威视数字技术股份有限公司 人脸图像分组方法、装置、计算机设备和存储介质
CN114758388A (zh) * 2022-03-31 2022-07-15 北京瑞莱智慧科技有限公司 一种人脸识别方法、相关装置及存储介质

Similar Documents

Publication Publication Date Title
CN107862242A (zh) 一种基于Map‑Reduce的海量人脸特征比对方法及系统
Lu et al. Spatio-temporal graph few-shot learning with cross-city knowledge transfer
CN109872535A (zh) 一种智慧交通通行预测方法、装置及服务器
CN113850242B (zh) 一种基于深度学习算法的仓储异常目标检测方法及系统
CN106101252A (zh) 基于大数据和可信计算的信息安全风险防护系统
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN109597965A (zh) 基于深度神经网络的数据处理方法、系统、终端及介质
CN104298550A (zh) 一种面向Hadoop的动态调度方法
Yan et al. A hybrid metaheuristic algorithm for the multi-objective location-routing problem in the early post-disaster stage.
CN109445935A (zh) 云计算环境下一种高性能大数据分析系统自适应配置方法
CN109800260A (zh) 高并发数据存储方法、装置、计算机设备和存储介质
CN112329997A (zh) 电力需求负荷预测方法及系统、电子设备和存储介质
CN112863132A (zh) 一种自然灾害预警系统及预警方法
Li et al. Research on QoS service composition based on coevolutionary genetic algorithm
CN115618051B (zh) 一种基于互联网的智慧校园监控视频存储方法
CN109711622A (zh) 一种基于时空多维因素预测警情的方法和系统
CN106294524A (zh) 一种关系数据的处理方法和装置
CN117315331A (zh) 一种基于gnn和lstm的动态图异常检测方法及系统
CN106780053A (zh) 一种基于节点连接偏好的重叠社区发现方法及系统
CN105007176B (zh) 一种基于分层贝叶斯网络模型的云服务QoS预测方法
CN110309117A (zh) 一种高可用区块链存储方法
Shan et al. Collaborative Intelligence: Accelerating Deep Neural Network Inference via Device‐Edge Synergy
CN111935005A (zh) 数据传输方法、装置、处理设备及介质
Gao et al. Short-term traffic flow prediction based on time-Space characteristics
CN110222589A (zh) 一种行人再识别方法及其系统、装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination