CN110750670A - 陌生人监控方法、装置、系统和存储介质 - Google Patents

Abstract

本发明提供了一种陌生人监控方法、装置、系统和存储介质，该方法包括：获取陌生人底库，其有多个陌生人档案；获取路人人脸图像，并将从中提取的路人脸特征与多个陌生人档案的档案特征进行比对；在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个陌生人档案关联的路人人脸图像作为一个与该陌生人档案对应的集合；根据所述集合与陌生人档案之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。本发明可以利用路人人脸图像的集合对陌生人底库中的陌生人档案进行整理，提高陌生人档案的质量，保证人脸识别的准确度。

Description

陌生人监控方法、装置、系统和存储介质

技术领域

本发明涉及人脸识别技术领域，更具体地涉及一种陌生人监控方法、装置、系统和存储介质。

背景技术

随着人民生活水平和生活质量的不断提高，居住的安全需求逐渐成为了广受关注的焦点问题。目前的社区安防管理通常需要陌生人频次报警功能，以实现社区防踩点，识别社区异常人员等。目前市场主流做法是将路人的人脸图像和黑名单、白名单等底库中的人脸图像进行比对，比对不中的认为是陌生人，当陌生人出现次数超过阈值时报警；比中的即加入陌生人档案，导致陌生人档案库的数据量过大。并且，现有方案中没有设置质量判定规则，将过多质量不好的路人人脸图像加入陌生人档案会导致比对准确度下降，进一步导致杂类(不属于同一人的人脸图像进入同一档案)或档案分裂(属于同一人的人脸图像被分成两个档案)等问题。

发明内容

下面简要描述本发明提出的陌生人监控方案，更多细节将在后续结合附图在具体实施方式中加以描述。

根据本发明实施例的一方面，提供了一种陌生人监控方法，所述方法包括：获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据；获取路人人脸图像；将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应；在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合；根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

在一个实施例中，所述方法还包括：若所述一对多的比对失败，则判断所述路人人脸图像的质量是否符合所述陌生人底库的入库标准；若所述路人人脸图像的质量符合所述陌生人底库的入库标准，则将所述路人人脸图像添加到所述陌生人底库中作为一个新的陌生人档案。

在一个实施例中，所述根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案包括：利用所述一对多的比对所获得的相似度判断所述集合是否比中陌生人档案，和/或，利用所述集合中的路人人脸图像的路人人脸特征重新与陌生人档案的档案特征进行比对，以判断所述集合是否比中陌生人档案。

在一个实施例中，所述利用所述集合中的路人人脸图像的路人人脸特征重新与陌生人档案的档案特征进行比对包括：选取所述集合中满足特定质量要求的若干张路人人脸图像；利用所述满足特定质量要求的若干张路人人脸图像的路人人脸特征与所述其他陌生人档案的档案特征进行比对。

在一个实施例中，所述将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合包括：将与同一个所述陌生人档案关联的所述路人人脸图像中质量最好的若干张路人人脸图像作为一个所述集合；或者将与同一个所述陌生人档案关联的所述路人人脸图像中质量满足预定要求的路人人脸图像作为一个所述集合。

在一个实施例中，所述集合中包括多张所述路人人脸图像。

在一个实施例中，所述根据所述集合中的路人人脸图像与所述多个陌生人档案的档案特征之间的相似度判断所述集合是否比中所述陌生人档案包括：若所述集合中不低于预定比例的路人人脸图像与一陌生人档案的档案特征之间的相似度高于阈值，和/或，若所述集合中多张路人人脸图像与一陌生人档案的档案特征之间的相似度的平均值高于阈值，则确定所述集合比中该陌生人档案。

在一个实施例中，所述根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并，包括：

根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中一个以上与所述集合无关联关系的陌生人档案时，根据第二集合中的路人人脸图像的路人人脸特征与所述集合关联的陌生人档案的档案特征之间的相似度判断所述第二集合是否比中与所述集合关联的陌生人档案，如果比中，则将所述第二集合关联的陌生人档案与所述集合关联的陌生人档案合并；其中，所述第二集合为所述集合比中的与所述集合无关联关系的陌生人档案所对应的集合。

在一个实施例中，所述获取路人人脸图像包括：获取监控图像，并对所述监控图像进行人脸检测以得到人脸图像；将所述人脸图像与黑名单和/或白名单中的人脸图像进行比对，若比对失败，则确定所述人脸图像为所述路人人脸图像。

在一个实施例中，所述方法还包括：对于每个具有相关联的路人人脸图像的陌生人档案，将满足预定条件的所述与之关联的路人人脸图像加入所述陌生人档案，以作为新的陌生人人脸图像。

在一个实施例中，所述方法还包括：保留针对人脸不同角度采集的所述陌生人人脸图像，剔除除此之外的陌生人人脸图像。

在一个实施例中，所述方法还包括：保留质量最好的若干张所述陌生人人脸图像，剔除除此之外的陌生人人脸图像。

在一个实施例中，所述方法还包括：在所述陌生人档案中的多张陌生人人脸图像之间进行相互比对，剔除与其他陌生人人脸图像的相似度不满足特定要求的陌生人人脸图像。

根据本发明实施例的另一方面，提供了一种陌生人监控装置，所述装置包括：底库获取模块，用于获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据；图像获取模块，用于获取路人人脸图像；比对模块，用于将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应；关联模块，用于在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合；以及合并模块，用于根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

根据本发明实施例的又一方面，提供了一种陌生人监控系统，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述任一项所述的陌生人监控方法。

根据本发明实施例的再一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行上述任一项所述的陌生人监控方法。

本发明实施例提供的陌生人监控方法、装置、系统和存储介质可以利用路人人脸图像的集合对陌生人档案进行整理，提高陌生人档案的质量，保证人脸识别的准确度。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的示例电子设备的示意性框图；

图2示出根据本发明实施例的陌生人监控方法的示意性流程图；

图3示出根据本发明实施例的陌生人监控装置的示意性框图；以及

图4示出根据本发明实施例的陌生人监控系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现本发明实施例的陌生人监控方法、装置、系统和存储介质的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108和/或图像传感器110。这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

需要注意的是，图1所示的电子设备100的组件和结构只是示例性的，尽管图1示出的电子设备100包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。

下面，将参考图2描述根据本发明实施例的陌生人监控方法200。如图2所示，陌生人监控方法200可以包括如下步骤：

在步骤S210，获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据。

其中，陌生人为身份未确定的人，也即不在白名单或黑名单中的人。

其中，每个人陌生人档案中具有一张或多张属于同一陌生人的陌生人人脸图像和/或由陌生人人脸图像提取出的陌生人人脸特征，所述陌生人档案可以由采集到的路人人脸图像进行初始聚类而来。

作为示例，每个陌生人档案具有一个逻辑档案编号。位于同一陌生人档案中的陌生人人脸图像数据可以具有同样的逻辑档案编号，而不必须位于同一文件夹中。

应该注意的是，虽然一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据，但是由于聚类过程中出现的问题，一个陌生人档案中的陌生人人脸图像数据可能来自不同的人(即出现“杂类”，不属于同一人的人脸图像数据进入同一档案)，来自同一人的陌生人人脸图像数据可能被分到不同的陌生人档案中(即出现“档案分裂”，属于同一人的人脸图像被分在多个档案中)。

在步骤S220，获取路人人脸图像。

在一个示例中，获取所述路人人脸图像的步骤包括：

首先获取监控图像，并对所述监控图像进行人脸检测以得到人脸图像。所述监控图像可以是监控视频，也可以是抓拍图。

其中，所述监控图像可以是架设在小区各个位置的监控设备所采集的监控图像。并且，所述监控图像可以是实时采集的视频流或抓拍图。示例性地，监控设备采集视频流，并将视频流发送至服务器，服务器接收到视频流之后，提取视频帧，并运行人脸检测算法以对多个视频帧进行人脸检测。服务器可以采用现有的或将来出现的各种人脸检测算法(例如基于神经网络的人脸检测算法)检测视频中的人脸图像。在其他实施例中，也可以在监控设备端进行人脸检测，并将提取到的人脸图像发送到服务器。

接着，将所述人脸图像与黑名单和/或白名单中的人脸图像进行比对，若比对失败，则认定所述人脸图像为所述路人人脸图像。

在一例中，所述白名单主要包括小区住户和物业人员的人员档案，其获得来源主要为人工采集。白名单中每个人人员档案均包括相应人员的人脸图像。所述黑名单主要包括禁止进入小区的人员档案，如常在附近徘徊的乞讨人员等，其中每个人员档案均包括相应人员的人脸图像。在一个实施例中，若所述人脸图像与黑名单中的人脸图像比对成功，则可以进行报警处理。

若所述人脸图像在所述黑名单和白名单中均没有比对成功，则确定该人脸图像为路人人脸图像，并继续针对该路人人脸图像执行步骤S230。示例性地，所述路人人脸图像为未被明确禁止进入小区的路人的人脸图像。后续可以对所述路人继续观察，若其出现频率过高、次数过多，则可以对所述路人进行盘问，以将其放入黑名单或白名单等。

在步骤S230，将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应。

示例性地，当所述陌生人档案中仅有一张陌生人人脸图像时，所述档案特征为从该陌生人人脸图像中提取的特征。当每个陌生人档案中有多张陌生人人脸图像时，作为一例，所述档案特征可以是其中代表图的特征，所述代表图可以为多张陌生人人脸图像中质量最好的图像或拍摄时间最近的图像等。作为另一例，所述档案特征也可以是多张陌生人人脸图像的融合特征。

在一个实施例中，可以采用预先训练好的人脸识别模型进行所述比对。具体地，可以通过特征提取网络提取路人人脸图像的路人人脸特征，并计算路人人脸特征与陌生人底库中多个陌生人档案的档案特征之间的相似度，根据该相似度确定是否属于同一人。其中，该特征提取网络可以是目前已有的用于进行特征提取的卷积神经网络，这里不再赘述。

在步骤S240，在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合。

其中，所述阈值可以在实际应用中根据实际情况进行设定，本发明对此不限定。

在一个实施例中，若相似度高于阈值，即可以认为在陌生人底库中查找到了与路人人脸图像属于同一个人的陌生人人脸图像，说明该路人并不是首次来到该区域，则选择相似度高于阈值的一个或多个陌生人档案中，相似度最高的陌生人档案与该路人人脸图像建立关联，并将与同一个陌生人档案关联的路人人脸图像作为一个与该陌生人档案对应的集合。

若路人人脸图像与多个陌生人档案之间相似度高于阈值，则说明所述多个陌生人档案可能属于同一人，经过后续验证步骤可能将所述多个陌生人档案合并为同一陌生人档案。

作为示例，所述集合可以是虚拟集合，例如所述集合可以是一个标签。

在本发明实施例中，当路人人脸图像与陌生人档案比对成功时，并未直接将路人人脸图像放入其比对成功的陌生人档案，而是放入与该陌生人档案对应的集合中，后续再用集合对陌生人档案进行维护，把比中同一集合的多个陌生人档案合并，或是把集合中的照片放入陌生人档案。其原因在于：第一，若陌生人档案中的图像数量太多会导致比对速度变慢，第二，若将路人人脸图像不加筛选地放入陌生人档案，将导致陌生人档案质量变差，比对准确率下降。

在一个实施例中，所述集合中包括多张路人人脸图像。通过多张路人人脸图像进行投票可以提高档案合并的准确率，具体参见下文。

基于此，针对同一个陌生人来说，在陌生人底库中只存储了其一张或少数几张人脸图像，但在集合中可以具有其多张人脸图像。在集合中的人脸图像可以用于后续的陌生人档案维护，例如陌生人底库的逻辑档案合并、陌生人档案中的陌生人人脸图像的增加、删除，从而可以避免在陌生人底库中存储过多的人脸图像或质量较低的人脸图像而影响系统性能或降低人脸识别准确率。

为了提高路人人脸图像的集合的质量，在一个实施例中，可以将与同一个所述陌生人档案关联的路人人脸图像中质量最好的若干张路人人脸图像作为一个所述集合。在另一个实施例中，也可以将与同一个所述陌生人档案关联的所述路人人脸图像中质量满足预定要求的路人人脸图像作为一个所述集合。

在一个实施例中，若在陌生人底库中没有查找到与路人人脸图像的路人人脸特征的相似度高于阈值的档案特征，说明该路人是首次来到该区域，则可以判断路人人脸图像是否满足陌生人底库入库标准，若满足标准，则将所述路人人脸图像添加到陌生人底库中作为一个新的陌生人档案，并为其分配一个逻辑档案编号，以便后续对该路人的出现情况进行统计。

其中，所述陌生人底库入库标准为预先设置好的标准，其规定了对路人人脸图像的质量要求。若所述路人人脸图像的质量符合所述陌生人底库的入库标准，则将所述路人的人脸图像添加到所述陌生人底库中，否则不将其添加到所述陌生人底库中。由此，可以提高陌生人底库中人脸图像的质量，从而降低误识别率。

具体地，本发明实施例中的质量要求可以包括对以下中的至少一项的要求：人脸的角度、人脸的遮挡程度、人脸的大小、人脸的模糊程度、人脸的表情、人脸的亮度、以及人脸位置等。这些要求可以单独或结合使用。在一个实施例中，可以通过对卷积神经网络进行预先训练以得到人脸质量判断模型，用于判断路人人脸图像的质量是否满足要求。

在一个实施例中，方法200还包括：依据所述集合中路人人脸图像的拍摄时间，根据频次判定规则计算所述集合关联的陌生人档案对应的陌生人出现的频次，并在所述频次达到阈值时报警。其中，所述频次判定规则包括：若在预定时段内多次采集到同一陌生人的路人人脸图像，则认为该陌生人在所述预定时段内出现了一次。也就是说，若同一个陌生人在同一个摄像头下在m分钟内被拍到多次，则只记为出现1次，从而避免由于track中断导致同一个人出现1次而被识别为多次的情况。

在步骤S250，根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中所述陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

在获得陌生人档案的初始聚类步骤中，可能由于照片的表情、角度不同(例如正脸、侧脸、微笑、大笑)出现档案“分裂”的情况，即同一人的图像被分到了两个不同的档案中。当所述集合比中两个以上陌生人档案时，说明所述集合除了比中与其关联的陌生人档案外，还比中了另外一个以上不与其关联的陌生人档案，而这两个以上的陌生人档案中的陌生人人脸图像数据可能属于同一个人，只是因为档案“分裂”而被分到了不同的陌生人档案中。在本步骤中，以集合中的路人人脸图像为桥梁，将比中同一集合的多个陌生人档案进行合并，从而实现对陌生人档案进行整理维护，以提高后续陌生人出现次数统计的准确性。

毫无疑问的是，一个集合一定能够比中与该集合关联的陌生人档案(因为与该陌生人档案相似度高于阈值的路人人脸图像才会被放在该陌生人档案关联的集合中)。但是，还需要判断该集合是否能够比中不与其关联的陌生人档案。在一个实施例中，所述集合中有多张路人人脸图像，则可以利用多张路人人脸图像进行投票来判断该集合是否比中不与该集合关联的陌生人档案，以避免陌生人档案的误合并，提高档案合并的准确率，具体的判断规则如下：

例如，陌生人底库中包含两个陌生人档案A和B，在陌生人档案A中包括一陌生人的三张正脸图像，陌生人档案B中包括该陌生人的三张侧脸图像。虽然陌生人档案A和B中实际包含的为同一个人的人脸图像，但在初始聚类的过程中，由于角度不同而分裂成两个陌生人档案。

在步骤S240，路人人脸图像1、2、3与陌生人档案A的相似度分别为90％、99％和83％，相似度阈值设为80％，因此将路人人脸图像1、2、3作为与陌生人档案A关联的集合M，其中路人人脸图像1角度较正，路人人脸图像2角度非常正，路人人脸图像3角度较侧。利用集合M进行比对时，路人人脸图像1、2、3与陌生人档案B的相似度分别为81％、70％和82％。

在一个实施例中，所述判断规则为：若所述集合中不低于预定比例的路人人脸图像与除与之关联的陌生人档案以外的其他陌生人档案之间的相似度高于阈值，则判断所述集合比中了所述其他陌生人档案。在上例中，集合M的三张路人人脸图像中有两张与陌生人档案B的相似度超过了阈值80％，比例为2/3；若所述预定比例为60％，则可以确定与陌生人档案A关联的集合M同时比中了陌生人档案B，此时可以将陌生人档案A和B合并。

在另一个实施例中，所述判断规则为：若所述集合中多张路人人脸图像与一陌生人档案的档案特征之间的相似度的平均值高于阈值，则确定所述集合比中该陌生人档案。在上例中，三张路人人脸图像1、2、3与陌生人档案B之间的相似度的平均值为77.7，若阈值为80％，则判断集合M没有比中陌生人档案B，此时集合M只比中了与其关联的档案A，不进行陌生人档案合并。

在另一个实施例中，根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并，包括：

根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中一个以上与所述集合无关联关系的陌生人档案时，根据第二集合中的路人人脸图像的路人人脸特征与所述集合关联的陌生人档案的档案特征之间的相似度判断所述第二集合是否比中与所述集合关联的陌生人档案，如果比中，则将所述第二集合关联的陌生人档案与所述集合关联的陌生人档案合并；其中，所述第二集合为所述集合比中的与所述集合无关联关系的陌生人档案所对应的集合。

判断所述第二集合是否比中与所述集合关联的陌生人档案的方式如前所述。

继续参照上例，若集合M比中了陌生人档案B，则判断与陌生人档案B关联的集合N是否能够比中陌生人档案A，若集合N比中了陌生人档案A，则将陌生人档案A和B合并，若集合N没有比中陌生人档案A，则即使集合M比中了陌生人档案B，也不将陌生人档案A和B合并。例如，集合N中包含三张路人人脸图像4、5、6，路人人脸图像4角度较侧，路人人脸图像5角度非常侧，路人人脸图像6角度较正，三张路人人脸图像4、5、6与陌生人档案N的相似度分别为90％、98％、82％。在利用集合N进行比对时，三张路人人脸图像4、5、6与陌生人档案A的相似度分别为79％、70％、81％。也就是说，集合N的三张路人人脸图像中只有一张与陌生人档案A的相似度超过了阈值80％，低于预定比例为60％，则可以确定与陌生人档案B关联的集合N没有比中陌生人档案A，因此不将陌生人档案A和B合并。

本实施例进行了所要合并的多个陌生人档案之间的交叉验证，进一步提高了档案合并的准确性。示例性地，所述集合中路人人脸图像的路人人脸特征陌生人档案的档案相似度可以是之前在步骤S230中进行比对时所记录的，也可以是重新利用所述集合中的路人人脸图像与陌生人档案进行比对所获得的。这里的陌生人档案，可以是陌生人底库中的所有陌生人档案，也可以是除与所述集合关联的陌生人档案之外的其他陌生人档案。

在确定了需要合并的两个或更多个陌生人档案之后，可以通过将所述两个或更多个陌生人档案的逻辑档案编号设置为同一个来进行档案的合并，之后这些陌生人档案在逻辑上被认为是同一个档案。

在一个实施例中，步骤S250在闲时进行。例如，当不需要执行步骤S210至步骤S240时，则执行步骤S250，以开启档案合并功能进行陌生人档案的整理维护。

本发明实施例将与陌生人档案关联的路人人脸图像作为一个集合，后续利用集合对陌生人档案进行维护，在提高陌生人档案质量的同时，还能够避免陌生人档案中的图像数量过多而降低比对速度。

在一个实施例中，对于每个陌生人档案，选取所述集合中与之关联的路人人脸图像，将其中满足特定质量要求的若干张路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行比对。作为一例，所述满足特定质量要求可以包括质量得分大于预定阈值。作为另一例，所述满足特定质量要求可以包括：质量排序在前若干名。例如，可以在与同一个陌生人档案关联的路人人脸图像中选取质量最好的10张路人人脸图像来提取路人人脸特征以进行所述比对，若集合中与同一陌生人档案相关联的路人人脸图像的数目不足10张，则取全部的路人人脸图像进行所述比对。

在一个实施例中，闲时还可以进行陌生人档案的内部清洗，以进一步减小陌生人底库的体积，提高陌生人底库的质量。

作为示例，对于每个具有相关联的路人人脸图像的陌生人档案，还可以将满足预定条件的所述集合中与之关联的路人人脸图像加入所述具有相关联的路人人脸图像的陌生人档案，以作为新的陌生人人脸图像。示例性地，所述满足预定条件例如为：所述路人人脸图像的质量优于与之关联的陌生人档案中陌生人人脸图像的质量。

之后，可以删除部分不满足预定要求的陌生人人脸图像。例如，可以保留针对人脸不同角度采集的所述陌生人人脸图像，剔除除此之外的陌生人人脸图像；或者，保留质量最好的若干张所述陌生人人脸图像，剔除除此之外的陌生人人脸图像。

在一个实施例中，还可以在所述陌生人档案中的多张陌生人人脸图像之间进行相互比对，剔除与其他陌生人人脸图像的相似度不满足特定要求的陌生人人脸图像。

基于上面的描述，本发明实施例提供的陌生人监控方法可以利用路人人脸图像的集合对陌生人底库中的陌生人档案进行整理，提高陌生人档案的质量，保证人脸识别的准确度。

以上示例性地描述了根据本发明实施例的陌生人监控方法。示例性地，根据本发明实施例的陌生人监控方法可以在具有存储器和处理器的设备、装置或者系统中实现。

此外，根据本发明实施例的陌生人监控方法可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地，根据本发明实施例的陌生人监控方法还可以部署在服务器端(或云端)。替代地，根据本发明实施例的陌生人监控方法还可以分布地部署在服务器端(或云端)和个人终端处。

下面结合图3描述本发明另一方面提供的陌生人监控装置。图3示出了根据本发明实施例的陌生人监控装置300的示意性框图。

如图3所示，根据本发明实施例的陌生人监控装置300包括底库获取模块310、图像获取模块320、比对模块330、关联模块340和合并模块350。所述底库获取模块310、图像获取模块320、比对模块330、关联模块340和合并模块350可分别执行上文中结合图2描述的陌生人监控方法的各个步骤/功能。以下仅对陌生人监控装置300的各模块的主要功能进行描述，而省略以上已经描述过的细节内容。

其中，底库获取模块310用于获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据。

图像获取模块320用于获取路人人脸图像。

在一个实施例中，所述获取路人人脸图像包括：获取监控图像，并对所述监控图像进行人脸检测以得到人脸图像；将所述人脸图像与黑名单和/或白名单中的人脸图像进行比对，若比对失败，则确定所述人脸图像为所述路人人脸图像。

比对模块330用于将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应。

在一个实施例中，若所述一对多的比对失败，则判断所述路人人脸图像的质量是否符合所述陌生人底库的入库标准；若所述路人人脸图像的质量符合所述陌生人底库的入库标准，则将所述路人人脸图像添加到所述陌生人底库中作为一个新的陌生人档案。

关联模块340用于在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合。

在一个实施例中，所述集合中包括多张所述路人人脸图像。

在一个实施例中，所述将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合包括：将与同一个所述陌生人档案关联的所述路人人脸图像中质量最好的若干张路人人脸图像作为一个所述集合；或者将与同一个所述陌生人档案关联的所述路人人脸图像中质量满足预定要求的路人人脸图像作为一个所述集合。

合并模块350用于根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

在一个实施例中，可以利用所述一对多的比对所获得的相似度判断所述集合是否比中陌生人档案。在另一个实施例中，可以利用所述集合中的路人人脸图像的路人人脸特征重新与陌生人档案的档案特征进行比对，以判断所述集合是否比中陌生人档案。

在一个实施例中，所述利用所述集合中的路人人脸图像的路人人脸特征重新与陌生人档案的档案特征进行比对包括：选取所述集合中满足特定质量要求的若干张路人人脸图像；利用所述满足特定质量要求的若干张路人人脸图像的路人人脸特征与所述其他陌生人档案的档案特征进行比对。

在一个实施例中，所述根据所述集合中的路人人脸图像与所述多个陌生人档案的档案特征之间的相似度判断所述集合是否比中所述陌生人档案包括：若所述集合中不低于预定比例的路人人脸图像与一陌生人档案的档案特征之间的相似度高于阈值，或者，若所述集合中多张路人人脸图像与一陌生人档案的档案特征之间的相似度的平均值高于阈值，则确定所述集合比中该陌生人档案。

基于上面的描述，本发明实施例提供的陌生人监控装置可以利用路人人脸图像的集合对陌生人底库中的陌生人档案进行整理，提高陌生人档案的质量，保证人脸识别的准确度。

图4示出了根据本发明实施例的陌生人监控系统400的示意性框图。监控系统400包括存储装置410以及处理器420。

其中，存储装置410存储用于实现根据本发明实施例的陌生人监控方法中的相应步骤的程序代码。处理器420用于运行存储装置410中存储的程序代码，以执行根据本发明实施例的陌生人监控方法的相应步骤，并且用于实现根据本发明实施例的监控装置中的相应模块。

在一个实施例中，在所述程序代码被处理器420运行时使得监控系统400执行以下步骤：获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据；获取路人人脸图像；将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应；在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合；根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的陌生人监控方法的相应步骤，并且用于实现根据本发明实施例的监控装置中的相应模块。所述存储介质例如可以包括存储卡、硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的监控装置的各个功能模块，并且/或者可以执行根据本发明实施例的陌生人监控方法。

在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据；获取路人人脸图像；将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应；在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合；根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

本发明实施例提供的陌生人监控方法、装置、系统和存储介质可以利用路人人脸图像的集合对陌生人底库中的陌生人档案进行整理，提高陌生人档案的质量，保证人脸识别的准确度。

根据本发明实施例，还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的陌生人监控方法的相应步骤，并且用于实现根据本发明实施例的监控装置中的相应模块。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种陌生人监控方法，其特征在于，所述方法包括：

获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据；

获取路人人脸图像；

将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应；

在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合；

根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述一对多的比对失败，则判断所述路人人脸图像的质量是否符合所述陌生人底库的入库标准；

若所述路人人脸图像的质量符合所述陌生人底库的入库标准，则将所述路人人脸图像添加到所述陌生人底库中作为一个新的陌生人档案。

3.根据权利要求1所述的方法，其特征在于，所述根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案包括：

利用所述一对多的比对所获得的相似度判断所述集合是否比中陌生人档案，和/或，利用所述集合中的路人人脸图像的路人人脸特征重新与陌生人档案的档案特征进行比对，以判断所述集合是否比中陌生人档案。

4.根据权利要求3所述的方法，其特征在于，所述利用所述集合中的路人人脸图像的路人人脸特征重新与陌生人档案的档案特征进行比对包括：

选取所述集合中满足特定质量要求的若干张路人人脸图像；

利用所述满足特定质量要求的若干张路人人脸图像的路人人脸特征与所述陌生人档案的档案特征进行比对。

5.根据权利要求1所述的方法，其特征在于，所述将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合包括：

将与同一个所述陌生人档案关联的所述路人人脸图像中质量最好的若干张路人人脸图像作为一个所述集合；或者

将与同一个所述陌生人档案关联的所述路人人脸图像中质量满足预定要求的路人人脸图像作为一个所述集合。

6.根据权利要求1所述的方法，其特征在于，所述集合中包括多张所述路人人脸图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述集合中的路人人脸图像与所述多个陌生人档案的档案特征之间的相似度判断所述集合是否比中所述陌生人档案包括：

若所述集合中不低于预定比例的路人人脸图像与一陌生人档案的档案特征之间的相似度高于阈值，和/或，若所述集合中多张路人人脸图像与一陌生人档案的档案特征之间的相似度的平均值高于阈值，则确定所述集合比中该陌生人档案。

8.根据权利要求1所述的方法，其特征在于，所述根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并，包括：

根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中一个以上与所述集合无关联关系的陌生人档案时，根据第二集合中的路人人脸图像的路人人脸特征与所述集合关联的陌生人档案的档案特征之间的相似度判断所述第二集合是否比中与所述集合关联的陌生人档案，如果比中，则将所述第二集合关联的陌生人档案与所述集合关联的陌生人档案合并；其中，所述第二集合为所述集合比中的与所述集合无关联关系的陌生人档案所对应的集合。

9.根据权利要求1所述的方法，其特征在于，所述获取路人人脸图像包括：

获取监控图像，并对所述监控图像进行人脸检测以得到人脸图像；

将所述人脸图像与黑名单和/或白名单中的人脸图像进行比对，若比对失败，则确定所述人脸图像为所述路人人脸图像。

10.根据权利要求1所述的方法，其特征在于，还包括：

对于每个具有相关联的路人人脸图像的陌生人档案，将满足预定条件的所述与之关联的路人人脸图像加入所述陌生人档案，以作为新的陌生人人脸图像。

11.根据权利要求10所述的方法，其特征在于，还包括：保留针对人脸不同角度采集的所述陌生人人脸图像，剔除除此之外的陌生人人脸图像。

12.根据权利要求10所述的方法，其特征在于，还包括：保留质量最好的若干张所述陌生人人脸图像，剔除除此之外的陌生人人脸图像。

13.根据权利要求10所述的方法，其特征在于，还包括：在所述陌生人档案中的多张陌生人人脸图像之间进行相互比对，剔除与其他陌生人人脸图像的相似度不满足特定要求的陌生人人脸图像。

14.一种陌生人监控装置，其特征在于，所述装置包括：

底库获取模块，用于获取陌生人底库，所述陌生人底库有多个陌生人档案，一个陌生人档案用于存放同一陌生人的陌生人人脸图像数据；

图像获取模块，用于获取路人人脸图像；

比对模块，用于将所述路人人脸图像提取出的路人人脸特征与多个陌生人档案的档案特征进行一对多的比对，所述陌生人档案的档案特征与所述陌生人档案一一对应；

关联模块，用于在所述路人人脸图像和与其路人人脸特征相似度最高且高于阈值的档案特征所对应的陌生人档案之间建立关联，并将与同一个所述陌生人档案关联的所述路人人脸图像作为一个与该陌生人档案对应的集合；以及

合并模块，用于根据所述集合中的路人人脸图像的路人人脸特征与陌生人档案的档案特征之间的相似度判断所述集合是否比中陌生人档案，当所述集合比中两个以上陌生人档案时，将所述两个以上陌生人档案合并。

15.一种陌生人监控系统，其特征在于，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-13中的任一项所述的陌生人监控方法。

16.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-13中的任一项所述的陌生人监控方法。

Images