CN109710780A - 一种归档方法及装置 - Google Patents

Abstract

本发明提供一种归档方法及装置，涉及监控技术领域，方法包括：获取预设时段内的多张人脸图像；对多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息；其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；预归档索引信息用于表征预归档档案的人脸图像的聚类特征；针对至少一个预归档档案，若确定预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将预归档档案中的人脸图像归入第一人脸档案；第一人脸档案的索引信息是根据第一人脸档案中的人脸图像的聚类特征确定的。在离线归档时，减少了离线归档时的计算量，利于快速归档。

Description

一种归档方法及装置

技术领域

本发明涉及监控技术领域，尤其涉及一种归档方法及装置。

背景技术

随着信息化技术的快速发展，监控技术已经在各个行业、各种场所得到了广泛应用，为人们的日常工作和生活提供了许多便利。但同时单一的监控应用模式也存在许多问题，监控网络的图像内容分析还需要依靠人工实时观看、手动调阅。

随着监控网络规模的扩大，视频数据海量增长，图像监看和调阅占用的人力很大，从海量的监控视频中获取有用的信息或者情报越来越困难。

另外，当前对监控视频的应用大多只是对监控场景的再现和回放，难以满足现代治安防控应用的需求。

发明内容

本发明提供一种归档方法及装置，用于提高监控设备获取的人脸图像的归档信息的准确度，有助于从海量的监控视频中获取有用的信息或者情报，以适应现代安防的需要。

本发明实施例提供一种归档方法，包括：获取预设时段内的多张人脸图像，其中，每张人脸图像均经过在线归档，所述在线归档是对监控设备实时获取的人脸图像进行归档；

对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息；其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；所述预归档索引信息用于表征所述预归档档案的人脸图像的聚类特征；

针对至少一个预归档档案，若确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将所述预归档档案中的人脸图像归入所述第一人脸档案；所述第一人脸档案为人脸图像库中已归档的任一人脸档案；所述第一人脸档案的索引信息是根据所述第一人脸档案中的人脸图像的聚类特征确定的。

本发明实施例中，通过在离线归档时根据待归档档案的索引信息以及人脸档案的索引的比对，确定待归档档案是否输入人脸档案，减少了离线归档时的计算量，利于快速归档，与现有技术相比，可以将监控设备获取的人脸图像进行正确归档，有助于从海量的监控视频中获取有用的信息或者情报，以适应现代安防的需要。

进一步地，所述对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息，包括：

针对任一个预归档档案中的任一人脸图像，确定所述人脸图像中的目标区域图像，并从确定出的目标区域图像中提取视觉特征；

根据从不同人脸图像中提取的视觉特征，确定所述预归档档案的索引信息。

进一步地，所述目标区域图像中提取的视觉特征包括：颜色特征、形状特征、纹理特征、尺度不变特征转换特征。

进一步地，所述确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，包括：

确定所述预归档索引信息与所述人脸档案库中的第一人脸档案的索引信息的重合率大于等于第二阈值。

进一步地，所述方法还包括：

若确定所述预归档档案的索引信息与所述人脸档案库中各人脸档案的索引信息都不匹配，则为所述预归档档案建立第二人脸档案，并将所述预归档档案的类中心作为所述第二人脸档案的类中心。

本发明实施例还提供一种归档方法装置，包括：

获取单元，用于获取预设时段内的多张人脸图像，其中，每张人脸图像均经过在线归档，所述在线归档是对监控设备实时获取的人脸图像进行归档；

离线归档单元，用于对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息；其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；所述预归档索引信息用于表征所述预归档档案的人脸图像的聚类特征；针对至少一个预归档档案，若确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将所述预归档档案中的人脸图像归入所述第一人脸档案；所述第一人脸档案为人脸图像库中已归档的任一人脸档案；所述第一人脸档案的索引信息是根据所述第一人脸档案中的人脸图像的聚类特征确定的。

本发明实施例中，通过在离线归档时根据待归档档案的索引信息以及人脸档案的索引的比对，确定待归档档案是否输入人脸档案，减少了离线归档时的计算量，利于快速归档，与现有技术相比，可以将监控设备获取的人脸图像进行正确归档，有助于从海量的监控视频中获取有用的信息或者情报，以适应现代安防的需要。

进一步地，所述离线归档单元具体用于：

针对任一个预归档档案中的任一人脸图像，确定所述人脸图像中的目标区域图像，并从确定出的目标区域图像中提取视觉特征；

根据从不同人脸图像中提取的视觉特征，确定所述预归档档案的索引信息。

进一步地，所述目标区域图像中提取的视觉特征包括：颜色特征、形状特征、纹理特征、尺度不变特征转换特征。

进一步地，所述离线归档单元具体用于：

确定所述预归档索引信息与所述人脸档案库中的第一人脸档案的索引信息的重合率大于等于第二阈值。

进一步地，所述离线归档单元还用于：

若确定所述预归档档案的索引信息与所述人脸档案库中各人脸档案的索引信息都不匹配，则为所述预归档档案建立第二人脸档案，并将所述预归档档案的类中心作为所述第二人脸档案的类中心。

本发明实施例还提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中任一所述的归档方法。

本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施例中任一所述的归档方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中监控系统架构示意图；

图2为本发明实施例提供的一种归档方法的流程示意图；

图3为本发明实施例提供的一种归档装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请实施例中的归档方法可以应用于安防，以监控设备采集的人脸图像为基础，建立人脸图像库，人脸图像库中包括多个人脸档案，一个档案对应一个人，其中人脸档案的归档方法可以根据归档方法划分为在线归档和离线归档。在线归档为用于对监控设备实时采集的人脸图像进行归档的方法，离线归档为定期对设定时间段内采集的人脸图像进行归档的方法。为描述方便，本发明实施例中的人脸档案在线归档过程中称为在线档案，本发明实施例中的人脸档案在离线归档过程中称为离线档案。

在发生警情时，警务人员可以以嫌疑人的图像搜索人脸图像库中的人脸档案，从中获取嫌疑人对应的人脸档案，之后根据嫌疑人对应的人脸档案中的人脸图像分析嫌疑人的活动轨迹、频繁活动的地区、最新出现的位置等情报，从而便于警务人员抓捕嫌疑人。

如图1示例性示出了本申请实施例适用的系统架构，在该系统架构中包括监控设备101-111、服务器112。监控设备101-111实时采集视频流，然后将采集的视频流发送至服务器112，服务器112，服务器112从视频流中获取待归档的人脸图像，然后将待归档的人脸图像归入对应的人脸档案。监控设备101-111通过无线网络与服务器112连接，监控设备是具备采集图像功能的电子设备，比如摄像头、摄像机、录像机等。服务器112是一台服务器或若干台服务器组成的服务器集群或云计算中心。

基于本发明提供一种归档方法，如图2所述，包括：

步骤201，获取预设时段内的多张人脸图像，其中，每张人脸图像均经过在线归档，所述在线归档是对监控设备实时获取的人脸图像进行归档；

步骤202，对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息；其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；所述预归档索引信息用于表征所述预归档档案的人脸图像的聚类特征；

步骤203，针对至少一个预归档档案，若确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将所述预归档档案中的人脸图像归入所述第一人脸档案；所述第一人脸档案为人脸图像库中已归档的任一人脸档案；所述第一人脸档案的索引信息是根据所述第一人脸档案中的人脸图像的聚类特征确定的。

在步骤201中，获取的预设时段内的多张人脸图像是经过在线归档的，即在监控设备实时获取到人脸图像后，针对每个人脸图像进行在线归档，具体的，在本发明实施例中，获取监控设备拍摄的人脸图像；确定人脸图像与所述各人脸档案的类中心的相似度；若与第一人脸档案的相似度大于或等于预设阈值，则将人脸图像归入所述第一人脸档案对应的在线档案；第一人脸档案为各人脸档案中的任一个。

也就是说，在监控设备获取了一帧新的人脸图像后，根据新的人脸图像与在线归档时的各人脸档案的类中心的相似度，确定该人脸图像属于哪个人脸档案。

可选的，在线归档时，若监控设备拍摄的人脸图像与每个人脸档案的类中心都小于预设阈值，则新建一个人脸档案，并将该人脸图像作为新建的人脸档案的类中心。

在步骤202中，在本发明实施例中，将获取的多张人脸图像进行聚类，生成了预归档的档案；在本发明实施例中，可以通过多张人脸图像之间的相似度来进行聚类，将相似度大于等于第一阈值的人脸图像认为是一个类别，也就是说，任一个预归档档案中，任一张人脸图像与其他预归档档案中的任一张人脸图像之间的相似度都小于第一阈值。

在步骤202中，在生成预归档档案时，根据预归档档案中的人脸图像的聚类特征确定了预归档索引信息。

可选的，在本发明实施例中，对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息，包括：

针对任一个预归档档案中的任一人脸图像，确定所述人脸图像中的目标区域图像，并从确定出的目标区域图像中提取视觉特征；

根据从不同人脸图像中提取的视觉特征，确定所述预归档档案的索引信息。

由于生成的预归档索引信息是基于在预归档档案中的人脸图像中提取的视觉特征，进而确定人脸图像的聚类特征而生成的，因此减小了人工生成图像索引时所带来的操作人员对人脸图像的主观感受的影响，提高了生成的预归档索引信息的准确性。

可选的，在本发明实施例中，目标区域图像中提取的视觉特征包括：颜色特征、形状特征、纹理特征、尺度不变特征转换特征SIFT。

可选的，在本发明实施例中，首先确定预归档档案中的人脸图像中的目标区域图像，并从确定出的目标区域图像中提取视觉特征；提取的视觉特征包括颜色特征、形状特征、纹理特征、SIFT特征，基于提取到的视觉特征，执行聚类操作，并为聚类后的图像分配类别标识，根据每个分配类别标识建立该预归档档案的的索引信息。

在步骤203中，在离线归档时，若预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将预归档档案中的人脸图像归入第一人脸档案中，第一人脸档案为人脸图像库中已归档的任一人脸档案。也就是说，当预归档索引信息与第一人脸档案的索引信息匹配，则认为预归档档案中的人脸图像与第一人脸档案中的人脸图像具有相同的聚类特征。

可选的，在本发明实施例中，确定预归档索引信息与人脸档案库中的第一人脸档案的索引信息的重合率大于等于第二阈值，则认为预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配。

可选的，在本发明实施例中，当确定预归档档案的索引信息与人脸档案库中各人脸档案的索引信息都不匹配，则建立一个新的人脸档案，将预归档档案的人脸图像归入该人脸档案中并将预归档档案的类中心作为该人脸档案的类中心。

可选的，在本发明实施例中，在将预归档档案归入第一人脸档案中后，还需要更新第一人脸档案的类中心。

一种可能的实现方式，更新人脸档案的类中心具体为：

若预归档档案中存在的图像质量最好的人脸图像的图像质量大于归入档案的档案类中心的图像质量，则将所述归入档案的类中心更新为该人脸图像。

基于同样的构思，本发明实施例还提供一种归档装置，如图3所示，包括：

获取单元301，用于获取预设时段内的多张人脸图像，其中，每张人脸图像均经过在线归档，所述在线归档是对监控设备实时获取的人脸图像进行归档；

离线归档单元302，用于对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息；其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；所述预归档索引信息用于表征所述预归档档案的人脸图像的聚类特征；针对至少一个预归档档案，若确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将所述预归档档案中的人脸图像归入所述第一人脸档案；所述第一人脸档案为人脸图像库中已归档的任一人脸档案；所述第一人脸档案的索引信息是根据所述第一人脸档案中的人脸图像的聚类特征确定的。

进一步地，所述离线归档单元302具体用于：

针对任一个预归档档案中的任一人脸图像，确定所述人脸图像中的目标区域图像，并从确定出的目标区域图像中提取视觉特征；

根据从不同人脸图像中提取的视觉特征，确定所述预归档档案的索引信息。

进一步地所述目标区域图像中提取的视觉特征包括：颜色特征、形状特征、纹理特征、尺度不变特征转换特征。

进一步地，所述离线归档单元302具体用于：

确定所述预归档索引信息与所述人脸档案库中的第一人脸档案的索引信息的重合率大于等于第二阈值。

进一步地，所述离线归档单元302还用于：

若确定所述预归档档案的索引信息与所述人脸档案库中各人脸档案的索引信息都不匹配，则为所述预归档档案建立第二人脸档案，并将所述预归档档案的类中心作为所述第二人脸档案的类中心。

基于相同的技术构思，本申请实施例提供了一种电子设备，如图4所示，包括至少一个处理器401，以及与至少一个处理器连接的存储器402，本申请实施例中不限定处理器401与存储器402之间的具体连接介质，图4中处理器401和存储器402之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本申请实施例中，存储器402存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，可以执行前述归档方法中所包括的步骤。

其中，处理器401是电子设备的控制中心，可以利用各种接口和线路连接电子设备的各个部分，通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据，从而实现归档。可选的，处理器401可包括一个或多个处理单元，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1801中。在一些实施例中，处理器401和存储器402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本申请实施例提供了一种计算机可读介质，其存储有可由电子设备执行的计算机程序，当所述程序在电子设备上运行时，使得所述电子设备执行归档方法的步骤。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种归档方法，其特征在于，包括：

获取预设时段内的多张人脸图像，其中，每张人脸图像均经过在线归档，所述在线归档是对监控设备实时获取的人脸图像进行归档；

对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息；其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；所述预归档索引信息用于表征所述预归档档案的人脸图像的聚类特征；

针对至少一个预归档档案，若确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将所述预归档档案中的人脸图像归入所述第一人脸档案；所述第一人脸档案为人脸图像库中已归档的任一人脸档案；所述第一人脸档案的索引信息是根据所述第一人脸档案中的人脸图像的聚类特征确定的。

2.根据权利要求1所述的方法，其特征在于，所述对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息，包括：

针对任一个预归档档案中的任一人脸图像，确定所述人脸图像中的目标区域图像，并从确定出的目标区域图像中提取视觉特征；

根据从不同人脸图像中提取的视觉特征，确定所述预归档档案的索引信息。

3.根据权利要求2所述的方法，其特征在于，所述目标区域图像中提取的视觉特征包括：颜色特征、形状特征、纹理特征、尺度不变特征转换特征。

4.根据权利要求1所述的方法，其特征在于，所述确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，包括：

确定所述预归档索引信息与所述人脸档案库中的第一人脸档案的索引信息的重合率大于等于第二阈值。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若确定所述预归档档案的索引信息与所述人脸档案库中各人脸档案的索引信息都不匹配，则为所述预归档档案建立第二人脸档案，并将所述预归档档案的类中心作为所述第二人脸档案的类中心。

6.一种归档装置，其特征在于，包括：

获取单元，用于获取预设时段内的多张人脸图像，其中，每张人脸图像均经过在线归档，所述在线归档是对监控设备实时获取的人脸图像进行归档；

离线归档单元，用于对所述多张人脸图像进行聚类，生成预归档档案以及每个预归档档案对应的预归档索引信息；其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；所述预归档索引信息用于表征所述预归档档案的人脸图像的聚类特征；针对至少一个预归档档案，若确定所述预归档索引信息与人脸档案库中的第一人脸档案的索引信息匹配，则将所述预归档档案中的人脸图像归入所述第一人脸档案；所述第一人脸档案为人脸图像库中已归档的任一人脸档案；所述第一人脸档案的索引信息是根据所述第一人脸档案中的人脸图像的聚类特征确定的。

7.根据权利要求6所述的装置，其特征在于，所述离线归档单元具体用于：

针对任一个预归档档案中的任一人脸图像，确定所述人脸图像中的目标区域图像，并从确定出的目标区域图像中提取视觉特征；

根据从不同人脸图像中提取的视觉特征，确定所述预归档档案的索引信息。

8.根据权利要求7所述的装置，其特征在于，所述目标区域图像中提取的视觉特征包括：颜色特征、形状特征、纹理特征、尺度不变特征转换特征。

9.根据权利要求6所述的装置，其特征在于，所述离线归档单元具体用于：

确定所述预归档索引信息与所述人脸档案库中的第一人脸档案的索引信息的重合率大于等于第二阈值。

10.根据权利要求6所述的装置，其特征在于，所述离线归档单元还用于：

若确定所述预归档档案的索引信息与所述人脸档案库中各人脸档案的索引信息都不匹配，则为所述预归档档案建立第二人脸档案，并将所述预归档档案的类中心作为所述第二人脸档案的类中心。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5任一所述的方法。

12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1～5任一所述的方法。