CN110929095A - 视频摘要回放方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种视频摘要回放方法、装置、电子设备及可读存储介质，该方法包括：获取并存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息；当接收到人脸检索请求时，根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片；根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对所述视频摘要进行回放。该方法可以提高人脸检索效率和准确性，并保证人脸视频跟踪的连贯性。

Description

视频摘要回放方法、装置、电子设备及可读存储介质

技术领域

本申请涉及视频监控技术，尤其涉及一种视频摘要回放方法、装置、电子设备及可读存储介质。

背景技术

视频监控系统作为社会安全管理的重要技术手段，在社会治安维护领域的应用和部署越来越广。随着所部署的监控设备数量的增加和范围的扩大，所存储视频录像数据的数据量也越来越大。若想从视频录像数据中查找出特定目标在哪些时间段、哪些地点出现过，往往需要人工对大量的视频录像数据进行回放查找，耗时较长且可能会疏忽遗漏，在录像定位、整合展示方面存在效率瓶颈和不完整风险。

发明内容

有鉴于此，本申请提供一种视频摘要回放方法及其装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种视频摘要回放方法，包括：

获取并存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

当接收到人脸检索请求时，根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片；

根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对所述视频摘要进行回放。

可选地，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

接收所述视频源设备发送的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

可选地，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

接收所述视频源设备发送的人脸图片及人脸图片的采集时间；

对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

可选地，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

接收所述视频源设备发送的人脸图片信息、人脸图片的采集时间以及人脸图片的第一属性信息；

对所述人脸图片进行建模，并提取所述人脸图片的第二属性信息；

根据所述人脸图片的第一属性信息和所述人脸图片的第二属性信息确定所述人脸图片的属性信息。

可选地，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

对所述视频源设备提供的视频数据进行人脸目标检测，以得到所述视频数据中的人脸图片及人脸图片的采集时间；

对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

可选地，所述存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

存储所述人脸图片；

在人脸图片信息表中记录所述人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

可选地，所述根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片，包括：

比较所述人脸检索过滤条件以及所述人脸图片信息表中记录的人脸图片的属性信息，以得到与所述人脸检索过滤条件匹配的第一人脸图片的存储位置；

根据所述第一人脸图片的存储位置获取所述第一人脸图片。

可选地，所述人脸检索过滤条件包括待检索人脸图片和待检索人脸图片的第一属性信息；

所述比较所述人脸检索过滤条件以及所述人脸图片信息表中记录的人脸图片的属性信息，包括：

对所述待检索人脸图片进行建模，并提取所述待检索人脸图片的第二属性信息；

根据所述待检索人脸图片的第一属性信息和所述待检索人脸图片的第二属性信息，确定所述待检索人脸的属性信息；

比较所述待检索人脸图片的属性信息以及所述人脸图片信息表中记录的人脸图片的属性信息。

可选地，所述根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，包括：

根据按时间从早到晚的顺序排序所述第一人脸图片，生成视频摘要。

可选地，所述根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，包括：

对于任一第一人脸图片，确定该第一人脸图片对应的目标录像片段；其中，该目标录像片段为该第一人脸图片的采集时间之前的第n秒以及该第一人脸图片的采集时间之后的第m秒之间的录像数据；

根据各目标录像片段生成视频摘要。

可选地，所述根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，包括：

当存在采集时间相同的多张第一人脸图片时，对于该多张第一人脸图片中的任一第一人脸图片，确定该第一人脸图片对应的录像片段的起始时间点和结束时间点；其中，该起始时间点为该第一人脸图片的采集时间之前的第n秒，该结束时间点为该第一人脸图片的采集时间之后的第m秒；

搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧；

若均存在，则丢弃该多张第一人脸图片中的其余第一人脸图片，并将该第一人脸图片对应的录像片段确定为目标录像片段；

根据各目标录像片段生成视频摘要。

可选地，所述搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧之后，还包括：

若不存在该起始时间点的I帧，则将该第一人脸图片对应的录像片段的起始时间点增加1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；

若不存在该结束时间点的I帧，则将该第一人脸图片对应的录像片段的结束时间点减少1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；

确定该多张第一人脸图片中对应的录像片段的时长最长的第一人脸图片，将该第一人脸图片对应的录像片段确定为目标录像片段，并丢弃该多条第一人脸图片中的其余第一人脸图片；

根据各目标录像片段生成视频摘要。

根据本申请实施例的第二方面，提供一种视频摘要回放装置，包括：

获取单元，用于获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

存储单元，用于存储所述人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

检索单元，用于当接收到人脸检索请求时，根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片；

处理单元，用于根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对所述视频摘要进行回放。

可选地，所述获取单元，具体用于接收所述视频源设备发送的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

可选地，所述获取单元，具体用于接收所述视频源设备发送的人脸图片及人脸图片的采集时间；对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

可选地，所述获取单元，具体用于接收所述视频源设备发送的人脸图片信息、人脸图片的采集时间以及人脸图片的第一属性信息；对所述人脸图片进行建模，并提取所述人脸图片的第二属性信息；根据所述人脸图片的第一属性信息和所述人脸图片的第二属性信息确定所述人脸图片的属性信息。

可选地，所述获取单元，具体用于对所述视频源设备提供的视频数据进行人脸目标检测，以得到所述视频数据中的人脸图片及人脸图片的采集时间；对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

可选地，所述存储单元，具体用于存储所述人脸图片；在人脸图片信息表中记录所述人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

可选地，所述检索单元，具体用于比较所述人脸检索过滤条件以及所述人脸图片信息表中记录的人脸图片的属性信息，以得到与所述人脸检索过滤条件匹配的第一人脸图片的存储位置；根据所述第一人脸图片的存储位置获取所述第一人脸图片。

可选地，所述人脸检索过滤条件包括待检索人脸图片和待检索人脸图片的第一属性信息；

所述检索单元，具体用于对所述待检索人脸图片进行建模，并提取所述待检索人脸图片的第二属性信息；根据所述待检索人脸图片的第一属性信息和所述待检索人脸图片的第二属性信息，确定所述待检索人脸的属性信息；比较所述待检索人脸图片的属性信息以及所述人脸图片信息表中记录的人脸图片的属性信息。

可选地，所述处理单元，具体用于根据按时间从早到晚的顺序排序后的所述第一人脸图片，生成视频摘要。

可选地，所述处理单元，具体用于对于任一第一人脸图片，确定该第一人脸图片对应的目标录像片段；其中，该目标录像片段为该第一人脸图片的采集时间之前的第n秒以及该第一人脸图片的采集时间之后的第m秒之间的录像数据；根据各目标录像片段生成视频摘要。

可选地，所述处理单元，具体用于当存在采集时间相同的多张第一人脸图片时，对于该多张第一人脸图片中的任一第一人脸图片，确定该第一人脸图片对应的录像片段的起始时间点和结束时间点；其中，该起始时间点为该第一人脸图片的采集时间之前的第n秒，该结束时间点为该第一人脸图片的采集时间之后的第m秒；搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧；若均存在，则丢弃该多张第一人脸图片中的其余第一人脸图片，并将该第一人脸图片对应的录像片段确定为目标录像片段；根据各目标录像片段生成视频摘要。

可选地，所述处理单元，还具体用于若不存在该起始时间点的I帧，则将该第一人脸图片对应的录像片段的起始时间点增加1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；若不存在该结束时间点的I帧，则将该第一人脸图片对应的录像片段的结束时间点减少1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；确定该多张第一人脸图片中对应的录像片段的时长最长的第一人脸图片，将该第一人脸图片对应的录像片段确定为目标录像片段，并丢弃该多条第一人脸图片中的其余第一人脸图片；根据各目标录像片段生成视频摘要。

根据本申请实施例的第三方面，提供一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述视频摘要回放方法步骤。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述视频摘要回放步骤。

本申请实施例的视频摘要生成方法，通过获取并存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，当接收到人脸检索请求时，根据人脸检索请求中携带的人脸检索过滤条件，确定与人脸检索过滤条件匹配的第一人脸图片，进而根据第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对视频摘要进行回放，避免了每次人脸检索均需要从录像数据中提取匹配的人脸图片，提高了人脸检索效率和准确性，并保证了人脸视频跟踪的连贯性。

附图说明

图1是本申请一示例性实施例示出的一种视频摘要回放系统的架构示意图；

图2是本申请一示例性实施例示出的一种视频摘要回放方法的流程示意图；

图3是本申请一示例性实施例示出的一种人脸图片获取的流程示意图；

图4是本申请又一示例性实施例示出的一种人脸图片获取的流程示意图；

图5是本申请一示例性实施例示出的一种视频摘要回放装置的结构示意图；

图6是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例适用的系统架构进行简单说明。

请参见图1，为本申请实施例提供的一种视频摘要回放系统的架构示意图，如图1所示，该视频摘要生成系统可以包括视频源设备以及检索设备；其中：

视频源设备可以提供视频数据；其中，该视频数据可以包括实时视频数据或视频录像数据(本文中简称为录像数据)。

检索设备可以获取并存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息等信息。

其中，人脸图片的采集时间为前端视频采集设备获取到该人脸图片或该人脸图片在前端视频采集设备采集到的视频图像中出现的时间。

当检索设备接收到人脸检索请求时，可以根据人脸检索请求中携带的人脸检索过滤条件以及检索设备存储的人脸图片的属性信息，确定与人脸检索过滤条件匹配的人脸图片(本文中称为第一人脸图片)，进而，根据第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对该视频摘要进行回放。

需要说明的是，在本申请实施例中，视频源设备可以为前端视频采集设备(如IPC(Internet Protocol Camera，网络摄像机))或视频录像存储设备(如NVR(Network VideoRecorder，网络硬盘录像机))；检索设备可以为NVR(具有目标搜索功能)或视频监控系统中部署的用于进行人脸检索的设备。

其中，当视频源设备为NVR时，视频源设备和检索设备可以为同一设备。

此外，一个视频源设备可以为多个检索设备提供视频数据，一个检索设备也可以从多个视频源设备中获取视频数据(图中以一对一为例)。

为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图2，为本申请实施例提供的一种视频摘要回放方法的流程示意图，其中，该视频摘要回放方法可以应用于检索设备，如图2所示，该视频摘要回放方法可以包括以下步骤：

步骤S200、获取并存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

本申请实施例中，为了提高人脸检索的效率，检索设备可以获取并存储视频源设备的视频数据中的人脸图片信息。

其中，该人脸图片信息可以包括但不限于人脸图片、人脸图片的采集时间以及人脸图片的属性信息等。

需要说明的是，在本申请实施例中，人脸图片的采集时间可以携带在人脸图片中(例如，将人脸图片的采集时间显示在人脸图片中的特定位置(如左下角或右下角等))，或者，人脸图片的采集时间可以独立于人脸图片之外，其具体实现在此不做赘述。

本申请实施例中，人脸图片的属性信息可以包括但不限于以下之一或多种：

1)、面部表情(如是否微笑)；

2)、是否戴眼镜；

3)、性别；

4)、年龄段；

5)、民族(少数民族或非少数民族)。

在本申请其中一个实施例中，上述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，可以包括：

接收视频源设备发送的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

在该实施例中，当视频源设备具有人脸图片获取功能(如人脸图片抓拍功能或人脸目标检测功能)以及人脸图片分析功能时，视频源设备可以直接获取人脸图片、人脸图片的采集时间以及人脸图片的属性信息，并将人脸图片、人脸图片的采集时间以及人脸图片的属性信息发送给检索设备。

检索设备可以接收视频源设备发送的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

例如，假设视频源设备为具有人脸图片抓拍功能及人脸图片分析功能的IPC，则视频源设备可以抓拍人脸图片(并记录人脸图片抓拍时间(即采集时间))，并对所抓拍的人脸图片进行人脸图片分析，以提取人脸图片的属性信息，进而，视频源设备可以将人脸图片、人脸图片的采集时间以及人脸图片的属性信息发送给检索设备，如NVR，由检索设备存储所接收到的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

在本申请另一个实施例中，上述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，可以包括：

接收到视频源设备发送的人脸图片及人脸图片的采集时间；

对人脸图片进行建模，并提取人脸图片的属性信息。

在该实施例中，当视频源设备具有人脸图片获取功能(如人脸图片抓拍功能或人脸目标检测功能)时，视频源设备可以获取人脸图片以及人脸图片的采集时间，并将人脸图片以及人脸图片的采集时间发送给检索设备。

检索设备接收到视频源设备发送的人脸图片以及人脸图片的采集时间时，可以对人脸图片进行建模，并提取人脸图片的属性信息，进而，检索设备可以获取到视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

例如，假设视频源设备为具有人脸图片抓拍功能的IPC，则视频源设备可以抓拍人脸图片(并记录人脸图片抓拍时间(即采集时间))，并将抓拍的人脸图片以及人脸图片的采集时间发送给检索设备，如NVR；检索设备接收到人脸图片时，可以对人脸图片进行建模，并提取人脸图片的属性信息，进而，检索设备可以存储人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

在本申请又一个实施例中，上述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，可以包括：

接收视频源设备发送的人脸图片信息、人脸图片的采集时间以及人脸图片的第一属性信息；

对人脸图片进行建模，并提取人脸图片的第二属性信息；

根据人脸图片的第一属性信息和人脸图片的第二属性信息确定人脸图片的属性信息。

在该实施例中，当视频源设备具有人脸图片获取功能(如人脸图片抓拍功能或人脸目标检测功能)以及人脸图片分析功能时，视频源设备可以直接获取人脸图片、人脸图片的采集时间以及人脸图片的属性信息(本文中称为人脸图片的第一属性信息)，并将人脸图片、人脸图片的采集时间以及人脸图片的第一属性信息发送给检索设备。

检索设备接收到视频源设备发送的人脸图片时，可以对所接收到的人脸图片进行建模，并提取人脸图片的属性信息(本文中称为人脸图片的第二属性信息)。

对于任一人脸图片，检索设备可以比较人脸图片的第一属性信息和人脸图片的第二属性信息，对于第一属性信息中存在，但第二属性信息中存在的属性信息，加入到该人脸图片的属性信息；对于第一属性信息和第二属性信息中均存在的属性信息，将第二属性信息中的属性信息加入到该人脸图片的属性信息，进而，得到该人脸图片的属性信息。

需要说明的是，在该实施例中，检索设备也可以直接将人脸图片的第二属性信息作为人脸图片的属性信息。

在本申请的又一实施例中，上述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，可以包括：

对视频源设备提供的视频数据进行人脸目标检测，以得到视频数据中的人脸图片及人脸图片的采集时间；

对人脸图片进行建模，并提取人脸图片的属性信息。

在该实施例中，当视频源设备不具备人脸图片获取功能，或视频源设备与检索设备为同一设备(如NVR)时，检索设备可以直接对视频源设备提供的视频数据进行人脸目标检测，以得到视频数据中的人脸图片及人脸图片的采集时间；检索设备得到视频数据中的人脸图片之后，可以进一步地对人脸图片进行建模，并提取人脸图片的属性信息。

例如，假设视频源设备为不具有人脸图片抓拍功能的IPC，视频源设备可以将获取到的视频数据发送给检索设备，如NVR；检索设备接收到视频源设备发送的视频数据时，可以对所接收到的视频数据进行人脸目标检测，以得到视频数据中的人脸图片及人脸图片的采集时间(人脸图片在视频数据中出现的时间)，并对人脸图片进行建模，提取人脸图片的属性信息，进而，检索设备可以存储人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

本申请实施例中，检索设备获取到视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息之后，可以存储所获取到的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

在本申请其中一个实施例中，上述存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，可以包括：

存储人脸图片；

在人脸图片信息表中记录人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

在该实施例中，检索设备获取到人脸图片、人脸图片的采集时间以及人脸图片的属性信息之后，可以存储所获取到的人脸图片，并将人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息记录在人脸图片信息表，其格式可以如表1所示：

表1

人脸图片的位置信息	人脸图片的采集时间	人脸图片的属性信息
			人脸图片1的位置信息	人脸图片1的采集时间	人脸图片1的属性信息
人脸图片2的位置信息	人脸图片2的采集时间	人脸图片2的属性信息
			…	…	…

其中，人脸图片的位置信息可以为人脸图片在存储空间(如硬盘)中的位置偏移和长度。

应该认识到，上述存储视频源设备的视频数据中人脸图片、人脸图片的采集时间以及人脸图片的属性信息的实现方式仅仅是本申请中存储人脸图片、人脸图片的采集时间以及人脸图片的属性信息的一种具体示例，而并不是对本申请保护范围的限定，即本申请实施例中，也可以通过其他方式存储视频源设备的视频数据中人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

例如，在一个示例中，可以将人脸图片、人脸图片的采集时间以及人脸图片的属性信息存储在同一个数据库中(即直接将人脸图片以二进制的形式存储到数据库中)；在该示例中，可以将人脸图片、人脸图片的采集时间以及人脸图片的属性信息存储在同一个数据表，此时，不需要额外记录人脸图片的存储位置。

或者，在另一个示例中，仍然可以先存储人脸图片以得到人脸图片的存储位置，但是存储人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息时，不再以数据表的形式存储，而是采用其他形式存储，如树形结构或文件形式，其具体实现在此不做赘述。

步骤S210、当接收到人脸检索请求时，根据人脸检索请求中携带的人脸检索过滤条件，确定与人脸检索过滤条件匹配的第一人脸图片。

本申请实施例中，检索设备可以提供人脸检索功能，根据接收到的人脸检索请求中携带的人脸检索过滤条件检索匹配的人脸图片及人脸图片的采集时间。

例如，检索设备可以提供人脸检索请求界面，该人脸检索请求界面中可以包括人脸检索过滤条件输入区域或/和人脸检索过滤条件选项，由用户在该人脸检索请求界面中输入或/和选择人脸检索过滤条件，并提交人脸检索请求。

在一个示例中，人脸检索过滤条件为待检索人脸图片的属性信息(本文中可以称为待检索人脸图片的第一属性信息)，其可以包括但不限于待检索人脸的面部表情、是否戴眼镜、性别以及年龄等信息中的一个或多个。

在另一个示例中，人脸检索过滤条件可以包括待检索人脸图片和待检索人脸图片的第一属性信息。

检索设备接收到人脸检索请求时，可以获取该人脸检索请求中携带的人脸检索过滤条件，并根据该人脸检索过滤条件查询所存储的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，并将与人脸检索过滤条件匹配的人脸图片的属性信息对应的人脸图片，确定为与该人脸检索过滤条件匹配的人脸图片(本文中称为第一人脸图片)。

举例来说，假设检索设备按照人脸图片信息表的形式存储人脸图片、人脸图片的采集时间以及人脸图片的属性信息(参见步骤S200中的相关描述)，则检索设备可以根据人脸检索过滤条件查询人脸图片信息表中的人脸图片的属性信息，以得到与该人脸检索过滤条件匹配的人脸图片信息表项，并获取该人脸图片信息表项中的人脸图片的存储位置(即第一人脸图片的存储位置)及第一人脸图片的采集时间。

进而，检索设备可以根据第一人脸图片的存储位置从指定存储空间中获取第一人脸图片。

在本申请其中一个实施例中，当人脸检索过滤条件包括待检索人脸图片和待检索人脸图片的第一属性信息时，上述比较人脸检索过滤条件以及人脸图片信息表中记录的人脸图片的属性信息，可以包括：

对待检索人脸图片进行建模，并提取待检索人脸图片的第二属性信息；

根据待检索人脸图片的第一属性信息和待检索人脸图片的第二属性信息，确定待检索人脸的属性信息；

比较待检索人脸图片的属性信息以及人脸图片信息表中记录的人脸图片的属性信息。

在该实施例中，当人脸检索过滤条件包括待检索人脸图片和待检索人脸图片的第一属性信息时，检索设备可以对待检索人脸图片进行建模，并提取待检索人脸图片的属性信息(本文中称为待检索人脸图片的第二属性信息)。

检索设备得到待检索人脸图片的第二属性信息之后，可以根据待检索人脸图片的第一属性信息和待检索人脸图片的第二属性信息，确定待检索人脸的属性信息。

例如，检索设备可以比较待检索人脸图片的第一属性信息和待检索人脸图片的第二属性信息，对于第一属性信息中存在，但第二属性信息中不存在的属性信息，或第一属性信息中不存在，但第二属性信息中存在的属性信息，加入到该待检索人脸图片的属性信息；对于第一属性信息和第二属性信息中均存在的属性信息，将第二属性信息中的属性信息加入到该待检索人脸图片的属性信息，进而，得到该待检索人脸图片的属性信息。

检索设备得到待检索人脸图片的属性信息时，可以根据待检索人脸图片的属性信息查询所存储的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，并将与待检索人脸图片的属性信息匹配的人脸图片的属性信息对应的人脸图片，确定为与该人脸检索过滤条件匹配的第一人脸图片。

应该认识到，上述人脸图片信息的检索仅仅是在以人脸图片信息表的方式存储人脸图片信息的情况下的一种具体示例，而并不是对本申请保护范围的限定，即在本申请实施例中，也可以通过其他方式实现人脸图片信息的检索。

例如，当人脸图片、人脸图片的采集时间以及人脸图片的属性信息存放在数据库中的同一个数据表中时，检索设备可以直接根据待检索人脸图片的属性信息，从数据库中查询相匹配的人脸图片的属性信息所在的表项，并从查询到的表项中获取人脸图片信息。

步骤S220、根据第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对视频摘要进行回放。

本申请实施例中，检索设备获取到与人脸检索过滤条件匹配的第一人脸图片及第一人脸图片的采集时间之后，可以根据第一人脸图片及第一人脸图片的采集时间生成带检索人脸的视频摘要，并对待检测人脸的视频摘要进行回放。

在本申请其中一个实施例中，上述根据第一人脸图片及第一人脸图片的采集时间生成视频摘要，可以包括：

根据按时间从早到晚的顺序排序后的所述第一人脸图片，生成视频摘要。

在该实施例中，检索设备可以直接根据按时间从早到晚的顺序排序后的第一人脸图片，生成视频摘要。

例如，当检索设备检索到的第一人脸图片的数量超过预设数量阈值(可以根据实际需求设定，如200张、500张等)，且按时间从早到晚的顺序排序后相邻的第一人脸图片的采集时间的差值不超过预设时间阈值(可以根据实际需求设定，如1秒、2秒等)时，检索设备可以直接根据按时间从早到晚的顺序排序后的第一人脸图片，生成视频摘要。

在本申请另一个实施例中，上述根据第一人脸图片及第一人脸图片的采集时间生成视频摘要，可以包括：

对于任一第一人脸图片，确定该第一人脸图片对应的目标录像片段；其中，该目标录像片段为该第一目标图片的采集时间之前的第n秒以及该第一目标图片的采集时间之后的第m秒之间的录像数据；

根据各目标录像片段生成视频摘要。

在该实施例中，检索设备获取到第一人脸图片及第一人脸图片的采集时间之后，对于任一第一人脸图片，检索设备可以将该第一人脸图片的采集时间之前的第n秒以及该第一人脸图片的采集时间之后的第m秒之间的录像数据确定为该第一人脸图片对应的目标录像片段。

其中，n和m为非负数

检索设备确定了各第一人脸图片对应的目标录像片段时，可以对各第一人脸图片对应的目标录像片段进行融合，即根据各目标录像片段的起始时间或/和结束时间对各目标录像片段进行排序和拼接，以生成待检索人脸的视频摘要。

进一步地，在本申请实施例中，考虑到当存在多个视频数据通道的视频数据，且多个视频数据通道覆盖的场景存在重叠(如多个IPC的监控视角范围内存在区域重叠)时，可能会出现同一时间点在多个视频数据通道的视频数据中出现同一目标的情况，此时，为了避免视频摘要中出现相似度过高的视频数据，可以对第一人脸图片进行去重复处理。

相应地，在本申请其中一个实施例中，上述根据第一人脸图片及第一人脸图片的采集时间生成视频摘要，可以包括：

当存在采集时间相同的多张第一人脸图片时，对于该多张第一人脸图片中的任一第一人脸图片，确定该第一人脸图片对应的录像片段的起始时间点和结束时间点；其中，该起始时间点为该第一人脸图片的采集时间之前的第n秒，该结束时间点为该第一人脸图片的采集时间之后的第m秒；

搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧；

若均存在，则丢弃该多张第一人脸图片中的其余第一人脸图片，并将该第一人脸图片对应的录像片段确定为目标录像片段。

在该实施例中，当存在采集时间相同的多张第一人脸图片时，检索设备可以按照预设策略确定该多张第一人脸图片中的各第一人脸图片对应的录像片段的起始时间点和结束时间点。

其中，对于该多张第一人脸图片中的任一第一人脸图片，该第一人脸图片对应的录像片段的起始时间点为该第一人脸图片的采集时间之前的第n秒，结束时间点为该第一人脸图片的采集时间之后的第m秒。

检索设备确定了起始时间点和结束时间点之后，可以搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧(即该视频数据通道中是否存在该起始时间点的录像数据)，以及是否存在该结束时间点的I帧(即该视频数据通道中是否存在该结束时间点的录像数据)。

若均存在，则检索设备可以直接将该第一人脸图片对应的录像片段确定为目标录像片段，并丢弃该多张第一人脸图片中的其余第一人脸图片。

进一步地，在该实施例中，当该多张第一人脸图片均不存在起始时间点(该第一图片信息的采集时间之前的第n秒)的I帧或/和结束时间点(该第一图片信息的采集时间之后的第m秒)的I帧时，对于该多个第一人脸图片中的任一第一人脸图片，若该第一人脸图片所属的视频数据通道的录像数据中不存在该起始时间点的I帧，则检索设备可以将第一人脸图片对应的录像片段的起始时间点增加1秒，并搜索是否存在该起始时间点的I帧，若不存在，则再次将该第一人脸图片对应的录像片段的起始时间点增加1秒，并搜索是否存在该起始时间点的I帧，重复该操作，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该起始时间点(更新后的起始时间点)的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同。

同理，若该第一人脸图片所属的视频数据通道的录像数据中不存在该结束时间点的I帧，则检索设备可以将第一人脸图片对应的录像片段的结束时间点减少1秒，并搜索是否存在该结束时间点的I帧，若不存在，则再次将该第一人脸图片对应的录像片段的结束时间点减少1秒，并搜索是否存在该结束时间点的I帧，重复该操作，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该结束时间点(更新后的结束时间点)的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同。

检索设备按照上述方式确定了该多个第一人脸图片对应的录像片段的起始时间点与结束时间点之后，可以确定该多张第一人脸图片中对应的录像片段的时长最长(结束时间点与起始时间点的差值最大)的第一人脸图片，将该第一人脸图片对应的录像片段确定为目标录像片段，并丢弃该多张第一人脸图片中的其余第一人脸图片。

在该实施例中，检索设备确定了目标录像片段之后，可以根据各目标录像片段生成视频摘要。

需要说明的是，在该实施例中，当该多张第一人脸图片中对应的录像片段的时长最长的第一人脸图片的数量大于1时，按照预设策略从其中选择一个第一人脸图片，并将所选择的第一人脸图片对应的录像片段确定为目标录像片段。

例如，可以选择起始时间点最早的第一人脸图片、选择结束时间最晚的第一人脸图片或随机选择。

此外，在本申请实施例中，当存在采集时间相同的多个第一人脸图片，也可以通过手动的方式实现该多个第一人脸图片的去重复处理。

例如，检索设备可以将该多个第一人脸图片展示在指定界面中，由用户选择需要保留的第一人脸图片，并将其余采集时间相同的第一人脸图片丢弃，其具体实现在此不做赘述。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

在该实施例中，以视频源设备为IPC，检索设备为NVR为例，其中，NVR中加载有具有智能分析功能的智能芯片。

在该实施例中，视频摘要回放方案实现流程如下：

1、人脸图片信息获取

以IPC具有人脸图片抓拍功能为例

1)、IPC进行人脸图片抓拍，并将抓拍的人脸图片及人脸图片的采集时间传输给NVR；

在该实施例中，IPC在获取实时视频流的过程中，还可以进行人脸图片抓拍，并将抓拍的人脸图片及人脸图片的采集时间(即人脸图片的抓拍时间)传输给NVR。

需要说明的是，在该实施例中，IPC也会将实时视频流传输给NVR，由NVR根据预设策略保存视频录像。

2)、NVR提取人脸图片中的特征值，并根据人脸图片的特征值对人脸图片进行建模，提取人脸图片的属性信息；

在该实施例中，NVR接收到IPC传输的人脸图片时，可以通过智能芯片对人脸图片进行智能分析。

智能芯片可以使用算法库，提取人脸图片中的关于人脸的特征值，并使用算法库，根据所提取的特征值对人脸图片进行建模，并提取人脸图片的属性信息。

其中，在该实施例中，NVR获取人脸图片信息的流程示意图可以如图3所示。

3)、NVR存储人脸图片、人脸图片的采集时间以及人脸图片的属性信息，具体实现参见第2点中的描述。

以IPC不具有图片抓拍功能为例

1)、NVR对视频录像或者实时视频流进行目标检测，以得到人脸图片及人脸图片的采集时间；

在该实施例中，NVR可以通过智能芯片对视频录像或实时视频流进行目标检测，以得到视频录像或实时视频流中的人脸图片及人脸图片的采集时间(即人脸图片在视频数据中出现的时间)。

2)、NVR提取人脸图片中的特征值，并根据人脸图片的特征值对人脸图片进行建模，提取人脸图片的属性信息；

在该实施例中，NVR接收到IPC传输的人脸图片时，可以通过智能芯片对人脸图片进行智能分析。

智能芯片可以使用算法库，提取人脸图片中的关于人脸的特征值，并使用算法库，根据所提取的特征值对人脸图片进行建模，并提取人脸图片的属性信息。

其中，在该实施例中，NVR获取人脸图片信息的流程示意图可以如图4所示。

3)、NVR存储人脸图片、人脸图片的采集时间以及人脸图片的属性信息，具体实现参见第2点中的描述。

2、人脸图片信息存储

1)、NVR存储人脸图片，以得到人脸图片的存储位置。

对于人脸图片信息，建立一个人脸图片信息相关的数据库表VehicleTable(人脸表)；其中，该VehicleTable表中主要字段有:人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

需要说明的是，在该实施例中，NVR还可以人脸图片的模型数据，其具体实现在此不做赘述。

NVR将人脸图片存储到硬盘之后,可以得到人脸图片所在硬盘的位置偏移和长度(即人脸图片的存储位置)。

2)、NVR在VehicleTable表中记录人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

3、人脸检索

1)、接收人脸检索请求，该人脸检索请求中携带有人脸检索过滤条件；

在该实施例中，NVR可以提供人脸检索界面，该人脸检索界面中包括人脸检索过滤条件输入区域或/和选项。

用户可以通过该人脸检索界面填写或/和选择人脸检索过滤条件，并提交人脸检索请求。

2)、NVR根据人脸检索过滤条件从VehicleTable表中查询匹配的人脸图片的存储位置和人脸图片的采集时间；

在该实施例中，NVR可以查询VehicleTable表，比较人脸检索过滤条件和VehicleTable表中记录的人脸图片的属性信息，将记录的人脸图片的属性信息与人脸检索过滤条件匹配的VehicleTable表项中记录的人脸图片的存储位置和人脸图片的采集时间，确定为匹配的人脸图片的存储位置(下文中称为第一人脸图片的存储位置)和人脸图片的采集时间(下文中称为第一人脸图片的采集时间)。

3)、NVR根据第一人脸图片的存储位置获取第一人脸图片。

在该实施例中，NVR可以根据第一人脸图片的存储位置(位置偏移+长度)从硬盘中读取第一人脸图片，从而，NVR可以得到第一人脸图片和第一人脸图片的采集时间。

4、视频摘要回放

1)、对于任一第一人脸图片，获取第一人脸图片的采集时间之前的5秒到第一人脸图片的报警之间之后的5秒的目标录像片段。

在该实施例中，NVR可以建立一张VideoTable(录像信息表)；其中，该VideoTable表中主要字段有：录像存储位置(硬盘位置偏移+长度)以及录像数据的起止时间(起始时间和结束时间)。

当一个完成的录像存储到硬盘后，在VideoTable表中插入一条新的记录(即新增一条表项)，记录录像存储位置以及起止时间。

对于任一第一人脸图片，NVR将该第一人脸图片的采集时间之前的第5秒确定为目标录像片段的起始时间，第一人脸图片的采集时间之后的第5秒确定为目标录像片段的结束时间，并根据第一人脸图片的起始时间和结束时间查询VideoTable表，以获取目标录像片段。

2)、根据各目标录像片段生成视频摘要，并解码显示。

本申请实施例中，通过获取并存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，当接收到人脸检索请求时，根据人脸检索请求中携带的人脸检索过滤条件，确定与人脸检索过滤条件匹配的第一人脸图片，进而根据第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对视频摘要进行回放，避免了每次人脸检索均需要从视频数据中提取匹配的人脸图片，提高了人脸检索效率和准确性，并保证了人脸视频跟踪的连贯性。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图5，为本申请实施例提供的一种视频摘要回放装置的结构示意图，其中，该视频摘要回放装置可以应用于上述实施例中的检索设备，如图5所示，该视频摘要回放装置可以包括：

获取单元510，用于获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

存储单元520，用于存储所述人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

检索单元530，用于当接收到人脸检索请求时，根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片；

处理单元540，用于根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对所述视频摘要进行回放。

在一种可选的实施方式中，所述获取单元510，具体用于接收所述视频源设备发送的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

在一种可选的实施方式中，所述获取单元510，具体用于接收所述视频源设备发送的人脸图片及人脸图片的采集时间；对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

在一种可选的实施方式中，所述获取单元510，具体用于接收所述视频源设备发送的人脸图片信息、人脸图片的采集时间以及人脸图片的第一属性信息；对所述人脸图片进行建模，并提取所述人脸图片的第二属性信息；根据所述人脸图片的第一属性信息和所述人脸图片的第二属性信息确定所述人脸图片的属性信息。

在一种可选的实施方式中，所述获取单元510，具体用于对所述视频源设备提供的视频数据进行人脸目标检测，以得到所述视频数据中的人脸图片及人脸图片的采集时间；对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

在一种可选的实施方式中，所述存储单元520，具体用于存储所述人脸图片；在人脸图片信息表中记录所述人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

在一种可选的实施方式中，所述检索单元530，具体用于比较所述人脸检索过滤条件以及所述人脸图片信息表中记录的人脸图片的属性信息，以得到与所述人脸检索过滤条件匹配的第一人脸图片的存储位置；根据所述第一人脸图片的存储位置获取所述第一人脸图片。

在一种可选的实施方式中，所述人脸检索过滤条件包括待检索人脸图片和待检索人脸图片的第一属性信息；

所述检索单元530，具体用于对所述待检索人脸图片进行建模，并提取所述待检索人脸图片的第二属性信息；根据所述待检索人脸图片的第一属性信息和所述待检索人脸图片的第二属性信息，确定所述待检索人脸的属性信息；比较所述待检索人脸图片的属性信息以及所述人脸图片信息表中记录的人脸图片的属性信息。

在一种可选的实施方式中，所述处理单元540，具体用于根据按时间从早到晚的顺序排序后的所述第一人脸图片，生成视频摘要。

在一种可选的实施方式中，所述处理单元540，具体用于对于任一第一人脸图片，确定该第一人脸图片对应的目标录像片段；其中，该目标录像片段为该第一人脸图片的采集时间之前的第n秒以及该第一人脸图片的采集时间之后的第m秒之间的录像数据；根据各目标录像片段生成视频摘要。

在一种可选的实施方式中，所述处理单元540，具体用于当存在采集时间相同的多张第一人脸图片时，对于该多张第一人脸图片中的任一第一人脸图片，确定该第一人脸图片对应的录像片段的起始时间点和结束时间点；其中，该起始时间点为该第一人脸图片的采集时间之前的第n秒，该结束时间点为该第一人脸图片的采集时间之后的第m秒；搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧；若均存在，则丢弃该多张第一人脸图片中的其余第一人脸图片，并将该第一人脸图片对应的录像片段确定为目标录像片段；根据各目标录像片段生成视频摘要。

在一种可选的实施方式中，所述处理单元540，还具体用于若不存在该起始时间点的I帧，则将该第一人脸图片对应的录像片段的起始时间点增加1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；若不存在该结束时间点的I帧，则将该第一人脸图片对应的录像片段的结束时间点减少1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；确定该多张第一人脸图片中对应的录像片段的时长最长的第一人脸图片，将该第一人脸图片对应的录像片段确定为目标录像片段，并丢弃该多条第一人脸图片中的其余第一人脸图片；根据各目标录像片段生成视频摘要。

请参见图6，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器601、通信接口602、存储器603和通信总线604。处理器601、通信接口602以及存储器603通过通信总线604完成相互间的通信。其中，存储器603上存放有计算机程序；处理器601可以通过执行存储器603上所存放的程序，执行上文描述的视频摘要回放方法。

本文中提到的存储器603可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器602可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种存储有计算机程序的机器可读存储介质，例如图6中的存储器603，所述计算机程序可由图6所示电子设备中的处理器601执行以实现上文描述的视频摘要回放方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (26)

1.一种视频摘要回放方法，其特征在于，包括：

获取并存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

当接收到人脸检索请求时，根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片；

根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对所述视频摘要进行回放。

2.根据权利要求1所述的方法，其特征在于，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

接收所述视频源设备发送的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

3.根据权利要求1所述的方法，其特征在于，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

接收所述视频源设备发送的人脸图片及人脸图片的采集时间；

对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

4.根据权利要求1所述的方法，其特征在于，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

接收所述视频源设备发送的人脸图片信息、人脸图片的采集时间以及人脸图片的第一属性信息；

对所述人脸图片进行建模，并提取所述人脸图片的第二属性信息；

根据所述人脸图片的第一属性信息和所述人脸图片的第二属性信息确定所述人脸图片的属性信息。

5.根据权利要求1所述的方法，其特征在于，所述获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

对所述视频源设备提供的视频数据进行人脸目标检测，以得到所述视频数据中的人脸图片及人脸图片的采集时间；

对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

6.根据权利要求1所述的方法，其特征在于，所述存储视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息，包括：

存储所述人脸图片；

在人脸图片信息表中记录所述人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片，包括：

比较所述人脸检索过滤条件以及所述人脸图片信息表中记录的人脸图片的属性信息，以得到与所述人脸检索过滤条件匹配的第一人脸图片的存储位置；

根据所述第一人脸图片的存储位置获取所述第一人脸图片。

8.根据权利要求7所述的方法，其特征在于，所述人脸检索过滤条件包括待检索人脸图片和待检索人脸图片的第一属性信息；

所述比较所述人脸检索过滤条件以及所述人脸图片信息表中记录的人脸图片的属性信息，包括：

对所述待检索人脸图片进行建模，并提取所述待检索人脸图片的第二属性信息；

根据所述待检索人脸图片的第一属性信息和所述待检索人脸图片的第二属性信息，确定所述待检索人脸的属性信息；

比较所述待检索人脸图片的属性信息以及所述人脸图片信息表中记录的人脸图片的属性信息。

9.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，包括：

根据按时间从早到晚的顺序排序所述第一人脸图片，生成视频摘要。

10.根据权利要求1或9所述的方法，其特征在于，所述根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，包括：

对于任一第一人脸图片，确定该第一人脸图片对应的目标录像片段；其中，该目标录像片段为该第一人脸图片的采集时间之前的第n秒以及该第一人脸图片的采集时间之后的第m秒之间的录像数据；

根据各目标录像片段生成视频摘要。

11.根据权利要求1或9所述的方法，其特征在于，所述根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，包括：

当存在采集时间相同的多张第一人脸图片时，对于该多张第一人脸图片中的任一第一人脸图片，确定该第一人脸图片对应的录像片段的起始时间点和结束时间点；其中，该起始时间点为该第一人脸图片的采集时间之前的第n秒，该结束时间点为该第一人脸图片的采集时间之后的第m秒；

搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧；

若均存在，则丢弃该多张第一人脸图片中的其余第一人脸图片，并将该第一人脸图片对应的录像片段确定为目标录像片段；

根据各目标录像片段生成视频摘要。

12.根据权利要求11所述的方法，其特征在于，所述搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧之后，还包括：

若不存在该起始时间点的I帧，则将该第一人脸图片对应的录像片段的起始时间点增加1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；

若不存在该结束时间点的I帧，则将该第一人脸图片对应的录像片段的结束时间点减少1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；

确定该多张第一人脸图片中对应的录像片段的时长最长的第一人脸图片，将该第一人脸图片对应的录像片段确定为目标录像片段，并丢弃该多条第一人脸图片中的其余第一人脸图片；

根据各目标录像片段生成视频摘要。

13.一种视频摘要回放装置，其特征在于，包括：

获取单元，用于获取视频源设备的视频数据中的人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

存储单元，用于存储所述人脸图片、人脸图片的采集时间以及人脸图片的属性信息；

检索单元，用于当接收到人脸检索请求时，根据所述人脸检索请求中携带的人脸检索过滤条件，确定与所述人脸检索过滤条件匹配的第一人脸图片；

处理单元，用于根据所述第一人脸图片及第一人脸图片的采集时间生成视频摘要，并对所述视频摘要进行回放。

14.根据权利要求13所述的装置，其特征在于，

所述获取单元，具体用于接收所述视频源设备发送的人脸图片、人脸图片的采集时间以及人脸图片的属性信息。

15.根据权利要求13所述的装置，其特征在于，

所述获取单元，具体用于接收所述视频源设备发送的人脸图片及人脸图片的采集时间；对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

16.根据权利要求13所述的装置，其特征在于，

所述获取单元，具体用于接收所述视频源设备发送的人脸图片信息、人脸图片的采集时间以及人脸图片的第一属性信息；对所述人脸图片进行建模，并提取所述人脸图片的第二属性信息；根据所述人脸图片的第一属性信息和所述人脸图片的第二属性信息确定所述人脸图片的属性信息。

17.根据权利要求13所述的装置，其特征在于，

所述获取单元，具体用于对所述视频源设备提供的视频数据进行人脸目标检测，以得到所述视频数据中的人脸图片及人脸图片的采集时间；对所述人脸图片进行建模，并提取所述人脸图片的属性信息。

18.根据权利要求13所述的装置，其特征在于，

所述存储单元，具体用于存储所述人脸图片；在人脸图片信息表中记录所述人脸图片的存储位置、人脸图片的采集时间以及人脸图片的属性信息。

19.根据权利要求18所述的装置，其特征在于，

所述检索单元，具体用于比较所述人脸检索过滤条件以及所述人脸图片信息表中记录的人脸图片的属性信息，以得到与所述人脸检索过滤条件匹配的第一人脸图片的存储位置；根据所述第一人脸图片的存储位置获取所述第一人脸图片。

20.根据权利要求19所述的装置，其特征在于，所述人脸检索过滤条件包括待检索人脸图片和待检索人脸图片的第一属性信息；

所述检索单元，具体用于对所述待检索人脸图片进行建模，并提取所述待检索人脸图片的第二属性信息；根据所述待检索人脸图片的第一属性信息和所述待检索人脸图片的第二属性信息，确定所述待检索人脸的属性信息；比较所述待检索人脸图片的属性信息以及所述人脸图片信息表中记录的人脸图片的属性信息。

21.根据权利要求13所述的装置，其特征在于，

所述处理单元，具体用于根据按时间从早到晚的顺序排序后的所述第一人脸图片，生成视频摘要。

22.根据权利要求13或21所述的装置，其特征在于，

所述处理单元，具体用于对于任一第一人脸图片，确定该第一人脸图片对应的目标录像片段；其中，该目标录像片段为该第一人脸图片的采集时间之前的第n秒以及该第一人脸图片的采集时间之后的第m秒之间的录像数据；根据各目标录像片段生成视频摘要。

23.根据权利要求13或21所述的装置，其特征在于，

所述处理单元，具体用于当存在采集时间相同的多张第一人脸图片时，对于该多张第一人脸图片中的任一第一人脸图片，确定该第一人脸图片对应的录像片段的起始时间点和结束时间点；其中，该起始时间点为该第一人脸图片的采集时间之前的第n秒，该结束时间点为该第一人脸图片的采集时间之后的第m秒；搜索该第一人脸图片所属的视频数据通道的录像数据中是否存在该起始时间点的I帧，以及是否存在该结束时间的I帧；若均存在，则丢弃该多张第一人脸图片中的其余第一人脸图片，并将该第一人脸图片对应的录像片段确定为目标录像片段；根据各目标录像片段生成视频摘要。

24.根据权利要求23所述的装置，其特征在于，

所述处理单元，还具体用于若不存在该起始时间点的I帧，则将该第一人脸图片对应的录像片段的起始时间点增加1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该起始时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；若不存在该结束时间点的I帧，则将该第一人脸图片对应的录像片段的结束时间点减少1秒，并重复上述搜索步骤，直至在该第一人脸图片所属的视频数据通道的录像数据中搜索到该结束时间点的I帧，或，该第一人脸图片对应的录像片段的起始时间点与结束时间点相同；确定该多张第一人脸图片中对应的录像片段的时长最长的第一人脸图片，将该第一人脸图片对应的录像片段确定为目标录像片段，并丢弃该多条第一人脸图片中的其余第一人脸图片；根据各目标录像片段生成视频摘要。

25.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-12任一项所述的方法步骤。

26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-12任一项所述的方法步骤。

Images