CN107358146B - 视频处理方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供了一种视频处理方法、装置及存储介质，所述方法包括：获取待查询对象的人脸图像；获取指定时间段以及在所述指定时间段内的至少一个采样时间段；从视频库中获取与所述指定时间段对应的第一目标视频段；根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N正整数；根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容。通过本发明实施例可对目标人物的活动规律进行分析。

Description

视频处理方法、装置及存储介质

技术领域

本发明涉及视频监控技术领域，具体涉及一种视频处理方法、装置及存储介质。

背景技术

随着经济、社会、文化的快速发展，国内外影响力的与日俱增，越来越多外来人口流向城市，这些人口增加在加快城市化进程的同时，也为城市管理带来更大的挑战，虽然，视频监控对城市安全提供了技术支持，但是，目前来看，摄像头已经在城市中布局开来，各个摄像头的功能较为独立，在对目标进行监控的应用中，对目标的活动规律进行分析非常重要，因而，如何对目标的活动规律进行分析的问题亟待解决。

发明内容

本发明实施例提供了一种视频处理方法及装置，以期对目标人物的活动规律进行分析。

本发明实施例第一方面提供了一种视频处理方法，包括：

获取待查询对象的人脸图像；

获取指定时间段以及在所述指定时间段内的至少一个采样时间段；

从视频库中获取与所述指定时间段对应的第一目标视频段；

根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N正整数；

根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容。

结合本发明实施例第一方面，在第一方面的第一种可能实施方式中，所述根据所述至少一个采样时间段，从所述目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，包括：

根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

对所述第二目标视频段进行人脸检测，得到M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像。

如此，上述本发明实施例，可根据至少一个采样时间段对第一目标视频段进行截取操作，可快速选取需要进行人脸识别的视频片段，对其进行人脸识别，以选取该视频片段中包含人脸的所有图像，可排除掉不包含人脸的图像帧，再从包含人脸的所有图像选取包含待查询对象的人脸图像，得到需要寻找的图像，可通过上述方式，快速排除掉一些不必要的图像帧，有利用提高搜索效率。

结合本发明实施例第一方面的第一种可能实施方式，在第一方面的第二种可能实施方式中，所述对所述第二目标视频段进行人脸检测，包括：

将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

对所述P张人脸图像进行训练，得到所述M张第一图像。

如此，上述本发明实施例，可快速从第二目标视频段识别出包含人脸图像的图像。

结合本发明实施例第一方面或第一方面的第一种或第二种可能实施方式，在第一方面的第三种可能实施方式中，所述从视频库中获取与所述指定时间段对应的第一目标视频段，包括：

从所述视频库中获取预设区域内的至少一个视频文件；

根据所述指定时间段对所述至少一个视频文件进行截取，得到所述第一目标视频段。

如此，上述本发明实施例，由于预设区域可由用户自行指定，因而，用户可针对需要搜索的区域选取对应的视频文件，进而，根据指定时间段对该视频文件进行截取操作，可减少后期人脸识别工作量，提高识别效率，还可实现在该预设区域对待查询对象的活动规律进行分析。

结合本发明实施例第一方面或第一方面的第一种或第二种可能实施方式，在第一方面的第四种可能实施方式中，所述N张人脸图像中每一人脸图像对应有拍摄时间以及拍摄位置；

所述根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容，包括：

根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容；

将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

如此，上述本发明实施例，可在地图上对待查询对象的活动规律进行标记，可实现对待查询对象出现的位置进行标记，以及对其活动内容进行分析，从而，得到用户需要了解的活动规律。

第二方面提供了一种视频处理装置，包括：

第一获取单元，用于获取待查询对象的人脸图像；

所述第一获取单元，还具体用于：

获取指定时间段以及在所述指定时间段内的至少一个采样时间段；

第二获取单元，用于从视频库中获取与所述指定时间段对应的第一目标视频段；

搜索单元，用于根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N正整数；

确定单元，用于根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容。

结合本发明实施例第二方面，在第二方面的第一种可能实施方式中，所述搜索单元包括：

截取模块，用于根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

检测模块，用于对所述第二目标视频段进行人脸检测，得到M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

搜索模块，用于根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像。

结合本发明实施例第二方面第一种可能实施方式，在第二方面的第二种可能实施方式中，所述检测模块包括：

分割模块，用于将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

训练模块，用于对所述P张人脸图像进行训练，得到所述M张第一图像。

结合本发明实施例第二方面或第二方面的第一种或第二种可能实施方式，在第二方面的第三种可能实施方式中，所述第一获取单元从视频库中获取与所述指定时间段对应的第一目标视频段的具体实现方式为：

从所述视频库中获取预设区域内的至少一个视频文件；根据所述指定时间段对所述至少一个视频文件进行截取，得到所述第一目标视频段。

结合本发明实施例第二方面或第二方面的第一种或第二种可能实施方式，在第二方面的第四种可能实施方式中，所述N张人脸图像中每一人脸图像对应有拍摄时间以及拍摄位置；所述确定单元包括：

标记模块，用于根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

识别模块，用于对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容；

所述标记模块，还具体用于将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

本发明实施例第三方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面或第一方面的任一可能实施方式所述的方法。

实施本发明实施例，具有如下有益效果：

可以看出，通过本发明实施例，获取待查询对象的人脸图像，获取指定时间段以及在指定时间段内的至少一个采样时间段，从视频库中获取与指定时间段对应的第一目标视频段，根据至少一个采样时间段，从第一目标视频段中搜索与人脸图像的N张目标人脸图像，N正整数，根据N张人脸图像确定待查询对象的活动轨迹以及与活动轨迹对应的活动内容。如此，可从视频库中搜索出与待查询对象对应的视频段，进而，根据该视频段确定出待查询对象的活动轨迹以及与之对应的活动内容，进而，可对待查询对象的活动规律进行分析。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种视频处理方法的第一实施例流程示意图；

图2是本发明实施例提供的一种视频处理方法的第二实施例流程示意图；

图3a是本发明实施例提供的一种视频处理装置的第一实施例结构示意图；

图3b是本发明实施例提供的图3a所描述的视频处理装置的搜索单元的结构示意图；

图3c是本发明实施例提供的图3b所描述的检测模块的结构示意图；

图3d是本发明实施例提供的图3a所描述的视频处理装置的确定单元的结构示意图；

图4是本发明实施例提供的一种视频处理装置的第二实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例所描述视频处理装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，MobileInternet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述视频处理装置还可以为服务器。

需要说明的是，本发明实施例中的视频处理装置可与多个摄像头连接，每一摄像头均可用于抓拍视频图像，每一摄像头均可有一个与之对应的位置标记，或者，可有一个与之对应的编号。通常情况下，摄像头可设置在公共场所，例如，学校、博物馆、十字路口、步行街、写字楼、车库、机场、医院、地铁站、车站、公交站台、超市、酒店、娱乐场所等等。摄像头在拍摄到视频图像后，可将该视频图像保存到视频处理装置所在系统的存储器。存储器中可存储有多个注册图像库，注册图像库中可包含多个入库对象，每一入库对象对应一个身份信息集，该身份信息集包含以下至少一项内容：至少一张登记人脸图像、身份证号码、家庭住址、家庭成员、政治成分、国籍、电话号码、姓名、毕业证号码、学号、门牌号码、银行卡号、社交账号、工号和车牌号码等等。

进一步可选地，本发明实施例中，摄像头拍摄的每一帧视频图像均对应一个属性信息，属性信息为以下至少一种：摄像头编号、视频图像的拍摄时间、视频图像的位置、视频图像的属性参数(格式、大小、分辨率等)、视频图像的编号和视频图像中的人物特征属性。上述视频图像中的人物特征属性可包括但不仅限于：视频图像中的人物个数、人物位置、人脸角度等等。

进一步需要说明的是，每一摄像头采集的视频图像通常为动态人脸图像，因而，本发明实施例中可以对人脸图像的角度信息进行规划，上述人脸角度可包括但不仅限于：水平转动角度、俯仰角或者倾斜度。例如，可定义动态人脸图像数据要求两眼间距不小于30像素，建议60像素以上。水平转动角度不超过±30°、俯仰角不超过±20°、倾斜角不超过±45°。建议水平转动角度不超过±15°、俯仰角不超过±10°、倾斜角不超过±15°。例如，还可对人脸图像是否被其他物体遮挡进行筛选，通常情况下，饰物不应遮挡脸部主要区域，饰物如深色墨镜、口罩和夸张首饰等，当然，也有可能摄像头上面布满灰尘，导致人脸图像被遮挡，因而，导致拍摄出来的视频图像会出现部分不清晰的情况。本发明实施例中的视频图像的图片格式可包括但不仅限于：BMP，JPEG，JPEG2000，PNG等等，其大小可以在10-30KB之间，每一视频图像还可以对应一个拍摄时间、以及拍摄该视频图像的摄像头统一编号、与人脸图像对应的全景大图的链接等信息(人脸图像和全局图片建立特点对应性关系文件)。

请参阅图1，为本发明实施例提供的一种视频处理方法的第一实施例流程示意图。本实施例中所描述的视频处理方法，包括以下步骤：

101、获取待查询对象的人脸图像。

其中，待查询对象为需要查询的对象，视频处理装置可获取用户拖入到查询窗口的待查询对象的人脸图像。视频处理装置可以接收用户输入的身份信息，根据该身份信息获取待查询对象的人脸图像。待查询对象的身份信息可为以下至少一种：身份证号码、电话号码、姓名、毕业证号码、学号、门牌号码、银行卡号、社交账号、工号和车牌号码。具体地，可将身份信息与注册用户库中的注册信息进行匹配，例如，身份证号，可从注册用户库中匹配出与该身份证号相同的入库对象。以身份证号为例，视频处理装置可根据身份证号码直接获取身份证信息，从而，可得到身份证的登记人脸图像，还可以获取注册用户库中对应的入库对象的账号，以及与该账号绑定的其他账号，如此，可获取到至少一个人脸图像。

102、获取指定时间段以及在所述指定时间段内的至少一个采样时间段。

其中，指定时间段可为一段时间，采样时间段也可为一段时间，指定时间段为一个完整时间段，而采样时间段则相当于对指定时间段进行采样得到的时间段，指定时间段以及该指定时间段内的采样时间段均可由用户自行设置，当然，至少一个采样时间段也可以呈现一定的周期性，例如，指定时间段为1个月，采样时间段为每天的8:00点-10:00点，如此，可用于分析某个人在每天的固定时间段去哪，或者，做了什么，又或者，某个人做事非常有规律，则可取其一段时间的视频，可从中分析出该人的一些周期性活动规律。

103、从视频库中获取与所述指定时间段对应的第一目标视频段。

其中，视频库中的视频可保存在数据库中，视频则可由至少一个摄像头拍摄而成。视频处理装置可从视频库中获取与上述指定时间段对应的第一目标时间段。

可选地，上述步骤103中，从视频库中获取与所述指定时间段对应的第一目标视频段，可包括如下步骤：

31)、从所述视频库中获取预设区域内的至少一个视频文件；

32)、根据所述指定时间段对所述至少一个视频文件进行截取，得到所述第一目标视频段。

其中，预设区域可由用户预先设置。通常情况下，视频处理装置可对多个区域进行布控，因而，视频库中的视频文件可来自于至少一个区域。用户可根据待查询对象的活动规律，选取至少一个区域作为预设区域，因而，可从视频库中获取预设区域内的至少一个视频文件，并根据上述指定时间段对该至少一个文件进行截取，得到第一目标视频段。由于预设区域可由用户自行指定，因而，用户可针对需要搜索的区域选取对应的视频文件，进而，根据指定时间段对该视频文件进行截取操作，可减少后期人脸识别工作量，提高识别效率。

104、根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N正整数。

其中，视频处理装置可根据至少一个采样时间段对第一目标视频段进行截取，然后从截取后的视频段中搜索出与待查询图像的人脸图像相似的人脸图像，得到N张目标人脸图像，其中，N为正整数。

可选地，上述步骤104中，根据所述至少一个采样时间段，从所述目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，包括：

41)、根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

42)、对所述第二目标视频段进行人脸检测，得到M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

43)根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像。

其中，视频处理装置可根据至少一个采样时间段对第一目标视频段进行截取操作，得到第二目标视频段(即得到的均是处于采样时间段的视频段)，进一步地，可对第二目标视频段进行人脸检测，得到M张第一图像，M张第一图像中每一第一图像至少包含一个人脸图像，M为不小于N的整数，再根据人脸图像对M张第一图像进行搜索，得到与该人脸图像匹配的N张第一图像，即上述N张目标人脸图像。如此，可根据至少一个采样时间段对第一目标视频段进行截取操作，可快速选取需要进行人脸识别的视频片段，对其进行人脸识别，以选取该视频片段中包含人脸的所有图像，如此，可排除掉不包含人脸的图像帧，再从包含人脸的所有图像选取包含待查询对象的人脸图像，得到需要寻找的图像，如此，可通过上述方式，快速排除掉一些不必要的图像帧，有利用提高搜索效率。

可选地，上述步骤42，对所述第二目标视频段进行人脸检测，包括：

A1)、将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

A2)、对所述P张人脸图像进行训练，得到所述M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像。

其中，视频处理装置可对第二目标视频段进行图像分割，可得到P张人脸图像，当然，由于图像分割方式精度较低，P张人脸图像虽然只是人的脸部的图像，但并非每一张人脸图像均是完整的，有可能分割出来的人脸图像不完整，后续无法对该类人脸图像进行正常识别，因而可再采用预先设置的人脸识别训练器对该P张人脸图像进行识别，该预先设置的人脸识别训练器可为神经网络分类器，遗传算法分类器、支持向量机分类器，聚类分类器等等，其目的在于，识别出完整的人脸图像，如此，可得到M张人脸图像，进一步地，获取与该M张人脸图像对应的M张第一图像，第一图像则为上述第二目标视频段的一个完整图像帧。如此，可快速从视频片段中挑选出包含完整人脸图像的视频帧。

可选地，上述步骤42，对所述第二目标视频段进行人脸检测，得到M张第一图像，可包含如下步骤：

B1)、对所述第二目标视频段中的每一帧图像进行图像质量评价，得到X个图像质量评价值，X为大于所述M的整数；

B2)、从所述X个图像质量评价值中选取大于预设图像阈值的图像质量评价值，得到Y个图像质量评价值，所述Y为小于所述X且大于所述M的整数；

B3)、从所述Y个图像质量评价值对应的图像中选取所述M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像。

其中，上述预设图像阈值可由用户自行设置或者系统默认。

进一步地，上述步骤B3中，可采用如下手段对第二目标视频段中的每一帧图像进行图像质量评价：可采用至少一个图像质量评价指标对图像进行图像质量评价，得到图像质量评价值，其中，图像质量评价指标可包括但不仅限于：平均灰度、均方差、熵、边缘保持度、信噪比等等。可定义为得到的图像质量评价值越大，则图像质量越好。如此，可从第二目标视频段中挑选出图像质量较好的包含人脸图像的视频帧，可提高后续分析待查询对象活动规律的效率。

需要说明的是，由于采用单一评价指标对图像质量进行评价时，具有一定的局限性，因此，可采用多个图像质量评价指标对图像质量进行评价，当然，对图像质量进行评价时，并非图像质量评价指标越多越好，因为图像质量评价指标越多，图像质量评价过程的计算复杂度越高，也不见得图像质量评价效果越好，因此，在对图像质量评价要求较高的情况下，可采用2～10个图像质量评价指标对图像质量进行评价。具体地，选取图像质量评价指标的个数及哪个指标，依据具体实现情况而定。当然，也得结合具体地场景选取图像质量评价指标，在暗环境下进行图像质量评价和亮环境下进行图像质量评价选取的图像质量指标可不一样。

可选地，在对图像质量评价精度要求不高的情况下，可用一个图像质量评价指标进行评价，例如，以熵对待处理图像进行图像质量评价值，可认为熵越大，则说明图像质量越好，相反地，熵越小，则说明图像质量越差。

可选地，在对图像质量评价精度要求较高的情况下，可以采用多个图像质量评价指标对待评价图像进行评价，在多个图像质量评价指标对待评价图像进行图像质量评价时，可设置该多个图像质量评价指标中每一图像质量评价指标的权重，可得到多个图像质量评价值，根据该多个图像质量评价值及其对应的权重可得到最终的图像质量评价值，例如，三个图像质量评价指标分别为：A指标、B指标和C指标，A的权重为a1，B的权重为a2，C的权重为a3，采用A、B和C对某一图像进行图像质量评价时，A对应的图像质量评价值为b1，B对应的图像质量评价值为b2，C对应的图像质量评价值为b3，那么，最后的图像质量评价值＝a1b1+a2b2+a3b3。通常情况下，图像质量评价值越大，说明图像质量越好。

105、根据所述N张人脸图像获取所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容。

其中，N张人脸图像均包含待查询对象的人脸图像，因而，可对该N张人脸图像进行分析，可得到该待查询对象的活动规律，即活动轨迹，以及与活动轨迹对应的活动内容。

可选地，所述N张人脸图像中每一人脸图像对应有拍摄时间以及拍摄位置，上述步骤105中，根据所述N张人脸图像获取所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容，可包括如下步骤：

51)、根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

52)、对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容；

53)、将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

其中，N张人脸图像中每一人脸图像均对应拍摄时间以及拍摄位置。拍摄时间可为拍摄每一人脸图像的拍摄时间，拍摄位置可为拍摄每一人脸图像的摄像头位置。进而，可在地图上对N张人脸图像进行标记，即可得到待查询对象的活动轨迹，进一步地，可对N张人脸图像进行行为识别，得到其活动内容，可将待查询对象的活动轨迹以及活动内容均在地图上进行标记，可以得到该待查询对象的活动轨迹，若出现该待查询对象在某个时间段一直在同一个地方，则可以合并该地方的轨迹点，即以一个轨迹点加以表示该地方。如此，可实现对待查询对象出现的位置进行标记，以及对其活动内容进行分析，从而，得到用户需要了解的活动规律。

进一步地，上述步骤52，对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容，可包括如下步骤：

C1)、采用预设的行为分类器对所述N张人脸图像进行行为分析，得到所述N个行为，每一人脸图像对应一个行为；

C2)、按照时间先后顺序将所述N个行为中相邻的行为进行合并处理，得到X个行为，所述X为小于所述N的正整数；

C3)、将所述X个行为作为所述待查询对象的活动内容。

其中，上述行为可包括但不仅限于：跑步、走路、说话、看手机、骑车等等，上述预设的行为分类器可为神经网络分类器，支持向量机分类器等等，如此，可对N张人脸图像进行行为分析，得到N个行为，每一人脸图像对应一个行为，由于考虑到时间轴上相邻的人脸图像之间的行为可能一样，因而，可按照时间先后顺序将N个行为中相邻的行为进行合并处理，得到X个行为，X为小于N的正整数，进而，将该X个行为作为待查询对象的活动内容，如此，可通过多张人脸图像，分析出其行为，通过行为判断出活动内容。

可以看出，通过本发明实施例，获取待查询对象的人脸图像，获取指定时间段以及在指定时间段内的至少一个采样时间段，从视频库中获取与指定时间段对应的第一目标视频段，根据至少一个采样时间段，从第一目标视频段中搜索出与人脸图像匹配的N张目标人脸图像，N正整数，根据N张人脸图像确定待查询对象的活动轨迹以及与活动轨迹对应的活动内容。如此，可从视频库中搜索出与待查询对象对应的视频段，进而，根据该视频段确定出待查询对象的活动轨迹以及与之对应的活动内容，进一步地，还可对待查询对象的活动规律进行分析，例如，上述至少一个采样时间段为周期性采样的时间段，则可对待查询对象的活动规律进行周期性分析。

与上述一致地，请参阅图2，为本发明实施例提供的一种视频处理方法的第二实施例流程示意图。本实施例中所描述的视频处理方法，包括以下步骤：

201、获取待查询对象的人脸图像；

202、获取指定时间段以及在所述指定时间段内的至少一个采样时间段；

203、从视频库中获取与所述指定时间段对应的第一目标视频段；

204、根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

205、将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

206、对所述P张人脸图像进行训练，得到所述M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

207、根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像；

208、根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

209、对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容；

其中，上述步骤201-步骤209为视频处理装置执行图1所描述的视频处理方法的详细步骤，具体可参照图1所描述的视频处理方法，在此不再赘述。

210、将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

其中，为了更好地展示待查询对象的活动规律，可将待查询对象的活动轨迹以及活动内容均在地图上进行标记，该地图可为室内地图，或者，室外地图，可以得到该待查询对象的活动轨迹，当然，若出现该待查询对象在某个时间段一直在同一个地方，则可以合并该地方的轨迹点，即以一个轨迹点加以表示该地方，如此，可避免某个区域位置标记点过多，不便于观察。

可以看出，通过本发明实施例，获取待查询对象的人脸图像，获取指定时间段以及在指定时间段内的至少一个采样时间段，从视频库中获取与指定时间段对应的第一目标视频段，根据至少一个采样时间段对第一目标视频段进行截取操作，得到第二目标视频段，将第二目标视频段进行图像分割，得到P张人脸图像，P为不小于M的整数，对P张人脸图像进行训练，得到M张第一图像，M张第一图像中每一第一图像至少包含一个人脸图像，M为不小于N的整数，根据人脸图像对M张第一图像进行搜索，得到与人脸图像匹配的N张第一图像，将其作为N张目标人脸图像，根据每一人脸图像对应有拍摄时间以及拍摄位置将N张人脸图像标记在地图上，得到待查询对象的活动轨迹，对N张人脸图像进行行为识别，得到待查询对象的活动内容，将待查询对象的活动轨迹以及活动内容在所述地图上进行标记。如此，可从视频库中搜索出与待查询对象对应的视频段，进而，根据该视频段确定出待查询对象的活动轨迹以及与之对应的活动内容，进而，可对待查询对象的活动规律进行分析，还可以在地图上对该活动规律进行展示，便于用户快速了解该活动规律。

与上述一致地，以下为实施上述视频处理方法的装置，具体如下：

请参阅图3a，为本发明实施例提供的一种视频处理装置的第一实施例结构示意图。本实施例中所描述的视频处理装置，包括：第一获取单元301、第二获取单元302、搜索单元303和确定单元304，具体如下：

第一获取单元301，用于获取待查询对象的人脸图像；

所述第一获取单元301，还具体用于：

获取指定时间段以及在所述指定时间段内的至少一个采样时间段；

第二获取单元302，用于从视频库中获取与所述指定时间段对应的第一目标视频段；

搜索单元303，用于根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N正整数；

确定单元304，用于根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容。

其中，第一获取单元301用于实现上述步骤101、102所描述的方法，第二获取单元302用于实现上述步骤103所描述的方法，搜索单元303用于实现上述步骤104所描述的方法，确定单元304用于实现上述步骤105所描述的方法。以下单元或模块以此类推。

可选地，如图3b，图3b为图3a所描述的视频处理装置的搜索单元303的具体细化结构，所述搜索单元303可包括：截取模块3031、检测模块3032和搜索模块3033，具体如下：

截取模块3031，用于根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

检测模块3032，用于对所述第二目标视频段进行人脸检测，得到M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

搜索模块3033，用于根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像。

进一步可选地，如图3c，图3c为图3b所描述的搜索单元303的检测模块3032的具体细化结构，所述检测模块3032可包括：分割模块401和训练模块402，具体如下：

分割模块401，用于将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

训练模块402，用于对所述P张人脸图像进行训练，得到所述M张第一图像。

可选地，上述检测模块3032可包括：图像质量评价模块(图中未标出)和图像选取模块(图中未标出)，具体如下：

图像质量评价模块，用于对所述第二目标视频段中的每一帧图像进行图像质量评价，得到X个图像质量评价值，X为大于所述M的整数；

图像选取模块，用于从所述X个图像质量评价值中选取大于预设图像阈值的图像质量评价值，得到Y个图像质量评价值，所述Y为小于所述X且大于所述M的整数；

所述图像选取模块，还用于从所述Y个图像质量评价值对应的图像中选取所述M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像。

可选地，所述第一获取单元301从视频库中获取与所述指定时间段对应的第一目标视频段的具体实现方式为：

从所述视频库中获取预设区域内的至少一个视频文件；根据所述指定时间段对所述至少一个视频文件进行截取，得到所述第一目标视频段。

进一步可选地，如图3d，图3d为图3a所描述的视频处理装置的确定模块304的具体细化结构，所述N张人脸图像中每一人脸图像对应有拍摄时间以及拍摄位置；所述确定单元304可包括：标记模块3041和识别模块3042，具体如下：

标记模块3041，用于根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

识别模块3042，用于对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容；

所述标记模块3041，还具体用于将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

可以看出，通过本发明实施例所描述的视频处理装置，获取待查询对象的人脸图像，获取指定时间段以及在指定时间段内的至少一个采样时间段，从视频库中获取与指定时间段对应的第一目标视频段，根据至少一个采样时间段，从第一目标视频段中搜索出与人脸图像匹配的N张目标人脸图像，N正整数，根据N张人脸图像确定待查询对象的活动轨迹以及与活动轨迹对应的活动内容。如此，可从视频库中搜索出与待查询对象对应的视频段，进而，根据该视频段确定出待查询对象的活动轨迹以及与之对应的活动内容，进而，可对待查询对象的活动规律进行分析。

可以理解的是，本实施例的视频处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

与上述一致地，请参阅图4，为本发明实施例提供的一种视频处理装置的第二实施例结构示意图。本实施例中所描述的视频处理装置，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。

其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。

上述输出设备2000具体可为显示屏。

上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：

上述处理器3000，用于：

获取待查询对象的人脸图像；

获取指定时间段以及在所述指定时间段内的至少一个采样时间段；

从视频库中获取与所述指定时间段对应的第一目标视频段；

根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N正整数；

根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容。

可选地，上述处理器3000，根据所述至少一个采样时间段，从所述目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，包括：

根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

对所述第二目标视频段进行人脸检测，得到M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像。

可选地，上述处理器3000，对所述第二目标视频段进行人脸检测，包括：

将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

对所述P张人脸图像进行训练，得到所述M张第一图像。

可选地，上述处理器3000，从视频库中获取与所述指定时间段对应的第一目标视频段，包括：

从所述视频库中获取预设区域内的至少一个视频文件；

根据所述指定时间段对所述至少一个视频文件进行截取，得到所述第一目标视频段。

可选地，上述处理器3000，所述N张人脸图像中每一人脸图像对应有拍摄时间以及拍摄位置；根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容，包括：

根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容；

将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种视频处理方法的部分或全部步骤。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种视频处理方法，其特征在于，包括：

获取待查询对象的人脸图像；

获取指定时间段以及在所述指定时间段内的至少一个采样时间段，所述至少一个采样时间段具备周期性；

从视频库中获取与所述指定时间段对应的第一目标视频段；

根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N张人脸图像中每一人脸图像对应有拍摄时间以及拍摄位置，所述N为正整数；

根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容；

其中，所述根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容，包括：

根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容，具体为：采用预设的行为分类器对所述N张人脸图像进行行为分析，得到N个行为，每一人脸图像对应一个行为，按照时间先后顺序将所述N个行为中相邻的行为进行合并处理，得到X个行为，所述X为小于所述N的正整数，将所述X个行为作为所述待查询对象的活动内容，所述行为为以下一种：跑步、走路、说话、看手机和骑车；

将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个采样时间段，从所述目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，包括：

根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

对所述第二目标视频段进行人脸检测，得到M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述第二目标视频段进行人脸检测，包括：

将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

对所述P张人脸图像进行训练，得到所述M张第一图像。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述从视频库中获取与所述指定时间段对应的第一目标视频段，包括：

从所述视频库中获取预设区域内的至少一个视频文件；

根据所述指定时间段对所述至少一个视频文件进行截取，得到所述第一目标视频段。

5.一种视频处理装置，其特征在于，包括：

第一获取单元，用于获取待查询对象的人脸图像；

所述第一获取单元，还具体用于：

获取指定时间段以及在所述指定时间段内的至少一个采样时间段，所述至少一个采样时间段具备周期性；

第二获取单元，用于从视频库中获取与所述指定时间段对应的第一目标视频段；

搜索单元，用于根据所述至少一个采样时间段，从所述第一目标视频段中搜索出与所述人脸图像匹配的N张目标人脸图像，所述N张人脸图像中每一人脸图像对应有拍摄时间以及拍摄位置，所述N为正整数；

确定单元，用于根据所述N张人脸图像确定所述待查询对象的活动轨迹以及与所述活动轨迹对应的活动内容；

所述确定单元，包括：

标记模块，用于根据所述每一人脸图像对应有拍摄时间以及拍摄位置将所述N张人脸图像标记在地图上，得到所述待查询对象的活动轨迹；

识别模块，用于对所述N张人脸图像进行行为识别，得到所述待查询对象的活动内容，具体为：采用预设的行为分类器对所述N张人脸图像进行行为分析，得到N个行为，每一人脸图像对应一个行为，按照时间先后顺序将所述N个行为中相邻的行为进行合并处理，得到X个行为，所述X为小于所述N的正整数，将所述X个行为作为所述待查询对象的活动内容所述行为为以下一种：跑步、走路、说话、看手机和骑车；

所述标记模块，还具体用于将所述待查询对象的活动轨迹以及所述活动内容在所述地图上进行标记。

6.根据权利要求5所述的装置，其特征在于，所述搜索单元包括：

截取模块，用于根据所述至少一个采样时间段对所述第一目标视频段进行截取操作，得到第二目标视频段；

检测模块，用于对所述第二目标视频段进行人脸检测，得到M张第一图像，所述M张第一图像中每一第一图像至少包含一个人脸图像，所述M为不小于所述N的整数；

搜索模块，用于根据所述人脸图像对所述M张第一图像进行搜索，得到与所述人脸图像匹配的N张第一图像，将其作为所述N张目标人脸图像。

7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：

分割模块，用于将所述第二目标视频段进行图像分割，得到P张人脸图像，所述P为不小于所述M的整数；

训练模块，用于对所述P张人脸图像进行训练，得到所述M张第一图像。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述第一获取单元从视频库中获取与所述指定时间段对应的第一目标视频段的具体实现方式为：

从所述视频库中获取预设区域内的至少一个视频文件；根据所述指定时间段对所述至少一个视频文件进行截取，得到所述第一目标视频段。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-4任一项所述的方法。