CN110688952A - 视频解析方法及装置 - Google Patents

Abstract

本申请公开了一种视频解析方法及装置。该方法包括：获取待处理视频；将所述待处理视频分成多个目标视频；使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，并将所述多个目标视频的结构化数据作为所述待处理视频的结构化数据。还公开了相应的装置。

Description

视频解析方法及装置

技术领域

本申请涉及安防技术领域，尤其涉及一种视频解析方法及装置。

背景技术

目前，为了增强工作、生活或者社会环境中的安全性，会在各个区域场所内安装摄像监控设备，以便根据视频信息进行安全防护。随着公共场所内摄像头数量的快速增长，如何有效的通过海量视频确定包含目标人物和/目标车辆的图像，并根据该图像的信息确定目标人物和/或目标车辆的行踪等信息具有重要意义。

通过对视频进行解析，可获得视频中的人物和/或车辆的属性信息和特征数据，但解析速度慢。

发明内容

本申请提供一种视频解析方法及装置，以解析视频。

第一方面，提供了一种视频解析方法，所述方法包括：获取待处理视频；将所述待处理视频分成多个目标视频；使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，并将所述多个目标视频的结构化数据作为所述待处理视频的结构化数据。

在该方面中，通过将待处理视频分成多个目标视频，再使用多个线程并行结构化处理上述多个目标视频获得待处理视频的结构化数据集，可提高对待处理视频的解析速度。

在一种可能实现的方式中，所述使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，包括：使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集；根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性；基于所述第一特征数据集中的特征数据和所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性，获得所述第一目标视频的结构化数据。

在该种可能实现的方式中，通过对第一目标视频进行特征提取处理获得第一特征数据集，并根据第一特征数据集获得待处理视频中的结构化数据。

在另一种可能实现的方式中，在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集之后，所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，所述方法还包括：在根据所述第一特征数据集中的特征数据确定所述待处理图像中包含人物和/或车辆的情况下，执行所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性的步骤。

在该种可能实现的方式中，根据第一特征数据集中的特征数据确定待处理图像中是否包含人物和/或车辆，并在待处理图像中包含人物和/或车辆的情况下，对待处理图像进行下一步处理，以减小数据处理量，提高解析速度。

在又一种可能实现的方式中，在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，所述方法还包括：确定所述第一特征数据集中的特征数据所属的类别以及所述类别的置信度，获得第二特征数据集；选取所述第二特征数据集中属于同一类别的特征数据中置信度最高的n个特征数据，获得第三特征数据集，所述n为正整数；所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性，包括：根据所述第三特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性。

在该种可能实现的方式中，从包含同一个人物和/或同一辆车的多张待处理图像中图像质量高的几张图像中提取出结构化数据，以进一步减少数据处理量，并减少数据存储空间

在又一种可能实现的方式中，在所述将所述待处理视频分成多个目标视频之前，所述方法还包括：获取目标视频解析倍速；依据所述目标视频解析倍速和所述待处理视频的时长，确定目标数量；所述将所述待处理视频分成多个目标视频，包括：将所述待处理视频分成所述目标数量视频，获得所述多个目标视频。

在该种可能实现的方式中，可根据目标视频解析倍速确定目标视频的数量。

在又一种可能实现的方式中，在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的图像进行特征提取处理，获得第一特征数据集之前，所述方法还包括：从预设线程池中获取所述第一线程；在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之后，所述方法还包括：释放所述第一线程，将所述第一线程放回所述线程池。

在该种可能实现的方式中，通过释放完成对目标视频的结构化处理的线程，并将该线程放回线程池，以便处理器再从线程次调用该线程结构化处理其他目标视频，提高对待处理视频的解析速度。

在又一种可能实现的方式中，所述结构化数据包括第一数据子集、第二数据子集和第三数据子集；所述方法还包括：将所述第一数据子集和所述第二数据子集写入第一存储介质，将所述第二数据子集和所述第三数据子集写入第二存储介质，将所述第一数据子集和所述第三数据子集写入第三存储介质。

在该种可能实现的方式中，将结构化数据中的不同数据子集写入不同的存储介质，以实现对结构化数据的备份，进而减小因存储介质出现故障导致结构化数据丢失的情况的发生概率。

在又一种可能实现的方式中，所述方法还包括：将所述第一存储介质中的数据所属的类别作为所述第一存储介质中的数据的索引款目，获得数据库。

在该种可能实现的方式中，通过对存储介质中的数据中建立索引款目获得数据库，可提高后续对数据库中的结构化数据进行检索时的速度。

在又一种可能实现的方式中，所述方法还包括：获取参考人物信息和/或参考车辆信息；使用所述参考人物信息和/或所述参考车辆信息检索所述数据库，获得所述数据库中具有与所述参考人物信息和/或所述参考车辆信息匹配的结构化数据的图像，作为目标图像。

在该种可能实现的方式中，通过使用参考人物信息和/或参考车辆信息对数据库中的数据进行检索，确定数据库中具有与参考人物信息和/或参考车辆信息匹配的结构化数据的图像，以获得目标图像。进一步的，可根据目标图像的采集时间和采集位置，确定目标人物和/或目标车辆(即目标图像中的人物和/或车辆)的行踪。

在又一种可能实现的方式中，所述方法还包括：在接收到针对所述目标图像中人物和/或车辆的行踪展示请求的情况下，显示所述目标图像的采集位置和采集时间。

在该种可能实现的方式中，可根据目标图像的采集位置和采集时间，显示目标图像中的人物和/或车辆的行踪。

第二方面，提供了一种视频解析装置，所述装置包括：获取单元，用于获取待处理视频；第一处理单元，用于将所述待处理视频分成多个目标视频；第二处理单元，用于使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，并将所述多个目标视频的结构化数据作为所述待处理视频的结构化数据。

在一种可能实现的方式中，所述第二处理单元用于：使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集；根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性；基于所述第一特征数据集中的特征数据和所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性，获得所述第一目标视频的结构化数据。

在另一种可能实现的方式中，所述装置还包括：第一确定单元，用于在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集之后，所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，在根据所述第一特征数据集中的特征数据确定所述待处理图像中包含人物和/或车辆的情况下，执行所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性的步骤。

在又一种可能实现的方式中，所述装置还包括：第二确定单元，用于在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，确定所述第一特征数据集中的特征数据所属的类别以及所述类别的置信度，获得第二特征数据集；选取单元，用于选取所述第二特征数据集中属于同一类别的特征数据中置信度最高的n个特征数据，获得第三特征数据集，所述n为正整数；所述第二处理单元用于：根据所述第三特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性。

在又一种可能实现的方式中，所述获取单元，还用于在所述将所述待处理视频分成多个目标视频之前，获取目标视频解析倍速；所述装置还包括：第三确定单元，用于依据所述目标视频解析倍速和所述待处理视频的时长，确定目标数量；所述第一处理单元用于：将所述待处理视频分成所述目标数量视频，获得所述多个目标视频。

在又一种可能实现的方式中，所述获取单元还用于，在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的图像进行特征提取处理，获得第一特征数据集之前，从预设线程池中获取所述第一线程；所述装置还包括：释放单元，用于在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之后，释放所述第一线程，将所述第一线程放回所述线程池。

在又一种可能实现的方式中，所述结构化数据包括第一数据子集、第二数据子集和第三数据子集；所述装置还包括：写入单元，用于将所述第一数据子集和所述第二数据子集写入第一存储介质，将所述第二数据子集和所述第三数据子集写入第二存储介质，将所述第一数据子集和所述第三数据子集写入第三存储介质。

在又一种可能实现的方式中，所述装置还包括：第四确定单元，用于将所述第一存储介质中的数据所属的类别作为所述第一存储介质中的数据的索引款目，获得数据库。

在又一种可能实现的方式中，所述获取单元，还用于获取参考人物信息和/或参考车辆信息；所述装置还包括：检索单元，用于使用所述参考人物信息和/或所述参考车辆信息检索所述数据库，获得所述数据库中具有与所述参考人物信息和/或所述参考车辆信息匹配的结构化数据的图像，作为目标图像。

在又一种可能实现的方式中，所述装置还包括：显示单元，用于在接收到针对所述目标图像中人物和/或车辆的行踪展示请求的情况下，显示所述目标图像的采集位置和采集时间。

第三方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本申请实施例提供的一种视频解析方法的流程示意图；

图2为本申请实施例提供的另一种视频解析方法的流程示意图；

图3为本申请实施例提供的一种存储结构化数据的方法的流程示意图；

图4为本申请实施例提供的一种视频解析装置的结构示意图；

图5为本申请实施例提供的一种视频解析装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

目前，为了增强工作、生活或者社会环境中的安全性，一方面在各个区域场所内及交通道路口安装摄像监控设备，以便根据视频信息进行安全防护，另一方面随着移动智能设备(如手机、平板电脑)的拍摄能力的增强，普通民众也可以通过移动智能设备采集到包含目标对象(包括目标人物和目标车辆)的视频。因此如何有效的通过海量视频确定包含目标对象的图像，并根据该图像的信息确定目标对象的行踪等信息具有重要意义。

传统方法中，相关工作人员通过观看摄像头或移动智能设备采集的视频，确定目标对象的行踪。但在视频时长较长的情况下，工作人员需要耗费较多的时间去观看视频，而这些视频中目标对象出现的时长可能又很短，这就导致通过工作人员观看视频确定目标对象的行踪的方式的效率低。

基于传统方法存在的效率低的缺陷，一些对视频进行解析处理以提取出视频中的目标对象的属性信息的方法应运而生，但该类方法的视频解析倍速低。其中，视频解析倍速指视频时长与解析处理的时长的商。举例来说，待解析视频的时长为1个小时，而工作人员需要在5分钟内获得该待解析视频中的目标对象的属性信息，也就是说，对该待解析视频的解析时长为5分钟，此时，视频解析倍速＝60/5＝12。

而应用本申请实施例提供的技术方案可提高视频解析倍速，使相关工作人员在更短的时间内获知视频中的目标对象的信息。

本申请实施例的执行主体可以是服务器，也可以是电脑，本申请对此不作限定。

下面以执行主体为服务器结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1，图1是本申请实施例(一)提供的一种视频解析方法的流程示意图。

101、获取待处理视频。

上述待处理视频可以是离线视频，也可以是在线视频。其中，离线视频可以是通过摄像头或移动智能设备采集获得的视频。在线视频可以是摄像头实时获得视频，例如，服务器可与多个摄像头相连，多个摄像头中的每个摄像头的安装位置不同，且服务器可从每个摄像头获取实时采集的视频作为待处理视频。

服务器获取待处理视频的方式可以从与服务器相连的存储介质(如USB闪存盘、移动硬盘)中获取待处理视频，也可以根据网络地址从互联网上将待处理视频下载至服务器，还可以是接收终端发送的待处理视频，其中，终端包括手机、计算机、平板电脑、服务器等。

102、将上述待处理视频分成多个目标视频。

通过将待处理视频分成多个目标视频，以便后续对多个目标视频进行并行处理，这样可提高对待处理视频的处理速度。

在一种可能实现的方式中，通过对待处理视频进行分片处理，获得多个目标视频。举例来说，待处理视频的时长为1个小时，通过对待处理视频进行分片处理，获得6个目标视频，每个目标视频的时长为10分钟。

上述目标视频的数量可根据用户的实际使用需求进行调整。在一种可能实现的方式中，用户在向服务器输入待处理视频时，还可输入目标视频解析倍速。服务器将根据待处理视频的时长和目标视频解析倍速，确定目标视频的数量。例如，张三向服务器输入一个时长为2个小时的视频，且向服务器输入的目标视频解析倍速是10，则服务器根据该视频的时长和目标视频解析倍速可确定目标视频的数量为120/10＝12个，进而可将该视频分成12个目标视频。其中，每个目标视频的时长为10分钟。

103、使用多个线程并行结构化处理上述多个目标视频，获得上述多个目标视频的结构化数据，并将上述多个目标视频的结构化数据作为上述待处理视频的结构化数据。

可选的，在执行步骤103之前，服务器可配置多个线程，并将上述多个线程存储至线程池。在执行步骤103时，可从线程池中获取上述多个线程。

上述多个线程的数量和上述多个目标视频的数量相同，可以一个线程结构化处理一个目标视频的方式使用上述多个线程并行结构化处理上述多个目标视频。这样可加快对目标视频的处理速度。在一种可能实现的方式中，可通过spark job调度上述多个线程并行结构化处理上述多个目标视频。

本申请实施例中，通过对目标视频进行结构化处理，可提取出目标视频中的待处理图像的特征数据和待处理图像中的人物的属性信息和/或车辆的属性信息(下文将包含特征数据和人物的属性信息和/或车辆的属性信息的数据称为结构化数据)。其中，人物的属性信息包括：服饰属性(包括所有装饰人体的物品的特征中的至少一种)和/或外貌特征(包括：体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西)。在一种可能实现的方式中，人物属性包括以下至少一种：上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、口罩颜色、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。车辆属性包括以下至少一种：车身颜色、车辆类型、车辆品牌型号、年检标。

通过使用多个线程并行结构化处理上述多个目标视频，可分别获得每个目标视频的结构化数据。在获得所有目标视频的结构化数据后，即完成对待处理视频的结构化处理，并将上述多个目标视频的结构化数据作为上述待处理视频的结构化数据。

可选的，还可通过spark job同时调度多台服务器的线程并行结构化处理待处理视频。

在本申请实施例中，通过将待处理视频分成多个目标视频，再使用多个线程并行结构化处理上述多个目标视频获得待处理视频的结构化数据集，可提高对待处理视频的解析速度。

由于实施例(一)中的每个线程对每个目标视频进行结构化处理的过程相同，为简洁行文，接下来将以多个线程中第一线程对多个目标视频中的第一目标视频进行结构化处理为例，详细阐述上述多个线程对上述多个目标视频的结构化处理的实现过程。

请参阅图2，图2是本申请实施例(二)提供的另一种视频解析方法的流程示意图。

201、使用上述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集。

上述特征提取处理可通过预先训练好的神经网络实现，也可通过特征提取模型实现，本申请对此不作限定。上述第一目标视频中的待处理图像为数字图像，通过对待处理图像进行特征提取处理可得到包含待处理图像的特征数据的第一特征数据集。第一特征数据集中的特征数据可以理解为待处理图像的更深层次的语义信息，该语义信息可用于描述第一目标视频中的图像的内容。

在一些可能的实现方式中，通过多层任意堆叠的卷积层对待处理图像逐层进行卷积处理完成对待处理图像的特征提取处理，其中，每个卷积层提取出的特征内容及语义信息均不一样，具体表现为，特征提取处理一步步地将待处理图像的特征抽象出来，同时也将逐步去除相对次要的特征数据，因此，越到后面提取出的特征数据越小，内容及语义信息就越浓缩。通过多层卷积层逐级对待处理图像进行卷积处理，并提取相应的特征数据，这样，可在获得待处理图像主要内容信息的同时，将待处理图像尺寸缩小，减小系统的计算量，提高运算速度。

由于后续处理需要获得待处理图像中的人物和/或车辆的属性，因此，在进行后续处理前，需确定待处理图像中是否包含人物和/或车辆。在一种可能实现的方式中，在通过预先训练好的神经网络对待处理图像进行特征提取处理获得包含待处理图像的特征数据的第一特征数据集后，可根据第一特征数据集中的特征数据确定待处理图像中是否包含人物和/或车辆。在确定待处理图像中包含人物和/或车辆的情况下，再执行根据第一特征数据集中的特征数据获得待处理图像中的人物的属性和/或待处理图像中的车辆的属性的步骤，即根据第一特征数据集中的特征数据确定待处理图像中的人物的不同属性的类别和/或确定待处理图像中的车辆的不同属性的类别。例如，图像a的特征数据为特征数据1，根据特征数据1确定图像a中的人物身着的上衣的颜色为白色，即确定图像a中的人物的上衣颜色为白色。又例如，图像b的特征数据为特征数据2，根据特征数据2确定图像b中的车辆的颜色为黑色，即确定图像b中的车辆的颜色为黑色。

可选的，对于不包含人物和/或车辆的待处理图像，将不再执行根据第一特征数据集中的特征数据获得待处理图像中的人物的属性和/或待处理图像中的车辆的属性的步骤，且不储存不包含人物和/车辆的待处理图像。这样，可大大减少数据处理量，同时减少数据存储空间。

202、根据上述第一特征数据集中的特征数据获得上述待处理图像中的人物的属性和/或上述待处理图像中的车辆的属性。

可选的，由于在一个目标视频中，多张待处理图像可能包含同一个人物和/或同一辆车，考虑到目标视频的时长较短，包含同一个人物和/或同一辆车的多张待处理图像的结构化数据通常相同。因此可从包含同一个人物和/或同一辆车的多张待处理图像中图像质量高的几张图像中提取出结构化数据，以进一步减少数据处理量，并减少数据存储空间。

在一种可能实现的方式中，可根据待处理图像的特征数据确定待处理图像所述的类别，即确定第一特征数据集中的特征数据所属的类别，同时可确定第一特征数据集中你的特征数据所属的类别的置信度，获得第二特征数据集。举例来说(例1)，第一特征数据集包括特征数据1，特征数据2，特征数据3，特征数据4。确定特征数据1和特征数据3表征的人物的身份相同(下文将称为第一身份)，特征数据2和特征数据4表征的人物的身份相同(下文将称为第二身份)，且确定特征数据1表征的人物的身份为第一身份的置信度为0.8，确定特征数据3表征的人物的身份为第一身份的置信度为0.7，确定特征数据2表征的人物的身份为第二身份的置信度为0.9，确定特征数据4表征的人物的身份为第二身份的置信度为0.8。再选取上述第二特征数据集属于同一类别的特征数据中置信度最高的n个特征数据，获得第三特征数据集。接着例1继续举例，假设n＝1，则分别从属于第一身份的特征数据和属于第二身份的特征数据中选取置信度最高的特征数据，即特征数据1和特征数据2，获得第三特征数据集。最后根据上述第三特征数据集中的特征数据获得上述待处理图像中的人物的属性和/或上述待处理图像中的车辆的属性。

203、基于上述第一特征数据集中的特征数据和上述待处理图像中的人物的属性和/或上述待处理图像中的车辆的属性，获得上述第一目标视频的结构化数据。

在一种可能实现的方式中，若待处理图像仅包含人物，将第一特征数据集中的特征数据和待处理图像中的人物的属性作为第一目标视频的结构化数据。

在另一种可能实现的方式中，若待处理图像仅包含车辆，将第一特征数据集中的特征数据和待处理图像中的车辆的属性作为第一目标视频的结构化数据。

在又一种可能实现的方式中，若待处理图像包含人物和车辆，将第一特征数据集中的特征数据和待处理图像中的人物的属性和待处理图像中的车辆的属性作为第一目标视频的结构化数据。

可选的，结构化数据还可包含第一特征数据集中的特征数据所属的类别。如例1中，特征数据1和特征数据3所属的类别为第一身份，特征数据2和特征数据4所属的类别为第二身份。

需要理解的是，在使用多个线程对多个目标视频进行并行结构化处理时，每一个线程对目标视频的结构化处理过程均与实施例(二)描述的使用第一线程对第一目标视频进行结构化处理获得第一目标视频的结构化数据的过程相同。在使用多个线程并行结构化处理上述多个目标视频获得每个目标视频的结构化数据后，可将所有目标视频的结构化数据作为上述待处理视频的结构化数据。

本实施例通过使用多个线程分别对多个目标视频进行结构化处理，完成对待处理视频的结构化处理，获得待处理视频的结构化数据。

虽然不同的目标视频的时长相同，但不同的目标视频包含的数据大小不同，而不同线程的处理能力相同，因此在上述使用多个线程并行结构化处理多个目标视频的过程中，对不同目标视频的结构化处理所需的时间不同。可选的，在获得目标视频的结构数据后，可释放结构化处理该目标视频的线程，并将该线程放回线程池，以便处理器再从线程次调用该线程结构化处理其他目标视频，提高对待处理视频的解析速度。

举例来说，线程池中包含线程1和线程2，服务器的处理器调用线程1对目标视频1进行结构化处理，同时调用线程2对目标视频2进行结构化处理。当线程1已完成对目标视频1的结构处理时，线程2未完成对目标视频2的结构化处理，此时释放线程1，并将线程1放回线程池。处理器可再从线程池调用线程1用于对目标视频2的结构化处理，这样，就相当于同时使用线程1和线程2对目标视频2进行结构化处理，可提升对目标视频2的结构化处理的速度。

在通过实施例(一)和实施例(二)所提供的技术方案获得待处理视频的结构化数据后，可对结构化数据进行存储，以便用户基于结构化数据对待处理视频进行相关检索。

由于存储结构化数据的存储介质存在出现故障的风险，为减小因存储介质出现故障导致结构化数据的丢失的情况的发生概率，本申请实施例采用将待处理视频的结构化数据分为多个数据子集，再将不同的数据子集存储至不同的存储介质，且结构化数据中任意一个数据子集至少被存储于两个不同的存储介质中。

在一种可能实现的方式中，将待处理视频的结构化数据中的第一数据子集和第二数据子集写入第一存储介质，将待处理视频的结构化数据中的第二数据子集和第三数据子集写入第二存储介质，将待处理视频的结构化数据中的第一数据子集和第三数据子集写入第三存储介质，完成对待处理视频的结构化数据的存储。这样，即使第一存储介质出现故障，第二存储介质中还存储有第二数据子集，第三存储介质中还存储有第三数据子集，即第一数据子集中的数据和第二数据子集中的数据不会丢失。同理，在第二存储介质出现故障的情况下，第二数据子集中的数据和第三数据子集中的数据不会丢失，在第三存储介质出现故障的情况下，第一数据子集中的数据和第三数据子集中的数据不会丢失。

可选的，可采用分布式文件系统(hadoop distributed file system，HDFS)执行上述可能实现的方式。HDFS可部署于多个独立的设备，如多台独立运行的服务器。因此，上述第一存储介质、上述第二存储介质和上述第三存储介质可位于不同的设备。由于一个设别的存储容量(包括可扩充容量)有限，基于HDFS存储结构化数据，可实现将结构化数据进行分布式存储。

可选的，由于每一张图像的结构化数据均包含特征数据、人物属性和/或车辆属性，为提升在使用图像特征数据和/或人物属性和/或车辆属性检索获得待处理视频中的待处理图像的速度，可将第一存储介质、第二存储介质和第三存储介质中的结构化数据的属性类别作为索引款目。

在一种可能实现的方式中，可将结构化数据存储至MoongoDB数据库，以第一存储介质中的结构化数据为例，将上述第一存储介质中的数据所属的类别作为上述第一存储介质中的数据的索引款目，获得上述MoongoDB数据库。例如，第一存储介质中的待处理图像1的结构化数据为特征数据1，上衣颜色属性为白色，裤子颜色属性为黑色，鞋子颜色属性为白色，则可将上衣颜色属性为白色，裤子颜色属性为黑色，鞋子颜色属性为白色作为待处理图像1的结构化数据的索引款目。这样，在使用参考上衣颜色属性和/或参考裤子颜色属性和/或参考鞋子颜色属性检索上述MoongoDB数据库时，可检索与参考上衣颜色属性和/或参考裤子颜色属性和/或参考鞋子颜色属性匹配的目标索引款目，再根据目标索引款目确定目标图像，可提高检索速度。

本申请实施例提供的视频解析的技术方案可应用于不同的应用场景，其中，在安防领域具有非常大的应用价值。下面将阐述如何在安防领域应用本申请实施例提供的视频解析的技术方案。

请参阅图3，图3是本申请实施例提供的一种存储结构化数据的方法的流程示意图。

301、构建数据库。

该步骤可参见实施例(一)和实施例(二)获得待处理视频的结构化数据以及基于该结构化数据构建数据库的实现方式，此处将不再赘述。

302、服务器获取参考人物信息和/或参考车辆信息。

上述参考人物信息可以是参考人物图像和/或参考人物属性，参考车辆信息可以是包含参考车辆图像和/或参考车辆属性。

例如，A地发生了盗窃案，证人张三向警方提供了嫌疑犯的图像a，则可将a作为参考人物图像。证人李四则向警方提供了嫌疑犯的属性信息(如嫌疑犯身着红色上衣，戴着黑色眼镜)，则可将该属性信息作为参考人物属性。

又例如，B地发生了肇事逃逸事件，证人王五向警方提供了肇事逃逸车辆的图像b，则可将b作为参考车辆图像。证人周六则向警方提供了肇事逃逸车辆的属性信息(如肇事逃逸车辆为一辆黑色本田三厢车)，则可将该属性信息作为参考车辆属性。

获取参考人物信息和/或参考车辆信息的方式可以是接收用户通过输入组件输入的参考人物信息和/或参考车辆信息，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收终端发送的参考人物信息和/或参考车辆信息，其中，终端包括手机、计算机、平板电脑、服务器等。

303、服务器使用上述参考人物信息和/或上述参考车辆信息检索上述数据库，获得上述数据库中具有与上述参考人物信息和/或上述参考车辆信息匹配的结构化数据的图像，作为目标图像。

由于数据库中的每张图像的结构化数据均包括特征数据和类别信息(即属性类别)，因此，使用获取到的参考人物信息和/或参考车辆信息检索数据库，即从数据库中确定与参考人物信息和/或参考车辆信息匹配的结构化数据，进而确定目标图像。需要理解的是，目标图像的数量可能是一张，也可能是多张。

例如，当参考人物信息为：上衣颜色为白色、裤子颜色为黑色、裤子长度为长裤，参考头发特征为：发型为短发、发色为黑色时。使用参考行人属性检索数据库，即从数据库中确定特征数据包括上衣颜色为白色、裤子颜色为黑色、裤子长度为长裤、发型为短发、发色为黑色的图像，获得目标图像。

又例如，参考人物信息包括参考人物图像，使用参考人物图像检索数据库，即将参考人物图像与数据库中的图像进行比对得到匹配度，并将数据库中与参考人体图像的匹配度达到人体特征阈值的图像作为待检索图像。可选的，将参考人物图像与数据库中的图像进行比对可通过对参考人物图像进行特征提取处理，获得参考人物图像的特征数据，再将参考人物图像的特征数据与数据库中的待处理图像的特征数据进行比对，获得特征匹配度，作为参考人物图像与数据库中的待处理图像的匹配度。

可选的，由于摄像头的位置(即经度和纬度)是确定的，且摄像头采集的图像的时间也是确定的，因此，在待处理视频为通过摄像头获得的情况下，在接收到针对上述目标图像中人物和/或车辆的行踪展示请求的情况下，可显示目标图像的采集位置和采集时间。在一种可能实现的方式中，在接收到针对上述目标图像中人物和/或车辆的行踪展示请求的情况下，在地图中显示具有与目标图像的采集位置和采集时间。这样，用户可更直观的获取目标图像中的人物和/或车辆的行踪，即何时出现在何地。

本实施例通过使用参考人物信息和/或参考车辆信息对数据库中的数据进行检索，确定数据库中具有与参考人物信息和/或参考车辆信息匹配的结构化数据的图像，以获得目标图像。进一步的，可根据目标图像的采集时间和采集位置，确定目标人物和/或目标车辆(即目标图像中的人物和/或车辆)的行踪。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图4，图4为本申请实施例提供的一种视频解析装置的结构示意图，该装置1包括：获取单元11、第一处理单元12、第二处理单元13、第一确定单元14、第二确定单元15、第三确定单元16、释放单元17、写入单元18、分类单元19以及检索单元20，其中：

获取单元11，用于获取待处理视频；

第一处理单元12，用于将所述待处理视频分成多个目标视频；

第二处理单元13，用于使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，并将所述多个目标视频的结构化数据作为所述待处理视频的结构化数据。

在一种可能实现的方式中，所述第二处理单元13用于：使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集；根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性；基于所述第一特征数据集中的特征数据和所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性，获得所述第一目标视频的结构化数据。

在另一种可能实现的方式中，所述装置1还包括：第一确定单元14，用于在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集之后，所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，在根据所述第一特征数据集中的特征数据确定所述待处理图像中包含人物和/或车辆的情况下，执行所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性的步骤。

在又一种可能实现的方式中，所述装置1还包括：第二确定单元15，用于在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，确定所述第一特征数据集中的特征数据所属的类别以及所述类别的置信度，获得第二特征数据集；选取单元，用于选取所述第二特征数据集中属于同一类别的特征数据中置信度最高的n个特征数据，获得第三特征数据集，所述n为正整数；所述第二处理单元用于：根据所述第三特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性。

在又一种可能实现的方式中，所述获取单元11，还用于在所述将所述待处理视频分成多个目标视频之前，获取目标视频解析倍速；所述装置1还包括：第三确定单元16，用于依据所述目标视频解析倍速和所述待处理视频的时长，确定目标数量；所述第一处理单元12用于：将所述待处理视频分成所述目标数量视频，获得所述多个目标视频。

在又一种可能实现的方式中，所述获取单元11还用于，在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的图像进行特征提取处理，获得第一特征数据集之前，从预设线程池中获取所述第一线程；所述装置1还包括：释放单元17，用于在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之后，释放所述第一线程，将所述第一线程放回所述线程池。

在又一种可能实现的方式中，所述结构化数据包括第一数据子集、第二数据子集和第三数据子集；所述装置1还包括：写入单元18，用于将所述第一数据子集和所述第二数据子集写入第一存储介质，将所述第二数据子集和所述第三数据子集写入第二存储介质，将所述第一数据子集和所述第三数据子集写入第三存储介质。

在又一种可能实现的方式中，所述装置1还包括：第四确定单元19，用于将所述第一存储介质中的数据所属的类别作为所述第一存储介质中的数据的索引款目，获得数据库。

在又一种可能实现的方式中，所述获取单元11，还用于获取参考人物信息和/或参考车辆信息；所述装置1还包括：检索单元20，用于使用所述参考人物信息和/或所述参考车辆信息检索所述数据库，获得所述数据库中具有与所述参考人物信息和/或所述参考车辆信息匹配的结构化数据的图像，作为目标图像。

在又一种可能实现的方式中，所述装置还包括：显示单元，用于在接收到针对所述目标图像中人物和/或车辆的行踪展示请求的情况下，显示所述目标图像的采集位置和采集时间。

本实施例通过将待处理视频分成多个目标视频，再使用多个线程并行结构化处理上述多个目标视频获得待处理视频的结构化数据集，可提高对待处理视频的解析速度。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图5为本申请实施例提供的一种视频解析装置的硬件结构示意图。该视频解析装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输出装置23和输入装置24可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关视频和结构化数据，如该存储器22可用于存储通过输入装置23获取的待处理视频，又或者该存储器22还可用于存储通过处理器21获得的待处理视频的结构化数据等等，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图5仅仅示出了一种视频解析装置的简化设计。在实际应用中，视频解析装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的视频解析装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种视频解析方法，其特征在于，所述方法包括：

获取待处理视频；

将所述待处理视频分成多个目标视频；

使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，并将所述多个目标视频的结构化数据作为所述待处理视频的结构化数据。

2.根据权利要求1所述的方法，其特征在于，所述使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，包括：

使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集；

根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性；

基于所述第一特征数据集中的特征数据和所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性，获得所述第一目标视频的结构化数据。

3.根据权利要求2所述的方法，其特征在于，在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的待处理图像进行特征提取处理，获得第一特征数据集之后，所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，所述方法还包括：

在根据所述第一特征数据集中的特征数据确定所述待处理图像中包含人物和/或车辆的情况下，执行所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性的步骤。

4.根据权利要求3所述的方法，其特征在于，在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之前，所述方法还包括：

确定所述第一特征数据集中的特征数据所属的类别以及所述类别的置信度，获得第二特征数据集；

选取所述第二特征数据集中属于同一类别的特征数据中置信度最高的n个特征数据，获得第三特征数据集，所述n为正整数；

所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性，包括：

根据所述第三特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述将所述待处理视频分成多个目标视频之前，所述方法还包括：

获取目标视频解析倍速；

依据所述目标视频解析倍速和所述待处理视频的时长，确定目标数量；

所述将所述待处理视频分成多个目标视频，包括：

将所述待处理视频分成所述目标数量视频，获得所述多个目标视频。

6.根据权利要求2所述的方法，其特征在于，在所述使用所述多个线程中的第一线程对所述多个目标视频中的第一目标视频中的图像进行特征提取处理，获得第一特征数据集之前，所述方法还包括：

从预设线程池中获取所述第一线程；

在所述根据所述第一特征数据集中的特征数据获得所述待处理图像中的人物的属性和/或所述待处理图像中的车辆的属性之后，所述方法还包括：

释放所述第一线程，将所述第一线程放回所述线程池。

7.一种视频解析装置，其特征在于，所述装置包括：

获取单元，用于获取待处理视频；

第一处理单元，用于将所述待处理视频分成多个目标视频；

第二处理单元，用于使用多个线程并行结构化处理所述多个目标视频，获得所述多个目标视频的结构化数据，并将所述多个目标视频的结构化数据作为所述待处理视频的结构化数据。

8.一种处理器，其特征在于，所述处理器用于执行如权利要求1至6中任意一项所述的方法。

9.一种电子设备，其特征在于，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至6中任意一项所述的方法。

Images