CN109740573A - 视频分析方法、装置、设备及服务器 - Google Patents

Abstract

本申请涉及视频分析技术领域，提供一种视频分析方法、装置、设备及服务器。应用于视频分析设备的视频分析方法包括：获取多个摄像头采集的多路视频数据；从每路视频数据中检测行人并获取检测到的行人的描述信息；计算描述信息之间的第一相似程度，将第一相似程度达到第一预设程度的描述信息对应的行人进行关联；合并属于同一行人的描述信息，将合并后的描述信息发送至位于云端的服务器。该方法可以使用普通摄像头采集视频数据，有利于降低成本；同时，由于视频分析设备分担了部分计算任务，有效降低了服务器对计算资源的消耗；此外，由于行人的描述信息在发送至服务器之前已进行合并，并且也无需向服务器发送行人的图像，有利于节省带宽资源。

Description

视频分析方法、装置、设备及服务器

技术领域

本申请涉及视频分析技术领域，具体而言，涉及一种视频分析方法、装置、设备及服务器。

背景技术

客流系统是指对营业场所内的行人进行分析统计的系统。在现有技术中，客流系统主要包括安装在营业场所内的抓拍机以及位于云端的服务器。其中，抓拍机是一种智能摄像头，可以从拍摄到的原始图像中检测出行人，并将检测到的行人的图像通过网络发送至服务器，服务器根据各路抓拍机上传的图像进行分析统计，输出行人的轨迹、属性等信息。

然而，由于服务器要处理大量抓拍机上传的图像，对计算资源消耗量极大，普通性能的服务器难以满足要求，致使系统实时性下降。

发明内容

有鉴于此，本申请实施例提供一种视频分析方法、装置、设备及服务器，利用视频分析设备分担服务器的部分计算负担，有利于提高视频分析的实时性。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种视频分析方法，应用于视频分析设备，所述视频分析设备分别与多个摄像头通信连接，所述方法包括：获取所述多个摄像头采集的多路视频数据；从每路视频数据中检测行人，并获取检测到的行人的描述信息；计算所述描述信息之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联；合并被关联在一起的行人的描述信息，并将合并后的描述信息发送至位于云端的服务器。

上述方法至少具有如下有益效果：

第一，可以采用普通摄像头采集数据，对行人的检测在视频分析设备上完成，无需使用抓拍机，有利于降低成本，同时，相较于抓拍机，普通摄像头在购买、制造上都更为容易，使得该方法实施难度较低，易于推广普及。

第二，由视频分析设备对视频数据中的行人进行检测及关联，而一台视频分析设备只需处理与其通信连接的若干个摄像头采集的数据，其运算量并不会太大，位于云端的服务器则主要是对各视频分析设备发送的行人关联的结果(即合并后的描述信息)进行汇总或在此基础上进行进一步关联，从而服务器对计算资源的消耗量相较于现有技术大幅降低，意味着服务器对视频分析的实时性显著提高，或者说，对服务器的性能要求得到降低，有利于节省成本或者可以将服务器剩余的计算能力用于其他用途。

第三，由于行人的描述信息在发送至服务器之前就进行了合并，相当于去除了其中冗余的信息，使得需要传输的数据量显著下降，同时，由于该方法是在视频分析设备上进行行人的关联，因此不需要将行人的图像上传至服务器，同样使得需要传输的数据量显著下降，总之，在视频分析设备和位于云端的服务器之间的数据传输不需要占用太大的网络带宽，有利于节省带宽资源。

该方法可以应用于客流系统，也可以应用于其他视频分析系统中。

在一些实施例中，所述描述信息包括检测到的行人的特征和/或属性；所述计算所述描述信息之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联，包括：计算所述描述信息中的特征和/或属性之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联。

行人的特征是指使某个行人区别于其他行人的特点的量化表示，若两个检测出的行人具有相似的特征，则可以认为这两个行人是同一行人，从而可以将其进行关联。

行人的属性(包括性别、年龄、衣着等)也可以用于区别不同的行人，或者说属性在某种程度上也可以视为一种较为简单的特征。但上面所说的行人的特征主要是指图像本身的特征，而行人的属性主要是指行人作为一个对象在语义层面上的特征。若两个检测出的行人具有相似的属性，也可以将其进行关联。在使用属性关联行人时，可以使用单个属性也可以使用属性的组合进行相似程度的计算。

在进行行人关联时，还可以结合考虑行人的特征以及属性，获得更精确的关联结果。

在一些实施例中，所述获取检测到的行人的描述信息，包括：在所述描述信息包括检测到的行人的特征时，利用行人重识别(Person Re－Identification，ReID)模型提取所述描述信息中的特征；在所述描述信息包括检测到的行人的属性时，利用属性模型提取所述描述信息中的属性。

行人重识别是一种用于识别不同摄像头拍摄到的同一行人的技术，其做法是利用行人重识别模型(如，一个神经网络模型)提取行人的特征，然后通过特征的比对(即计算特征间的相似程度)，将具有相似特征的行人确定为同一行人。目前已经有一些效果较好的行人重识别模型可供使用，因此基于行人重识别模型提取的特征进行各路视频中行人的关联，其精确度较高，有利于充分消除行人信息的冗余。属性模型是针对要提取的属性预训练的神经网络模型，例如，要提取性别属性，就利用包含男女行人的样本训练该模型。通过大量样本的训练后，属性模型能够比较准确地进行属性提取。

在一些实施例中，所述计算所述描述信息中的特征之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联，包括：

计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度，若所述第一相似程度达到第一预设程度，将所述未关联描述信息对应的行人和所述已关联描述信息对应的行人进行关联，其中，所述未关联描述信息是指尚未进行过行人关联的描述信息，所述已关联描述信息是指已经进行过行人关联的描述信息或已经生成的合并后的描述信息。

在未关联描述信息对应的行人需要进行关联时，可以先将未关联描述信息中的特征和已关联描述信息中的特征进行比对，从而将未关联描述信息对应的行人关联至某个之前已经在视频数据中出现的行人。若未关联描述信息对应的行人无法关联至某个之前已经在视频数据中出现的行人，表明未关联描述信息对应的行人是首次出现在视频数据中。

在一些实施例中，在所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度之前，所述方法还包括：对所述已关联的描述信息中的特征进行聚类；所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度，包括：确定所述未关联描述信息中的特征在聚类结果中的第一特征类别；计算所述未关联描述信息中的特征和所述已关联描述信息中属于所述第一特征类别的特征的第一相似程度。

在这些实施例中，通过对已关联的描述信息中的特征进行聚类，缩小了未关联描述信息中的特征进行特征比对的范围，有利于加快行人关联的速度。

在一些实施例中，所述描述信息还包括检测到的行人的特征和属性；在所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度之前，所述方法还包括：对所述已关联描述信息中的特征按照所述已关联描述信息中的属性进行分类；所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度，包括：根据所述未关联描述信息中的属性确定所述未关联描述信息中的特征在分类结果中的第二特征类别；计算所述未关联描述信息中的特征和所述已关联描述信息中属于所述第二特征类别的特征的第一相似程度。

在这些实施例中，通过对已关联描述信息中的特征按照该描述信息中的属性进行分类，缩小了未关联描述信息中的特征进行特征比对的范围，有利于加快行人关联的速度。

在一些实施例中，在从每路视频数据中检测行人之前，所述方法还包括：将所述多路视频数据进行拼接。

在检测行人之前进行视频拼接，拼接后的一帧图像由拼接前的多帧图像构成，从而检测一帧拼接后的图像相当于同时检测多帧拼接前的图像，有利于提高行人检测的速度。

在一些实施例中，所述方法还包括：根据被关联在一起的行人的描述信息的采集时间以及采集位置确定所述行人的运动轨迹，其中，所述采集位置是指采集所述描述信息的摄像头设置的位置；将所述运动轨迹发送至所述位于云端的服务器。

进行行人关联后可以进一步获得行人的运动轨迹，为进一步分析行人行为提供依据。

第二方面，本申请实施例提供一种视频分析方法，应用于位于云端的服务器，包括：接收多个视频分析设备发送的行人的合并后的描述信息；计算所述合并后的描述信息之间的第二相似程度，将所述第二相似程度达到第二预设程度的合并后的描述信息对应的行人进行关联；进一步合并被关联在一起的行人的所述合并后的描述信息。

由于在视频分析设备上已经进行过局部区域(即与该视频分析设备通信连接的摄像头覆盖的区域)内行人的关联，对每个行人只发送一条合并后的描述信息到位于云端的服务器，因此服务器并不会收到太多的描述信息，带宽占用较小，同时，由于描述信息的量较小，并且服务器可以直接利用这些描述信息进行不同视频分析设备间行人的关联，而无需自己获取描述信息，因此服务器消耗计算资源较少。另外，服务器进一步合并各视频分析设备的发送的合并后的描述信息后，有利于在更大的区域内进行行人分析。

在一些实施例中，所述方法还包括：接收所述多个视频分析设备发送的行人的运动轨迹；合并被关联在一起的行人的所述运动轨迹。

服务器可以合并各视频分析设备的发送的行人在局部区域内的运动轨迹，能够获得行人在更大的区域内的运动轨迹，有利于在更大的区域内进行行人行为的分析。

第三方面，本申请实施例提供一种视频分析装置，配置于视频分析设备，所述视频分析设备分别与多个摄像头通信连接，所述装置包括：数据获取模块，用于获取所述多个摄像头采集的多路视频数据；行人检测模块，用于从每路视频数据中检测行人，并获取检测到的行人的描述信息；行人关联模块，用于计算所述描述信息之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联；信息合并模块，用于合并被关联在一起的行人的描述信息，并将合并后的描述信息发送至位于云端的服务器。

第四方面，本申请实施例提供一种视频分析装置，配置于位于云端的服务器，所述装置包括：信息接收模块，用于接收多个视频分析设备发送的行人的合并后的描述信息；行人关联模块，用于计算所述合并后的描述信息之间的第二相似程度，将所述第二相似程度达到第二预设程度的合并后的描述信息对应的行人进行关联；信息合并模块，用于进一步合并被关联在一起的行人的所述合并后的描述信息。

第五方面，本申请实施例提供一种视频分析设备，分别与多个摄像头通信连接，所述视频分析设备包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一个可能的实施例提供的方法的步骤。

在一些实施例中，所述视频分析设备为嵌入式设备。

嵌入式设备功耗较低，体积较小，价格便宜，因此即使部署了较多的视频分析设备用于检测行人和关联行人，也不会造成明显的成本上升。

在一些实施例中，所述视频分析设备与所述多个摄像头位于同一局域网内，并通过所述局域网网络连接。

同一局域网内数据传输速度较快，不会形成带宽瓶颈，因此即使在摄像头和视频分析设备间进行大量视频数据的传输也不会对视频数据的分析效率产生明显的影响。相对地，视频分析设备与位于云端的服务器之间的网络可能为公用网络，其带宽资源比较珍贵，应尽量避免传输大量的数据。

第六方面，本申请实施例提供一种服务器，设置于云端，所述服务器包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第二方面或第二方面的任意一个可能的实施例提供的方法的步骤。

第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面、第二方面或以上两方面的任意一个可能的实施例提供的方法的步骤。

为使本申请的上述目的、技术方案和有益效果能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种视频分析系统的示意图；

图2示出了本申请实施例提供的一种视频分析方法的流程图；

图3示出了本申请实施例提供的一种视频分析装置的功能模块图；

图4示出了本申请实施例提供的另一种视频分析装置的功能模块图；

图5示出了一种可用于本申请实施例中的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1示出了本申请实施例提供的一种视频分析系统100的示意图，该系统用于根据采集到的视频数据对特定场所内的行人进行分析，这里所称的特定场所可以是营业场所(如商场、超市、饭馆等)，也可以是非营业场所(如街道、小区、车站等)，不作限定。若将该系统用于分析营业场所内的行人的行为，则该系统可以实现客流系统的功能，当然该系统也能够用于其他用途。进一步的，该系统中采用的视频分析方法也可以推广至对除行人外其他对象的分析，例如，机动车辆、非机动车辆等。

参照图1，该系统包括摄像头110、视频分析设备120以及服务器130。其中，服务器130位于云端，而视频分析设备120和摄像头110位于本地，本地是和云端相对的概念，具体可以指视频分析设备120以及摄像头110主要通过近程通信的方式进行数据交互，例如通过局域网(有线的或者无线的)，通过数据线直接连接等，其特点是数据传输速度相对较快，带宽在一定程度上可以认为不受限制。而视频分析设备120以及服务器130(本地和云端)之间主要通过远程通信的方式进行数据交互，例如通过广域网等，其特点是数据传输带宽受到限制(在经费有限时)。

服务器130与多台视频分析设备120(图中仅示出一台)通信连接。视频分析设备120可以是台式机、笔记本电脑、嵌入式设备等物理设备，当然也可以是运行于上述设备中的虚拟机。摄像头110可以为普通摄像头，具有基本的视频数据采集功能。每台视频分析设备120与多个摄像头110通信连接，在常见的实现方式中，同一台视频分析设备120连接的多个摄像头110设置在一局部地理区域内，用于采集该区域内的视频数据。例如，在一个小型超市内安装多个摄像头110，并配置一台对应的视频分析设备120，又例如，在一个大型超市内划分多个区域，每个区域内安装多个摄像头110，并为每个区域配置对应的一台视频分析设备120。

图2示出了本申请实施例提供的一种视频分析方法的流程图。该方法可以应用于，但不限于应用于图1示出的视频分析系统100，但为阐述方便，在阐述图2中的步骤时，仍参考视频分析系统100的结构进行阐述。参照图2，该方法包括：

步骤S20：视频分析设备获取多个摄像头采集的多路视频数据。

每个摄像头采集其视场范围内的图像，称为一路视频数据，并将采集到的数据发送至视频分析设备。尽管视频数据的传输占用较大带宽，但由于视频分析设备和摄像头同属于本地环境，如处于同一局域网内，因此带宽因素并不构成性能瓶颈。同时，在一些实现方式中，也可以限制接入每个视频分析设备的摄像头的数量，使得每个视频分析设备不至于连接过多的摄像头，从而其接收和处理的视频数据的量不至于太大，符合其传输处理能力。

步骤S21：视频分析设备从每路视频数据中检测行人，并获取检测到的行人的描述信息。

视频分析设备可以通过软件或硬件的方式内置目标检测(object detection)算法对视频帧中的行人进行检测，其检测对象可以是整个行人，也可以是行人的一部分(如人脸)，算法输出包含行人的检测框的坐标作为检测结果。可以采用的目标检测算法包括但不限于Faster－RCNN、Mask－RCNN、FPN等算法，这些算法大多使用预训练的目标检测模型(如神经网络模型)检测视频帧中的行人。

可以对接收到的每帧图像都进行检测，也可以在每路视频数据中每间隔若干帧取一帧进行检测，根据视频分析设备的性能或者对视频分析的精度需求而定。

在一些实现方式中，进行行人检测之前，还可以对多路视频数据进行拼接，拼接后的一帧图像由拼接前的多帧图像构成，其具体拼接方式不限，例如，可以从每路视频中取一帧进行拼接，并根据行人检测的要求适当调整拼接后的图像的尺寸。对一帧拼接后的图像进行行人检测，相当于同时对多帧拼接前的图像进行行人检测，其检测效率较高，有利于提高视频分析的速度。

行人的描述信息可以包括，但不限于行人的特征(使某个行人区别于其他行人的特点的量化表示)、行人的属性(如性别、年龄、衣着、姿态等)等信息，这些信息可以根据行人检测结果进一步提取，其具体获取方式在后文再阐述。

步骤S22：计算描述信息之间的第一相似程度，将第一相似程度达到第一预设程度的描述信息对应的行人进行关联。

步骤S23：视频分析设备合并被关联在一起的行人的描述信息，并将合并后的描述信息发送至服务器。

对步骤S22以及步骤S23进行合并阐述。之前已经提到，同一台视频分析设备连接的多个摄像头很可能设置在同一局部地理区域内，因此同一行人可能出现在不同的摄像头采集的视频数据中，或者在同一摄像头采集的视频数据中先后多次出现。从而在步骤S21中可能检测到大量的行人，并获得大量的行人描述信息，这其中很多描述信息对应的实际上是同一行人，即存在大量的信息冗余，如果直接将存在大量冗余的描述信息发送至位于云端的服务器，可能占用大量的传输带宽，同时在服务器上要处理这些描述信息也将消耗大量的计算资源。

因此，在步骤S22中首先根据描述信息之间的第一相似程度将检测到的行人进行关联，若两条描述信息之间的第一相似程度达到第一预设程度，则确定这两条描述信息对应的是同一个行人，应当将其关联，否则为不同的行人。可以为关联后确定的每个行人分配一个唯一的标识。其中，描述信息的第一相似程度可以根据描述信息包含的信息项进行定量计算。例如，若描述信息包含行人的特征，则可以根据特征计算第一相似程度，在一些实现方式中，可以将特征以特征向量表示，从而特征之间的第一相似程度可以定义为特征向量之间的欧式距离，夹角的余弦值等。又例如，若描述信息包含行人的属性，则可以根据属性计算第一相似程度，在一些实现方式中，可以将每项属性的属性值用数值表示，从而将行人的多项属性转化为一个向量，属性之间的第一相似程度定义为向量之间的欧式距离，夹角的余弦值等。当然，还可以采用其他方法计算描述信息之间的第一相似程度，不再一一举例。

在步骤S22中关联了行人后，在步骤S23中可以将关联在一起的行人(即确定为同一行人)的描述信息进行合并，以减少信息冗余，对于描述信息包含的不同信息项，其合并方式可以不同。例如，若描述信息包含行人的特征，可以从多个特征中选择一个有代表性的特征作为合并后的特征，或者取多个特征的均值作为合并后的特征。又例如，若描述信息包含行人的属性，对于其中的每个属性可以取其多个属性值中出现次数最多的属性值作为合并后该属性的属性值，以性别属性作为示例，若已经通过描述信息中的特征进行了行人关联，关联后的某一行人对应5条描述信息，其性别属性的属性值分别是男、男、男、男、女，则合并后性别属性的属性值为男。在实际环境中，受到光照、遮挡等因素的影响，即使是同一行人，其对应的多条描述信息中的同一属性的属性值也可能在提取属性时被预测为不同的值(如上面的男、男、男、男、女)，因此对属性进行合并除了减少信息冗余外，还有利于减小乃至消除属性预测中的错误(如上面的女在属性合并后被消除了)。若描述信息中还包含其他信息项，可以采取类似的合并方式。以下是一条合并后的描述信息的示例：

行人标识：0018

性别：男

年龄：30

衣着颜色：红色

是否背包：否

特征：0110111110111110(一个向量)

将合并后的描述信息发送至位于云端的服务器，关联后确定的每个行人只需发送一条合并后的描述信息即可，其对于带宽的占用较小。同时，由于描述信息的获取(需要利用行人的图像)在视频分析设备上完成，服务器在分析处理时也只使用视频分析设备上传的描述信息，因此无需向服务器发送行人的图像，同样有利于节省带宽资源(描述信息只包括数值、文本)。对于部署在云端的服务器，占用带宽通常需要向云服务提供商付费，因此减少带宽资源的占用有利于节省实施视频分析系统的成本。

由于行人很可能在不断地运动，因此对于同一个行人，随着时间的推移，其描述信息不断增加，其合并后的描述信息也会不断更新，因此在一些实现方式中，视频分析设备可以定期向位于云端的服务器发送合并后的描述信息。

可以理解的，在获得合并后的描述信息后，合并前的描述信息也可以保留在视频分析设备中，或者至少保留一段时间，用于行人的关联、以及合并后的描述信息的更新。

此外，视频分析设备还可以输出合并后的描述信息作为对局部地理区域内的行人的分析结果，当然也可以对合并后的描述信息进行进一步统计并输出分析结果，例如根据描述信息中的属性统计该局部地理区域内男性行人的数量，不同年龄层行人的数量等，或者还可以根据属于同一行人的描述信息的采集时间以及采集位置确定该行人在该局部地理区域内的运动轨迹，其中，采集位置是指采集描述信息的摄像头设置的位置，例如，一个小型超市分成5个区域A、B、C、D、E，每个区域内分别设置一个摄像头负责图像采集，则行人在一段时间内的运动轨迹可以用A－D－C－D－B－B这样的方式来表示。视频分析设备可以根据获得的行人的运动轨迹对行人的行为进行进一步分析，还可以将同一行人的运动轨迹与合并后的描述信息一起发送至位于云端的服务器，由服务器进行进一步分析。

步骤S24：服务器计算合并后的描述信息之间的相似程度，将第二相似程度达到第二预设程度的合并后的描述信息对应的行人进行关联。

步骤S25：服务器进一步合并被关联在一起的行人的合并后的描述信息。

对步骤S24以及步骤S25进行合并阐述。在步骤S22中根据描述信息进行行人的关联，步骤S24中根据合并后的描述信息进行行人的关联，其具体关联方法类似，不再详细阐述。需要指出的是，第二相似程度的计算方式和第一相似程度可以相同也可以不同，第二预设程度的取值与第一预设程度可以相同也可以不同。在步骤S23中合并被关联在一起的行人的描述信息，步骤S25中进一步合并被关联在一起的行人的合并后的描述信息，其具体合并方法类似，不再详细阐述。但步骤S22以及步骤S23是在视频分析设备上执行的，一般只涉及一个局部地理区域内的行人数据，而步骤S24以及步骤S25是在位于云端的服务器上完成的，其涉及的数据是多个视频分析设备上传的行人的数据，可能涉及较大的地理区域，从而可以在更大的区域内对行人进行分析

之前已经提到，由于在视频分析设备上已经进行过局部地理区域内行人的关联，对每个行人只发送一条合并后的描述信息到位于云端的服务器，因此服务器并不会收到太多的描述信息，并且服务器可以直接利用这些描述信息进行不同视频分析设备间行人的关联，而无需自己获取描述信息，因此服务器对计算资源的消耗量较小，视频分析的实时性较高，或者说，对服务器的性能要求得到降低，而云端服务器的计算资源通常需要向云服务提供商付费，因此服务器性能要求的降低有利于节省实施成本或者可以将服务器剩余的计算资源用于其他用途。

此外，在本申请实施例提供的视频分析系统中，由于对行人的检测在视频分析设备上完成，因此无需像现有的客流系统中一样使用抓拍机，而可以采用普通摄像头，有利于降低成本，同时，相较于抓拍机，普通摄像头在购买、制造上都更为容易，使得该系统实施难度较低，易于推广普及。进一步的，视频分析设备可以实现为嵌入式设备，嵌入式设备体积较小，功耗较低，价格便宜，有利于进一步降低实施成本。

在步骤S25执行完后，服务器可以输出行人的描述信息作为对较大的地理区域内的行人的分析结果；或者可以在此基础上对描述信息进一步进行统计分析并输出分析结果，例如根据描述信息中的属性统计男性行人的数量，不同年龄层行人的数量等；或者还可以统计不同时间、地点的行人的状况，其中，描述信息对应的时间地点可以携带在合并后的描述信息中，由视频分析设备上传给服务器；或者还可以接收多个视频分析设备发送的行人的运动轨迹，并将在服务器上被关联至同一行人的运动轨迹进行合并，从而获得行人在更大的地理区域、更长的统计时间内的运动轨迹，在此运动轨迹的基础上可以对行人的行为进行更全面的分析。

在一些实施例中，描述信息中包括行人的特征，在对视频数据中的行人进行检测后，可以利用神经网络模型提取检测到的行人的特征，提取到的特征用特征向量的形式进行表示，其中，检测到的行人可以通过检测框进行表示，即神经网络模型可以以检测框中的图像作为输入。用于特征提取的神经网络模型可以是行人重识别模型，行人重识别是一种用于识别不同摄像头拍摄到的同一行人的技术，该技术利用行人重识别模型提取行人的特征，然后通过特征的比对，将具有相似特征的行人确定为同一行人(即关联不同的行人)。目前已经有一些效果较好的行人重识别模型可供使用，例如PCB－RPP模型、AlignedReID模型等。

在描述信息包括行人的特征时，计算两个描述信息之间的第一相似程度，可以实现为计算两个描述信息中的特征的第一相似程度，并将计算出的第一相似程度达到第一预设程度的描述信息对应的行人进行关联。在行人重识别模型性能较好时，所提取的特征能够较好地表征不同的行人以及相同的行人，有利于充分消除行人信息的冗余。

计算描述信息中的特征之间的第一相似程度主要有两种情况，第一种是计算未关联描述信息中特征之间的第一相似程度，其中，未关联描述信息是尚未进行过行人关联的描述信息(获取到的新的描述信息)，例如视频分析设备刚开始工作时，还未进行过行人关联，此时获取到的描述信息就是未关联描述信息，可以将这些未关联描述信息中的特征相互比对并将其中特征的第一相似程度达到第一预设程度的未关联描述信息对应的行人进行关联。

第二种是计算未关联描述信息中的特征和已关联描述信息中的特征的相似程度，若第一相似程度达到第一预设程度，将未关联描述信息对应的行人和已关联描述信息对应的行人进行关联。否则，则表明未关联描述信息对应的行人并不是在之前在视频数据中已经出现的行人，而是新出现的行人。

其中，已关联描述信息可以是已经生成的合并后的描述信息(就是已经出现的行人对应的合并后的描述信息)，在这种情况下，计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度，就是将待关联的行人(未关联描述信息对应的行人)的特征和已经出现行人的合并后的特征进行比对，若二者的第一相似程度达到第一预设程度，则待关联的行人就是之前已经出现的行人。例如，未关联描述信息为X，对应的行人为A，已经生成的合并后的描述信息为Y，Y由描述信息Y1、Y2、Y3合并而成，Y、Y1、Y2、Y3对应的行人为B，可以计算X中的特征和Y中的特征的第一相似程度来判断A和B是否应当关联。

或者，已关联的描述信息也可以是已经进行过行人关联的描述信息(就是已经出现的行人对应的合并前的描述信息)，之前已经提到，在描述信息合并后，合并前的描述信息仍然可以保留，在进行特征比对时，可以将待关联的行人的特征和这些合并前的描述信息的特征逐一比对，然后根据是否满足某个预设规则，确认待关联的行人和这些合并前的描述信息对应的行人是否为同一行人。该预设规则具体不作限定，例如可以是待关联的行人的特征和任一合并前的描述信息的特征的第一相似程度达到第一预设程度，或者待关联的行人的特征和全部的合并前的描述信息的特征的第一相似程度都达到第一预设程度。例如，未关联描述信息为X，对应的行人为A，已经生成的合并后的描述信息为Y，Y由描述信息Y1、Y2、Y3合并而成，Y、Y1、Y2、Y3对应的行人为B，可以分别计算X中的特征和Y1、Y2、Y3中的特征的第一相似程度来判断A和B是否应当关联。

若当前有多条未关联描述信息对应的行人都无法和之前出现过的行人关联，则可以对这些未关联描述信息按上述第一种情况处理。当视频分析设备已经工作了一段时间后，其中已经保存了大量的已关联描述信息，则对于获取到的未关联描述信息，可以按第二种情况处理。

进一步的，为缩小未关联描述信息中的特征进行特征比对的范围，避免其和过多的已关联描述信息中的特征进行比对，以加快行人关联的速度，至少可以采取如下措施：

其一，在计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度之前，对已关联描述信息中的特征进行聚类。在计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度时，首先确定未关联描述信息中的特征在聚类结果中所属的第一特征类别，例如，可以通过计算未关联描述信息中的特征和聚类中心的第一相似程度进行确定，然后计算未关联描述信息中的特征和未关联描述信息中属于第一特征类别中的特征的第一相似程度。对于聚类结果中的其他特征类别中的已关联描述信息中的特征，则无需计算与其的第一相似程度，因为不同的特征类别之间必然不会相似，从而缩小了特征比对的范围。

之前已经指出，已关联描述信息可以是已经进行过行人关联的描述信息或已经生成的合并后的描述信息，因此在进行聚类时即可以对已经进行过行人关联的描述信息中的特征进行聚类，也可以对合并后的描述信息中的特征进行聚类。对于后一种情况，虽然聚类是对合并后的描述信息中的特征进行的，但每个特征类别中除了包含合并后的描述信息中的特征，还可以包含与这些合并后的描述信息相应的合并前的描述信息中的特征。

其二，针对描述信息还包括行人的属性的情况，在对视频数据中的行人进行检测后，可以利用属性模型提取检测到的行人的属性，其中，检测到的行人可以通过检测框进行表示，即属性模型可以以检测框中的图像作为输入。属性模型是针对要提取的属性预训练的神经网络模型，例如，要提取性别属性，就利用包含男女行人的样本训练该模型。属性模型可以为多个，分别提取不同的属性，也可以为一个，同时提取多种不同的属性，属性模型还可以和目标检测使用的模型实现为同一个模型，即模型在输出检测框的同时还输出其中行人的属性。

在计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度之前，可以对已关联描述信息中的特征按照该描述信息中的属性进行分类，以性别属性为例，可以男性分为一类，女性分为一类，当然描述信息中包括多个属性时，可以采用更加复杂的分类。在计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度时，首先根据未关联描述信息中的属性确定未关联描述信息中的特征在分类结果中的第二特征类别，然后计算未关联描述信息中的特征和已关联描述信息中的属于第二特征类别中的的特征的第一相似程度。例如，未关联描述信息中的性别属性为男性，则未关联描述信息中的特征只需和那些性别属性为男性的已关联描述信息中的特征进行第一相似程度计算，和性别属性为女性的已关联描述信息中的特征不进行第一相似程度计算，因为性别属性不同的行人必然是不同的行人，其特征必然不会相似，从而缩小了特征比对的范围。

之前已经指出，已关联描述信息可以是已经进行过行人关联的描述信息或已经生成的合并后的描述信息，因此在进行分类时即可以对已经进行过行人关联的描述信息中的属性进行分类，也可以对合并后的描述信息中的属性(指合并后的属性)进行分类。对于后一种情况，虽然分类是对合并后的描述信息中的特征进行的，但每个特征类别中除了包含合并后的描述信息中的特征，还可以包含相应的合并前的描述信息中的特征。

可以理解，以上两种措施，可以采用其中一种，也可以同时采用。例如，可以先对特征进行聚类，在聚类结果的每个特征类别中再根据属性进一步划分子类别。

在一些实施例中，除了利用属性进行特征筛选(如上所述)，还可以利用属性进行行人的关联。其具体做法是，在行人检测后，利用属性模型提取检测到的行人的属性，然后计算描述信息中的属性之间的第一相似程度，将第一相似程度达到第一预设程度的描述信息对应的行人进行关联。在这些实施例中，将行人的属性也视为行人的一种特征，因此在进行行人关联时，也可以不利用行人重识别模型提取特征，而是利用行人的属性进行行人关联。应当指出，行人的属性和行人的特征还是有所区别的，前者主要是指行人作为一个对象在语义层面上的特征，后者主要是指视频数据中的图像本身的特征。

在一些实施例中，也可以将行人的特征和属性结合起来关联检测到的行人，以获得更精确的关联结果。一种可能的做法是，在行人检测后，利用行人重识别模型提取检测到的行人的特征，以及利用属性模型提取检测到的行人的属性，然后计算描述信息中的特征之间以及属性之间的第一相似程度，将第一相似程度达到第一预设程度的描述信息对应的行人进行关联。其具体的关联方式可以采用不同的实现方式，例如特征和属性分别计算一个第一相似程度，只有两个第一相似程度都达到第一预设程度才认为两个描述信息相似，又例如可以将特征和属性合并为表示为一个向量，利用该向量计算第一相似程度。

可以理解的，也可以提取行人的属性，但并不将行人的属性用于关联行人或者筛选特征，因为行人的属性本身具有分析价值，其可以作为行人的描述信息，进行统计分析。

参照图3，本申请实施例还提供一种视频分析装置300，该装置配置于视频分析设备，视频分析设备分别与多个摄像头通信连接。视频分析装置300包括：

数据获取模块310，用于获取多个摄像头采集的多路视频数据；

行人检测模块320，用于从每路视频数据中检测行人，并获取检测到的行人的描述信息；

行人关联模块330，用于计算描述信息之间的第一相似程度，将第一相似程度达到第一预设程度的描述信息对应的行人进行关联；

信息合并模块340，用于合并被关联在一起的行人的描述信息，并将合并后的描述信息发送至位于云端的服务器。

本申请实施例提供的视频分析装置300，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

参照图4，本申请实施例还提供一种视频分析装置400，该装置配置于位于云端的服务器。视频分析装置400包括：

信息接收模块410，用于接收多个视频分析设备发送的行人的合并后的描述信息；

行人关联模块420，用于计算合并后的描述信息之间的第二相似程度，将第二相似程度达到预设程度的合并后的描述信息对应的行人进行关联；

信息合并模块430，用于进一步合并被关联在一起的行人的合并后的描述信息。

本申请实施例提供的视频分析装置400，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

参照图5，本申请实施例还提供一种电子设备500。电子设备500包括：

存储器504，用于存储计算机指令；

通信接口506，用于与其他电子设备通信；

处理器502，与存储器504以及通信接口506通过一条或多条总线510相连，其中，在存储器504中的计算机指令被处理器执行时，处理器502执行本申请实施例提供的视频分析方法中的步骤。

其中，存储器504包括一个或多个，其可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead－OnlyMemory，PROM)，可擦除只读存储器(Erasable ProgrammableRead－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead－Only Memory，EEPROM)等。处理器502以及其他可能的组件可对存储器504进行访问，读和/或写其中的数据。

处理器502包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、微控制单元(Micro Controller Unit，MCU)、网络处理器(Network Processor，NP)或者其他常规处理器；还可以是专用处理器，包括数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuits，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

通信接口506包括一个或多个，通信接口506可以是计算机网络接口，例如以太网接口，也可以是移动通信网络接口，例如3G、4G、5G网络的接口，还可以是其他具有数据收发功能的接口。

上述电子设备500可以是本申请实施例中视频分析设备，电子设备500通过通信接口506与摄像头以及位于云端的服务器进行通信。上述电子设备500也可以是本申请实施例中位于云端的服务器，电子设备500通过通信接口506与视频分析设备进行通信。上述电子设备500可以是物理设备也可以是虚拟设备。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得计算机设备执行本申请各个实施例所述方法的全部或部分步骤。前述的计算机设备包括：个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备，前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种视频分析方法，其特征在于，应用于视频分析设备，所述视频分析设备分别与多个摄像头通信连接，所述方法包括：

获取所述多个摄像头采集的多路视频数据；

从每路视频数据中检测行人，并获取检测到的行人的描述信息；

计算所述描述信息之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联；

合并被关联在一起的行人的描述信息，并将合并后的描述信息发送至位于云端的服务器。

2.根据权利要求1所述的视频分析方法，其特征在于，所述描述信息包括检测到的行人的特征和/或属性；

所述计算所述描述信息之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联，包括：

计算所述描述信息中的特征和/或属性之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联。

3.根据权利要求2所述的视频分析方法，其特征在于，所述获取检测到的行人的描述信息，包括：

在所述描述信息包括检测到的行人的特征时，利用行人重识别模型提取所述描述信息中的特征；

在所述描述信息包括检测到的行人的属性时，利用属性模型提取所述描述信息中的属性，其中，所述属性模型是针对要提取的属性预训练的神经网络模型。

4.根据权利要求2或3所述的视频分析方法，其特征在于，计算所述描述信息中的特征之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联，包括：

计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度，若所述第一相似程度达到第一预设程度，将所述未关联描述信息对应的行人和所述已关联描述信息对应的行人进行关联，其中，所述未关联描述信息是指尚未进行过行人关联的描述信息，所述已关联描述信息是指已经进行过行人关联的描述信息或已经生成的合并后的描述信息。

5.根据权利要求4所述的视频分析方法，其特征在于，在所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度之前，所述方法还包括：

对所述已关联描述信息中的特征进行聚类；

所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度，包括：

确定所述未关联描述信息中的特征在聚类结果中的第一特征类别；

计算所述未关联描述信息中的特征和所述已关联描述信息中属于所述第一特征类别的特征的第一相似程度。

6.根据权利要求4所述的视频分析方法，其特征在于，所述描述信息包括检测到的行人的特征和属性，在所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度之前，所述方法还包括：

对所述已关联描述信息中的特征按照所述已关联描述信息中的属性进行分类；

所述计算未关联描述信息中的特征和已关联描述信息中的特征的第一相似程度，包括：

根据所述未关联描述信息中的属性确定所述未关联描述信息中的特征在分类结果中的第二特征类别；

计算所述未关联描述信息中的特征和所述已关联描述信息中属于所述第二特征类别的特征的第一相似程度。

7.根据权利要求1所述的视频分析方法，其特征在于，在从每路视频数据中检测行人之前，所述方法还包括：

将所述多路视频数据进行拼接。

8.根据权利要求1所述的视频分析方法，其特征在于，所述方法还包括：

根据被关联在一起的行人的描述信息的采集时间以及采集位置确定所述行人的运动轨迹，其中，所述采集位置是指采集所述描述信息的摄像头设置的位置；

将所述运动轨迹发送至所述位于云端的服务器。

9.一种视频分析方法，其特征在于，应用于位于云端的服务器，包括：

接收多个视频分析设备发送的行人的合并后的描述信息；

计算所述合并后的描述信息之间的第二相似程度，将所述第二相似程度达到第二预设程度的合并后的描述信息对应的行人进行关联；

进一步合并被关联在一起的行人的所述合并后的描述信息。

10.根据权利要求9所述的视频分析方法，其特征在于，所述方法还包括：

接收所述多个视频分析设备发送的行人的运动轨迹；

合并被关联在一起的行人的所述运动轨迹。

11.一种视频分析装置，其特征在于，配置于视频分析设备，所述视频分析设备分别与多个摄像头通信连接，所述装置包括：

数据获取模块，用于获取所述多个摄像头采集的多路视频数据；

行人检测模块，用于从每路视频数据中检测行人，并获取检测到的行人的描述信息；

行人关联模块，用于计算所述描述信息之间的第一相似程度，将所述第一相似程度达到第一预设程度的描述信息对应的行人进行关联；

信息合并模块，用于合并被关联在一起的行人的描述信息，并将合并后的描述信息发送至位于云端的服务器。

12.一种视频分析装置，其特征在于，配置于位于云端的服务器，所述装置包括：

信息接收模块，用于接收多个视频分析设备发送的行人的合并后的描述信息；

行人关联模块，用于计算所述合并后的描述信息之间的第二相似程度，将所述第二相似程度达到第二预设程度的合并后的描述信息对应的行人进行关联；

信息合并模块，用于进一步合并被关联在一起的行人的所述合并后的描述信息。

13.一种视频分析设备，其特征在于，分别与多个摄像头通信连接，所述视频分析设备包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1－8中任一项所述的方法的步骤。

14.根据权利要求13所述的视频分析设备，其特征在于，所述视频分析设备为嵌入式设备。

15.根据权利要求13或14所述的视频分析设备，其特征在于，所述视频分析设备与所述多个摄像头位于同一局域网内，并通过所述局域网网络连接。

16.一种服务器，其特征在于，设置于云端，所述服务器包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求9或10所述的方法的步骤。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行权利要求1－10中任一项所述的方法的步骤。