CN114821482A - 一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统 - Google Patents

Abstract

本发明提供一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统。所述方法包括以下步骤：获取目标鱼眼探头采集的视频流数据；基于所述视频流数据，获取第一行人轨迹图像；基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑，获取与所述第一行人轨迹图像对应的目标矢量行人特征；基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像；基于所述第二行人轨迹图像，获取客流结果。本发明能够在行人变动瞬息万变的场景中保持系统稳定，有效降低了鱼眼探头带来的成像干扰，提高了系统整体的鲁棒性，能稳定且有效地输出客流结果。

Description

一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统

技术领域

本发明涉及视觉监控技术领域，特别是涉及一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统。

背景技术

鱼眼探头是一种极端的超广角的镜头，一种具备超大视觉场景、大孔径的光学成像设备，其视场极大的特点可以使其不需要旋转和扫描，使用凝视的方式进行画面抓拍，大大降低监控设备安装数目和后续维护的成本。正因为以上的种种特性，他被广泛用于各种安防和线下购物中心、零售品牌店场景当中，配合鱼眼探头进行开发的各种行人数量统计方案，成为当下流行的基于计算机视觉的客流问题优先解决方案。

伴随鱼眼探头的引入，也给此类客流统计系统带来了，不同于以往基于斜照式探头系统的挑战：

(1)图像的畸变和失真:鱼眼探头在获取超广角视野的同时，往往会导致图像的严重失真，因此需要投入一定的设备算力进行图像的畸变校正；而由于此种畸变的特性，前端设备所获取的数据，其抓拍画面的有效利用率也会大打折扣，造成的后果就是同像素级别下的斜照探头抓拍的真实物体有着更高分辨率，这对客流统计系统有着更高的分析和精度需求；

(2)图像语义信息：由于鱼眼探头畸变和失真，且为了发挥其超广角的特性，在实际生产环境当中，鱼眼探头往往是以垂直于地面的方式进行安装，这导致被抓拍的物体处于探头的不同方位时，会产生不同的抓拍视角，造成图形语义信息基本时时刻刻都在发生改变，尤其物体位于探头的垂直正下方时，近似于俯视图的图像效果，对于识别、跟踪都是较难处理的情况。

(3)图像风格：在实际生产环境当中，探头的安装部署需要于环境紧密配合，这会导致即使是同场地的探头实际上会有着不同的画面参数，带来视觉上的风格不同；且同个探头的抓拍画面也有着画面中心与画面边缘有着截然不同的图像风格呈现，这对整体的客流统计是不小的挑战。

因此，由于鱼眼探头的成像干扰，客流系统并不稳定，无法对客流结果作出准确的计算，导致客流检出数量波动大。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统，用于解决现有技术中由于鱼眼探头的成像干扰，客流系统并不稳定，无法对客流结果作出准确的计算，导致客流检出数量波动大的问题。

为实现上述目的及其他相关目的，本发明提供一种基于鱼眼探头的矢量拓扑一体化客流计算方法，所述基于鱼眼探头的矢量拓扑一体化客流计算方法包括以下步骤：获取目标鱼眼探头采集的视频流数据；基于所述视频流数据，获取第一行人轨迹图像；基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑，获取与所述第一行人轨迹图像对应的目标矢量行人特征；基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像；基于所述第二行人轨迹图像，获取客流结果。

于本发明的一实施例中，所述基于所述视频流数据，获取第一行人轨迹图像包括以下步骤：对所述视频流数据进行图像预处理，获取透视图像；基于目标检测方法检测出所述透视图像中的行人，获取对应所述行人的行人躯干候选图像；当存在对应所述行人的上一时刻的行人躯干候选图像时，基于跟踪算法将所述行人躯干候选图像与所述上一时刻的行人躯干候选图像相关联，获取所述第一行人轨迹图像；若不存在所述上一时刻的行人躯干候选图像，则将所述行人躯干候选图像作为所述第一行人轨迹图像。

于本发明的一实施例中，所述基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑，获取与所述第一行人轨迹图像对应的目标矢量行人特征包括以下步骤：对所述第一行人轨迹图像进行采样，获取所述第一行人轨迹图像对应的行人特征；根据所述目标鱼眼探头的区域拓扑对所述行人特征进行划分，获取所述目标矢量行人特征。

于本发明的一实施例中，所述对所述第一行人轨迹图像进行采样包括：当所述第一行人轨迹图像中的行人信息完整时，对所述第一行人轨迹图像进行密集采样；当所述第一行人轨迹图像中的行人信息不完整时，对所述第一行人轨迹图像进行稀疏采样。

于本发明的一实施例中，所述基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像包括以下步骤：获取所述非目标鱼眼探头当前时刻之前对应的非目标矢量行人特征；对所述非目标矢量行人特征进行筛选，获取候选矢量行人特征；对所述目标矢量行人特征与所述候选矢量行人特征进行特征稀疏匹配计算，选取所述稀疏匹配结果最高的所述候选矢量行人特征作为轨迹匹配结果；基于所述目标鱼眼探头与所述非目标鱼眼探头的空间拓扑对所述轨迹匹配结果与所述目标矢量行人特征进行关联，获取第二行人轨迹图像。

于本发明的一实施例中，所述所述特征稀疏匹配计算公式为：

S_{稀疏匹配分数}＝a×S₁+(1-a)×S₂；

其中，a为可调节系数，S₁表示为密集采样平均分数，S₂表示为稀疏采样平均分数，S_{稀疏匹配分数}为所述轨迹匹配结果，所述密集采样平均分数和所述稀疏采样平均分数的计算公式如下：

其中，n＝1表示所述候选矢量行人特征对应的轨迹数量为1，m表示所述候选矢量行人特征对应的轨迹数量最大值，S_x表示同角度特征相似度，S_y表示邻近角度特征相似度，S_{采样平均分数}表示为采样平均分数。

于本发明的一实施例中，所述目标鱼眼探头的区域拓扑是根据所述目标鱼眼探头的安装点位以及监控区域，将所述目标鱼眼探头的监控画面划分为不同的区域后，将所述不同的区域进行拓扑连接；所述目标鱼眼探头与所述非目标鱼眼探头的空间拓扑是将所述目标鱼眼探头的区域拓扑与所述非目标鱼眼探头的区域拓扑再次进行拓扑连接。

本发明提供一种基于鱼眼探头的矢量拓扑一体化客流计算系统，所述矢量拓扑一体化客流计算系统包括：图像收集模块、第一行人轨迹图像获取模块、矢量行人特征模块、行人检索模块、客流输出模块；所述图像收集模块用于获取目标鱼眼探头采集的视频流数据；所述第一行人轨迹图像获取模块用于基于所述视频流数据，获取第一行人轨迹图像；所述矢量行人特征模块用于基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑获取与所述第一行人轨迹图像对应的目标矢量行人特征；所述行人检索模块用于基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像；所述客流输出模块用于基于所述第二行人轨迹图像，获取客流结果。

本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于鱼眼探头的矢量拓扑一体化客流计算方法。

本发明提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的基于鱼眼探头的矢量拓扑一体化客流计算方法。

如上所述，本发明所述的基于鱼眼探头的矢量拓扑一体化客流计算方法及系统，具有以下有益效果：

(1)与现有技术相比，本发明提出了一套完整的客流方案，结合了开源的行人识别、跟踪、重识别算法，其中对行人轨迹的抓拍进行了特定的采样方式，同时根据鱼眼探头在三维空间的真实位置，构建出探头与探头之间的空间拓扑关系，与行人的跟踪结果相配合，得到矢量行人特征，并且基于以上的采样、拓扑逻辑进行实时的稀疏匹配，系统整体配合性高，有效降低了鱼眼探头带来的劣势。

(2)本发明用鱼眼探头在三维空间的真实位置，构建出探头与探头之间的空间拓扑关系，并且与行人识别、跟踪算法结合，提高了系统整体的鲁棒性，能稳定且有效地输出客流结果。

附图说明

图1显示为本发明的基于鱼眼探头的矢量拓扑一体化客流计算方法于一实施例中的流程图。

图2显示为本发明的获取第一行人轨迹图像于一实施例中的流程图。

图3显示为本发明的获取与第一行人轨迹图像对应的目标矢量行人特征于一实施例中的流程图。

图4显示为本发明的鱼眼探头监控画面的区域拓扑于一实施例中的结构示意图。

图5显示为本发明的获取第二行人轨迹图像于一实施例中的流程图。

图6显示为本发明的基于鱼眼探头的矢量拓扑一体化客流计算系统于一实施例中的结构示意图。

图7显示为本发明的终端于一实施例中的结构示意图。

标号说明

4 鱼眼探头的画面覆盖区域

41 目标鱼眼探头

411 区域1A

412 区域1B

413 区域1C

42 非目标鱼眼探头

421 区域2A

422 区域2B

61 图像收集模块

62 第一行人轨迹图像获取模块

63 矢量行人特征模块

64 行人检索模块

65 客流输出模块

7 终端

71 处理单元

72 存储器

721 随机存取存储器

722 高速缓存存储器

723 存储系统

724 程序/实用工具

7241 程序模块

73 总线

74 输入/输出接口

75 网络适配器

8 外部设备

9 显示器

S1～S5 步骤

S21～S22 步骤

S31～S32 步骤

S41～S44 步骤

具体实施方式

以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的基于鱼眼探头的矢量拓扑一体化客流计算方法及系统，与现有技术相比，本发明提出了利用鱼眼探头在三维空间的真实位置，构建出探头与探头之间的空间拓扑关系，并且与行人识别、跟踪算法结合，赋予行人轨迹真实的矢量变化，绘制出行人完整的、在不同探头抓拍下得到的全场轨迹。各模块的彼此配合、取长补短，有效降低了鱼眼探头带来的成像干扰，提高了系统整体的鲁棒性，能稳定且有效地输出客流结果。

下面将根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。

也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令提供实现流程图和/或框图中的一个或多个方框中规定的功能/动作的过程。

如图1所示，于一实施例中，本发明的基于鱼眼探头的矢量拓扑一体化客流计算方法包括以下步骤：

步骤S1、获取目标鱼眼探头采集的视频流数据。

需要说明的是，目标鱼眼探头采集的视频流数据可以是线下购物中心和零售品牌点这种行人变动瞬息万变的场景，也可以是小区等公共场所的视频流数据，视频流数据可以理解为图像帧序列，即多帧图像组成了视频数据。

步骤S2、基于所述视频流数据，获取第一行人轨迹图像。

如图2所示，于一实施例中，基于所述视频流数据，获取第一行人轨迹图像包括以下步骤：

S21、对所述视频流数据进行图像预处理，获取透视图像。

具体地，将获取的视频流数据进行画面校正、噪声过滤等处理，获取符合人类视觉感官的透视图像。

需要说明的是，在实际的探头安装中，每个探头所在的高度、光场的强弱都不尽相同，所有会对画面进行相关的调节，包括但不仅限于对比度、亮度、饱和度等基本图像处理的调控；在获取稳定且清晰的监控画面之后，需要对鱼眼探头的画面进行畸变校正，最后才能获取符合人类视觉感观的透视图像。

为了能够对视频流数据中的图像进行不同角度的抓拍，将鱼眼探头垂直安装，垂直安装的鱼眼探头不仅能够最大程度的发挥鱼眼探头的超广角拍摄的特性，还能够在保证行人能被清洗和稳定抓拍的前提下，使得鱼眼探头的覆盖区域更大。

S22、基于目标检测方法检测出所述透视图像中的行人，获取对应所述行人的行人躯干候选图像。

具体地，将获取到的透视图像进行通过神经网络的目标检测方法检出画面中的行人，从而得到画面中全部行人对应的行人躯干候选图像。

需要说明的是，在本实施例中采用的神经网络的目标检测方法，可以为各种可替换的流行开源目标检测网络，例如yolo3、yolo4、Efficient Net等。

S23、当存在对应所述行人的上一时刻的行人躯干候选图像时，基于跟踪算法将所述行人躯干候选图像与所述上一时刻的行人躯干候选图像相关联，获取所述第一行人轨迹图像；若不存在所述上一时刻的行人躯干候选图像，则将所述行人躯干候选图像作为所述第一行人轨迹图像。

具体地，在当前时刻T下，目标鱼眼探头抓拍获取的画面经过图像预处理和目标检测得到了大量的行人躯干候选图像，这些行人躯干候选图像需要与上一时刻(T-1)获取的行人躯干候选图像进行关联，从而得到完整的第一行人轨迹图像。

需要说明的是，在实际生产环境中，由于行人躯干候选图像的数量往往很庞大，本方法将使用开源算法DeepSORT之类的多目标跟踪方法，对相邻两个时间的检测结果匹配、关联，从而得到同探头下的行人轨迹，即第一行人轨迹图像。

步骤S3、基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑，获取与所述第一行人轨迹图像对应的目标矢量行人特征。

需要说明的是，获取的第一行人轨迹图像为目标鱼眼探头下的行人轨迹，为了获取行人从进入场景到离开场景的完整客流估计，需要将行人对应的目标鱼眼探头下的行人轨迹图像与非目标鱼眼探头下的行人轨迹图像相关联。由于鱼眼探头的安装需求以及实际安装场地环境的因素影响，都是跨鱼眼探头的行人特征匹配算法的核心要求，因此，跨鱼眼探头的行人轨迹匹配也是客流算法中的核心之一。

具体地，如图3所示，于一实施例中，基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑，获取与所述第一行人轨迹图像对应的目标矢量行人特征包括以下步骤：

S31、对所述第一行人轨迹图像进行采样，获取所述第一行人轨迹图像对应的行人特征。

具体地，将第一行人轨迹图像按照采样要求进行对应的图像采样，被采样的图像通过特征提取神经网络进行特征提取，获取对应的行人特征。

需要说明的是，第一行人轨迹图像生成的行人特征即为第一行人轨迹特征，其是行人对应的图像信息和位置信息。

需要说明的是，本实施例中使用的基于行人重识别的特征提取神经网络，使用较为复杂的网络结构和较深的网络深度，获取具有高信息含量且稳定的行人特征，以保证在跨探头的匹配下，行人特征能有着更高的匹配准确率和召回率，总而保证行人轨迹能被完整地匹配。

本实施例中使用的特征提取神经网络，通常会使用例如resnet50，vgg16等较为大型的作为backbone，后续再辅以特定的网络结果，最终输出更高维度的行人特征，而这样的设计，其算力资源占用相较于其他模块而言往往是较大的。

因此，为了节省计算资源，且保证匹配效果的情况下，同时考虑到垂直鱼眼探头不同角度下抓拍的效果，对轨迹下的行人躯干图像进行特定的采样，被采样的图像才会进行特征提取。

具体地，对第一行人轨迹图像进行采样包括：

i)当第一行人轨迹图像中的行人信息完整时，对第一行人轨迹图像进行密集采样。

需要说明的是，当角度适中时，行人的躯干信息较为完整，此时的行人特征包含更加全面的身体信息和良好的泛化性，能与其他其他探头获取的特征进行更好的匹配，此类图像按照较密集的时间间隔进行采集。

ii)当第一行人轨迹图像中的行人信息不完整时，对第一行人轨迹图像进行稀疏采样。

需要说明的是，当抓拍的行人轨迹图像角度偏离最佳拍摄角度或者为边缘抓拍时，此类图像质量不佳且图像中行人躯干特征的信息丢失严重，对于此类图像并不会全盘舍弃，往往此类特化的特征也能提供一定的匹配贡献度，因此仅需按照较大的时间间隔进行部分采集。

S32、根据所述目标鱼眼探头的区域拓扑对所述行人特征进行划分，获取所述目标矢量行人特征。

具体地，将行人特征按照目标鱼眼探头的区域拓扑对行人轨迹赋予相对应的进和出方向的矢量，从而得到该行人轨迹图像对应的行人特征组成的目标矢量行人特征。

需要说明的是，目标鱼眼探头的区域拓扑是结合目标鱼眼探头的是实际安装位置和相应的监控区域，把监控画面划分为面积大小不同的拓扑结构。

如图4所示，于一实施例中，为了使鱼眼探头的的抓拍画面覆盖人流毕竟的区域，且能在鱼眼探头的画面中形成不同流向的通道，将鱼眼探头的监控画面进行区域拓扑划分。

图4中，N为店铺区域，鱼眼探头的画面覆盖区域4为灰色部分，目标鱼眼探头41的抓拍区域能对图示的分叉枢纽进行完整的覆盖，使得抓拍区域能很好地被划分为区域1A411、区域1B412和区域1C413，因此在目标鱼眼探头41所经过的行人轨迹会产生三种拓扑关系：区域1A411-区域1B412、区域1A411-区域1C413、区域1B412-区域1C413，且依据行人流动的方向，对行人轨迹赋予相应进和出方向的矢量；例如行人在时间1从目标鱼眼探头41的区域1A411的抓拍区域进入，最后在时间2的时候从目标鱼眼探头41的区域1B412的抓拍区域离开，期间产生了F1、F2、F3、……FN的有效轨迹采样特征，那么该行人在目标鱼眼探头41下产生的轨迹将输出为如表格1所示的结构化数据——目标矢量行人特征。

行人特征	F1、F2、F3、...FN
		探头编号	41
进区域	区域A
		出区域	区域B
轨迹持续时间	时间1-时间2

步骤S4、基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像。

需要说明的是，当获取到第一行人轨迹图像对应的目标矢量行人特征时，就会开始进行实时的拓扑检索。

具体地，如图5所示，于一实施例中，基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像包括以下步骤：

步骤S41、获取所述非目标鱼眼探头当前时刻之前对应的非目标矢量行人特征。

需要说明的是，若要获取行人完整的轨迹图像，需要将行人进入鱼眼探头监控区域的所有矢量行人特征进行检索，因此，需要获取当前时刻之前的非目标鱼眼探头下的行人对应的非目标矢量行人特征。

步骤S42、对所述非目标矢量行人特征进行筛选，获取候选矢量行人特征。

需要说明的是，每组矢量行人特征都有与之对应的矢量行人轨迹。

具体地，目标鱼眼探头下的行人T时刻的目标矢量行人特征有与之对应的矢量行人轨迹F，要与之共同参与行人检索的候选矢量行人特征需要满足以下条件：

(1)时间条件：候选矢量特征的输出时间需要在T时刻之前；

(2)拓扑条件：候选矢量行人特征的出区域，必须与矢量行人轨迹F进区域存在直接的拓扑连接；

(3)去重：候选矢量行人特征已经形成完整轨迹，最后从当前拓扑的边缘，产生了出区域的特征，不能再参与检索。

步骤S43、对所述目标矢量行人特征与所述候选矢量行人特征进行特征稀疏匹配计算，选取所述稀疏匹配结果最高的所述候选矢量行人特征作为轨迹匹配结果。

需要说明的是，由于不同的矢量行人特征会有与之对应的不同的矢量行人轨迹，因此需要对候选矢量行人特征进行稀疏匹配；且由于鱼眼探头的抓拍限制，行人离鱼眼探头越进，与之形成的垂线夹角过大，行人躯干的信息会被自身头肩遮挡，这种图像语义信息上的丢失会严重影响行人特征之间的距离，从而导致行人特征的错误匹配或者分类。

因此于一实施例中提出稀疏匹配，同时结合行人特征提取过程中的密集采集和稀疏采集的结果，协调不同轨迹之间的视角差。

具体地，特征稀疏匹配计算公式如下：

S_{稀疏匹配分数}＝a×S₁+(1-a)×S₂；

其中，a为可调节系数，通常使用0.8，即密集采样的图像特征匹配分数占比更高，S₁表示为密集采样平均分数，S₂表示为稀疏采样平均分数，S_{稀疏匹配分数}为轨迹匹配结果。

密集采样平均分数和稀疏采样平均分数的计算公式如下：

其中，n＝1表示候选矢量行人特征对应的轨迹数量为1，m表示候选矢量行人特征对应的轨迹数量最大值，S_x表示同角度特征相似度，S_y表示邻近角度特征相似度，S_{采样平均分数}表示为采样平均分数。

具体地，当两者存在相同角度的时候，相同角度的单一特征进行欧式距离的相似度计算；对于彼此没有的角度，则使用对方与之角度最相近的特征进行匹配，遍历两者中轨迹数量最多的特征数量次数，计算得到采样平均分；最终在候选矢量行人特征中，特征稀疏匹配分数最高的特征即为轨迹匹配结果。

步骤S44、基于所述目标鱼眼探头与所述非目标鱼眼探头的空间拓扑对所述轨迹匹配结果与所述目标矢量行人特征进行关联，获取第二行人轨迹图像。

需要说明的是，目标鱼眼探头与非目标鱼眼探头的空间拓扑是将目标鱼眼探头的区域拓扑与非目标鱼眼探头的区域拓扑再次进行拓扑连接。

如图4所示，于一实施例中，例如行人在非目标鱼眼探头42下的矢量行人特征表述为：在时间1从非目标鱼眼探头42的区域2B422的抓拍区域进入，在时间2非目标从鱼眼探头42的区域2A421的抓拍区域离开；在目标鱼眼探头41下的目标矢量行人特征表述为：在时间3从目标鱼眼探头41的区域1A411的抓拍区域进入，最后在时间4从目标鱼眼探头41的区域1B412的抓拍区域离开，则该行人在时间1-4完整的行人轨迹则为：区域2B422-区域2A421-区域1A411-区域1B412，将与之对应的抓拍图像进行关联，获取第二行人轨迹图像。

步骤S5、基于所述第二行人轨迹图像，获取客流结果。

具体地，将每一个行人对应的第二行人轨迹图像均作为一个ID进行标注，ID的数量对应为客流计算结果。

需要说明的是，本发明所述的基于鱼眼探头的矢量拓扑一体化客流计算方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

如图6所示，于一实施例中，本发明的基于鱼眼探头的矢量拓扑一体化客流计算系统包括：图像收集模块61、第一行人轨迹图像获取模块62、矢量行人特征模块63、行人检索模块64、客流输出模块65。

所述图像收集模块61用于获取目标鱼眼探头采集的视频流数据；

所述第一行人轨迹图像获取模块62用于基于所述视频流数据，获取第一行人轨迹图像；

所述矢量行人特征模块63用于基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑获取与所述第一行人轨迹图像对应的目标矢量行人特征；

所述行人检索模块64用于基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像；

所述客流输出模块65用于基于所述第二行人轨迹图像，获取客流结果。

需要说明的是，基于鱼眼探头的矢量拓扑一体化客流计算系统的结构及原理与上述基于鱼眼探头的矢量拓扑一体化客流计算方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip，简称SOC)的形式实现。

需要说明的是，本发明的基于鱼眼探头的矢量拓扑一体化客流计算系统可以实现本发明的基于鱼眼探头的矢量拓扑一体化客流计算方法，但本发明的基于鱼眼探头的矢量拓扑一体化客流计算方法的实现装置包括但不限于本实施例列举的基于鱼眼探头的矢量拓扑一体化客流计算系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。

本发明的存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于鱼眼探头的矢量拓扑一体化客流计算方法。所述存储介质包括：只读存储器(Read-Only Memory，ROM)、随机访问存储器(Random Access Memory，RAM)、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

可以采用一个或多个存储介质的任意组合。存储介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本发明的终端包括处理器及存储器。

所述存储器用于存储计算机程序；优选地，所述存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述终端执行上述的基于鱼眼探头的矢量拓扑一体化客流计算方法。

优选地，所述处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

图7示出了适于用来实现本发明实施方式的示例性终端7的框图。

图7显示的终端7仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，终端7以通用计算设备的形式表现。终端7的组件可以包括但不限于：一个或者多个处理器或者处理单元71，存储器72，连接不同系统组件(包括存储器72和处理单元71)的总线73。

总线73表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，简称ISA)总线，微通道体系结构(Micro Channel Architecture，简称MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，简称VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，简称PCI)总线。

终端7典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端7访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器72可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)721和/或高速缓存存储器722。终端7可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统723可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线73相连。存储器72可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块7241的程序/实用工具724，可以存储在例如存储器72中，这样的程序模块7241包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块7241通常执行本发明所描述的实施例中的功能和/或方法。

终端7也可以与一个或多个外部设备8(例如键盘、指向设备、显示器9等)通信，还可与一个或者多个使得用户能与该终端7交互的设备通信，和/或与使得该终端7能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口74进行。并且，终端7还可以通过网络适配器75与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器75通过总线73与终端7的其它模块通信。应当明白，尽管图中未示出，可以结合终端7使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

综上所述，本发明的一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统针对基于安装了鱼眼探头的百购客流系统，提出了一套完整的客流方案，结合了开源的行人识别、跟踪、重识别算法，其中对行人轨迹的抓拍进行了特定的采样方式，同时根据鱼眼探头在三维空间的真实位置，构建出探头与探头之间的空间拓扑关系，与行人的跟踪结果相配合，得到矢量行人特征，并且基于以上的采样、拓扑逻辑进行实时的稀疏匹配。系统整体配合性高，有效降低了鱼眼探头带来的劣势。系统整体的鲁棒性，能稳定且有效地输出客流结果；所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于鱼眼探头的矢量拓扑一体化客流计算方法，其特征在于，包括以下步骤：

获取目标鱼眼探头采集的视频流数据；

基于所述视频流数据，获取第一行人轨迹图像；

基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑，获取与所述第一行人轨迹图像对应的目标矢量行人特征；

基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像；

基于所述第二行人轨迹图像，获取客流结果。

2.根据权利要求1所述的基于鱼眼探头的矢量拓扑一体化客流计算方法，其特征在于，所述基于所述视频流数据，获取第一行人轨迹图像包括以下步骤：

对所述视频流数据进行图像预处理，获取透视图像；

基于目标检测方法检测出所述透视图像中的行人，获取对应所述行人的行人躯干候选图像；

当存在对应所述行人的上一时刻的行人躯干候选图像时，基于跟踪算法将所述行人躯干候选图像与所述上一时刻的行人躯干候选图像相关联，获取所述第一行人轨迹图像；若不存在所述上一时刻的行人躯干候选图像，则将所述行人躯干候选图像作为所述第一行人轨迹图像。

3.根据权利要求1所述的基于鱼眼探头的矢量拓扑一体化客流计算方法，其特征在于，所述基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑，获取与所述第一行人轨迹图像对应的目标矢量行人特征包括以下步骤：

对所述第一行人轨迹图像进行采样，获取所述第一行人轨迹图像对应的行人特征；

根据所述目标鱼眼探头的区域拓扑对所述行人特征进行划分，获取所述目标矢量行人特征。

4.根据权利要求3所述的基于鱼眼探头的矢量拓扑一体化客流计算方法，其特征在于，所述对所述第一行人轨迹图像进行采样包括：

当所述第一行人轨迹图像中的行人信息完整时，对所述第一行人轨迹图像进行密集采样；

当所述第一行人轨迹图像中的行人信息不完整时，对所述第一行人轨迹图像进行稀疏采样。

5.根据权利要求1所述的基于鱼眼探头的矢量拓扑一体化客流计算方法，其特征在于，所述基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像包括以下步骤：

获取所述非目标鱼眼探头当前时刻之前对应的非目标矢量行人特征；

对所述非目标矢量行人特征进行筛选，获取候选矢量行人特征；

对所述目标矢量行人特征与所述候选矢量行人特征进行特征稀疏匹配计算，选取所述稀疏匹配结果最高的所述候选矢量行人特征作为轨迹匹配结果；

基于所述目标鱼眼探头与所述非目标鱼眼探头的空间拓扑对所述轨迹匹配结果与所述目标矢量行人特征进行关联，获取第二行人轨迹图像。

6.根据权利要求5所述的基于鱼眼探头的矢量拓扑一体化客流计算方法，其特征在于，所述特征稀疏匹配计算公式如下：

S_{稀疏匹配分数}＝a×S₁+(1-a)×S₂；

其中，a为可调节系数，S₁表示为密集采样平均分数，S₂表示为稀疏采样平均分数，S_{稀疏匹配分数}为所述轨迹匹配结果，所述密集采样平均分数和所述稀疏采样平均分数的计算公式如下：

其中，n＝1表示所述候选矢量行人特征对应的轨迹数量为1，m表示所述候选矢量行人特征对应的轨迹数量最大值，S_x表示同角度特征相似度，S_y表示邻近角度特征相似度，S_{采样平均分数}表示为采样平均分数。

7.根据权利要求1所述的基于鱼眼探头的矢量拓扑一体化客流计算方法，其特征在于，所述目标鱼眼探头的区域拓扑是根据所述目标鱼眼探头的安装点位以及监控区域，将所述目标鱼眼探头的监控画面划分为不同的区域后，将所述不同的区域进行拓扑连接；所述目标鱼眼探头与所述非目标鱼眼探头的空间拓扑是将所述目标鱼眼探头的区域拓扑与所述非目标鱼眼探头的区域拓扑再次进行拓扑连接。

8.一种基于鱼眼探头的矢量拓扑一体化客流计算系统，其特征在于，包括：图像收集模块、第一行人轨迹图像获取模块、矢量行人特征模块、行人检索模块、客流输出模块；

所述图像收集模块用于获取目标鱼眼探头采集的视频流数据；

所述第一行人轨迹图像获取模块用于基于所述视频流数据，获取第一行人轨迹图像；

所述矢量行人特征模块用于基于所述第一行人轨迹图像和所述目标鱼眼探头的区域拓扑获取与所述第一行人轨迹图像对应的目标矢量行人特征；

所述行人检索模块用于基于所述目标鱼眼探头与非目标鱼眼探头的空间拓扑对所述目标矢量行人特征进行拓扑检索，获取第二行人轨迹图像；

所述客流输出模块用于基于所述第二行人轨迹图像，获取客流结果。

9.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于鱼眼探头的矢量拓扑一体化客流计算方法。

10.一种终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至7中任一项所述的基于鱼眼探头的矢量拓扑一体化客流计算方法。

Images