CN110688884A

CN110688884A - 客流统计方法及装置

Info

Publication number: CN110688884A
Application number: CN201910152738.2A
Authority: CN
Inventors: 汪洋; 黎胜科; 郭彬; 杨森; 卢亚宁
Original assignee: Chengdu Tongjia Youbo Technology Co Ltd
Current assignee: Chengdu Tongjia Youbo Technology Co Ltd
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2020-01-14
Anticipated expiration: 2039-02-28
Also published as: CN110688884B

Abstract

本申请提供一种客流统计方法及装置，通过将当前帧客流图像的头肩区域识别结果与上一帧客流图像的各个头肩区域过往轨迹进行匹配，并根据匹配结果得到当前帧客流图像的各个头肩区域的当前轨迹及其轨迹状态，再根据处于有效状态的当前轨迹得到当前帧客流图像的实时客流量，进而得到总客流量。由此，在进行客流统计时，将多目标跟踪拆分为目标识别与轨迹匹配两个过程，减少了客流统计的计算量。此外，当对客流量较大区域进行客流统计并产生假性轨迹问题以及目标丢失问题时，可以根据后续帧客流图像的匹配结果对当前帧客流图像的各个当前轨迹的轨迹状态进行修正，避免假性轨迹问题以及目标丢失问题对客流统计结果的影响，提高了客流统计结果的准确性。

Description

客流统计方法及装置

技术领域

本申请涉及图像处理领域，具体而言，涉及一种客流统计方法及装置。

背景技术

客流统计方法是一种常用的图像分析方法，一般对采集到的客流图像进行多目标轨迹跟踪得到客流图像的客流统计结果。在实际工作中，需要进行客流统计的区域一般为客流量较大的区域，例如，公交车辆、地铁进出口等公共场所。通常客流量较大的区域的客流图像信息量较大，在客流统计时十分容易产生计数错误，导致客流统计结果不准确。

发明内容

有鉴于此，本申请的目的在于提供一种客流统计方法及装置，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种客流统计方法，所述方法包括：

获得预设时间内的客流图像帧序列；

遍历所述客流图像帧序列的每帧客流图像，提取该帧客流图像的特征图像组，对该帧客流图像的特征图像组进行目标检测，得到该帧客流图像中各个头肩区域的当前位置信息；

获得该帧客流图像的上一帧客流图像的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的过往轨迹，根据该帧客流图像的各个头肩区域的过往轨迹的历史位置信息以及滤波估值参数对该帧客流图像的各个头肩区域在该帧客流图像的位置信息进行预估，得到该帧客流图像的各个头肩区域的过往轨迹的预估位置信息；

根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配，并根据匹配结果得到该帧客流图像的头肩区域的当前轨迹；

根据该帧客流图像的头肩区域的当前轨迹的轨迹状态，利用该帧客流图像中处于有效状态的部分头肩区域的当前轨迹的历史位置信息统计得到该帧客流图像的实时客流量，得到所述客流图像帧序列的总客流量，其中，所述轨迹状态包括有效状态、无效状态以及未知状态。

可选地，所述提取该帧客流图像的特征图像组的步骤包括：

采用卷积神经网络提取该帧客流图像的特征图像组，其中，所述卷积神经网络包括多个卷积单元以及与至少部分卷积单元对称的反卷积单元；

所述采用卷积神经网络提取该帧客流图像的特征图像组的步骤，包括；

分别通过各个卷积单元对该帧客流图像进行特征提取，并依次将特征提取结果输入到下一卷积单元，得到各个卷积单元提取到的特征图像，再将最后一个卷积单元提取到的特征图像作为第一特征图像，将与每个卷积单元对称的至少部分卷积单元提取的特征图像作为中间特征图像；

分别通过各个反卷积单元对所述中间特征图像进行特征提取，并依次将特征提取结果输入到下一反卷积单元，得到各个反卷积单元提取到的特征图像，将各个反卷积单元提取到的特征图像作为第二特征图像组；

将所述第一特征图像以及所述第二特征图像组作为该帧客流图像的特征图像组。

可选地，所述分别通过各个卷积单元对该帧客流图像进行特征提取，并依次将特征提取结果输入到下一卷积单元，得到各个卷积单元提取到的特征图像的步骤，包括：

对于各个卷积单元，通过该卷积单元的池化层对该帧客流图像进行池化，得到池化图谱；

通过该卷积单元的卷积层组对帧客流图像进行特征提取，得到特征图谱，其中，在通过卷积层组时，依次通过该卷积单元的第一点卷积层、通道混合层、深度卷积层以及第二点卷积层对该帧客流图像进行特征提取，得到特征图谱；

将所述池化图谱与所述特征图谱进行特征融合，得到该卷积单元提取到的特征图像，并将所述的特征图像输入该卷积单元的下一卷积单元，以得到各个卷积单元提取到的特征图像。

可选地，所述根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配的步骤包括：

对于该帧客流图像的各个头肩区域的过往轨迹，根据该头肩区域的过往轨迹的预估位置信息与该帧客流图像的各个头肩区域的当前位置信息，得到该头肩区域的过往轨迹与各个头肩区域的当前位置信息的匹配系数：

根据所述匹配系数以及预设匹配阈值将该头肩区域的过往轨迹与该帧客流图像的各个头肩区域的当前位置信息进行匹配，得到该头肩区域的过往轨迹与该帧客流图像的各个头肩区域的当前位置信息的匹配结果，以得到该帧客流图像的各个头肩区域的过往轨迹与该帧客流图像的各个头肩区域的当前位置信息的匹配结果，其中，所述匹配结果为匹配成功或者匹配失败。

可选地，所述根据匹配结果得到该帧客流图像的各个头肩区域的过往轨迹的步骤，包括：

根据所述匹配结果将该帧客流图像的各个头肩区域的过往轨迹以及该帧客流图像的各个头肩区域的当前位置信息分为更新组、生成组以及保留组；

其中，所述更新组包括匹配成功的头肩区域的过往轨迹以及当前位置信息，所述生成组包括匹配失败的头肩区域的当前位置信息，所述保留组包括匹配失败的头肩区域的过往轨迹；

根据所述更新组、所述生成组以及所述保留组得到该帧客流图像的各个头肩区域的当前轨迹。

可选地，所述根据所述更新组、所述生成组以及所述保留组得到该帧客流图像的各个头肩区域的当前轨迹的步骤包括：

对于所述更新组的每组匹配成功的头肩区域的过往轨迹以及头肩区域，根据该组的头肩区域的当前位置信息更新该组的头肩区域的过往轨迹，并将更新后的头肩区域的过往轨迹作为该帧客流图像的第一头肩区域的当前轨迹，以得到该帧客流图像的第一头肩区域的当前轨迹组，其中，满足连续条件的第一头肩区域的当前轨迹的轨迹状态为有效状态，不满足连续条件的第一头肩区域的当前轨迹的轨迹状态为未知状态；

对于所述生成组的每个匹配失败的该帧客流图像的头肩区域的当前位置信息，根据该帧客流图像的头肩区域的当前位置信息生成该帧客流图像的第二头肩区域的当前轨迹，以得到该帧客流图像的第二头肩区域的当前轨迹组，其中，第二头肩区域的当前轨迹的轨迹状态为未知状态；

对于所述保留组的每个匹配失败的头肩区域的过往轨迹，该头肩区域的过往轨迹作为该帧客流图像的第三头肩区域的当前轨迹，以得到该帧客流图像的第三头肩区域的当前轨迹组，其中，不满足终止条件的第三头肩区域的当前轨迹的轨迹状态为未知状态，满足终止条件的第三头肩区域的当前轨迹的轨迹状态为无效状态；

将所述第一头肩区域的当前轨迹组、所述第二头肩区域的当前轨迹组以及所述第三头肩区域的当前轨迹组的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的当前轨迹。

可选地，所述根据该帧客流图像的头肩区域的当前轨迹的轨迹状态，利用该帧客流图像中处于有效状态的部分头肩区域的当前轨迹的历史位置信息得到该帧客流图像的实时客流量的步骤包括：

根据处于有效状态的各个头肩区域的当前轨迹的历史轨迹信息以及预设区域的位置信息，统计该帧客流图像中处于所述有效状态的各个头肩区域的当前轨迹中进入预设区域的第一轨迹数量、离开所述预设区域的第二轨迹数量以及停留所述预设区域的第三轨迹数量；

根据所述第一轨迹数量得到该帧客流图像的进入客流量；

根据所述第二轨迹数量得到该帧客流图像的离开客流量；

根据所述进入客流量以及所述离开客流量得到该帧客流图像的净客流量。

可选地，所述获得预设时间内的客流图像帧序列的步骤包括：

在检测到待检测客流通道的开门信号后，采集所述客流通道的图像帧序列；

遍历所述图像帧序列中的每帧客流图像，计算该帧客流图像与上一帧客流图像之间的差异面积；

判断该帧客流图像的差异面积是否高于预设面积；

若是，则将所述上一帧客流图像之后的各帧个图像组成的图像帧序列作为所述客流图像帧序列。

可选地，所述方法还包括：

检测所述客流图像帧序列的每帧客流图像的灰度均值；

判断所述灰度均值是否符合预设图像质量条件，所述预设图像质量条件至少包括灰度阈值条件；

若否，则生成相机参数调节指令，并发送到用于获取所述客流图像帧序列的图像采集装置，以使所述图像采集装置响应所述相机参数调节指令调整对应的相机参数，所述相机参数至少包括曝光参数以及增益参数。

第二方面，本申请实施例还提供一种客流统计装置，所述客流统计装置包括：

图像采集模块，用于获得预设时间内的客流图像帧序列；

头肩检测模块，用于遍历所述客流图像帧序列的每帧客流图像，提取该帧客流图像的特征图像组，并对该帧客流图像的特征图像组进行目标检测，得到该帧客流图像中各个头肩区域的当前位置信息；

目标跟踪模块，用于获得该帧客流图像的上一帧客流图像的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的过往轨迹，根据该帧客流图像的各个头肩区域的过往轨迹的历史位置信息以及滤波估值参数对该帧客流图像的各个头肩区域在该帧客流图像的位置信息进行预估，得到该帧客流图像的各个头肩区域的过往轨迹的预估位置信息，并根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配，再根据匹配结果得到该帧客流图像的头肩区域的当前轨迹；

以及统计模块，用于根据该帧客流图像的头肩区域的当前轨迹的轨迹状态，利用该帧客流图像中处于有效状态的部分头肩区域的当前轨迹的历史位置信息统计得到该帧客流图像的实时客流量，得到所述客流图像帧序列的总客流量，其中，所述轨迹状态包括有效状态、无效状态以及未知状态。

相比现有技术，本申请提供的有益效果是：

本申请实施例提供的客流统计方法及装置，由此，在进行客流统计时，将多目标跟踪拆分为目标识别与轨迹匹配两个过程，减少了客流统计的计算量。此外，当对客流量较大区域进行客流统计并产生假性轨迹问题以及目标丢失问题时，可以根据后续帧客流图像的匹配结果对当前帧客流图像的各个当前轨迹的轨迹状态进行修正，避免假性轨迹问题以及目标丢失问题对客流统计结果的影响，提高了客流统计结果的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的用于实现客流统计方法的电子设备的结构示意框图；

图2为本申请实施例提供的客流统计方法的一种流程示意图；

图3为本申请实施例提供的卷积神经网络的一种结构示意图；

图4为图3中卷积单元的一种结构示意图；

图5为本申请实施例提供的卷积层的一种结构示意图；

图6为本申请实施例提供的客流统计装置的功能模块图；

图7为本申请实施例提供的用于实现客流统计方法的电子设备的另一种结构示意框图。

图标：100-电子设备；110-前端设备；130-后端设备；131-总线；133-处理器；135-存储介质；137-通信模块；200-客流统计装置；210-图像采集模块；220-头肩检测模块；230-目标跟踪模块；240-统计模块。

具体实施方式

基于前述的背景技术，本申请发明人发现现有的客流统计方法在逻辑层面，对于客流量密度较大的区域，仍十分容易错误识别目标，降低客流统计结果的精度。

具体地，在进行客流统计时一般需要对客流图像进行对多目标轨迹跟踪，其中，对于每个新识别到的待跟踪目标，都会创建一个轨迹。本申请发明人发现在实际工作中会有两种问题：假性轨迹问题以及目标丢失问题。

假性轨迹问题指在进行多目标轨迹跟踪时，由于图像处理错误产生了错误的待跟踪目标，错误的待跟踪目标会产生假性轨迹。由于错误的待跟踪目标一般无法在后续的客流图像帧序列找到。假性轨迹会在某一帧客流图像突然出现再突然消失，导致进行客流统计时计入假性轨迹，进而使客流统计结果错误。

目标丢失问题指在进行多目标轨迹跟踪时，正进行跟踪的轨迹可能在某一帧开始无法被检测到，而重新检测到时，可能会将重新检测到的目标作为新的目标创建新的轨迹，导致进行客流统计时导致重复计数，进而使客流统计结果错误。

例如，本申请发明人在实际工作中发现，在公交车处于高峰期时，公交车内较为拥挤，位于公交车内部的乘客下车时，为内部乘客腾出下车通道，其他乘客可能先下车后上车。在对公交车进行客流统计时，这些重复上下车的乘客的轨迹在图像识别的过程中可能产生目标丢失问题，即将原本的上下车轨迹分成上车轨迹与下车轨迹，从而使重复上下车的乘客被重复计算，严重影响客流统计结果。此外，对较为拥挤的公交车内进行图像识别时，由于待跟踪目标重叠严重，十分容易产生错误的待跟踪目标，进而产生假性轨迹问题，进一步影响客流统计结果。

本申请发明人发现实时的客流统计结果可以与其他数据进行综合分析，例如，对公交车的客流统计结果可以与车载刷卡器的公交卡刷卡记录联合分析，判断是否有乘客逃票。而现有的客流统计方法在实现层面，由于多目标轨迹跟踪需要较大的计算量，客流统计方法难以实时执行。现有技术一般在待检测区域(例如，公交车车门、地铁检票口)安装摄像头。通过摄像头采集并保存客流图像，然后进行离线分析；或者将采集的图像发送到服务器，由服务器然后实时处理。前者的离线处理不及时，无法实时获得客流统计结果。后者需要发送服务器，对通信环境(网速、带宽等)有较高的要求，此外，对客流图像进行传输时容易大量遗漏数据，导致客流统计结果错误。

考虑到上述技术问题，本申请发明人发现可以将传统客流统计方法的多目标轨迹跟踪过程分解为目标识别与轨迹匹配，在进行客流统计时，先通过目标识别获得当前帧图像的各个待跟踪目标的当前位置信息，然后对过往轨迹的在当前帧图像的位置信息进行预估，得到预估位置信息。接着将各个当前位置信息与预估位置信息进行匹配，得到各个待跟踪目标与过往轨迹的匹配结果。接着根据匹配结果生成当前轨迹。最后根据当前轨迹的轨迹状态得到实时客流数据。由此，将多目标轨迹跟踪过程分解为目标识别与轨迹匹配，降低了客流统计的计算量，使本申请提供的客流统计方法可以实时执行。此外，当对客流量较大区域进行客流统计并产生假性轨迹问题以及目标丢失问题时，可以根据后续帧客流图像的匹配结果对当前帧客流图像的各个当前轨迹的轨迹状态进行修正，避免假性轨迹问题以及目标丢失问题对客流统计结果的影响，提高了客流统计结果的准确性。

以上现有技术中的方案所存在的缺陷，均是申请人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是申请人在本申请过程中对本申请做出的贡献。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的关键可以相互组合。

请参阅图1，为本申请实施例提供的用于实现下述客流统计方法的电子设备100的结构示意框图。本实施例中，电子设备100可以为监控设备。其中，监控设备可以用于对公交车、小区门禁等实际场景进行监控并统计监控区域的客流情况。

如图1所示，电子设备100可以由前端设备110和后端设备130这两大部分组成，前端设备110通常由摄像机、手动或电动镜头等用于采集监控图像的图像采集装置组成，后端设备130可以由嵌入式设备构成，用于对前端设备110获取的监控图像进行客流统计，得到客流统计结果。

在实际工作中，前端设备110与后端设备130可以分离设置，并通过通信技术进行数据传输。

进一步地，请参阅图2，为本申请实施例提供的客流统计方法的一种流程示意图，本实施例中，客流统计方法由图1中所示的电子设备100执行。所应说明的是，本申请实施例提供的客流统计方法不以图2及以下的具体顺序为限制。客流统计方法的具体流程如下：

步骤S110，获得预设时间内的客流图像帧序列。

作为一种实施方式，前端设备110获取监控区域的监控图像，并将监控图像发送到后端设备130，后端设备130在接收端监控图像后将监控图像作为客流图像帧序列。

本申请发明人在实际工作中发现，前端设备110获取的监控图像可能包含有非必要的客流图像帧序列，非必要的客流图像帧序列会增加后端设备130的计算负载，提高后端设备130的发热量。

例如，本申请发明人发现在统计公交车的客流量时，在公交车门打开时乘客才可以上下公交车，产生乘客客流；公交车门关闭期间前端设备110采集到的监控图像不会存在乘客上下车的情况。对公交车门关闭期间的监控图像进行客流统计会增加后端设备130的计算负担，提高后端设备130的发热量。此外，在公交车门关闭期间，乘客无法上下车，无法产生客流；但对公交车门关闭期间的监控图像进行客流统计可能将乘客在车内的运动轨迹误判为上下车的运动轨迹，从而影响客流统计结果。

基于上述技术问题，本申请发明人发现在对设置有门的客流通道进行客流统计时，例如，公交车车门，自动门等，可以先根据检测到待检测客流通道的开门信号，选取有效的客流序列。即可以在检测到待检测客流通道的开门信号后，采集客流通道的图像帧序列。

为进一步减少后端设备130的运算量，本申请发明人发现可以通过运动物体检测判断是否产生客流，再决定是否调用客流统计方法。具体地，当物体运动时，包含该物体帧序列中各个帧图像会存在差异。由此，可以先遍历帧序列中各个帧图像，计算该帧图像与上一帧图像的差异面积是否满足预设阈值，从而判断是否产生客流。

在工作时，上述两种方法可以单独使用也可以联合应用。例如，可以在检测到待检测客流通道的开门信号后，先采集客流通道的图像帧序列；然后，遍历图像帧序列中的每帧客流图像，计算该帧客流图像与上一帧客流图像之间的差异面积；最后，判断该帧客流图像的差异面积是否高于预设面积，并在该帧客流图像的差异面积高于预设面积时，将上一帧客流图像之后的各帧个图像组成的图像帧序列作为客流图像帧序列。

基于上述设计，本申请提供的客流统计方法可以控制前端设备110采集有效的客流图像帧序列，减小了无效的客流图像帧序列产生的计算量，减小了后端设备130的发热量，此外，避免了无效的客流图像帧序列对客流统计结果的影响，提高了客流统计结果的精度。

本申请发明人还发现前端设备110采集的客流图像帧序列的图像质量对客流统计结果的精度有一定的影响。例如，在夜晚，公交车内亮度较低，前端设备110获取的客流图像帧序列的亮度较低，而亮度较低的客流图像帧序列会影响图像识别结果，从而影响客流统计结果。

基于上述设计，在获得客流图像帧序列后，可以先判断客流图像帧序列是否满足预设图像质量条件，然后根据判断结果生成图像采集装置调整指令。

具体地，在工作中预设图像质量条件可以包括灰度阈值条件，图像采集装置调整指令可以为相机参数调节指令，上述过程可以为先检测客流图像帧序列的每帧客流图像的灰度均值；然后，判断灰度均值是否符合灰度阈值条件；若灰度均值不符合灰度阈值条件，则生成相机参数调节指令，并发送到用于获取客流图像帧序列的图像采集装置，以使图像采集装置响应相机参数调节指令调整对应的相机参数，相机参数至少包括曝光参数以及增益参数。

可以理解，预设图像质量条件还可以包括前端设备110采集的客流图像帧序列是否为预设区域的图像的区域条件等其他条件，像采集装置调整指令可以根据预设图像质量条件进行灵活调整。

基于上述设计，可以根据获得的客流图像帧序列的图像质量生成相机参数调节指令，提高了客流图像帧序列的图像质量，进而提高了图像识别精度与客流统计结果的精度。

步骤S120，遍历客流图像帧序列的每帧客流图像，提取该帧客流图像的特征图像组，对该帧客流图像的特征图像组进行目标检测，得到该帧客流图像中各个头肩区域的当前位置信息。

作为一种实施方式，在提取该帧客流图像的特征图像组时可以采用卷积神经网络提取该帧客流图像的特征图像组。

本申请发明人考虑到构成后端设备130的嵌入式设备具有计算能力较低，无法进行大规模、复杂度高的实时算法计算的缺点。为提高后端设备130的计算效率，本申请提供了一种如图3所示的卷积神经网络。

卷积神经网络可以包括多个卷积单元以及与至少部分卷积单元对称的反卷积单元。

例如，如图3所示，卷积神经网络可以包括第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、第一反卷积单元、第二反卷积单元以及第三反卷积单元。其中，第一反卷积单元与第四卷积单元对应、第二反卷积单元与第三卷积单元对应、第三反卷积单元与第二卷积单元对应。

在工作时，可以先分别通过各个卷积单元对该帧客流图像进行特征提取，并依次将特征提取结果输入到下一卷积单元，得到各个卷积单元提取到的特征图像，再将最后一个卷积单元提取到的特征图像作为第一特征图像，将与每个卷积单元对称的至少部分卷积单元提取的特征图像作为中间特征图像。然后，分别通过各个反卷积单元对中间特征图像进行特征提取，并依次将特征提取结果输入到下一反卷积单元，得到各个反卷积单元提取到的特征图像，将各个反卷积单元提取到的特征图像作为第二特征图像组。最后，将第一特征图像以及第二特征图像组作为该帧客流图像的特征图像组。

为了兼顾检测算法的尺度适应性，解决目标尺度变化的问题，上述卷积神经网络的各个卷积单元与反卷积单元可以形成特征金字塔的结构，各层卷积单元可以通过采样的方式调整特征图像的尺寸，并将不同层次的特征图进行融合，使得低层次的特征图既保持了足够大的空间分辨率，同时通过引入高层次的特征图的语义信息，增强其的语义表征能力，能够良好的检测小目标。

本申请发明人发现现有技术中，卷积单元一般由卷积层、池化层、全连接层等组成，主要计算量集中在卷积层。标准卷积层需要该卷积层的每一个卷积核分别对输入的图像按照通道进行卷积，存在着计算量大的问题。

基于上述技术问题，为减少计算量，作为一种实施方式图4示出了一种卷积单元的示意图，卷积单元可以包括池化层以及卷积层组，卷积层组可以包括第一点卷积层、通道混合层、深度卷积层以及第二点卷积层。

下面基于图4，对通过各个卷积单元对该帧客流图像进行特征提取，并依次将特征提取结果输入到下一卷积单元，得到各个卷积单元提取到的特征图像的步骤进行详细说明：

对于各个卷积单元，可以先通过该卷积单元的池化层对该帧客流图像进行池化，得到池化图谱；然后，通过该卷积单元的卷积层组对帧客流图像进行特征提取，得到特征图谱；最后，将池化图谱与特征图谱进行特征融合，得到该卷积单元提取到的特征图像，并将的特征图像输入该卷积单元的下一卷积单元，以得到各个卷积单元提取到的特征图像。

其中，在通过卷积层组时，依次通过该卷积单元的第一点卷积层、通道混合层、深度卷积层以及第二点卷积层对该帧客流图像进行特征提取，得到特征图谱。

基于上述设计，卷积单元中卷积层的卷积核个数与输入的特征图像通道数量一致，在计算过程中，每个卷积核只与对应的输入通道的特征图像进行卷积处理，极大地减少了计算量。同时，通过通道混合层进行通道混淆，以打乱图像的通道排序，从而提高卷积网络的泛化性能。避免了不同通道的特征信息没有交互造成高层语义特征不够丰富和鲁棒较差的技术问题。

可选地，为了增强检测算法的鲁棒性，可以设计上下文信息提取结构，在每个卷积层内通过并联不同尺寸的多级卷积核，能够得到不同的感受野信息，能够获得目标区域的不同尺度的上下文信息，从而使卷积神经网络具有更好的鲁棒性，提高特征提取结果的特征表征能力，卷积层结构可以如图5所示。

本申请发明人发现在客流统计场景中，为了准确统计客流数量，通常会将相机以一定角度向下并安装于客流通道上方。在客流图像中，每个目标的头肩区域较为清晰，可以将客流图像中各个乘客的头肩区域作为检测目标，从而达到客流统计的目的。

作为一种实施方式，在训练本申请提供的卷积神经网络时，可以先通过在ImageNet等大规模图像识别分类数据集进行训练，使卷积神经网络具有良好的高层语义特征表达能力。然后基于迁移学习将其迁移至特定的目标类别检测算法中，例如，头肩区域检测。

步骤S130，获得该帧客流图像的上一帧客流图像的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的过往轨迹，根据该帧客流图像的各个头肩区域的过往轨迹的历史位置信息以及滤波估值参数对该帧客流图像的各个头肩区域在该帧客流图像的位置信息进行预估，得到该帧客流图像的各个头肩区域的过往轨迹的预估位置信息。

作为一种实施方式，对于每一个头肩区域目标可以创建一个轨迹跟踪器，每个轨迹跟踪器包括对应的头肩区域目标在各个帧客流图像的历史位置信息、轨迹状态信息以及卡尔曼滤波器参数。

在工作时，对于当前帧图像，头肩区域的当前位置信息为轨迹跟踪器在当前帧图像的历史位置信息，头肩区域的当前轨迹可以理解为根据头肩区域的当前位置信息进行更新后的轨迹跟踪器，头肩区域的过往轨迹可以理解为根据头肩区域的当前位置信息进行更新前的轨迹跟踪器。

需要说明的是，本申请的轨迹跟踪器为一种结构化数据格式，在实际工作中并不需要一定将每个头肩区域轨迹定义为一个轨迹跟踪器。

在工作中，为了根据当前帧客流图像的识别结果对轨迹跟踪器进行更新，需要将头肩区域的过往轨迹与当前帧的目标检测结果(头肩区域的当前位置信息)进行匹配，在匹配过程中需要按照上述步骤S130中描述的方法得到各个头肩区域的过往轨迹的预估位置信息。

作为一种实施方式，可以根据轨迹跟踪器的历史位置信息以及卡尔曼滤波器参数对头肩区域的过往轨迹进行卡尔曼滤波，得到头肩区域的过往轨迹的状态估计值。

具体地，头肩区域轨迹在各个帧客流图像的位置信息可以由一个4维空间向量(u,v,r,h)刻画。

其中，(u,v)代表头肩区域轨迹的中心点在当前帧图像中的坐标信息，(r)代表头肩区域轨迹在当前帧图像中边缘边框的纵横比，(h)代表头肩区域轨迹在当前帧图像中边缘边框的高度。头肩区域的过往轨迹的状态估计值可以由一个8维空间向量

刻画。

其中，(u,v,r,h)与前述4维空间向量(u,v,r,h)的含义相同，为进行轨迹位置预估前，头肩区域的过往轨迹的最新的历史位置信息，

为4维空间向量(u,v,r,h)在客流图像帧序列中的速度信息。

根据

以及客流图像帧序列的帧率可以得到各个轨迹跟踪器在当前帧客流图像的预估位置信息，即各个头肩区域在当前帧的预估位置信息。

可选地，卡尔曼滤波器可以采用匀速模型以及线性观测模型。

在实际工作中，每个轨迹的卡尔曼滤波器的卡尔曼滤波参数由各个头肩区域的当前位置信息更新，更新计算量小。生成预估位置信息时，只需用到过往轨迹中最近一帧的历史位置信息，计算量极小。

步骤S140，根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配，并根据匹配结果得到该帧客流图像的头肩区域的当前轨迹。

作为一种实施方式，可以根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配时，对于该帧客流图像的各个头肩区域的过往轨迹，可以先根据该头肩区域的过往轨迹的预估位置信息与该帧客流图像的各个头肩区域的位置信息，得到该头肩区域的过往轨迹与各个头肩区域的匹配系数。然后，根据匹配系数以及预设匹配阈值将该头肩区域的过往轨迹与该帧客流图像的各个头肩区域的当前位置信息进行匹配，得到该头肩区域的过往轨迹与该帧客流图像的各个头肩区域的当前位置信息的匹配结果，以得到该帧客流图像的各个头肩区域的过往轨迹与该帧客流图像的各个头肩区域的当前位置信息的匹配结果。

其中，匹配结果为匹配成功或者匹配失败。

在上述过程中，预估位置信息包括预估位置坐标以及观测协方差矩阵，该头肩区域的过往轨迹i与该帧客流图像的头肩区域的当前位置信息j的匹配系数可以满足以下关系：

d⁽¹⁾(i,j)为该头肩区域的过往轨迹i与头肩区域的当前位置信息j的匹配系数，d_j为头肩区域的当前位置信息j的位置坐标，y_i为该头肩区域的过往轨迹i的预估位置坐标，S_i为该头肩区域的过往轨迹i在当前时刻观测空间的协方差矩阵。

需要说明的是，上述匹配系数为头肩区域的过往轨迹i与头肩区域的当前位置信息j的马氏距离，其中，马氏距离越小表示匹配关系越强。

作为一种实施方式，在得到上述匹配系数后可以根据预设匹配阈值对匹配系数进行过滤，以得到示性函数，其中，该头肩区域的过往轨迹i与头肩区域的当前位置信息j的可以满足以下关系：

b_ij ⁽¹⁾＝1[d⁽¹⁾(i,j)≤t⁽¹⁾]

其中，b_ij ⁽¹⁾为头肩区域的过往轨迹i与头肩区域的当前位置信息j的示性函数，t⁽¹⁾为预设匹配阈值，本申请可以采用卡方分布的0.95分位点作为预设匹配阈值。

在得到各个头肩区域的过往轨迹与各个头肩区域的示性函数后，可以采用匈牙利法并根据示性函数对各个头肩区域的过往轨迹与各个头肩区域的当前位置信息进行分配，从而得到各个头肩区域的过往轨迹与各个头肩区域的当前位置信息的匹配结果。

基于前述的技术问题，本申请发明人发现进行匹配后，可以根据匹配结果得到三类轨迹，即匹配成功头肩区域的过往轨迹以及当前位置信息、匹配失败的头肩区域的过往轨迹、匹配失败的头肩区域的当前位置信息。在匹配失败的头肩区域的过往轨迹可能包含前述的目标丢失问题，在匹配失败的头肩区域的当前位置信息可能包含前述的假性轨迹问题，因此在根据匹配结果得到该帧客流图像的头肩区域的当前轨迹时，应该分别处理三类轨迹。

具体地，可以先根据匹配结果将该帧客流图像的各个头肩区域的过往轨迹以及该帧客流图像的各个头肩区域分为更新组、生成组以及保留组；然后，根据更新组、生成组以及保留组得到该帧客流图像的各个头肩区域的当前轨迹。

其中，更新组包括匹配成功的头肩区域的过往轨迹以及当前位置信息，生成组包括匹配失败的头肩区域的当前位置信息，保留组包括匹配失败的头肩区域的过往轨迹。

为进一步消除假性轨迹问题以及目标丢失问题，在得到该帧客流图像的各个头肩区域的当前轨迹时可以引入置信机制，并通过置信机制更改各个轨迹跟踪器的轨迹状态。

例如，在检测到新的头肩区域时，可以先初始生成新的轨迹，并判断后续帧图像是否连续发现该头肩区域，若是，则将该头肩区域的轨迹置为有效，以避免假性轨迹问题对头肩区域轨迹的影响。

又例如，在已检测到的头肩区域在当前帧未被检测后，可以连续判断后续帧客流图像中是否出现该头肩区域，若持续出现该头肩区域，则将该头肩区域的轨迹置为有效，以避免目标丢失问题对头肩区域轨迹的影响。

其中，轨迹状态包括有效状态、无效状态以及未知状态。在工作时可以根据轨迹的匹配情况更改轨迹状态。

可选地，根据更新组、生成组以及保留组得到该帧客流图像的各个头肩区域的当前轨迹可以包括以下子步骤：

对于更新组的每组匹配成功的头肩区域的过往轨迹以及头肩区域，根据该组的头肩区域的当前位置信息更新该组的头肩区域的过往轨迹，并将更新后的头肩区域的过往轨迹作为该帧客流图像的第一头肩区域的当前轨迹，以得到该帧客流图像的第一头肩区域的当前轨迹组。

其中，满足连续条件的第一头肩区域的当前轨迹的轨迹状态为有效状态，不满足连续条件的第一头肩区域的当前轨迹的轨迹状态为未知状态。

在实际工作中，连续条件可以为是该头肩区域轨迹否在连续帧客流图像中均匹配成功，若是则满足连续条件，反之，则不满足连续条件。

对于生成组的每个匹配失败的该帧客流图像的头肩区域的当前位置信息，根据该帧客流图像的头肩区域的当前位置信息生成该帧客流图像的第二头肩区域的当前轨迹，以得到该帧客流图像的第二头肩区域的当前轨迹组。

其中，第二头肩区域的当前轨迹的轨迹状态为未知状态。

对于保留组的每个匹配失败的头肩区域的过往轨迹，该头肩区域的过往轨迹作为该帧客流图像的第三头肩区域的当前轨迹，以得到该帧客流图像的第三头肩区域的当前轨迹组。

其中，不满足终止条件的第三头肩区域的当前轨迹的轨迹状态为未知状态，满足终止条件的第三头肩区域的当前轨迹的轨迹状态为无效状态。

在实际工作中，每个轨迹跟踪器可以包括用于记录上一次成功匹配时间的匹配记录器，当匹配记录器中记录的上一次成功匹配时间的匹配记录器大于预设匹配时间阈值，则判定该轨迹跟踪器满足终止条件，反之，则不满足终止条件。

最后，将第一头肩区域的当前轨迹组、第二头肩区域的当前轨迹组以及第三头肩区域的当前轨迹组的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的当前轨迹。

基于上述设计，当产生假性轨迹问题时，该假性轨迹在当前帧可能为未知状态或有效状态，但当该假性轨迹在后续帧无法连续检测时，直接将该假性轨迹的轨迹状态置为无效。当产生目标丢失问题时，可以先将该轨迹在当前帧客流图像中的轨迹状态置为未知状态，当后续帧客流图像中重新连续监测到该轨迹时将该轨迹状态重新置为有效状态。由此，解决了假性轨迹问题以及目标丢失问题，提高了头肩区域轨迹的准确性，从而提高了客流统计结果的准确性。

需要说明的是，上述步骤S120～S140将现有技术中的多目标跟踪拆分为目标识别与轨迹匹配两个过程。在进行处理时，需要对客流图像进行卷积计算得到目标识别结果(头肩区域的当前位置信息)，然后将目标识别结果与已有轨迹进行匹配。上述两个过程基本只需用到当前帧客流图像，相对于传统的多目标跟踪，计算量较小，可以在后端设备130上实时执行。

步骤S150，根据该帧客流图像的头肩区域的当前轨迹的轨迹状态，利用该帧客流图像中处于有效状态的部分头肩区域的当前轨迹的历史位置信息得到该帧客流图像的实时客流量，以得到客流图像帧序列的总客流量。

作为一种实施方式，可以根据处于有效状态的各个头肩区域的当前轨迹的历史轨迹信息以及预设区域的位置信息，统计该帧客流图像中处于有效状态的各个头肩区域的当前轨迹中进入预设区域的第一轨迹数量、离开预设区域的第二轨迹数量以及停留预设区域的第三轨迹数量。然后，根据第一轨迹数量得到该帧客流图像的进入客流量，并根据第二轨迹数量得到该帧客流图像的离开客流量。最后，根据进入客流量以及离开客流量得到该帧客流图像的净客流量。

请参阅图6，本申请还提供一种客流统计装置200，客流统计装置200可以包括：

图像采集模块210，用于获得预设时间内的客流图像帧序列。

头肩检测模块220，用于遍历客流图像帧序列的每帧客流图像，提取该帧客流图像的特征图像组，并对该帧客流图像的特征图像组进行目标检测，得到该帧客流图像中各个头肩区域的当前位置信息。

目标跟踪模块230，用于获得该帧客流图像的上一帧客流图像的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的过往轨迹，根据该帧客流图像的各个头肩区域的过往轨迹的历史位置信息以及滤波估值参数对该帧客流图像的各个头肩区域在该帧客流图像的位置信息进行预估，得到该帧客流图像的各个头肩区域的过往轨迹的预估位置信息，并根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配，再根据匹配结果得到该帧客流图像的头肩区域的当前轨迹。

以及统计模块240，用于根据该帧客流图像的头肩区域的当前轨迹的轨迹状态，利用该帧客流图像中处于有效状态的部分头肩区域的当前轨迹的历史位置信息统计得到该帧客流图像的实时客流量，得到客流图像帧序列的总客流量，其中，轨迹状态包括有效状态、无效状态以及未知状态。

上述客流统计装置200可以运行于如图7所示的电子设备100中，请参阅图7，电子设备100可以包括前端设备110和后端设备130，后端设备130可以包括总线131、处理器133、存储介质135以及通信模块137，前端设备110可以与处理器133通信连接。

需要说明的是，前端设备110可以通过总线接口等方式与处理器133间接连接，也可以直接作为数据源与处理器133通信连接，只需保证前端设备110可以为处理器133提供客流图像帧序列即可。

其中，总线131将后端设备130的各个组件通信连接，存储介质135中存储有客流统计装置200，处理器133可以通过总线131调用客流统计装置200以执行本申请提供的客流统计方法，获得目标区域的实时客流统计结果。

可选地，通信模块137可以与外部终端通信连接，将客流统计结果和/或客流图像帧序列发送到外部终端。

可选地，存储介质135还可以包括用于存储客流统计结果的数据存储单元以及用于存储客流图像帧序列的视频存储单元。数据存储单元以及视频存储单元可以由可拆卸存储介质构成，使用者可以通过直接数据存储单元以及视频存储单元内的数据获得客流统计结果以及客流图像帧序列。

可选地，当电子设备100应用于公交车时，外部终端可以为车载系统，通信模块137可以为串口传输模块。在电子设备100为车载系统提供客流统计结果的同时，车载系统还可以为电子设备100提供开关门信号。

可选地，通信模块137还可以为网络传输模块，将客流统计结果以及客流图像帧序列发送到外部终端，外部终端还可以根据电子设备100的工作情况生成配置参数，以控制电子设备100的工作状态。

本申请还提供一种可读存储介质，可读存储介质中可以存储有计算机程序，计算机程序被执行时实现任一前述实施例的客流统计方法。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本关键的情况下，能够以其它具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims

1.一种客流统计方法，其特征在于，所述方法包括：

获得预设时间内的客流图像帧序列；

获得该帧客流图像的上一帧客流图像的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的过往轨迹，根据该帧客流图像的各个头肩区域的过往轨迹的历史位置信息以及滤波估值参数对该帧客流图像的各个头肩区域在该帧客流图像的位置信息进行预估，得到该帧客流图像的各个头肩区域的预估位置信息；

2.根据权利要求1所述的客流统计方法，其特征在于，所述提取该帧客流图像的特征图像组的步骤包括：

3.根据权利要求2所述的客流统计方法，其特征在于，所述分别通过各个卷积单元对该帧客流图像进行特征提取，并依次将特征提取结果输入到下一卷积单元，得到各个卷积单元提取到的特征图像的步骤，包括：

4.根据权利要求1所述的客流统计方法，其特征在于，所述根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配的步骤包括：

5.根据权利要求1-4中任意一项所述的客流统计方法，其特征在于，所述根据匹配结果得到该帧客流图像的各个头肩区域的过往轨迹的步骤，包括：

6.根据权利要求5所述的客流统计方法，其特征在于，所述根据所述更新组、所述生成组以及所述保留组得到该帧客流图像的各个头肩区域的当前轨迹的步骤包括：

7.根据权利要求1所述的客流统计方法，其特征在于，所述根据该帧客流图像的头肩区域的当前轨迹的轨迹状态，利用该帧客流图像中处于有效状态的部分头肩区域的当前轨迹的历史位置信息得到该帧客流图像的实时客流量的步骤包括：

根据所述第一轨迹数量得到该帧客流图像的进入客流量；

根据所述第二轨迹数量得到该帧客流图像的离开客流量；

8.根据权利要求1所述的客流统计方法，其特征在于，所述获得预设时间内的客流图像帧序列的步骤包括：

判断该帧客流图像的差异面积是否高于预设面积；

9.根据权利要求1所述的客流统计方法，其特征在于，所述方法还包括：

检测所述客流图像帧序列的每帧客流图像的灰度均值；

10.一种客流统计装置，其特征在于，所述客流统计装置包括：

图像采集模块，用于获得预设时间内的客流图像帧序列；

目标跟踪模块，用于获得该帧客流图像的上一帧客流图像的各个头肩区域的当前轨迹作为该帧客流图像的各个头肩区域的过往轨迹，根据该帧客流图像的各个头肩区域的过往轨迹的历史位置信息以及滤波估值参数对该帧客流图像的各个头肩区域在该帧客流图像的位置信息进行预估，得到该帧客流图像的各个头肩区域的预估位置信息，并根据该帧客流图像的各个头肩区域的过往轨迹的预估位置信息以及该帧客流图像中各个头肩区域的当前位置信息将该帧客流图像中各个头肩区域的当前位置信息与该帧客流图像的各个头肩区域的过往轨迹进行匹配，再根据匹配结果得到该帧客流图像的头肩区域的当前轨迹；以及

统计模块，用于根据该帧客流图像的头肩区域的当前轨迹的轨迹状态，利用该帧客流图像中处于有效状态的部分头肩区域的当前轨迹的历史位置信息统计得到该帧客流图像的实时客流量，得到所述客流图像帧序列的总客流量，其中，所述轨迹状态包括有效状态、无效状态以及未知状态。