CN106650593A - 客流统计方法和装置 - Google Patents

Abstract

本发明公开了一种客流统计方法，包括以下步骤：采用图像帧差算法分离出图像序列分段内的运动目标；根据阀值T和图像帧差将图像序列分段内的图像二值化,所述阀值T为采用人工智能算法获取的最优的阀值T；获取各目标的形心作为跟踪中心点；在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理，判断所述跟踪中心点是否越过所述计数线，对通过所述计数线的目标进行计数操作。本发明的有益效果在于：将基于最优化的动态阈值T的图像帧差算法应用到热成像技术客流统计方法中，使得运动目标分离图像处理技术能更准确地应对场景变化的问题，从而提高热成像技术在客流统计应用中的准确率。

Description

客流统计方法和装置

技术领域

本发明涉及图像处理领域，特别涉及基于热成像技术的客流统计。

背景技术

客流量是大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所在管理和决策方面不可缺少的数据，也是一项重要的商业市场研究手段，能够为大型商业系统的运营决策和综合管理提供准确及时的数据参考。

目前市场上统计客流量的方法主要有人工方式、红外线方式、热成像方式、视频分析方式等，融合了视频处理、图像处理、模式识别以及人工智能等多个领域的技术，对特定通道口的客流量进行统计，从而获得任意指定时段单向或双向客流量以及人群流动特点等数据。

运动目标分离是图像处理技术在客流统计应用中首要解决的难题，当前常用的是帧间差分方法(简称帧差法)。帧间差分法是一种通过对图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当监控场景中出现异常目标运动时，相邻两帧图像之间会出现较为明显的差别，两帧相减，求得图像对应位置像素值差的绝对值，判断其是否大于某一阈值，进而分析视频或图像序列的物体运动特性。

在帧间差分法中，阈值T的选择非常重要。如果阈值T选取的值太小，则无法抑制差分图像中的噪声，如果阈值T选取的值太大，又有可能掩盖差分图像中目标的部分信息，因而固定的阈值T无法适应 场景中光线变化等情况。

发明内容

为了克服现有技术的不足，本发明的目的在于提供采用最优化的动态阈值T的客流统计方法，其能解决基于固定阈值T的运动目标图像处理技术无法准确应对场景变化的问题，从而提高热成像技术在客流统计应用中的准确率。

本发明的目的采用以下技术方案实现：

一种客流统计方法，包括以下步骤：

采用图像帧差算法分离出图像序列分段内的运动目标；

根据阀值T和图像帧差的大小关系对所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

对所述二值图像进行增强处理；

对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

选取所述面积参数和形状参数构成特征向量，依据所述特征向量对所述运动目标的属性进行识别，得出人数；

采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数；

在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理，判断所述跟踪中心点是否越过所述计数线，对通过所述计数线的目标进行计数操作，从而得到客 流量。

优选的，所述采用图像帧差算法分离出图像序列分段内的运动目标，之前还包括以下步骤：

获取所要进行客流统计场所的图像序列分段。

优选的，所述通过热成像设备获取所要进行客流统计场所的图像序列分段包括以下步骤：

采集热成像设备垂直视线下客流统计场所无人时的热成像图，并存储为环境参照；

利用所述环境参照作为分段标识对热成像视频提取图像序列分段。

优选的，所述计数线数量为2，用于区分两个方向上的客流。

一种客流统计装置，包括：

分离单元，用于采用图像帧差算法分离出图像序列分段内的运动目标；

二值化单元，用于根据阀值T和图像帧差的大小关系对所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

增强单元，用于对所述二值图像进行增强处理；

计算单元，用于对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

识别单元，用于选取所述面积参数和形状参数构成特征向量，依 据所述特征向量对所述运动目标的属性进行识别，得出人数；

第一获取单元，用于采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数；

跟踪单元，用于在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理；

判断单元，用于判断所述跟踪中心点是否越过所述计数线；

计数单元，用于对通过所述计数线的目标进行计数操作，从而得到客流量。

优选的，所述客流统计装置，还包括：

第二获取单元，用于获取所要进行客流统计场所的图像序列分段。

优选的，所述第二获取单元还包括：

图像序列分段单元：用于采集热成像设备垂直视线下客流统计场所无人时的热成像图，并存储为环境参照，利用所述环境参照作为分段标识对视频提取图像序列分段。

一种客流统计装置，包括：

处理器以及用于存储处理器可执行的指令的存储器；

所述处理器被配置为：

采用图像帧差算法分离出图像序列分段内的运动目标；

根据阀值T和图像帧差的大小关系将所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列 内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

对所述二值图像进行增强处理；

对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

选取所述面积参数和形状参数构成特征向量，依据所述特征向量对所述运动目标的属性进行识别，输出人数特征；

采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数；

在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理，判断所述跟踪中心点是否越过所述计数线，对通过所述计数线的目标进行计数操作，从而得到客流量。

相比现有技术，本发明的有益效果在于：将基于最优化的动态阈值T的图像帧差算法应用到热成像技术客流统计方法中，使得运动目标分离图像处理技术能更准确地应对场景变化的问题，从而提高热成像技术在客流统计应用中的准确率。

附图说明

图1是本发明实施例提供的客流统计方法的流程示意图。

图2是本发明实施例一提供的客流统计装置的结构示意图。

图3是本发明实施例二提供的客流统计装置的结构示意图。

具体实施方式

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

如图1所示，客流统计方法包括以下步骤：

分离出运动目标：利用帧差算法从的热成像图像序列中分离出视场中的运动目标。

运动目标分离是图像处理技术在客流统计应用中首要解决的难题，当前常用的是帧间差分方法。帧间差分法是一种通过对图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当监控场景中出现异常目标运动时，相邻两帧图像之间会出现较为明显的差别，两帧相减，求得图像对应位置像素值差的绝对值，判断其是否大于某一阈值，进而分析视频或图像序列的物体运动特性。它利用了图像中所要提取的目标与背景在灰度上的差异，把图像视为不同灰度级的两类区域(目标和背景)的组合，选取一个合适的阈值，以确定图像中的每一个像素点应该属于目标还是背景区域，从而产生相应的二值图像。

S111:采集热成像设备垂直视线下客流统计场所无人时的热成像图，并存储为环境参照；

S112:利用所述环境参照作为分段标识对热成像视频提取图像序列分段。可以筛除没有客流，不需要统计的视频片段，减小工作量， 区分视频有效时段。

S113：采用图像帧差算法分离出所述分段内的运动目标；

具体算法如下：

假设f_t-n(x，y)、f_t-n-1(x，y)、…、f_t(x，y)、…、f_t+n(x，y)分别代表连续第t-n、t-n-1、…、t、…、t+n帧图像，则相连两帧图像的帧差为：

S114：根据阀值T和图像帧差的大小关系将所述运动目标的图像二值化得到二值图像，并进行增强处理；

具体算法如下：

第t-1、t帧图像f_t-1(x，y)、f_t(x，y)求得帧差d_t(x，y)后二值化如下：

第t、t+1帧图像f_t(x，y)、f_t+1(x，y)求得帧差d_t+1(x，y)后二值化如下：

第t-1、t、t+1帧经图像帧差算法计算输出的二值图像为：

g_t(x，y)＝d_t(x，y)∩d_t+1(x，y)

二值化得到的运动目标的二值图像，有时不为封闭的区域，且存在噪声，需要进行增强处理。首先对图像进行形态学处理，这里使用形态学闭运算，选取5×3大小的单位结构要素矩阵；然后为平滑边界、消除噪声，对二值图像进行排序滤波，排序滤波选取5×5大小的窗口。当人体某些区域灰度值变化较为平坦时，帧差法可能使二值图像中产生空洞现象，这对于运动物体的分类和人体运动的跟踪造成不便。为了消除运动块中出现的空洞，可以对二值图像采用种子算法进行填充。

在帧间差分法中，阈值T的选择非常重要。如果阈值T选取的值太小，则无法抑制差分图像中的噪声，如果阈值T选取的值太大，又有可能掩盖差分图像中目标的部分信息，因而固定的阈值T无法适应场景中光线变化等情况。因此本发明提出利用人工智能算法对阈值T进行优化，可以实现基于动态阀值T的客流统计方法。因此客流统计方法还包括阀值T的优化步骤。阀值T的优化可以在任何时候进行，包括系统空闲时间、步骤S101之前或步骤S113和步骤S114之间。

阀值T的优化：采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取对应场景的最优的阀值T。在本实施例中，应用神经网络算法进行优化。神经网络算法输入热成像图像序列、热成像视频或图像帧差以及二值化图像特征或客流人数特征，输出阀值T，训练样本可以人工或其他算法统计得出。

S115：对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，傅立叶描述子归一化作为形状参数；对傅立叶描述子进行归一化操作后，所获得的傅立叶描述子将与图像的平移、大小、旋转以及轮廓起始点的选择无关，只保留了图像的形状信息。

S116：特征选择：选取面积参数和形状参数构成特征向量，利用形状参数来识别人体区域，利用面积参数来判断人数；

S117：采用优化方法对运动目标的属性进行识别，输出人数特征；

在本实施例中，考虑神经网络在速度快、复杂空间的划分能力以及超强的自适应能力等方面的优势，采用神经网络作为人数分类算法。神经网络输入运动目标的特征向量，输出人数特征(包括是不是人体，几个人体)，训练样本可以人工或其他算法统计得出。

S118：采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点，从而可以实现通过跟踪目标个人的形心，统计出实际的客流量信息。本实施例中利用了模糊C均值聚类分析算法。

S119：目标跟踪计数：在视场内设置有跟踪区域和计数线，采用形心法对跟踪区域内的跟踪中心点进行实时跟踪处理，判断跟踪中心点是否越过计数线，对通过计数线的目标进行计数操作，从而得到客流量。如果有目标经过预先设定的计数线，即可视为与所述计数线对应的方向上有运动目标通过，与所述计数线对应的计数加1。

进一步的，可以在不同方向上设置两条或更多条计数线，分别对不同方向上的客流进行统计。典型的，设置计数线A和计数线B，两 条计数线之间的区域为跟踪区域。如果跟踪中心点先后越过计数线A、计数线B，则由A到B方向上的人数加1；如果跟踪中心点先后越过计数线B、计数线A，则由B到A方向上的人数加1。

进一步，客流统计方法，还包括以下步骤中的至少一种：

历史数据存储与调用；用于事件追溯，数据统计等。

数据计算与显示；用于多样化的数据统计、表现方式。

数据联网交换，用于更大范围的数据共享，为客流分部大数据提供支撑。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的步骤组合，但是本领域技术人员应该知悉，本发明并不受所描述的步骤顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

相应于上述方法实施例，本发明还提供一种客流统计装置，如图2所示，包括：

运动目标分离模块1001：用于利用帧差算法从热成像图像序列中分离出视场中的运动目标；

目标识别模块1002：用于对所述运动目标提取特征并进行目标属性的识别；

跟踪计数模块1003：用于在视场内设置有跟踪区域和计数线，采用形心法对跟踪区域内的跟踪中心点进行实时跟踪处理，判断跟踪中心点是否越过计数线，对通过计数线的目标进行计数操作，从而得到客流量；

阈值训练优化模块1004：用于对热成像图像序列内各帧的阀值进行训练和优化，获取对应场景的最优的阀值。

其中，运动目标分离模块1001包括：

分离单元，用于采用图像帧差算法分离出图像序列分段内的运动目标；

二值化单元，用于根据阀值T和图像帧差的大小关系对所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

增强单元，用于对所述二值图像进行增强处理。

目标识别模块1002包括：

计算单元，用于对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

识别单元，用于选取所述面积参数和形状参数构成特征向量，依据所述特征向量对所述运动目标的属性进行识别，得出人数；

第一获取单元，用于采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数。

跟踪计数模块1003包括：

跟踪单元，用于在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理；

判断单元，用于判断所述跟踪中心点是否越过所述计数线；

计数单元，用于对通过所述计数线的目标进行计数操作，从而得到客流量。

如图3，进一步，客流统计装置还包括：

热成像视频采集模块1005，即第二获取单元，用于获取所要进行客流统计场所的热成像视频。

第二获取单元进一步还包括图像序列分段单元1006：用于利用所述环境参照作为分段标识对热成像视频提取图像序列分段。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元示意的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员 在不付出创造性劳动的情况下，即可以理解并实施。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

即，一种客流统计装置，包括：

处理器以及用于存储处理器可执行的指令的存储器；

所述处理器被配置为：

采用图像帧差算法分离出图像序列分段内的运动目标；

根据阀值T和图像帧差的大小关系将所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

对所述二值图像进行增强处理；

对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

选取所述面积参数和形状参数构成特征向量，依据所述特征向量对所述运动目标的属性进行识别，输出人数特征；

采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数；

在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理，判断所述跟踪中心点是否越 过所述计数线，对通过所述计数线的目标进行计数操作，从而得到客流量。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (8)

1.一种客流统计方法，其特征在于，包括以下步骤：

采用图像帧差算法分离出图像序列分段内的运动目标；

根据阀值T和图像帧差的大小关系对所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

对所述二值图像进行增强处理；

对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

选取所述面积参数和形状参数构成特征向量，依据所述特征向量对所述运动目标的属性进行识别，得出人数；

采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数；

在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理，判断所述跟踪中心点是否越过所述计数线，对通过所述计数线的目标进行计数操作，从而得到客流量。

2.如权利要求1所述的客流统计方法，其特征在于，所述采用图像帧差算法分离出图像序列分段内的运动目标，之前还包括以下步骤：

获取所要进行客流统计场所的图像序列分段。

3.如权利要求2所述的客流统计方法，其特征在于，所述通过热成像设备获取所要进行客流统计场所的图像序列分段包括以下步骤：

采集热成像设备垂直视线下客流统计场所无人时的热成像图，并存储为环境参照；

利用所述环境参照作为分段标识对热成像视频提取图像序列分段。

4.如权利要求1所述的客流统计方法，其特征在于：所述计数线数量为2，用于区分两个方向上的客流。

5.一种客流统计装置，其特征在于，包括：

分离单元，用于采用图像帧差算法分离出图像序列分段内的运动目标；

二值化单元，用于根据阀值T和图像帧差的大小关系对所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

增强单元，用于对所述二值图像进行增强处理；

计算单元，用于对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

识别单元，用于选取所述面积参数和形状参数构成特征向量，依据所述特征向量对所述运动目标的属性进行识别，得出人数；

第一获取单元，用于采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数；

跟踪单元，用于在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理；

判断单元，用于判断所述跟踪中心点是否越过所述计数线；

计数单元，用于对通过所述计数线的目标进行计数操作，从而得到客流量。

6.如权利要求5所述的一种客流统计装置，其特征在于，还包括：

第二获取单元，用于获取所要进行客流统计场所的图像序列分段。

7.如权利要求6所述的一种客流统计装置，其特征在于，所述第二获取单元还包括：

图像序列分段单元：用于采集热成像设备垂直视线下客流统计场所无人时的热成像图，并存储为环境参照，利用所述环境参照作为分段标识对视频提取图像序列分段。

8.一种客流统计装置，其特征在于，包括：

处理器以及用于存储处理器可执行的指令的存储器；

所述处理器被配置为：

采用图像帧差算法分离出图像序列分段内的运动目标；

根据阀值T和图像帧差的大小关系将所述运动目标的图像二值化得到二值图像,所述阀值T为采用人工智能算法对热成像图像序列内各帧的阀值T进行训练和优化，获取到的对应场景的最优的阀值T；

对所述二值图像进行增强处理；

对增强处理后的二值图像通过所述运动目标的面积来计算面积参数，将傅立叶描述子归一化后作为形状参数；

选取所述面积参数和形状参数构成特征向量，依据所述特征向量对所述运动目标的属性进行识别，输出人数特征；

采用聚类方法对所述运动目标进行聚类处理，获取各目标个人的形心作为跟踪中心点,所述跟踪中心点的数量等于所述人数；

在视场内设置有跟踪区域和计数线，采用形心法对所述跟踪区域内的所述跟踪中心点进行实时跟踪处理，判断所述跟踪中心点是否越过所述计数线，对通过所述计数线的目标进行计数操作，从而得到客流量。