CN108009477B - 图像的人流数量检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种图像人流数量检测方法、装置、存储介质及电子设备，该方法包括：利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，该图像类别包括人流稀疏图像、人流密集图像以及第三类图像，该三类图像为不属于该人流稀疏图像和该人流密集图像的图像；根据该目标图像的图像类别，确定适用于该目标图像的目标人流检测算法；利用该目标人流检测算法对该目标图像的人流数量进行检测，得到该目标图像的人流数量。能够通过训练好的图像分类模型对待检测的图像进行分类，并根据图像类别选取适当的人流检测算法对该图像中的人流量进行检测，增强人流检测算法对于不同人流密集程度的图像的适应性。

Description

图像的人流数量检测方法、装置、存储介质及电子设备

技术领域

本公开涉及图像识别领域，具体地，涉及一种图像的人流数量检测方法、装置、存储介质及电子设备。

背景技术

目前，深度学习算法被广泛应用于图像识别领域，其中，对视频中的人流数量的检测是一个非常典型的应用场景。相关技术中，基于图像识别的人流数量检测方法主要采用基于物体检测(Object Detection)的人流数量检测方法和基于密度图(Density Map)的人流数量检测方法中的其中一者。具体的，基于物体检测的人流数量检测算法通过深度学习从图像中识别出每一个个体，然后统计识别出的个体总数作为人流数量检测结果，但是，基于物体检测的人流数量检测算法适用于人数较少的场景，在较为密集人流场景下，一方面人体遮挡严重，很难进行准确的个体识别，另一方面，需要进行最终判断的候选区域太多，算法准确率和效率都无法保证。而基于密度图的人流数量检测算法同样是依赖于深度学习方法，但是与物体检测不同的是这类方法通过识别图像中每个像素的人流密度形成整体密度图，然后累计密度图估计出人流数量，但是在较为稀疏人流场景下，人数基数小，基于密度的方法就很难满足准确性要求。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像的人流数量检测方法、装置、存储介质及电子设备。

根据本公开实施例的第一方面，提供一种图像的人流数量检测方法，所述方法包括：

利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，所述图像类别包括人流稀疏图像、人流密集图像以及第三类图像，所述三类图像为不属于所述人流稀疏图像和所述人流密集图像的图像；

根据所述目标图像的图像类别，确定适用于所述目标图像的目标人流检测算法；

利用所述目标人流检测算法对所述目标图像的人流数量进行检测，得到所述目标图像的人流数量。

可选的，所述根据所述目标图像的图像类别，确定适用于所述目标图像的人流检测算法，包括：

当所述目标图像的图像类别为所述人流稀疏图像时，确定适用于所述目标图像的人流检测算法为基于物体检测的人流数量检测算法；

当所述目标图像的图像类别为所述人流密集图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法；

当所述目标图像的图像类别为所述第三类图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法以及基于分层时间记忆HTM的人流数量预测算法。

可选的，在所述利用训练好的图像分类模型确定当前获取到的目标图像的图像类别之前，所述方法还包括：

获取被第一图片样本集合和第二图片样本集合，所述第一图片样本集合包括标记为所述人流稀疏图像的图片样本，所述第二图片样本集合包括标记为所述人流密集图像的图片样本；

通过基于物体检测的人流数量检测算法对所述第一图片样本集合中的每张图片分别进行检测；

当所述第一图片样本集合中出现第一图片时，将所述第一图片重新划分到所述第二图片样本集合中，所述第一图片为利用所述基于物体检测的人流数量检测算法检测时的误差大于第一预设误差，和/或耗时大于第一预设耗时的图片；

通过基于密度的人流数量检测算法对第二图片样本集合中的每张图片分别进行检测；

当所述第二图片样本集合中出现第二图片时，将所述第二图片标记为所述第三类图片，划分到第三图片样本集合中，所述第二图片为利用所述基于密度的人流数量检测算法检测时的误差大于第二预设误差，和/或耗时大于第二预设耗时的图片；

通过完成分类后的所述第一图片样本集合、所述第二图片样本集合以及所述第三图片样本集合，分别训练所述图像分类模型，得到所述训练好的图像分类模型。

可选的，所述利用所述目标人流检测算法对所述目标图像的人流数量进行检测，得到所述目标图像的人流数量，包括：

所述目标图像的图像类别为所述人流稀疏图像时，利用所述基于物体检测的人流数量检测算法对所述目标图像进行检测，并将利用所述基于物体检测的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量；或者，

所述目标图像的图像类别为所述人流密集图像时，利用所述基于密度的人流数量检测算法对所述目标图像进行检测，并将利用所述基于密度的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量；或者，

所述目标图像的图像类别为所述第三类图像时，利用基于密度的人流数量检测算法对所述目标图像进行检测；

通过所述基于HTM的人流数量预测算法对利用所述基于密度的人流数量检测算法检测出的人流数量进行校准，以确定所述目标图像的人流数量。

可选的，所述通过所述基于HTM的人流数量预测算法对利用所述基于密度的人流数量检测算法检测出的人流数量进行校准，以确定所述目标图像的人流数量，包括：

根据所述目标图像在第一时刻之前的历史人流数量检测结果，通过所述基于HTM的人流数量预测算法获取所述第一时刻的预测人流数量；

将所述预测人流数量与所述目标图像中的人流数量检测结果进行对比；

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值大于或等于预设值时，确定所述预测人流数量作为所述第一时刻输出的人流数量检测结果；或者，

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值小于预设值时，确定所述目标图像的人流数量检测结果作为所述第一时刻输出的人流数量检测结果。

可选的，所述图像分类模型由卷积神经网络CNN模型以及支持向量机SVM模型相连接组成，其中所述CNN模型的输出为SVM模型的输入。

根据本公开实施例的第二方面，提供一种图像的人流数量检测装置，所述装置包括：

类别确定模块，用于利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，所述图像类别包括人流稀疏图像、人流密集图像以及第三类图像，所述三类图像为不属于所述人流稀疏图像和所述人流密集图像的图像；

算法确定模块，用于根据所述目标图像的图像类别，确定适用于所述目标图像的目标人流检测算法；

人流数量获取模块，用于利用所述目标人流检测算法对所述目标图像的人流数量进行检测，得到所述目标图像的人流数量。

可选的，所述算法确定模块，用于：

当所述目标图像的图像类别为所述人流稀疏图像时，确定适用于所述目标图像的人流检测算法为基于物体检测的人流数量检测算法；

当所述目标图像的图像类别为所述人流密集图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法；

当所述目标图像的图像类别为所述第三类图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法以及基于分层时间记忆HTM的人流数量预测算法。

可选的，所述装置还包括：

样本获取模块，用于获取被第一图片样本集合和第二图片样本集合，所述第一图片样本集合包括标记为所述人流稀疏图像的图片样本，所述第二图片样本集合包括标记为所述人流密集图像的图片样本；

第一图片检测模块，用于通过基于物体检测的人流数量检测算法对所述第一图片样本集合中的每张图片分别进行检测；

第一图片分类模块，用于当所述第一图片样本集合中出现第一图片时，将所述第一图片重新划分到所述第二图片样本集合中，所述第一图片为利用所述基于物体检测的人流数量检测算法检测时的误差大于第一预设误差，和/或耗时大于第一预设耗时的图片；

第二图片检测模块，用于通过基于密度的人流数量检测算法对第二图片样本集合中的每张图片分别进行检测；

第二图片分类模块，用于当所述第二图片样本集合中出现第二图片时，将所述第二图片标记为所述第三类图片，划分到第三图片样本集合中，利用所述基于密度的人流数量检测算法检测时的误差大于第二预设误差，和/或耗时大于第二预设耗时的图片；

模型训练模块，用于通过完成分类后的所述第一图片样本集合、所述第二图片样本集合以及所述第三图片样本集合，分别训练所述图像分类模型，得到所述训练好的图像分类模型。

可选的，所述人流数量获取模块，包括：

第一人流数量检测子模块，用于所述目标图像的图像类别为所述人流稀疏图像时，利用所述基于物体检测的人流数量检测算法对所述目标图像进行检测，并将利用所述基于物体检测的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量；或者，

第二人流数量检测子模块，用于所述目标图像的图像类别为所述人流密集图像时，利用所述基于密度的人流数量检测算法对所述目标图像进行检测，并将利用所述基于密度的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量；或者，

第三人流数量检测子模块，用于所述目标图像的图像类别为所述第三类图像时，利用基于密度的人流数量检测算法对所述目标图像进行检测；

人流数量校准子模块，用于通过所述基于HTM的人流数量预测算法对利用所述基于密度的人流数量检测算法检测出的人流数量进行校准，以确定所述目标图像的人流数量。

可选的，所述人流数量校准子模块，用于：

根据所述目标图像在第一时刻之前的历史人流数量检测结果，通过所述基于HTM的人流数量预测算法获取所述第一时刻的预测人流数量；

将所述预测人流数量与所述目标图像中的人流数量检测结果进行对比；

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值大于或等于预设值时，确定所述预测人流数量作为所述第一时刻输出的人流数量检测结果；或者，

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值小于预设值时，确定所述目标图像的人流数量检测结果作为所述第一时刻输出的人流数量检测结果。

可选的，所述图像分类模型由卷积神经网络CNN模型以及支持向量机SVM模型相连接组成，其中所述CNN模型的输出为SVM模型的输入。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例的第一方面中所述方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

本公开实施例的第三方面所述的计算机可读存储介质；以及

一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。

本公开的提供的图像的人流数量检测方法、装置、存储介质及设备，能够利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，该图像类别包括人流稀疏图像、人流密集图像以及第三类图像，该三类图像为不属于该人流稀疏图像和该人流密集图像的图像；根据该目标图像的图像类别，确定适用于该目标图像的目标人流检测算法；利用该目标人流检测算法对该目标图像的人流数量进行检测，得到该目标图像的人流数量。能够通过训练好的图像分类模型对待检测的图像进行分类，并根据图像类别选取适当的人流检测算法对该图像中的人流量进行检测，能够增强人流检测算法对于不同人流密集程度的图像的适应性，保证人流检测的准确性。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种图像的人流数量检测方法的流程图；

图2是根据图1所示实施例示出的一种图像分类模型的结构示意图；

图3是根据图1所示实施例示出的一种图像的人流数量检测方法的流程图；

图4是根据一示例性实施例示出的另一种图像的人流数量检测方法的流程图；

图5是根据图1所示实施例示出的一种图像的人流数量检测方法的流程图；

图6是根据图5所示实施例示出的一种人流数量检测结果的校准方法的流程图；

图7是根据一示例性实施例示出的一种图像的人流数量检测装置的框图；

图8是根据一示例性实施例示出的另一种图像的人流数量检测装置的框图；

图9是根据图7所示实施例示出的一种图像的人流数量检测装置的框图；

图10是根据一示例性实施例示出的一种电子设备的框图；

图11是根据一示例性实施例示出的另一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

图1是根据一示例性实施例示出的一种图像的人流数量检测方法的流程图，参见图1，该方法可以包括以下步骤：

在步骤101中，利用训练好的图像分类模型确定当前获取到的目标图像的图像类别。

示例地，可以对通过摄像头收集到的视频信息的关键帧进行提取，其中该关键帧可以是实时采集的视频信息中的任一帧，也可以是符合预设要求的指定帧，例如能够清晰反映是否有人流的帧，从而可以获取该摄像头所拍摄位置的人流图像，再通过reshape函数对该人流图像进行预处理，以得到规范化的人流图像，作为该目标图像。其中，该目标图像的图像类别可以包括人流稀疏图像、人流密集图像以及第三类图像，该三类图像为既不属于该人流稀疏图像也不属于该人流密集图像的图像。

示例地，该图像分类模型可以由CNN(Convolutional Neural Network，卷积神经网络)模型以及SVM(Support Vector Machine，支持向量机)模型相连接组成，其中，CNN模型的输出为SVM模型的输入。在该步骤101中，将该目标图像作为该训练好的图像分类模型的输入，再由该训练好的图像分类模型根据该目标图像的种类，对该目标图像进行输出。

在步骤102中，根据该目标图像的图像类别，确定适用于该目标图像的目标人流检测算法。

在步骤103中，利用该目标人流检测算法对该目标图像的人流数量进行检测，得到该目标图像的人流数量。

综上所述，本公开提供的图像的人流数量检测方法，能够利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，该图像类别包括人流稀疏图像、人流密集图像以及第三类图像，该三类图像为不属于该人流稀疏图像和该人流密集图像的图像；根据该目标图像的图像类别，确定适用于该目标图像的目标人流检测算法；利用该目标人流检测算法对该目标图像的人流数量进行检测，得到该目标图像的人流数量。能够通过训练好的图像分类模型对待检测的图像进行分类，并根据图像类别选取适当的人流检测算法对该图像中的人流量进行检测，能够增强人流检测算法对于不同人流密集程度的图像的适应性。

图2是根据图1所示实施例示出的一种图像分类模型的结构示意图，如如图2所示，该图像分类模型包括CNN模型以及SVM模型。在通过样本图片对该图像分类模型进行训练时，首先将样本图片输入至CNN模型中，以提取每个样本图片的特征值。该CNN模型包括：四层卷积层(在图中标记为Conv)与两层池化层(在图中标记为Pooling)。其中，第一层卷积层包括：9×9尺寸的卷积核16个，7×7尺寸的卷积核20个，5×5尺寸的卷积核24个，第一层池化层：处理尺寸为2×2；第二层卷积层包括：7×7尺寸的卷积核32个，5×5尺寸的卷积核40个，3×3尺寸的卷积核48个，第二层池化层：处理尺寸为2×2；第三层卷积层包括：7×7尺寸的卷积核16个，5×5尺寸的卷积核20个，3×3尺寸的卷积核24个，第四层卷积层包括：7×7尺寸的卷积核8个，5×5尺寸的卷积核10个，3×3尺寸的卷积核12个。而后，将不同尺寸卷积核提取出的特征值进行合并，最后将合并后的特征值数据以1×1卷积尺寸输出至SVM分类器进行分类。

图3是根据图1所示实施例示出的一种图像的人流数量检测方法的流程图，如图3所示，前述步骤102可以包括以下步骤。

在步骤1021中，当该目标图像的图像类别为该人流稀疏图像时，确定适用于该目标图像的人流检测算法为基于物体检测的人流数量检测算法。

示例地，该基于物体检测的人流数量检测算法可以为包括首先通过regionproposal(区域建议)方法先筛选出候选区域，再通过分类算法进行人流数量的识别，示例性的，可以包括为：采用Adaboost+Cascade模型和CNN模型+SVM模型两部分的人流数量检测算法。

因此，基于物体检测的人流数量检测算法可以包含两个阶段，一部分是头部检测器(Adaboost+Cascade模型)的获取，一部分是CNN模型+SVM模型的训练。其中，该Adaboost+Cascade模型的获取可以包括：通过多个简单的Adaboost弱分类器，构建出准确率很高的Adaboost强分类器，以及通过若干个Adaboost强分类器串联得到一个Casacde分类器。对于该Casacde分类器，在进行图像识别区域划定时，只有Casacde分类器中所有的adaboost分类器都认为图片样本是正样本，最终结果才是正样本，否则都是负样本。因此，在本实施例中，该正样本可以理解为图片样本中人头所处的区域，该负样本为图片样本中非人头的区域，因此当输入待识别的目标图像后，通过上述的Casacde分类器识别正负样本的方法即可识别出该目标图像中的人头所处的区域和非人头的区域，然后可以利用后续训练好的CNN模型+SVM模型即可检测出目标图像中的人流数量。另外，在该算法中，可以将正样本的召回率设置为99.5％，误警率设置为50％。

关于CNN模型+SVM模型的训练，其基本过程是根据正样本和该负样本训练CNN模型，并提取CNN模型的特征值，然后可以提取经过该正样本和该负样本训练后的CNN模型的特征值，进而通过该特征值对SVM模型进行训练，从而可以得到CNN模型+SVM模型的分类器。

当得到该目标图像，并且判定该目标图像的图像类别为人流稀疏图像时，将该目标图像先利用上述的Adaboost+Cascade模型识别出该目标图像的人头区域，然后再利用上述的CNN模型+SVM模型的分类器对已识别出人头区域的目标图像进行分类，从而可以计算出该目标图像中正样本的个数，即可得到该目标图像的人流数量。

在步骤1022中，当该目标图像的图像类别为该人流密集图像时，确定适用于该目标图像的人流检测算法为基于密度的人流数量检测算法。

示例地，该基于密度的人流数量检测算法可以为：首先根据目标图片中每个人头与距离最近的预设个数(例如，10个)人头之间的平均距离，以及该目标图片中像素点的高斯核密度，对该目标图片中的每个像素点的人流密度进行标记，进而生成该目标图片的密度图，其中，人头的像素点密度越大，说明人头越小，人头的像素点密度越小，说明人头越大。之后，再对该密度图中的与人头部区域相关的像素点标记进行累计，获取该目标图像的人流数量。

在步骤1023中，当该目标图像的图像类别为该第三类图像时，确定适用于该目标图像的人流检测算法为基于密度的人流数量检测算法以及基于HTM(HierarchicalTemporal Memory，分层时间记忆)的人流数量预测算法。

示例地，可以先通过基于密度的人流数量检测算法对该目标图像的人流数量进行检测，得到人流数量检测结果，再通过基于HTM的人流数量预测算法对上述的人流数量检测结果进行校准。

图4是根据一示例性实施例示出的另一种图像的人流数量检测方法的流程图，如图4所示，该方法在步骤101之前需要首先将图像分类模型完成训练，因此在步骤101之前，还可以包括以下步骤。

在步骤104中，获取被第一图片样本集合和第二图片样本集合。

示例地，在利用训练好的图像分类模型确定当前获取到的目标图像的图像类别之前，首先需要通过分类后的图片样本对该图像分类模型进行训练。在对图片样本进行样本分类时，可以首先依据图片样本中的人流密度情况，人为地，或者通过较为粗略的图片分类程序，将所有图片样本分类到第一图片样本集合或第二图片样本集合中。其中，该第一图片样本集合包括标记为该人流稀疏图像的图片样本，该第二图片样本集合包括标记为该人流密集图像的图片样本。

在步骤105中，通过基于物体检测的人流数量检测算法对该第一图片样本集合中的每张图片分别进行检测。其检测方法与步骤1021中所述的方法相同，不再赘述。

在步骤106中，当该第一图片样本集合中出现第一图片时，将该第一图片重新划分到该第二图片样本集合中。

其中，该第一图片为利用该基于物体检测的人流数量检测算法检测时的误差大于第一预设误差，和/或耗时大于第一预设耗时的图片。

在步骤107中，通过基于密度的人流数量检测算法对第二图片样本集合中的每张图片分别进行检测。其检测方法与步骤1022中所述的方法相同，不再赘述。

在步骤108中，当该第二图片样本集合中出现第二图片时，将该第二图片标记为该第三类图片，划分到第三图片样本集合中。

其中，该第二图片为利用所述基于密度的人流数量检测算法检测时的误差大于第二预设误差，和/或耗时大于第二预设耗时的图片。

在步骤109中，通过完成分类后的该第一图片样本集合、该第二图片样本集合以及该第三图片样本集合，分别训练该图像分类模型，得到该训练好的图像分类模型。

示例地，该第一图片样本集合、该第二图片样本集合以及该第三图片样本集合中可以分别包括一万张以上的具备对应图像类别的图片样本，经过该第一图片样本集合、该第二图片样本集合以及该第三图片样本集合训练后的图像分类模型，能够对每一张需要进行人流检测的图像进行分类。

图5是根据图1所示实施例示出的一种图像的人流数量检测方法的流程图，如图5所示，该步骤103可以包括以下步骤1031，或1032，或1033～1034。

在步骤1031中，利用该基于物体检测的人流数量检测算法对该目标图像进行检测，并将利用该基于物体检测的人流数量检测算法检测出的人流数量作为该目标图像的人流数量。

示例地，在前述步骤1021之后，在步骤1031中利用该基于物体检测的人流数量检测算法对待检测的目标图像进行检测，并得到相应的检测结果。

在步骤1032中，利用该基于密度的人流数量检测算法对该目标图像进行检测，并将利用该基于密度的人流数量检测算法检测出的人流数量作为该目标图像的人流数量。

示例地，在前述步骤1022之后，在步骤1032中利用该基于密度的人流数量检测算法对待检测的目标图像进行检测，并得到相应的检测结果。

在步骤1033中，利用基于密度的人流数量检测算法对该目标图像进行检测。

示例地，在前述步骤1023之后，在步骤1033中利用该基于密度的人流数量检测算法对待检测的目标图像进行检测，但是，由于待检测的目标图像为不属于该人流稀疏图像和该人流密集图像的图像，该步骤1033的检测结果可能会出现误差，所以需要在下列步骤1034中对该检测结果进行校准。

在步骤1034中，通过基于HTM的人流数量预测算法对利用该基于密度的人流数量检测算法检测出的人流数量进行校准，以确定该目标图像的人流数量。

示例地，HTM算法是在对人脑新皮层的生理研究基础上提出的一种仿生学的机器学习算法，能够考虑消息的时间因素和空间因素对记忆的形成和唤醒的影响，实现记忆-预测的功能。目前的HTM算法通常由多组柱状神经元组成，其侧重于从人脑新皮层的生理结构上进行建模，将单个节点的拓展为柱状结构，考虑了节点间的横向联系，仍采用分层结构和利用输入信息的时空模式进行记忆，并产生预测。简单说就是HTM可以像人脑一样，通过历史数据的训练形成记忆，并利用该记忆对未来的数据进行预测。因此，本实施例中可以通过HTM算法利用历史时刻的人流数量，对未来相应时刻的预测人流数量进行预测，并以此对基于密度的人流数量检测算法检测出的人流数量进行校准。

图6是根据图5所示实施例示出的一种人流数量检测结果的校准方法的流程图，参见图6，该步骤1034可以包括以下步骤：

在步骤10341中，根据该目标图像在第一时刻之前的历史人流数量检测结果，通过该基于HTM的人流数量预测算法获取该第一时刻的预测人流数量。

示例地，该第一时刻为从视频信息中获取到目标图像并进行检测的时刻。该基于HTM的人流数量预测算法能够收集该第一时刻之前的历史人流数量检测结果，对该第一时刻可能的人流数量进行预测，得到该预测人流数量。

示例的，可以首先将该第一时刻之前的历史人流数量检测结果以时间序列的形式对HTM模型进行训练，其中以时间序列的形式可以理解为，将该历史人流数量检测结果按时间点进行划分，其中的每一个时间点对应该时间点的历史人流数量，示例的，可以选取一周或一个月的历史人流数量，从而可以获取每一天每一个时间点的大量历史人流数量，作为该HTM模型的输入数据。下面结合HTM模型的多组柱状神经元对HTM模型的训练过程进行介绍：HTM的整个学习过程包括：学习阶段和推理阶段，在学习阶段，模型对输入的样本进行训练，形成记忆，其过程可以包括：首先HTM模型的底层节点接收到输入的历史人流数量后，底层节点会先处理该数据的某一个或某几个属性，以发现其内在联系，并将处理结果传递给上层节点，上层节点将底层节点的输入进行融合，发掘更大范围数间的联系，以此类推，最终在顶层节点形成对整个输入数据的学习记忆。在推理阶段，HTM模型接收新的数据，结合学习阶段形成的记忆，进行预测。

在本实施例中，可以选取当前时刻之前的一段时间的历史人流数量，比如前一周或前一个月的历史人流数量，输入到HTM模型进行训练，则可以根据这些历史人流数量获得一天中各个时刻人流数量的“记忆”，从而当输入某一时间点时，比如上述的第一时刻，则可以根据已经得到的“记忆”来获取该第一时刻的预测人流数量。其中，选取当前时刻之前的一段时间的历史人流数量可以是周期性的，即可以理解为可以定期的选取最新的一段时间内的历史人流数量对HTM模型进行训练，以保证HTM模型预测结果的准确性和实时性。

在步骤10342中，将该预测人流数量与该目标图像中的人流数量检测结果进行对比。

在步骤10343中，当该预测人流数量与该目标图像中的人流数量检测结果的差值大于或等于预设值时，确定该预测人流数量作为该第一时刻输出的人流数量检测结果。

在步骤10344中，当该预测人流数量与该目标图像中的人流数量检测结果的差值小于预设值时，确定该目标图像的人流数量检测结果作为该第一时刻输出的人流数量检测结果。

示例地，可以理解为，在该步骤10342至10344中，以该预测人流数量为依据，确定该目标图像中的人流数量检测结果在该第一时刻是否为合理的，当确定该目标图像中的人流数量检测结果不合理时，以该预测人流数量作为该图像的人流数量检测方法的最终输出。

综上所述，本公开提供的图像的人流数量检测方法，能够利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，该图像类别包括人流稀疏图像、人流密集图像以及第三类图像，该三类图像为不属于该人流稀疏图像和该人流密集图像的图像；根据该目标图像的图像类别，确定适用于该目标图像的目标人流检测算法；利用该目标人流检测算法对该目标图像的人流数量进行检测，得到该目标图像的人流数量。能够通过训练好的图像分类模型对待检测的图像进行分类，并根据图像类别选取适当的人流检测算法对该图像中的人流量进行检测，增强人流检测算法对于不同人流密集程度的图像的适应性，再通过对人流数量的校准，保证人流检测的准确性。

图7是根据一示例性实施例示出的一种图像的人流数量检测装置的框图，该图像的人流数量检测装置700可以用于执行图1或图3所述的方法。参见图7，该装置700可以包括：

类别确定模块710，用于利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，该图像类包括人流稀疏图像、人流密集图像以及第三类图像，该三类图像为不属于该人流稀疏图像和该人流密集图像的图像；

算法确定模块720，用于根据该目标图像的图像类别，确定适用于该目标图像的目标人流检测算法；

人流数量获取模块730，用于利用该目标人流检测算法对该目标图像的人流数量进行检测，得到该目标图像的人流数量。

可选的，该算法确定模块720，用于：

当该目标图像的图像类别为该人流稀疏图像时，确定适用于该目标图像的人流检测算法为基于物体检测的人流数量检测算法；

当该目标图像的图像类别为该人流密集图像时，确定适用于该目标图像的人流检测算法为基于密度的人流数量检测算法；

当该目标图像的图像类别为该第三类图像时，确定适用于该目标图像的人流检测算法为基于密度的人流数量检测算法以及基于HTM的人流数量预测算法。

图8是根据一示例性实施例示出的另一种图像的人流数量检测装置的框图，该图像的人流数量检测装置700可以用于执行图4所述的方法。参见图8，该装置700还可以包括：

样本获取模块740，用于获取被第一图片样本集合和第二图片样本集合，该第一图片样本集合包括标记为该人流稀疏图像的图片样本，该第二图片样本集合包括标记为该人流密集图像的图片样本；

第一图片检测模块750，用于通过基于物体检测的人流数量检测算法对该第一图片样本集合中的每张图片分别进行检测；

第一图片分类模块760，用于当该第一图片样本集合中出现第一图片时，将该第一图片重新划分到该第二图片样本集合中，该第一图片为利用所述基于物体检测的人流数量检测算法检测时的误差大于第一预设误差，和/或耗时大于第一预设耗时的图片；

第二图片检测模块770，用于通过基于密度的人流数量检测算法对第二图片样本集合中的每张图片分别进行检测；

第二图片分类模块780，用于当该第二图片样本集合中出现第二图片时，将该第二图片标记为该第三类图片，划分到第三图片样本集合中，所述第二图片为利用所述基于密度的人流数量检测算法检测时的误差大于第二预设误差，和/或耗时大于第二预设耗时的图片；

模型训练模块790，用于通过完成分类后的该第一图片样本集合、该第二图片样本集合以及该第三图片样本集合，分别训练该图像分类模型，得到该训练好的图像分类模型。

图9是根据图7所示实施例示出的一种图像的人流数量检测装置的框图，该图像的人流数量检测装置700可以用于执行图5或图6所述的方法。参见图9，该人流数量获取模块730可以包括：

第一人流数量检测子模块731，用于该目标图像的图像类别为该人流稀疏图像时，利用该基于物体检测的人流数量检测算法对该目标图像进行检测，并将利用该基于物体检测的人流数量检测算法检测出的人流数量作为该目标图像的人流数量；或者，

第二人流数量检测子模块732，用于该目标图像的图像类别为该人流密集图像时，利用该基于密度的人流数量检测算法对该目标图像进行检测，并将利用该基于密度的人流数量检测算法检测出的人流数量作为该目标图像的人流数量；或者，

第三人流数量检测子模块733，用于该目标图像的图像类别为该第三类图像时，利用基于密度的人流数量检测算法对该目标图像进行检测；

人流数量校准子模块734，用于通过基于HTM的人流数量预测算法对利用该基于密度的人流数量检测算法检测出的人流数量进行校准，以确定该目标图像的人流数量。

可选的，该人流数量校准子模块734，用于：

根据该目标图像在第一时刻之前的历史人流数量检测结果，通过该基于HTM的人流数量预测算法获取该第一时刻的预测人流数量；

将该预测人流数量与该目标图像中的人流数量检测结果进行对比；

当该预测人流数量与该目标图像中的人流数量检测结果的差值大于或等于预设值时，确定该预测人流数量作为该第一时刻输出的人流数量检测结果；或者，

当该预测人流数量与该目标图像中的人流数量检测结果的差值小于预设值时，确定该目标图像的人流数量检测结果作为该第一时刻输出的人流数量检测结果。

可选的，该图像分类模型由卷积神经网络CNN模型以及支持向量机SVM模型相连接组成，其中，该CNN模型的输出为SVM模型的输入。

综上所述，本公开提供的图像的人流数量检测装置，能够利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，该图像类别包括人流稀疏图像、人流密集图像以及第三类图像，该三类图像为不属于该人流稀疏图像和该人流密集图像的图像；根据该目标图像的图像类别，确定适用于该目标图像的目标人流检测算法；利用该目标人流检测算法对该目标图像的人流数量进行检测，得到该目标图像的人流数量。能够通过训练好的图像分类模型对待检测的图像进行分类，并根据图像类别选取适当的人流检测算法对该图像中的人流量进行检测，增强人流检测算法对于不同人流密集程度的图像的适应性，再通过对人流数量的校准，保证人流检测的准确性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种电子设备1000的框图。如图10所示，该电子设备1000可以包括：处理器1001，存储器1002，多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005。

其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述的图像的人流数量检测方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像的人流数量检测方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器1002，上述程序指令可由电子设备1000的处理器1001执行以完成上述的图像的人流数量检测方法。

图11是根据一示例性实施例示出的一种电子设备1100的框图。例如，电子设备1100可以被提供为一服务器。参照图11，电子设备1100包括处理器1122，其数量可以为一个或多个，以及存储器1132，用于存储可由处理器1122执行的计算机程序。存储器1132中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1122可以被配置为执行该计算机程序，以执行上述的图像的人流数量检测方法。

另外，电子设备1100还可以包括电源组件1126和通信组件1150，该电源组件1126可以被配置为执行电子设备1100的电源管理，该通信组件1150可以被配置为实现电子设备1100的通信，例如，有线或无线通信。此外，该电子设备1100还可以包括输入/输出(I/O)接口1158。电子设备1100可以操作基于存储在存储器1132的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器1132，上述程序指令可由电子设备1100的处理器1122执行以完成上述的图像的人流数量检测方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (11)

1.一种图像的人流数量检测方法，其特征在于，所述方法包括：

利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，所述图像类别包括人流稀疏图像、人流密集图像以及第三类图像，所述第三类图像为不属于所述人流稀疏图像和所述人流密集图像的图像；

根据所述目标图像的图像类别，确定适用于所述目标图像的目标人流检测算法；

利用所述目标人流检测算法对所述目标图像的人流数量进行检测，得到所述目标图像的人流数量；其中，

所述利用所述目标人流检测算法对所述目标图像的人流数量进行检测，得到所述目标图像的人流数量，包括：

所述目标图像的图像类别为所述第三类图像时，利用基于密度的人流数量检测算法对所述目标图像进行检测；

通过基于HTM的人流数量预测算法对利用所述基于密度的人流数量检测算法检测出的人流数量进行校准，以确定所述目标图像的人流数量；其中，

所述通过基于HTM的人流数量预测算法对利用所述基于密度的人流数量检测算法检测出的人流数量进行校准，以确定所述目标图像的人流数量，包括：

根据所述目标图像在第一时刻之前的历史人流数量检测结果，通过所述基于HTM的人流数量预测算法获取所述第一时刻的预测人流数量；

将所述预测人流数量与所述目标图像中的人流数量检测结果进行对比；

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值大于或等于预设值时，确定所述预测人流数量作为所述第一时刻输出的人流数量检测结果；或者，

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值小于预设值时，确定所述目标图像的人流数量检测结果作为所述第一时刻输出的人流数量检测结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像的图像类别，确定适用于所述目标图像的人流检测算法，包括：

当所述目标图像的图像类别为所述人流稀疏图像时，确定适用于所述目标图像的人流检测算法为基于物体检测的人流数量检测算法；

当所述目标图像的图像类别为所述人流密集图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法；

当所述目标图像的图像类别为所述第三类图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法以及基于分层时间记忆HTM的人流数量预测算法。

3.根据权利要求1所述的方法，其特征在于，在所述利用训练好的图像分类模型确定当前获取到的目标图像的图像类别之前，所述方法还包括：

获取被第一图片样本集合和第二图片样本集合，所述第一图片样本集合包括标记为所述人流稀疏图像的图片样本，所述第二图片样本集合包括标记为所述人流密集图像的图片样本；

通过基于物体检测的人流数量检测算法对所述第一图片样本集合中的每张图片分别进行检测；当所述第一图片样本集合中出现第一图片时，将所述第一图片重新划分到所述第二图片样本集合中，所述第一图片为利用所述基于物体检测的人流数量检测算法检测时的误差大于第一预设误差，和/或耗时大于第一预设耗时的图片；

通过基于密度的人流数量检测算法对第二图片样本集合中的每张图片分别进行检测；

当所述第二图片样本集合中出现第二图片时，将所述第二图片标记为所述第三类图片，划分到第三图片样本集合中，所述第二图片为利用所述基于密度的人流数量检测算法检测时的误差大于第二预设误差，和/或耗时大于第二预设耗时的图片；

通过完成分类后的所述第一图片样本集合、所述第二图片样本集合以及所述第三图片样本集合，分别训练所述图像分类模型，得到所述训练好的图像分类模型。

4.根据权利要求2所述的方法，其特征在于，所述利用所述目标人流检测算法对所述目标图像的人流数量进行检测，得到所述目标图像的人流数量，包括：

所述目标图像的图像类别为所述人流稀疏图像时，利用所述基于物体检测的人流数量检测算法对所述目标图像进行检测，并将利用所述基于物体检测的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量；或者，

所述目标图像的图像类别为所述人流密集图像时，利用所述基于密度的人流数量检测算法对所述目标图像进行检测，并将利用所述基于密度的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量。

5.根据权利要求1所述的方法，其特征在于，所述图像分类模型由卷积神经网络CNN模型以及支持向量机SVM模型相连接组成，其中所述CNN模型的输出为SVM模型的输入。

6.一种图像的人流数量检测装置，其特征在于，所述装置包括：

类别确定模块，用于利用训练好的图像分类模型确定当前获取到的目标图像的图像类别，所述图像类别包括人流稀疏图像、人流密集图像以及第三类图像，所述第三类图像为不属于所述人流稀疏图像和所述人流密集图像的图像；

算法确定模块，用于根据所述目标图像的图像类别，确定适用于所述目标图像的目标人流检测算法；

人流数量获取模块，用于利用所述目标人流检测算法对所述目标图像的人流数量进行检测，得到所述目标图像的人流数量；其中，

所述人流数量获取模块，包括：

第三人流数量检测子模块，用于所述目标图像的图像类别为所述第三类图像时，利用基于密度的人流数量检测算法对所述目标图像进行检测；

人流数量校准子模块，用于通过基于HTM的人流数量预测算法对利用所述基于密度的人流数量检测算法检测出的人流数量进行校准，以确定所述目标图像的人流数量；其中，

所述人流数量校准子模块，用于：

根据所述目标图像在第一时刻之前的历史人流数量检测结果，通过所述基于HTM的人流数量预测算法获取所述第一时刻的预测人流数量；

将所述预测人流数量与所述目标图像中的人流数量检测结果进行对比；

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值大于或等于预设值时，确定所述预测人流数量作为所述第一时刻输出的人流数量检测结果；或者，

当所述预测人流数量与所述目标图像中的人流数量检测结果的差值小于预设值时，确定所述目标图像的人流数量检测结果作为所述第一时刻输出的人流数量检测结果。

7.根据权利要求6所述的装置，其特征在于，所述算法确定模块，用于：

当所述目标图像的图像类别为所述人流稀疏图像时，确定适用于所述目标图像的人流检测算法为基于物体检测的人流数量检测算法；

当所述目标图像的图像类别为所述人流密集图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法；

当所述目标图像的图像类别为所述第三类图像时，确定适用于所述目标图像的人流检测算法为基于密度的人流数量检测算法以及基于分层时间记忆HTM的人流数量预测算法。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

样本获取模块，用于获取被第一图片样本集合和第二图片样本集合，所述第一图片样本集合包括标记为所述人流稀疏图像的图片样本，所述第二图片样本集合包括标记为所述人流密集图像的图片样本；

第一图片检测模块，用于通过基于物体检测的人流数量检测算法对所述第一图片样本集合中的每张图片分别进行检测；

第一图片分类模块，用于当所述第一图片样本集合中出现第一图片时，将所述第一图片重新划分到所述第二图片样本集合中，所述第一图片为利用所述基于物体检测的人流数量检测算法检测时的误差大于第一预设误差，和/或耗时大于第一预设耗时的图片；

第二图片检测模块，用于通过基于密度的人流数量检测算法对第二图片样本集合中的每张图片分别进行检测；

第二图片分类模块，用于当所述第二图片样本集合中出现第二图片时，将所述第二图片标记为所述第三类图片，划分到第三图片样本集合中，所述第二图片为利用所述基于密度的人流数量检测算法检测时的误差大于第二预设误差，和/或耗时大于第二预设耗时的图片；

模型训练模块，用于通过完成分类后的所述第一图片样本集合、所述第二图片样本集合以及所述第三图片样本集合，分别训练所述图像分类模型，得到所述训练好的图像分类模型。

9.根据权利要求7所述的装置，其特征在于，所述人流数量获取模块，包括：

第一人流数量检测子模块，用于所述目标图像的图像类别为所述人流稀疏图像时，利用所述基于物体检测的人流数量检测算法对所述目标图像进行检测，并将利用所述基于物体检测的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量；或者，

第二人流数量检测子模块，用于所述目标图像的图像类别为所述人流密集图像时，利用所述基于密度的人流数量检测算法对所述目标图像进行检测，并将利用所述基于密度的人流数量检测算法检测出的人流数量作为所述目标图像的人流数量。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。

11.一种电子设备，其特征在于，包括：

权利要求10中所述的计算机可读存储介质；以及

一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。

Images