CN111710009B - 人流密度的生成方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请公开了人流密度的生成方法、装置、电子设备以及存储介质，涉及深度学习和计算机视觉领域。具体实现方案为：获取图像；将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i‑1层网络的计算误差对所述第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数；以及根据所述热力图生成所述人流密度。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。

Description

人流密度的生成方法、装置、电子设备以及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及深度学习和计算机视觉技术领域，尤其涉及人流密度的生成方法、装置、电子设备以及存储介质。

背景技术

随着互联网和人工智能技术的不断发展，越来越多的领域开始涉及自动化计算与分析，其中监控安防领域是最为重要的场景之一。对于一些人流密度大的区域，如机场、车站、广场、公园等，常因为人群过于密集而存在发生踩踏事件的隐患。对这些易发生踩踏事件的区域进行实时人流密度的估计，以根据人流密度估计结果及时进行人流疏导，可以有效避免此类事件的发生。

而如何提高人流密度估计结果的准确性，对于有效避免密集人群的拥挤、踩踏等危险事件的发生具有重要意义。

发明内容

提供了一种人流密度的生成方法、装置、设备以及存储介质，以提高人流密度估计结果的准确性。

根据第一方面，提供了一种人流密度的生成方法，包括：获取图像；将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对所述第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数；以及根据所述热力图生成所述人流密度。

根据第二方面，提供了一种人流密度的生成装置，包括第一获取模块，用于获取图像；第一生成模块，用于将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对所述第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数；以及第二生成模块，用于根据所述热力图生成所述人流密度。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

根据本申请的技术，提高了人流密度估计结果的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是待进行人流密度估计的图像的示例图；

图2是根据本申请第一实施例的示意图；

图3是分布式监督训练过程的部分示例图；

图4是根据本申请第二实施例的示意图；

图5是根据本申请第三实施例的示意图；

图6是根据本申请第四实施例的示意图；

图7是根据本申请第五实施例的示意图；

图8是用来实现本申请实施例的人流密度的生成方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

可以理解的是，对于一些人流密度大的区域，如机场、车站、广场、公园等，常因为人群过于密集而存在发生踩踏事件的隐患。对这些易发生踩踏事件的区域进行实时人流密度的估计，以根据人流密度估计结果及时进行人流疏导，可以有效避免此类事件的发生。

相关技术中，通常利用预先训练的人流密度估计模型对待进行人流密度估计的图像进行处理，以估计人流密度，在模型训练过程中，通常如图1所示，在图像的人头位置打点，以对图像中人头位置进行标注。然而，这种方式，并未考虑人头的尺寸区别，人头无论远近均只进行单点标注，这就导致了在待进行人流密度估计的图像中存在人头尺寸变化幅度较大，例如图1所示的情况时，人流密度估计结果易出现较大误差。

本申请为了提高人流密度估计结果的准确性，提出一种人流密度的生成方法，首先获取图像，然后将图像输入至人流密度估计模型以生成图像对应的热力图，再根据热力图生成人流密度，其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了易发生踩踏事件等安全隐患。

下面参考附图描述本申请实施例的人流密度的生成方法、装置、电子设备以及非瞬时计算机可读存储介质。

首先结合图2，对本申请提供的人流密度的生成方法进行详细描述。

图2是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例提供的人流密度的生成方法，执行主体为人流密度的生成装置，人流密度的生成装置可以被配置在电子设备中，以实现提高人流密度估计结果的准确性。其中，电子设备可以是任意能够进行数据处理的终端设备或服务器等，本申请对此不作限制。

如图2所示，人流密度的生成方法，可以包括以下步骤：

步骤101，获取图像。

其中，图像，可以是直接拍摄的静态图像，例如拍照设备按照一定的拍摄频率进行拍摄后实时获得的图像。或者，图像，也可以是从动态图像截取的一帧图像，例如从监控设备拍摄的监控视频截取的一帧图像。或者，图像，也可以是通过其它方式获取的图像，本申请对此不作限制。

另外，图像，可以是RGB图像(彩色图像)、黑白图像、灰度图像，等等，本申请对图像的类型不作限制。

步骤102，将图像输入至人流密度估计模型以生成图像对应的热力图。

步骤103，根据热力图生成人流密度。

其中，人流密度估计模型，可以是任意深度神经网络模型，例如卷积神经网络模型、递归神经网络模型等，或者，也可以是其它类型的数据处理模型，本申请对人流密度估计模型的类型不作限制。

具体的，可以预先训练人流密度估计模型，人流密度估计模型的输入为图像，输出为图像对应的热力图，从而可以在获取待进行人流密度估计的图像后，将图像输入人流密度估计模型，以生成获取的图像对应的热力图。

在示例性实施例中，图像对应的热力图，可以与输入人流密度估计模型的图像的尺寸相同。

可以理解的是，本申请实施例中利用人流密度估计模型生成的热力图，可以根据人流密度大小渲染地图颜色，从而反映出人体所在的区域。其中，热力图中像素点的像素值，可以反映出是否为人体的概率，例如，像素值越大，表示为人体的概率越高，像素值越小，表示为人体的概率越低，也就是说，热力图中的某个区域的颜色越高亮，表示该区域包含人体的概率越高。从而本申请实施例中生成图像对应的热力图后，可以根据热力图生成人流密度。

具体的，人流密度估计模型可以包括N层网络，其中，N为正整数，在示例性实施例中，可以采用分布式监督方式，训练生成人流密度估计模型。

可以理解的是，如图3所示，采用分布式监督训练生成人流密度估计模型的过程中，可以有多个位置，引入GT(Ground Truth，标准答案)进行监督训练。其中，GT为一张训练数据的人工标注，在本申请实施例中，GT例如可以是一个标记了人头点并且经过了高斯模糊的人群密度分布图。

在示例性实施例中，如图3所示，假设人流密度估计模型包括前端网络和后端网络模块1、后端网络模块2、后端网络模块3，在模型训练过程中，可以有3个位置分别引入GT1、GT2、GT3，即共引入3处GT进行监督，这3处监督可以分别根据预测结果和对应的GT产生计算误差，即图3中的Loss1、Loss2、Loss3，这些计算误差可以分别产生自己的梯度，通过反向传播更新模型的参数，以实现对模型的训练。

在本申请实施例中，训练人流密度估计模型时，当训练第i层网络时，可以根据第i-1层网络的计算误差(Loss)对第i层网络的计算误差进行修正，其中，i为小于或等于N的正整数。也就是说，本申请实施例中，前级监督生成的计算误差可以作为先验知识被后级监督利用，实现对后级监督的计算误差进行修正，以便更好的学习训练样本，提高人流密度估计模型的整体训练效果和预测准确性。

在示例性实施例中，不同监督对应的GT可以完全相同，也可以略有不同，例如，图3中的GT1、GT2、GT3可以完全相同，也可以对应不同的尺寸，本申请对此不作限制。

其中，不同监督对应的GT不同时，各GT可以是对同一个GT进行不同的上采样得到的，或者，也可以是通过其它方式得到的，本申请对此不作限制。

需要说明的是，上述根据第i-1层网络的计算误差对第i层网络的计算误差进行修正的方式，可以应用于人流密度估计模型的任意两层，比如，可以在训练人流密度估计模型的第3层网络时，利用第2层网络的计算误差对第3层网络的计算误差进行修正，或者，在训练人流密度估计模型的第4层网络时，利用第3层网络的计算误差对第4层网络的计算误差进行修正。

另外，上述根据第i-1层网络的计算误差对第i层网络的计算误差进行修正的方式可以应用于人流密度估计模型的其中两层，也可以应用于人流密度估计模型的多层，本申请对此不作限制。

举例来说，假设人流密度估计模型包括3层网络，可以在训练第2层网络时，根据第1层网络的计算误差对第2层网络的计算误差进行修正，且在训练第3层网络时，根据第2层网络的计算误差对第3层网络的计算误差进行修正。或者，也可以仅在训练第2层网络时，根据第1层网络的计算误差对第2层网络的计算误差进行修正，训练其它层的网络时，不对对应层的计算误差进行修正。

可以理解的是，本申请实施例中，由于训练生成人流密度估计模型时，前级监督的计算误差作为先验知识被后级监督利用，从而可以更好的学习训练样本，提高人流密度估计模型的整体训练效果和预测准确性，进而利用本申请训练生成的人流密度估计模型生成的热力图能够更准确的反映出图像中的各区域是否为人体，因此本申请在将获取的图像输入至训练得到的人流密度估计模型后，得到的图像的热力图能更准确的反映人流密度，从而根据热力图生成的人流密度更准确，进而通过根据人流密度及时进行人流疏导，可以有效避免密集人群的拥挤、踩踏等危险事件的发生。

另外，本申请实施例中的人流密度估计模型的训练方法，对人流密度估计模型的结构并不作限制，因此，可以直接应用于任意基于分布式监督的人流密度估计模型中，具有良好的通用扩展性。

在示例性实施例中，人流密度估计模型可以以人的头部为目标对象，因此，利用人流密度估计模型生成的图像对应的热力图的高亮区域主要集中在人群的头部范围。

具体的，在利用人流密度估计模型生成图像对应的热力图后，根据热力图中各像素点的像素值，即可生成人流密度。

本申请实施例中，由于通过生成的图像对应的热力图进行人流密度估计，在热力图中不需要识别每个人体占用的区域，从而简化了人流密度估计的难度。

本申请实施例的人流密度生成方法，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，人流密度估计模型包括N层网络，当训练第i层网络时，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。

通过上述分析可知，本申请实施例中，在获取图像后，可以将图像输入至预先训练的人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，下面结合图4，对本申请实施例中人流密度估计模型的训练过程进行详细说明。

图4是根据本申请第二实施例的示意图。如图4所示，本申请提供的人流密度的生成方法，可以包括以下步骤：

步骤201，训练得到人流密度估计模型。

其中，人流密度估计模型，可以是任意深度神经网络模型，例如卷积神经网络模型、递归神经网络模型等，或者，也可以是其它类型的数据处理模型，本申请对人流密度估计模型的类型不作限制。

具体的，人流密度估计模型可以包括N层网络，其中，N为正整数。

为了对人流密度估计模型的训练过程进行清楚说明，首先对本申请实施例中的一些相关词语进行简要说明。

可以理解的是，注意力机制(Attention Mechanism)，是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中，它能使机器更专注于对当前任务目标更关键的信息，而忽视一些对当前任务目标不重要的信息，从而提高处理效率和处理结果的准确性。

在注意力机制中，可以产生注意力掩码，以对机器学习模型输出的特征进行约束，即通过注意力掩码对机器学习模型增加限制条件，从而使得机器学习模型的预测结果更准确。

在示例性实施例中，人流密度估计模型可以通过以下步骤训练得到：

首先，可以获取训练图，其中，训练图之中包括第1至第N标注数据，然后将训练图输入至第1层网络以生成第1预测结果，根据第1预测结果和第1标注数据生成第1层网络的计算误差，并根据第1层网络的计算误差对第1层网络进行训练，将第i-1层网络的第i-1预测结果输入至第i层网络以生成第i预测结果，根据第i预测结果、第i标注数据和第i-1层网络的计算误差生成第i层网络的计算误差，并根据第i层网络的计算误差对第i层网络进行训练。其中，i为小于或等于N的正整数。

其中，训练图中包括的第1至第N标注数据中，每个标注数据可以为本申请前述实施例中提到的GT。

可以理解的是，本申请实施例中，相当于在训练人流密度估计模型时，在人流密度估计模型的N层网络中引入N处GT进行监督，这N处监督可以分别根据对应的预测结果和对应的GT产生计算误差，且后级监督的计算误差可以根据前级监督的计算误差进行修正。以N为3为例，训练图中可以包括第1至第3标注数据，训练图输入至第1层网络以生成第1预测结果后，可以根据第1预测结果和第1标注数据生成第1层网络的计算误差，第1层网络的计算误差可以产生梯度，通过反向传播对第1层网络进行训练；第1层网络的第1预测结果可以输入第2层网络以生成第2预测结果，根据第2预测结果、第2标注数据和第1层网络的计算误差，可以生成第2层网络的计算误差，第2层网络的计算误差可以产生梯度，通过反向传播对第2层网络进行训练；第2层网络的第2预测结果可以输入第3层网络以生成第3预测结果，根据第3预测结果、第3标注数据和第2层网络的计算误差，可以生成第3层网络的计算误差，第3层网络的计算误差可以产生梯度，通过反向传播对第3层网络进行训练。

通过上述过程，即可实现利用训练图中的第1至第N标注数据，通过分布式监督方式，对人流密度估计模型的各层网络进行训练，且训练过程中，前级网络的计算误差可以对后级网络的计算误差进行修正，从而使人流密度估计模型能够更好的学习训练样本，提高人流密度估计模型的整体训练效果和预测准确性。

在示例性实施例中，人流密度估计模型的损失函数可以为公式(1)的形式：

其中，Y₁为第1预测结果，

为第1标注数据，w_i为根据第i-1层网络的计算误差生成的注意力掩码，Y_i为第i预测结果，/>

为第i标注数据。

在示例性实施例中，注意力掩码可以通过以下公式(2)获得：

其中，σ为Sigmoid函数，Y_i-1为第i-1预测结果，

为第i-1标注数据。

需要说明的是，本申请实施例中，Y₁、

Y_i、/>

Y_i-1、/>

均为二维矩阵。

可以理解的是，w_i为一个取值在[0,1]之间的二维矩阵。

通过公式(2)可以看出，对于第i-1层网络的计算误差非常大的区域，w_i的对应区域会接近1；对于第i-1层网络的计算误差非常小的区域，w_i的对应区域会接近0。根据公式(1)可以看出，在w_i的对应区域接近1时，第i层网络的计算误差对应区域的权重会增大为原来的2倍；在w_i的对应区域接近0时，第i层网络的计算误差对应区域的权重会保持在1左右。

可以理解的是，通过上述公式所示的方式，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，可以将前级网络的计算误差作为后级网络的计算误差的先验知识，为后级网络的计算误差加上一层注意力掩码。从而在前级网络的计算误差中误差较大的区域，会在后级网络的计算误差中得到更大的权重，以便更好的学习这些困难样本；而在前级网络的计算误差中误差较小的区域，会被认为是相对容易的样本，在后级网络的计算误差中得到较小的权重。通过这种方式，可以达到加强困难样本的学习的目的，从而提高人流密度估计模型的整体训练效果和训练得到的人流密度估计模型的预测准确性。

步骤202，获取图像。

步骤203，将图像输入至人流密度估计模型以生成图像对应的热力图。

步骤204，根据热力图生成人流密度。

可以理解的是，在训练得到人流密度估计模型后，获取待进行人流密度估计的图像后，即可将图像输入至人流密度估计模型以生成图像对应的热力图，进而根据热力图生成人流密度。由于本申请实施例中训练得到的人流密度估计模型的预测准确性高，因此在将图像输入至人流密度估计模型后生成的图像对应的热力图可以更准确的反映出图像中的各区域是否为人体，从而提高根据热力图生成的人流密度的准确性，进而通过根据人流密度及时进行人流疏导，可以有效避免密集人群的拥挤、踩踏等危险事件的发生。

本申请提供的人流密度的生成方法，首先训练得到人流密度估计模型然后在获取图像后，即可将图像输入至人流密度估计模型以生成图像对应的热力图，进而根据热力图生成人流密度。由于人流密度估计模型生成的热力图能够更准确的反映出图像中的各区域是否为人体，因此在将获取的图像输入至训练得到的人流密度估计模型后，得到的图像的热力图能更准确的反映人流密度，从而根据热力图生成的人流密度更准确，进而有效避免了密集人群的拥挤、踩踏等危险事件的发生。

通过上述分析可知，本申请实施例中，可以在获取图像后，将图像输入至人流密度估计模型，以生成图像对应的热力图，进而根据热力图生成人流密度，在一种可能的实现方式中，在将获取的图像输入至人流密度估计模型之前，还可以对获取的图像进行预处理，以提高输入人流密度估计模型的图像的质量，进而进一步提高生成的人流密度的准确性，下面针对上述情况，结合图5，对本申请实施例提供的人流密度的生成方法进行进一步说明。

图5是根据本申请第三实施例的示意图。如图5所示，本申请提供的人流密度的生成方法，可以包括以下步骤：

步骤301，获取图像。

步骤302，对图像进行归一化处理以生成归一化图像。

步骤303，获取归一化图像之中每个像素点的像素值。

步骤304，将每个像素点的像素值减去预设均值。

步骤305，将每个像素点的像素值除以预设方差。

其中，预设均值，可以通过对大规模的通用图像数据集的整体数据求平均得到，例如，在某个通用图像数据集中，所求得的预设均值可以为RGB均值[0.485,0.456,0.406]，即R(Red，红色)通道的均值为0.485，G(Green，绿色)通道的均值为0.456，B(Blue，蓝色)通道的均值为0.406。

预设方差，也可以通过对大规模的通用图像数据集进行统计得到，例如，在某个通用图像数据集中，所求得的预设方差可以为RGB均值[0.229,0.224,0.225]，即R通道的均值为0.229，G通道的均值为0.224，B通道的均值为0.225。

在实际应用中，所采用的通用图像数据集不同，所得到的预设均值和预设方差也可以不同。

在本申请实施例中，将归一化图像之中每个像素点的像素值减去预设均值，再将每个像素点的像素值除以预设方差，可以使得到的像素值均被拉到0附近，从而可以提高人流密度估计模型在估计人头数量时对人头识别的灵敏度，进而能够提高人流密度估计的准确性。

可以理解的是，在对图像进行归一化之前，还可以先将图像缩放至预设尺寸，其中，预设尺寸可以根据需要任意设置，例如，可以将图像缩放至448*448像素。通过将图像缩放至预设尺寸后再对缩放后的图像进行处理，简化了数据处理难度，提升了数据处理效率。

步骤306，将处理后的图像输入至人流密度估计模型以生成图像对应的热力图。

其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数。

步骤307，获取热力图之中每个像素点的像素值。

步骤308，根据每个像素点的像素值生成热力图对应的像素值。

步骤309，根据热力图对应的像素值生成人流密度。

可以理解的是，本申请生成的热力图，可以根据人流密度大小渲染地图颜色，从而反映出人体所在的区域。其中，热力图中各像素点的像素值，可以反映出是否为人体的概率，例如，像素值越大，表示为人体的概率越高，像素值越小，表示为人体的概率越低，也就是说，热力图中的某个区域的颜色越高亮，表示该区域包含人体的概率越高。

在示例性实施例中，人流密度估计模型可以以人的头部为目标对象，因此，利用人流密度估计模型生成的图像对应的热力图的高亮区域主要集中在人群的头部范围。

在示例性实施例中，热力图中像素点的像素值的取值范围可以为(0,1)。在热力图中像素点的像素值的取值范围大于1时，可以对像素值进行归一化处理。例如，像素值的最大值为100，则归一化后，取值为5的像素值的取值可以为0.05。

具体的，对热力图中每个像素点的像素值进行逐点求和，即可生成热力图对应的像素值。

具体实现时，可以设置热力图对应的像素值与人口数量的对应关系，从而在获取热力图对应的像素值后，可以根据热力图对应的像素值、预先设置的热力图对应的像素值与人口数量的对应关系，确定获取的图像中的人口数量，以生成人流密度值。

可以理解的是，在利用人流密度估计模型生成图像对应的热力图后，通过根据热力图中各像素点的像素值生成热力图对应的像素值，进而根据热力图对应的像素值得到获取的图像中的人口数量，定量的生成人流密度值，进一步提高了人流密度估计结果的准确性。

本申请提供的人流密度的生成方法，在获取图像后，首先对图像进行归一化处理以生成归一化图像，然后获取归一化图像之中每个像素点的像素值，再将每个像素点的像素值减去预设均值，再将每个像素点的像素值除以预设方差，再将处理后的图像输入至人流密度估计模型以生成图像对应的热力图，然后获取热力图之中每个像素点的像素值，并根据每个像素点的像素值生成热力图对应的像素值，进而根据热力图对应的像素值生成人流密度。由此，实现了对获取图像的预处理，及对预处理后的图像利用人流密度估计模型进行人流密度估计，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。

为了实现图1至图5所述实施例，本申请实施例还提出一种人流密度的生成装置。

图6是根据本申请第四实施例的示意图。如图6所示，该人流密度的生成装置10包括：第一获取模块11、第一生成模块12、第二生成模块13。

具体的，本申请提供的人流密度的生成装置，可以执行本申请上述实施例提供的人流密度的生成方法，该人流密度的生成装置，可以被配置在电子设备中，以实现提高人流密度估计结果的准确性。其中，电子设备可以是任意能够进行数据处理的终端设备或服务器等，本申请对此不作限制。

其中，第一获取模块11，用于获取图像。

第一生成模块12，用于将图像输入至人流密度估计模型以生成图像对应的热力图。

第二生成模块13，用于根据热力图生成人流密度。

其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数。

需要说明的是，上述实施例中对人流密度的生成方法的说明，也适用于本申请实施例中的人流密度的生成装置10，此处不再赘述。

本申请实施例的人流密度的生成装置，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，人流密度估计模型包括N层网络，当训练第i层网络时，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。

图7是根据本申请第五实施例的示意图。

如图7所示，在图6所示的基础上，本申请提供的人流密度的生成装置10，还可以包括训练模块14。

具体的，训练模块14，可以包括：

第一获取单元141，用于获取训练图，其中，训练图之中包括第1至第N标注数据；

第一生成单元142，用于将训练图输入至第1层网络以生成第1预测结果；

第二生成单元143，用于根据第1预测结果和第1标注数据生成第1层网络的计算误差；

第一训练单元144，用于根据第1层网络的计算误差对第1层网络进行训练；

第三生成单元145，用于将第i-1层网络的第i-1预测结果输入至第i层网络以生成第i预测结果；

第四生成单元146，用于根据第i预测结果、第i标注数据和第i-1层网络的计算误差生成第i层网络的计算误差；以及

第二训练单元147，用于根据第i层网络的计算误差对第i层网络进行训练。

在示例性实施例中，人流密度估计模型的损失函数为：

其中，Y₁为第1预测结果，

为第1标注数据，w_i为根据第i-1层网络的计算误差生成的注意力掩码，Y_i为第i预测结果，/>

为第i标注数据。

在示例性实施例中，注意力掩码通过以下公式获得：

其中，σ为Sigmoid函数，Y_i-1为第i-1预测结果，

为第i-1标注数据。

在示例性实施例中，上述第二生成模块13，可以包括：

第二获取单元，用于获取热力图之中每个像素点的像素值；

第五生成单元，用于根据每个像素点的像素值生成热力图对应的像素值；以及

第六生成单元，用于根据热力图对应的像素值生成人流密度。

在示例性实施例中，如图7所示，本申请提供的人流密度的生成装置10，还可以包括：

第三生成模块15，用于对图像进行归一化处理以生成归一化图像；

第二获取模块16，用于获取归一化图像之中每个像素点的像素值；以及

第一处理模块17，用于将每个像素点的像素值减去预设均值。

在示例性实施例中，如图7所示，本申请提供的人流密度的生成装置10，还可以包括：

第二处理模块18，用于将每个像素点的像素值除以预设方差。

需要说明的是，上述实施例中对人流密度的生成方法的说明，也适用于本申请实施例中的人流密度的生成装置10，此处不再赘述。

本申请实施例的人流密度的生成装置，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是根据本申请实施例的人流密度的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人流密度的生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人流密度的生成方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人流密度的生成方法对应的程序指令/模块(例如，附图6所示的第一获取模块11、第一生成模块12、第二生成模块13)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人流密度的生成方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人流密度的生成的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至人流密度的生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

人流密度的生成方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与人流密度的生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种人流密度的生成方法，包括：

获取图像；

将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对所述第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数；以及

根据所述热力图生成所述人流密度；

所述人流密度估计模型通过以下步骤训练得到：

获取训练图，其中，所述训练图之中包括第1至第N标注数据；

将所述训练图输入至第1层网络以生成第1预测结果；

根据所述第1预测结果和所述第1标注数据生成第1层网络的计算误差，并根据所述第1层网络的计算误差对所述第1层网络进行训练；

将第i-1层网络的第i-1预测结果输入至第i层网络以生成第i预测结果；以及

根据所述第i预测结果、所述第i标注数据和第i-1层网络的计算误差生成第i层网络的计算误差，并根据所述第i层网络的计算误差对所述第i层网络进行训练。

2.如权利要求1所述的人流密度的生成方法，其中，所述人流密度估计模型的损失函数为：

，

其中，

为第1预测结果，/>

为第1标注数据，/>

为根据所述第i-1层网络的计算误差生成的注意力掩码，/>

为第i预测结果，/>

为第i标注数据。

3.如权利要求2所述的人流密度的生成方法，其中，所述注意力掩码通过以下公式获得：

，

其中，

为Sigmoid函数，/>

为第i-1预测结果，/>

为第i-1标注数据。

4.如权利要求1所述的人流密度的生成方法，其中，所述根据所述热力图生成所述人流密度，包括：

获取所述热力图之中每个像素点的像素值；

根据所述每个像素点的像素值生成所述热力图对应的像素值；以及

根据所述热力图对应的像素值生成所述人流密度。

5.如权利要求1所述的人流密度的生成方法，其中，在所述获取图像之后，还包括：

对所述图像进行归一化处理以生成归一化图像；

获取所述归一化图像之中每个像素点的像素值；以及

将所述每个像素点的像素值减去预设均值。

6.如权利要求5所述的人流密度的生成方法，其中，在所述将所述每个像素点的像素值减去预设均值之后，还包括：

将所述每个像素点的像素值除以预设方差。

7.一种人流密度的生成装置，包括：

第一获取模块，用于获取图像；

第一生成模块，用于将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的计算误差对所述第i层网络的计算误差进行修正，其中，N为正整数，且i为小于或等于N的正整数；以及

第二生成模块，用于根据所述热力图生成所述人流密度；

还包括训练模块；

其中，所述训练模块，包括：

第一获取单元，用于获取训练图，其中，所述训练图之中包括第1至第N标注数据；

第一生成单元，用于将所述训练图输入至第1层网络以生成第1预测结果；

第二生成单元，用于根据所述第1预测结果和所述第1标注数据生成第1层网络的计算误差；

第一训练单元，用于根据所述第1层网络的计算误差对所述第1层网络进行训练；

第三生成单元，用于将第i-1层网络的第i-1预测结果输入至第i层网络以生成第i预测结果；

第四生成单元，用于根据所述第i预测结果、所述第i标注数据和第i-1层网络的计算误差生成第i层网络的计算误差；以及

第二训练单元，用于根据所述第i层网络的计算误差对所述第i层网络进行训练。

8.如权利要求7所述的人流密度的生成装置，其中，所述人流密度估计模型的损失函数为：

，

其中，

为第1预测结果，/>

为第1标注数据，/>

为根据所述第i-1层网络的计算误差生成的注意力掩码，/>

为第i预测结果，/>

为第i标注数据。

9.如权利要求8所述的人流密度的生成装置，其中，所述注意力掩码通过以下公式获得：

，

其中，

为Sigmoid函数，/>

为第i-1预测结果，/>

为第i-1标注数据。

10.如权利要求7所述的人流密度的生成装置，其中，所述第二生成模块，包括：

第二获取单元，用于获取所述热力图之中每个像素点的像素值；

第五生成单元，用于根据所述每个像素点的像素值生成所述热力图对应的像素值；以及

第六生成单元，用于根据所述热力图对应的像素值生成所述人流密度。

11.如权利要求7所述的人流密度的生成装置，还包括：

第三生成模块，用于对所述图像进行归一化处理以生成归一化图像；

第二获取模块，用于获取所述归一化图像之中每个像素点的像素值；以及

第一处理模块，用于将所述每个像素点的像素值减去预设均值。

12.如权利要求11所述的人流密度的生成装置，还包括：

第二处理模块，用于将所述每个像素点的像素值除以预设方差。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images