CN111126177B - 人数统计的方法及装置 - Google Patents

Abstract

本申请实施例提供一种人数统计的方法及装置，获取包括人物的待识别图像；将待识别图像输入人数统计模型，利用人数统计模型输出待识别图像的人物个数。预先训练的人数统计模型中，可以将多个block输出的特征融合，可以这样理解，神经网络中，不同深度的block的输出所体现的信息不同，例如较浅层的block输出的可以是图像的轮廓信息，较深层的block输出的可以是图像的纹理信息等，基于融合的特征可以得到更加准确的密度图，进而得到准确的人数统计结果，且，因为本申请实施例的人数统计模型，不需要设置多个平行网络，计算量较小，可以达到实时计算要求。

Description

人数统计的方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及人数统计的方法及装置。

背景技术

随着计算机技术的发展，深度学习的神经网络得到较多发展。例如，在进行人群计数时，提出了较多的利用深度学习的统计方法。

现有技术中，2016年，出现了MCNN(Multi-column Convolutional NeuralNetwork，多柱卷积神经网络)来预测人群的密度图，能够处理任意大小的图像。网络结构如图1所示，使用3个有不同卷积核大小的网络来分别提取人群图像的特征，适应人群头部大小的变化，在最后将特征融合到一起。这个网络有三个平行网络，增加了模型的参数，计算量大，无法达到实时要求。

2017年出现了CP-CNN网络，使用图像的全局加局部特征信息生成估计的人群密度图。网络结构如图2所示，其中最上行的结构表示对输入图像做特征提取并分类得到全局上下文特征；最下行的结构用于对输入图像分割出的块对同样操作，得到局部上下文特征；中间行部分用于生成密度图，最后将三个输出拼接。该方法考虑了图像中人群的全局密度和局部密度信息，最后对整个特征做约束，但是比较耗时，无法达到实时性能。

2018年，出现了ic-CNN。首先生成低分辨率的密度图，再进一步生成高分辨率的密度图。网络结构如图3所示，由两个CNN分支组成，一个用来生成低分辨率的密度图(LR)，另一个使用生成的低分辨率密度图以及提取的特征图的基础上，最后生成高分辨率的密度图(HR)，网络的输入为三元组,输入图像、同分辨率的密度图、低分辨率的密度图。该方法在人群密集情况下能有效估计出人群密度，但是比较耗时。

综上，现有技术中，基于神经网络，不能实现高效准确的人数统计。

发明内容

本申请实施例提供人数统计的方法及装置，以解决不能实现高效准确的人数统计的技术问题。

本申请实施例第一方面提供一种人数统计的方法，包括：

获取包括人物的待识别图像；

将所述待识别图像输入人数统计模型；所述人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；所述M个bolck中，上一个block的输出作为下一个block的输入；所述L个卷积层用于分别将L个所述block输出的特征处理为L个第一尺度的特征，所述特征融合层用于将所述L个第一尺度的特征以及所述M个block的最后一个block输出的特征融合；所述N个反转卷积层用于根据所述融合的特征输出密度图；

利用所述人数统计模型输出所述待识别图像的人物个数。

可选的，所述利用所述人数统计模型输出所述待识别图像的人物个数，包括：

利用所述人数统计模型将所述待识别图像处理为第二尺度的目标识别图像；

将所述目标识别图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第一特征；

将L个所述第一尺度的第一特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述目标识别图像的密度图；

根据所述密度图得到所述待识别图像的人物个数。

可选的，还包括：

将标注有密度热点标签的训练图像处理为第二尺度的目标训练图像；

将所述目标训练图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第二特征；

将所述L个所述第一尺度的第二特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述第二尺度的预测密度图；

在根据所述预测密度图与所述密度热点标签得到的损失函数满足预设条件的情况下，得到所述人数统计模型。

可选的，所述M为8，N为4。

可选的，所述L为3，3个所述卷积层分别与8个所述block中的第2个block、第4个block和第6个block连接。

可选的，所述8个block中，第2个block、第4个block、第6个block和第8个block中的步长均为2，第1个block、第3个block、第5个block和第7个block中的步长均为1。

可选的，所述获取包括人物的待识别图像，包括：

在接收到订单生成信息时，通过车辆内的拍照设备拍摄包括人物的待识别图像；

利用所述人数统计模型输出所述待识别图像的人物个数之后，还包括：

将所述待识别图像的人物个数添加到生成的订单信息中。

本申请实施例第二方面提供一种人数统计的装置，包括：

获取模块，用于获取包括人物的待识别图像；

输入模块，用于将所述待识别图像输入人数统计模型；所述人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；所述M个bolck中，上一个block的输出作为下一个block的输入；所述L个卷积层用于分别将L个所述block输出的特征处理为L个第一尺度的特征，所述特征融合层用于将所述L个第一尺度的特征以及所述M个block的最后一个block输出的特征融合；所述N个反转卷积层用于根据所述融合的特征输出密度图；

输出模块，用于利用所述人数统计模型输出所述待识别图像的人物个数。

可选的，所述输出模块具体用于：

利用所述人数统计模型将所述待识别图像处理为第二尺度的目标识别图像；

将所述目标识别图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第一特征；

将L个所述第一尺度的第一特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述目标识别图像的密度图；

根据所述密度图得到所述待识别图像的人物个数。

可选的，还包括训练模块，用于：

将标注有密度热点标签的训练图像处理为第二尺度的目标训练图像；

将所述目标训练图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第二特征；

将所述L个所述第一尺度的第二特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述第二尺度的预测密度图；

在根据所述预测密度图与所述密度热点标签得到的损失函数满足预设条件的情况下，得到所述人数统计模型。

可选的，所述M为8，N为4。

可选的，所述L为3，3个所述卷积层分别与8个所述block中的第2个block、第4个block和第6个block连接。

可选的，所述8个block中，第2个block、第4个block、第6个block和第8个block中的步长均为2，第1个block、第3个block、第5个block和第7个block中的步长均为1。

可选的，所述获取模块具体用于：

在接收到订单生成信息时，通过车辆内的拍照设备拍摄包括人物的待识别图像；

所述装置还包括：

添加模块，用于将所述待识别图像的人物个数添加到生成的订单信息中。

本申请实施例第三方面提供一种电子设备，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如前述第一方面任一项所述的方法的指令。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如前述第一方面任一项所述的方法。

本申请实施例相对于现有技术的有益效果：

本申请实施例中提供了一种人数统计的方法及装置，预先训练的人数统计模型中，可以将多个block输出的特征融合，可以理解，神经网络中，不同深度的block的输出所体现的信息不同，例如较浅层的block输出的可以是图像的轮廓信息，较深层的block输出的可以是图像的纹理信息等，基于融合的特征可以得到更加准确的密度图，进而得到准确的人数统计结果，且，因为本申请实施例的人数统计模型，不需要设置多个平行网络，计算量较小，可以达到实时计算要求。具体来说，本申请实施例中，获取包括人物的待识别图像；将待识别图像输入人数统计模型；人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；L个卷积层用于分别将L个block输出的特征处理为L个第一尺度的特征，特征融合层用于将L个第一尺度的特征以及M个block的最后一个block输出的特征融合；N个反转卷积层用于根据融合的特征输出密度图；利用人数统计模型输出待识别图像的人物个数。

附图说明

图1为现有技术的第一种人数统计网络架构示意图；

图2为现有技术的第二种人数统计网络架构示意图；

图3为现有技术的第三种人数统计网络架构示意图；

图4为本申请实施例提供的人数统计的方法的应用场景示意图；

图5为本申请实施例提供的人数统计的方法的流程示意图；

图6为本申请实施例提供的人数统计模型的网络架构示意图；

图7为本申请提供的人数统计装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，本申请说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

本申请实施例的人数统计方法可以应用于终端或服务器，终端可以包括：手机、平板电脑、笔记本电脑等电子设备，本申请实施例对此不作具体限定。

如图4所示，图4为本申请实施例提供的方法所适用的应用场景架构示意图。

以统计车辆中的乘客人数的场景为例，在车辆11中可以设置拍摄装置13，该拍摄装置13可以与终端设备12实现通信，终端设备12可以用于实现本申请实施例的方法。

本申请实施例预先训练的人数统计模型中，可以将多个block输出的特征融合，可以理解，神经网络中，不同深度的block的输出所体现的信息不同，例如较浅层的block输出的可以是图像的轮廓信息，较深层的block输出的可以是图像的纹理信息等，基于融合的特征可以得到更加准确的密度图，进而得到准确的人数统计结果，且，因为本申请实施例的人数统计模型，不需要设置多个平行网络，计算量较小，可以达到实时计算要求。

具体来说，本申请实施例中，终端设备12可以从拍摄装置13中获取包括人物的待识别图像；将待识别图像输入人数统计模型；人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；L个卷积层用于分别将L个block输出的特征处理为L个第一尺度的特征，特征融合层用于将L个第一尺度的特征以及M个block的最后一个block输出的特征融合；N个反转卷积层用于根据融合的特征输出密度图；利用人数统计模型输出待识别图像的人物个数。

一种可能的场景中，在终端设备12中生成订单信息，例如生成载客信息时，终端设备12可以通知拍摄装置13拍摄车辆11的内部，得到包含乘客的待识别图像。进而终端设备12可以统计待识别图像中的人数，并将人数添加在订单信息中，使得订单信息中包含乘客人数，后续可以基于订单信息进行订单核对、违规排查等实际应用，本申请实施例对此不作具体限定。

另一种可能的应用场景中，拍摄装置13可以按照一定频率(例如每1-10分钟一次)拍摄车辆11的内部，在终端设备12中生成订单信息后，终端设备12可以直接从拍摄装置13中获取最近拍摄的图像作为待识别图像。

又一种可能的实现方式中，拍摄装置13可以是与终端设备12一体的，则可以不额外设置拍摄装置。

需要说明的是，终端设备12可以是在车内的，为了图示清楚，图4将终端设备12绘制在车辆11的外部，可以理解，该图示并不用于限定本申请实施例。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

如图5所示，图5为本申请实施例提供的人数统计的方法的流程示意图。

该方法具体可以包括：

步骤S101：获取包括人物的待识别图像。

本申请实施例中，可以采用任意形式获取包含人物的待识别图像，例如可以从网络获取包括人物的待识别图像，或从本地获取包括人物的待识别图像等，本申请实施例对此不作具体限定。

一种可选的实现方式中，所述获取包括人物的待识别图像，包括：在接收到订单生成信息时，通过车辆内的拍照设备拍摄包括人物的待识别图像。

示例性的，如上所述，在统计车内乘客的应用场景中，可以获取在接收到订单生成信息时，获取包括人物的待识别图像，在此不再赘述。

需要说明的是，本申请实施例所描述的乘客可以是包括司机在内的车内乘坐的人物，也可以是不包括司机的车内乘坐人物。可以理解，如果后续统计的是不包括司机的车内乘坐人物，可以在得到包括司机的照片进行人数统计后，减1得到最终人数，或者设置拍照设备的位置为拍照时不拍到司机的位置，本申请实施例对此不作具体限定。

步骤S102：将所述待识别图像输入人数统计模型；所述人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；所述M个bolck中，上一个block的输出作为下一个block的输入；所述L个卷积层用于分别将L个所述block输出的特征处理为L个第一尺度的特征，所述特征融合层用于将所述L个第一尺度的特征以及所述M个block的最后一个block输出的特征融合；所述N个反转卷积层用于根据所述融合的特征输出密度图。

本申请实施例中，可以预先训练人数统计模型。

示例性的，可以采集包含人物的图像，并对图像进行表述，得到标注有密度热点标签的训练图像，并将标注有密度热点标签的训练图像进行数据预处理，得到统一为第二尺度的目标训练图像；进而在如图6所示的网络架构中进行模型训练得到人数统计模型。

可以理解，第二尺度的具体数值可以根据实际的应用场景适应设定，例如，在车内场景中，出现人在远景的情况，图片分辨率可以调小一点以减少计算量，加快网络处理速度，将第二尺寸可以为224x224。或者，第二尺寸也可以为360*480，112*112等任意数值，在此不作具体限定。

示例性的，训练人数统计模型的过程可以为：将标注有密度热点标签的训练图像处理为第二尺度的目标训练图像；将所述目标训练图像输入所述M个block的第一个block；将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第二特征；将所述L个所述第一尺度的第二特征以及所述M个block的最后一个block输出的特征融合；将融合后的特征输入所述N个反转卷积层，得到所述第二尺度的预测密度图；在根据所述预测密度图与所述密度热点标签得到的损失函数满足预设条件的情况下，得到所述人数统计模型。

人数统计模型的网络结构可以如图6所示，以第二尺度为224*224为例，输入224*224的目标训练图像，网络结构的主干可以采用MobileNetV2的架构(现有的架构)，如图6所示的第一行中的8个顺次处理的block，可以理解，实际应用中，主干中也可以包括M个block，所述M个bolck中，上一个block的输出作为下一个block的输入，M可以为大于2的任意值。

其中，M个block中，可以由L个block分别连接一个卷积层，任一个卷积层可以将该卷积层连接的block输出的特征处理为第一尺度的特征，如图6中的第2个block、第4个block和第6个block分别连接卷积层。可选的，图6的8个block中，第2个block、第4个block、第6个block和第8个block中的步长均为2，第1个block、第3个block、第5个block和第7个block中的步长均为1。

进一步的，将L个第一尺度的第二特征以及M个block的最后一个block输出的特征融合，将融合后的特征输入N个反转卷积层(例如图6中N为4)，得到第二尺度的预测密度图。

进一步的，可以基于损失函数进行多轮训练，在根据预测密度图与密度热点标签得到的损失函数满足预设条件的情况下，得到所述人数统计模型。

示例性的，可以采用欧式距离计算密度图与目标训练图像中各像素点之间的损失。

具体的，欧式距离L_E用来衡量像素级别的误差，公式如(1)所示，Θ代表一组网络的参数，N为密度图的像素数量，X是输入图片，Y是密度图的标注标签，F(X；Θ)表示估计的密度图。

除了像素点的欧氏距离损失，还可以采用密度图局部一致性损失来提升结构。结构相似度(structural similarity index measurement，SSIM)系数常被用来评价图像质量。可以使用11x11标准化的高斯核来统计局部分布。权重被定义为W＝{W(p)p∈P，P＝{(-5,-5},……(5，5))}，p是中心点的偏移，P包括所有核坐标，对于密度图F中的每一个预估的x位置核相关的y标签，局部统计信息如下：

μ_F(x)＝∑_p∈PW(p)*F(x+p)    (2)

σ_FY(x)＝∑_p∈PW(p)*[F(x+p)-μ_F(x)]*

[Y(x+p)-μ_Y(x)]   (4)

μ_F和

是F的局部均值和方差，σ_FY是局部协方差，μ_Y和

计算方式与公式(2)(3)类似，SSIM系数可以定义为式(5)的形式：

C₁,C₂为极小的常数，防止除数为0，所以局部一致性损失公式如式子(6)所示，

网络的最终损失公式如(7)所示，在损失值L小于一定值(可以根据实际应用场景设定)且没有较大波动时，可以认为模型训练完成。

L＝L_E+αL_C   (7)

α为权重调节参数，示例性的，α可以设为0.005，网络的初始学习率设为0.01，步长为64，优化方法为Adam，设置每100个轮(epoch)，学习率下降为10％，总计训练500个epoch，可以得到人数统计模型。

之后可以将训练得到的人物统计模型加载在终端设备中，终端设备可以将待识别图像输入人数统计模型。

步骤S103：利用所述人数统计模型输出所述待识别图像的人物个数。

本申请实施例中，人物统计模型可以自动输出待识别如下的人物个数，可选的，还可进一步将待识别图像的人物个数添加到生成的订单信息中，以用于后续的大数据处理等。

示例性的，所述利用所述人数统计模型输出所述待识别图像的人物个数，包括：利用所述人数统计模型将所述待识别图像处理为第二尺度的目标识别图像；将所述目标识别图像输入所述M个block的第一个block；将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第一特征；将L个所述第一尺度的第一特征以及所述M个block的最后一个block输出的特征融合；将融合后的特征输入所述N个反转卷积层，得到所述目标识别图像的密度图；根据所述密度图得到所述待识别图像的人物个数。

可以理解，具体的实现方式可以参照步骤102中的训练人物统计模型时的详细执行步骤，在此不再赘述。

实践中，本申请实施例的人物统计模型在图形处理器(Graphics ProcessingUnit，GPU)1080ti下运行速度为45FPS，可以达到实时效果。

综上所述，本申请实施例中提供了一种人数统计的方法及装置，预先训练的人数统计模型中，可以将多个block输出的特征融合，可以这样理解，神经网络中，不同深度的block的输出所体现的信息不同，例如较浅层的block输出的可以是图像的轮廓信息，较深层的block输出的可以是图像的纹理信息等，基于融合的特征可以得到更加准确的密度图，进而得到准确的人数统计结果，且，因为本申请实施例的人数统计模型，不需要设置多个平行网络，计算量较小，可以达到实时计算要求。具体来说，本申请实施例中，获取包括人物的待识别图像；将待识别图像输入人数统计模型；人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；L个卷积层用于分别将L个block输出的特征处理为L个第一尺度的特征，特征融合层用于将L个第一尺度的特征以及M个block的最后一个block输出的特征融合；N个反转卷积层用于根据融合的特征输出密度图；利用人数统计模型输出待识别图像的人物个数。

图7为本申请提供的人数统计的装置一实施例的结构示意图。如图7所示，本实施例提供的人数统计的装置包括：

获取模块31，用于获取包括人物的待识别图像；

输入模块32，用于将所述待识别图像输入人数统计模型；所述人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；所述M个bolck中，上一个block的输出作为下一个block的输入；所述L个卷积层用于分别将L个所述block输出的特征处理为L个第一尺度的特征，所述特征融合层用于将所述L个第一尺度的特征以及所述M个block的最后一个block输出的特征融合；所述N个反转卷积层用于根据所述融合的特征输出密度图；

输出模块33，用于利用所述人数统计模型输出所述待识别图像的人物个数。

可选的，所述输出模块具体用于：

利用所述人数统计模型将所述待识别图像处理为第二尺度的目标识别图像；

将所述目标识别图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第一特征；

将L个所述第一尺度的第一特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述目标识别图像的密度图；

根据所述密度图得到所述待识别图像的人物个数。

可选的，还包括训练模块，用于：

将标注有密度热点标签的训练图像处理为第二尺度的目标训练图像；

将所述目标训练图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第二特征；

将所述L个所述第一尺度的第二特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述第二尺度的预测密度图；

在根据所述预测密度图与所述密度热点标签得到的损失函数满足预设条件的情况下，得到所述人数统计模型。

可选的，所述M为8，N为4。

可选的，所述L为3，3个所述卷积层分别与8个所述block中的第2个block、第4个block和第6个block连接。

可选的，所述8个block中，第2个block、第4个block、第6个block和第8个block中的步长均为2，第1个block、第3个block、第5个block和第7个block中的步长均为1。

可选的，所述获取模块具体用于：

在接收到订单生成信息时，通过车辆内的拍照设备拍摄包括人物的待识别图像；

所述装置还包括：

添加模块，用于将所述待识别图像的人物个数添加到生成的订单信息中。

综上所述，本申请实施例中提供了一种人数统计的方法及装置，预先训练的人数统计模型中，可以将多个block输出的特征融合，可以理解，神经网络中，不同深度的block的输出所体现的信息不同，例如较浅层的block输出的可以是图像的轮廓信息，较深层的block输出的可以是图像的纹理信息等，基于融合的特征可以得到更加准确的密度图，进而得到准确的人数统计结果，且，因为本申请实施例的人数统计模型，不需要设置多个平行网络，计算量较小，可以达到实时计算要求。具体来说，本申请实施例中，获取包括人物的待识别图像；将待识别图像输入人数统计模型；人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；L个卷积层用于分别将L个block输出的特征处理为L个第一尺度的特征，特征融合层用于将L个第一尺度的特征以及M个block的最后一个block输出的特征融合；N个反转卷积层用于根据融合的特征输出密度图；利用人数统计模型输出待识别图像的人物个数。

本申请各实施例提供的人数统计的装置可用于执行如前述各对应的实施例所示的方法，其实现方式与原理相同，不再赘述。

本申请实施例还提供一种电子设备，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如前述实施例中任一项所述的方法的指令。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如前述实施例中任一项所述的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种人数统计的方法，其特征在于，所述方法包括：

获取包括人物的待识别图像；

将所述待识别图像输入人数统计模型；所述人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；所述M个bolck中，上一个block的输出作为下一个block的输入；所述L个卷积层用于分别将L个所述block输出的特征处理为L个第一尺度的特征，所述特征融合层用于将所述L个第一尺度的特征以及所述M个block的最后一个block输出的特征融合；所述N个反转卷积层用于根据所述融合的特征输出密度图；

利用所述人数统计模型输出所述待识别图像的人物个数；

还包括：

将标注有密度热点标签的训练图像处理为第二尺度的目标训练图像；

将所述目标训练图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第二特征；

将所述L个所述第一尺度的第二特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述第二尺度的预测密度图；

在根据所述预测密度图与所述密度热点标签得到的损失函数满足预设条件的情况下，得到所述人数统计模型。

2.根据权利要求1所述的方法，其特征在于，所述利用所述人数统计模型输出所述待识别图像的人物个数，包括：

利用所述人数统计模型将所述待识别图像处理为第二尺度的目标识别图像；

将所述目标识别图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第一特征；

将L个所述第一尺度的第一特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述目标识别图像的密度图；

根据所述密度图得到所述待识别图像的人物个数。

3.根据权利要求1-2任一项所述的方法，其特征在于，所述M为8，N为4。

4.根据权利要求3所述的方法，其特征在于，所述L为3，3个所述卷积层分别与8个所述block中的第2个block、第4个block和第6个block连接。

5.根据权利要求4所述的方法，其特征在于，所述8个block中，第2个block、第4个block、第6个block和第8个block中的步长均为2，第1个block、第3个block、第5个block和第7个block中的步长均为1。

6.根据权利要求1-2任一项所述的方法，其特征在于，所述获取包括人物的待识别图像，包括：

在接收到订单生成信息时，通过车辆内的拍照设备拍摄包括人物的待识别图像；

利用所述人数统计模型输出所述待识别图像的人物个数之后，还包括：

将所述待识别图像的人物个数添加到生成的订单信息中。

7.一种人数统计的装置，其特征在于，包括：

获取模块，用于获取包括人物的待识别图像；

输入模块，用于将所述待识别图像输入人数统计模型；所述人数统计模型包括M个网络块block、L个卷积层、N个反转卷积层以及特征融合层；其中，M为大于1的整数，L为小于或等于M的正整数，N的取值与M相关；所述M个bolck中，上一个block的输出作为下一个block的输入；所述L个卷积层用于分别将L个所述block输出的特征处理为L个第一尺度的特征，所述特征融合层用于将所述L个第一尺度的特征以及所述M个block的最后一个block输出的特征融合；所述N个反转卷积层用于根据所述融合的特征输出密度图；

输出模块，用于利用所述人数统计模型输出所述待识别图像的人物个数；

所述装置还包括训练模块，所述训练模块用于：

将标注有密度热点标签的训练图像处理为第二尺度的目标训练图像；

将所述目标训练图像输入所述M个block的第一个block；

将连接有所述卷积层的L个block输出的第一特征处理为L个所述第一尺度的第二特征；

将所述L个所述第一尺度的第二特征以及所述M个block的最后一个block输出的特征融合；

将融合后的特征输入所述N个反转卷积层，得到所述第二尺度的预测密度图；

在根据所述预测密度图与所述密度热点标签得到的损失函数满足预设条件的情况下，得到所述人数统计模型。

8.一种电子设备，其特征在于，包括：

处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-6任一项所述的方法的指令。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如权利要求1-6任一项所述的方法。

Images