CN113537172B - 人群密度确定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种人群密度确定方法、装置、设备及存储介质。包括：获取待检测人群图像，待检测图像为图像采集设备在人群上方倾斜拍摄得到的图像；对待检测人群图像中的人像进行头部检测，得到头部关键点；对检测到的各头部关键点进行密度聚类，得到待检测人群图像中的多个人群区域，多个人群区域中每个人群区域的人像头部面积均值之差大于预设阈值；计算多个人群区域中每个人群区域的人群密度；基于每个人群区域的人群密度，确定待检测人群图像对应的人群密度。采用本申请提供的人群密度确定方法，可以降低图像中人像身体被遮挡对人群密度计算结果的影响。

Description

人群密度确定方法、装置、设备及存储介质

技术领域

本申请涉及人群密度估计技术领域，具体涉及一种人群密度确定方法、装置、设备及存储介质。

背景技术

人群密度估计是指对密集人群进行密度估计，一般可以用于商场、医院、广场、车站等地点的安防场景中，以预防混乱、踩踏、消防通道堵塞等问题的发生，或者用于预测排队长度或者等待时长来进行交通调度。

在实际应用中，一般通过对摄像头采集的人群图像进行分析处理，来进行人群密度估计。而实际采集的人群图像存在各类问题，例如，相互遮挡人像不全、人像近大远小等。传统的人群密度估计方法，对此类图像进行人群密度估计的效果不好、准确性差。

发明内容

本申请实施例的目的是提供一种人群密度确定方法、装置、设备及存储介质，能够解决现有技术中人群密度估计效果不好、准确性差的技术问题。

本申请的技术方案如下。

第一方面，提供了一种人群密度确定方法，包括：

获取待检测人群图像，待检测人群图像为图像采集设备在人群上方倾斜拍摄得到的图像；

对待检测人群图像中的人像进行头部检测，得到头部关键点；

对检测到的各头部关键点进行密度聚类，得到待检测人群图像中的多个人群区域，多个人群区域中每个人群区域的人像头部面积均值之差大于预设阈值；

计算多个人群区域中每个人群区域的人群密度；

基于每个人群区域的人群密度，确定待检测人群图像对应的人群密度。

在一些可选实施例中，计算多个人群区域中每个人群区域的人群密度，包括：

针对多个人群区域中每个人群区域，执行如下步骤：

获取人群区域的面积和各头部关键点中每个头部关键点对应的头部面积；计算各头部关键点对应的头部面积之和与人群区域的面积的比值，得到人群区域的人群密度。

在一些可选实施例中，对待检测人群图像中的人像进行头部检测，得到头部关键点，包括：

对待检测人群图像中的人像进行头部检测，得到包围框框选的头部关键点；

获取头部关键点对应的头部面积，包括：计算头部关键点对应的包围框的内切圆面积，得到头部关键点对应的头部面积。

在一些可选实施例中，确定待检测人群图像对应的人群密度之后，方法还包括：

计算待检测人群图像中头部关键点的数量，得到待检测人群图像中的总人数；

输出待检测人群图像对应的人群密度和待检测人群图像中的总人数。

在一些可选实施例中，对待检测人群图像中的人像进行头部检测，得到头部关键点之前，方法还包括：

获取多个人群样本图像；

分别对每个人群样本图像进行人头标注，得到人头标注图像；

基于各个人群样本图像及其对应的人头标注图像，生成各个训练样本；

基于各个训练样本，训练原始检测模型，得到目标检测模型；

对待检测人群图像中的人像进行头部检测，得到头部关键点，包括：将待检测人群图像输入至目标检测模型，利用目标检测模型对待检测人群图像中的人像进行头部检测，得到头部关键点。

在一些可选实施例中，分别对每个人群样本图像进行人头标注，得到人头标注图像，包括：

分别对每个人群样本图像执行如下步骤：在头部面积不小于预设阈值的情况下，框选标注人像的头部，得到人头标注图像；

在头部面积小于预设阈值的情况下，框选标注人像的头部和肩部，得到人头标注图像。

在一些可选实施例中，目标检测模型包括目标检测层，目标检测层用于检测头部面积小于预设阈值的人像头部。

第二方面，提供了一种人群密度确定装置，包括：

图像获取模块，用于获取待检测人群图像，所述待检测人群图像为图像采集设备在人群上方倾斜拍摄得到的图像；

头部检测模块，用于对待检测人群图像中的人像进行头部检测，得到头部关键点；

密度聚类模块，用于对检测到的各头部关键点进行聚类，得到待检测人群图像中的多个人群区域，所述多个人群区域中每个人群区域的人像头部面积均值之差大于预设阈值；

第一密度计算模块，用于计算多个人群区域中每个人群区域的人群密度；

第二密度计算模块，用于基于每个人群区域的人群密度，确定待检测人群图像对应的人群密度。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的人群密度确定方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的人群密度确定方法的步骤。

本申请的实施例提供的技术方案至少带来以下有益效果。

本申请实施例提供的人群密度确定方法， 通过计算待检测人群图像中各个人群区域的人群密度来确定待检测人群图像中的人群密度，而各个人群区域是通过对图像中的人像进行头部检测得到的头部关键点进行密度聚类得到的。而头部在人群中是不容易被其他人所遮挡的，所以，本申请提供的利用头部关键点进行密度聚类，并确定人群密度的方法，解决了人像身体被遮挡导致的人像数量统计不准确的问题，进而提高了人群密度结果的准确性。

此外，本申请针对每个人群区域分别计算人群密度，由于在一个人群区域，不同人之间的头部面积差别较小，也就是说摄像机透视造成的人像近大远小的问题较小，进而降低了人像近大远小对人群密度计算的影响，提高了人群密度结果的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。

图1是本申请实施例提供的一种人群密度确定方法的应用场景示意图。

图2是本申请实施例提供的人群图像示意图。

图3是本申请实施例提供的一种人群密度确定方法的流程示意图。

图4是本申请实施例提供的一种人群划分示意图。

图5是本申请实施例提供的目标检测模型训练流程示意图。

图6是本申请实施例提供的一种人群密度确定装置的结构示意图。

图7是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的例子。

基于背景技术可知，现有技术中一般通过对摄像头采集的人群图像进行分析处理，来进行人群密度估计。而实际采集的人群图像存在各类问题，例如，相互遮挡人像不全、人像近大远小等。传统的人群密度估计方法，对此类图像进行人群密度估计的效果不好、准确性差。

例如，针对轨道地铁站内客流密度估计时，受限于地铁站内的层高，地铁站内的摄像机安装高度一般为2.2米~2.5米，角度为15°~25°。由于摄像机安装角度比较平缓，监控画面中的人群存在遮挡现象，难以看到人的整个身体，同时由于透视现象，人群目标存在近大远小的问题。

如图1所示，摄像机10倾斜安装，人群20上的衍射光线30有些会被人的身体遮挡，进而不能进入摄像头10内。例如，图1中光线301和光线302被人的身体遮挡，不能进入摄像机之中，光线303和光线304正常进入摄像机内。

此外，如图1所示的场景中，由于摄像机为倾斜设置，因此距离摄像机越近的人在摄像机拍摄的照片中占据的面具越大。如图2所示，该摄像机拍摄的照片中人像呈现近大远小的现象。

发明人研究发现，摄像机一般在高处倾斜俯拍，因此每个人的头部不容易被遮挡。此外，发明人还发现一张人群图像中，人像的分布是不规律的，可能会包含多个人群，在这种情况下，近大远小的问题对人群密度计算结果的影响最大。

基于发明人的上述发现，本申请实施例提供了一种人群密度确定方法，通过对图像中的人像进行头部检测得到的头部关键点，利用头部关键点的信息来进行密度计算。由于头部在人群中是不容易被其他人所遮挡的，所以，本申请提供的利用头部关键点进行密度聚类，并确定人群密度的方法，解决了人像身体被遮挡导致的人像数量统计不准确的问题，进而提高了人群密度结果的准确性。

此外，本申请通过计算待检测人群图像中各个人群区域的人群密度来确定待检测人群图像中的人群密度。由于在一个人群区域，不同人之间的头部面积差别较小，也就是说摄像机透视造成的人像近大远小的问题较小，进而降低了人像近大远小对人群密度计算的影响，提高了人群密度结果的准确性。

应理解，本申请实施例提供的人群密度确定方法通常应用于具备数据处理能力的服务器或终端设备。其中，服务器具体可以为应用服务器，也可以为Web服务器，具体部署时，该服务器可以为独立服务器，也可以为集群服务器。终端设备具体可以为电脑、手机、平板等具备数据处理能力的电子设备。

下面结合附图对本申请实施例提供的人群密度确定方法进行详细说明。

图3示出了本申请实施例提供的一种人群密度确定方法的流程示意图，该方法可以应用于服务器或者服务器集群，如图3所示，该方法可以包括步骤S310-S350。

步骤S310，获取待检测人群图像，待检测人群图像为图像采集设备在人群上方倾斜拍摄得到的图像。

这里，待检测人群图像可以是包含人像的图片。具体的，待检测人群图像可以是输入的检测图片，也可以是从视频中获取的视频帧图像。例如，待检测人群图像可以是监控视频中的视频帧图像。

步骤S320，对待检测人群图像中的人像进行头部检测，得到头部关键点。

这里，头部关键点，可以是待检测人群图像中人像的整个头部，也可以是头部对应的一个点。例如，头部关键点可以是人像的头部中心点，这个中心点可以是图像中头部可视部分的中心点。

对待检测人群图像中的人像进行头部检测。具体可以依靠目标检测算法对待检测图像进行目标检测，识别待检测人群图像中人像的头部关键点。目标检测算法可以为基于候选区域的目标检测，例如Fast R-CNN、Faster R-CNN和R-FCN 等，也可以为YOLO、SSD和RetinaNet等在内的单次检测器。针对目标检测，在此不再赘述，详见下文具体实施例。

步骤S330，对检测到的各头部关键点进行密度聚类，得到待检测人群图像中的多个人群区域，多个人群区域中每个人群区域的人像头部面积均值之差大于预设阈值。

这里，具体可以采用密度聚类算法对步骤S320中得到的头部关键点进行聚类，通过聚类自动将不同密集程度的人群归类，得到多个人群区域。并且不同区域的人像头部面积均值不同，不同区域的人像头部面积均值的差大于第一预设阈值，且同一区域内最大的人像头部面积与最小的人像头部面积之差小于第二预设阈值。

其中，将待检测人群图像划分为多个人群后的结果可以如图4所示。

步骤S340，计算多个人群区域中每个人群区域的人群密度。

这里，对步骤S330中得到的多个不同密集程度的人群区域，分别计算人群密度。相比这个图像，单个人群区域中近大远小的问题对密度值的计算结果影响明显降低，可以有效提升密度估计的准确性。

步骤S350，基于每个人群区域的人群密度，确定待检测人群图像对应的人群密度。

这里，针对步骤S340中得到的各个人群区域的人群密度，可以进一步估计待检测人群图像对应的人群密度。待检测人群图像对应的人群密度可以采用各个人群区域的人群密度的平均数或加权平均数。例如，可以根据不同人群区域包含的头部关键点的数量赋予每个人群区域的人群密度一个权重值，进而计算加权平均数。此处，对于权重的依据还可以有其它指标，例如面积大小等，在此不做限定。

由于摄像机透视问题，待检测人群图像中的人群会存在近大远小问题，即离摄像机近的人在图像中占据的面积大，离摄像机远的人在图像中占据的面积小。在用整个图像区域中人的面积与图像的总面积的比值来计算人群密度时，会存在较大的误差，难以体现密集性。

本申请实施例提供的人群密度确定方法，通过计算待检测人群图像中各个人群区域的人群密度来确定待检测人群图像中的人群密度。由于在一个人群区域，不同人之间的头部面积差别较小，也就是说摄像机透视造成的人像近大远小的问题较小，进而降低了人像近大远小对人群密度计算的影响，提高了人群密度结果的准确性。

此外，本申请实施例提供的人群密度确定方法，通过对图像中的人像进行头部检测得到的头部关键点，利用头部关键点的信息来进行密度计算。由于头部在人群中是不容易被其他人所遮挡的，所以，本申请提供的利用头部关键点进行密度聚类，并确定人群密度的方法，解决了人像身体被遮挡导致的人像数量统计不准确的问题，进而提高了人群密度结果的准确性。

在一些实施例中，为了扩大本申请实施例提供的人群密度确定方法的应用范围，使其不局限于对人群图像的检测，也可以适用于对视频的监测。本申请实施例提供的人群密度确定方法还可以在步骤S310之中设置将视频转化为图像的步骤。

基于此，本申请实施例步骤S310获取待检测人群图像的过程可以具体包括：

步骤S311，获取待检测的视频数据。

这里，待检测的视频数据可以是商场、医院、广场、车站等地点的监控视频流。待检测的视频数据也可以是一段人为输入的待检测视频数据。

步骤S312，解码待检测的视频数据，得到待检测人群图像。

这里，可以通过对待检测的视频数据进行解码，得到待检测视频数据对应的多个视频帧图像。此处，可以将所有视频帧图像共同作为待检测人群图像，也可以基于预设规则对这些视频帧图像进行筛选，得到待检测人群图像。

其中，预设规则可以基于时间设定，以方便预测下一时间段的人群密度情况。预设规则还可以基于视频帧图像的清晰度，人像情况等设定，以便于后续对图像中人头的检测，提高检测速度。

本申请实施例提供的人群密度确定方法，可以应用于对视频的检测，能够将视频转化为待检测人群图像。进而，该方法可以用于商场、医院、广场、车站等地点的人群密度监测，预防混乱、踩踏、消防通道堵塞等问题的发生，或者用于预测排队长度或者等待时长来进行交通调度。

在一些实施例中，为了使本申请实施例提供的人群密度确定方法可以更好地应用于商场、医院、广场、车站等地点的人群密度监测，预防和预测混乱、踩踏、消防通道堵塞等问题。

在一些实施例中，该人群密度估计方法，在步骤S350之后，还可以包括步骤S360-S370。

步骤S360，计算所述待检测人群图像中头部关键点的数量，得到所述待检测人群图像中的总人数；

步骤S370，输出所述待检测人群图像对应的人群密度和所述待检测人群图像中的总人数。

基于每个人群区域的人群密度，确定待检测人群图像对应的人群密度之后，根据人群密度的值和总人数来进一步确定人群密集度等级。进而，可以在人群密集度等级达到预设等级时，发出告警信息，提示工作人员采取响应的应急预案，预防混乱、踩踏、消防通道堵塞等问题。让使用者可以清晰了解人群密度确定方法的输出结果所表示的人群密集程度。

在一些实施例中，为了提高人群密度计算结果的准确性，密度计算的数据可以采用人头的面积，而不使用整体人像的面积。由于人头不容易被遮挡，因而人群密度的计算结果也更准确。

基于此，步骤S340，可以具体包括：针对多个人群区域中每个人群区域，执行如下步骤：获取人群区域的面积和各头部关键点中每个头部关键点对应的头部面积；计算各头部关键点对应的头部面积之和与人群区域的面积的比值，得到人群区域的人群密度。

其中，对待检测人群图像中的人像进行头部检测，得到头部关键点，可以具体包括：对待检测人群图像中的人像进行头部检测，得到包围框框选的头部关键点。

此时，获取头部关键点对应的头部面积，可以包括：计算头部关键点对应的包围框的内切圆面积，得到头部关键点对应的头部面积。

这里，对头部包围框求内切圆，用内切圆的面积作为该人头的面积。其中，求内切圆的半径计算过程如下：

式中，x1，y1为头部坐标框的左上角点坐标，x2，y2为头部坐标框的右下角点坐标，circlex，circley为内切圆的圆心坐标，即头部中心点，r为半径；则人头面积为：

（1）

在步骤S330-S340中采用密度聚类算法对目标检测算法得到的头部中心进行聚类，通过聚类自动将不同密集程度的人群归类，然后计算不同人群区域中的人群密度。

其中，人群密度的定义为：

（2）

密度聚类算法(Density-Based Spatial Clustering of Applications withNoise，DBSCAN) 是一种基于密度的聚类算法，在聚类的时候不需要预先设定类的个数，最终聚类类的个数不确定。

DBSCAN算法有两个重要参数Eps和MinPts，分别代表定义密度时的邻域半径和定义核心点时的阈值。该算法将数据集合分为三个类别。

（1）核心点：在半径Eps内含有超过MinPts数目的点。

（2）边界点：在半径Eps内点的数量小于MinPts, 但是落在核心点的邻域内的点。

（3）噪音点：既不是核心点也不是边界点的点。

在一个示例中，DBSCAN算法实现原理如下：

Step1：初始化

（1）给定参数Eps（记为E）和MinPts（记为M）.

（2）生成，i = 1, 2, ..., N，其中表示数据i的邻域

（3）令k=1；=0，i = 1, 2, ..., N.

（4）令I={1, 2, ..., N}.

Step2：生成cluster标记数组

WHILE (

)

{

从I中任取一个元素i，并令I:= I\{i}

IF (

)

{

(1) 初始化

(2) 若|T|<M，则令

(3) 若|T|≥M，则

① 令

② WHILE (

)

{

(a) 从T中任取元素i，并令T:= T\{j}

(b) 若

或-1，则令

(c) 若|

|≥M，则令T:=T∪

，其中|

|表示密度

}

③ 令k=k+1

}

}

本申请的数据集集合为头部中心点集合，数据维度为3，即（circlex, circley,r）。DBSCAN算法中参数邻域半径E和核心点阈值M的选取是关键步骤。当数据密度和类间距离分布不均匀时，若选取较小的E值，则较稀疏类中的节点的密度将小于M，从而这些节点会被认为是边界点而不被用于类的进一步扩展，从而导致较稀疏的类可能被划分为多个性质相似的类；与之相反，若选取较大的E值，则离得较近而密度较大的类将很可能被合并为同一个类，类间的差异将被忽略。因此，邻域半径E和核心点阈值M需要结合实际的样本集分布设定。

根据密度聚类算法可以得到各个类的头部关键点，具体可以为头部中心点{(circlex1, circley1, r1), (circlex2, circley2, r2), ..., (circlexN,circleyN, rN)}，将中心点拟合为多边形polygon，便可得到类的区域。区域的人群密度可由下式得到：

其中，A_polygon为拟合多边形的面积。

在一些实施例中，为了提高对待检测人群图像中的人像进行头部检测的效率，可以构建一个目标检测模型。这样，步骤S320就可以通过目标检测模型来实现，目标检测模型可以自动进行头部检测，处理效率更高。

基于此，为了使目标检测模型的检测效果更好，需要提起对目标检测模型进行训练。也就是说在步骤S320之前可以包括模型训练的步骤，参考图5，该人群密度估计方法中的训练流程示意图，该训练过程可以包括如下步骤。

步骤S501，对待检测人群图像中的人像进行头部检测，得到头部关键点之前，获取多个人群样本图像。

步骤S502，分别对每个人群样本图像进行人头标注，得到人头标注图像。

步骤S503，基于各个人群样本图像及其对应的人头标注图像，生成各个训练样本。

步骤S504，基于各个训练样本，训练原始检测模型，得到目标检测模型。

基于此，步骤S320，可以具体包括：将待检测人群图像输入至目标检测模型，利用目标检测模型对待检测人群图像中的人像进行头部检测，得到头部关键点。

上述步骤S501中，人群样本图像可以是人为输入的图像，也可以是从视频数据中解码得到的视频帧图像。

上述步骤S504中，原始检测模型是基于目标检测算法构建的。其中，目标检测算法可以为基于候选区域的目标检测，例如Fast R-CNN、Faster R-CNN和R-FCN等，也可以为YOLO、SSD和RetinaNet等在内的单次检测器。下面分别介绍基于候选区域的目标检测和单次检测器。

上述步骤S503-S504中，生成各个训练样本，基于各个训练样本，训练原始检测模型的过程可以采用现有技术中的模型训练方法，在此不做赘述。

在一些实施例中，上述步骤S502可以具体包括分别对每个人群样本图像执行如下步骤：在头部面积不小于预设阈值的情况下，框选标注人像的头部，得到人头标注图像；在头部面积小于预设阈值的情况下，框选标注人像的头部和肩部，得到人头标注图像。

需要说明的是，人头标注的过程中，需要将人群样本图像中的人头全部标注完成，才可以最终得到人群样本图像对应的人头标注图像。

在一些实施例中，目标检测模型包括目标检测层，目标检测层用于检测头部面积小于预设阈值的人像头部。

作为一个示例，目标检测模型可以基于Yolov5算法构建，在Yolov5网络中增加一个目标检测层，扩大目标检测的范围。这个目标检测层用于检测头部面积小于预设阈值的人像头部。

原始Yolov5算法只有三个检测层，对应anchor为三层，当输入图像尺寸为608×608时，三个检测层特征图的大小分别为19×19，38×38，76×76。最大的特征图76×76负责检测小目标，对应到608×608尺寸时，每个特征图的感受野为608/76=8，即8×8大小，再将608×608尺寸映射到原图1920×1080尺寸时，对应为1920/608*8约等于25像素，1080/608*8约等于14像素，即如果原始图像中目标的宽和高分别小于25像素和14像素时，网络很难学习到目标的特征信息。

本示例中，增加一个目标检测层，对应anchor增加为4层，当输入尺寸为608×608时，四个检测层特征图的大小分别为19×19，38×38，76×76，152×152。此时，负责检测小目标的最大的特征图为152×152，同理对应到1920×1080尺寸分别为12像素和7像素，即目标检测的范围由[(25,14)~(101,57)]变为[(12,7)~(101,57)]，增大了目标检测的范围，更适用于小目标的头部检测。

基于相同的发明构思，本申请实施例还提供了一种人群密度确定装置。

图6示出了本申请实施例提供的一种人群密度确定装置，如图6所示，该人群密度确定装置600，可以包括：

图像获取模块610，可以用于获取待检测人群图像，待检测人群图像为图像采集设备在人群上方倾斜拍摄得到的图像。

头部检测模块620，可以用于对待检测人群图像中的人像进行头部检测，得到头部关键点。

密度聚类模块630，可以用于对检测到的各头部关键点进行聚类，得到待检测人群图像中的多个人群区域，多个人群区域中每个人群区域的人像头部面积均值之差大于预设阈值。

第一密度计算模块640，可以用于计算多个人群区域中每个人群区域的人群密度。

第二密度计算模块650，可以用于基于每个人群区域的人群密度，确定待检测人群图像对应的人群密度。

在一些实施例中，第一密度计算模块640，可以具体用于：针对多个人群区域中每个人群区域，执行如下步骤：获取人群区域的面积和各头部关键点中每个头部关键点对应的头部面积；计算各头部关键点对应的头部面积之和与人群区域的面积的比值，得到人群区域的人群密度。

在一些实施例中，第一密度计算模块640对待检测人群图像中的人像进行头部检测，得到头部关键点，可以包括：

对待检测人群图像中的人像进行头部检测，得到包围框框选的头部关键点；

获取头部关键点对应的头部面积，包括：

计算头部关键点对应的包围框的内切圆面积，得到头部关键点对应的头部面积。

在一些实施例中，该装置还可以包括：

人数计算模块，可以用于确定待检测人群图像对应的人群密度之后，计算待检测人群图像中头部关键点的数量，得到待检测人群图像中的总人数；

信息输出模块，可以用于输出待检测人群图像对应的人群密度和待检测人群图像中的总人数。

在一些实施例中，图像获取模块610，可以具体用于获取待检测的视频数据；解码待检测的视频数据，得到待检测人群图像。

在一些实施例中，该人群密度估计装置600，还可以包括：

密集度等级判定模块，可以用于基于每个人群区域的人群密度，确定待检测人群图像对应的人群密度之后，基于待检测人群图像对应的人群密度，确定人群密集度等级。

在一些实施例中，该人群密度估计装置600，还可以包括：

样本获取模块，可以用于对待检测人群图像中的人像进行头部检测，得到头部关键点之前，获取多个人群样本图像；

样本标注模块，可以用于分别对每个人群样本图像进行人头标注，得到人头标注图像；

样本构建模块，可以用于基于各个人群样本图像及其对应的人头标注图像，生成各个训练样本；

模型训练模块，可以用于基于各个训练样本，训练原始检测模型，得到目标检测模型；

头部检测模块，可以具体用于将待检测人群图像输入至目标检测模型，利用目标检测模型对待检测人群图像中的人像进行头部检测，得到头部关键点。

在一些实施例中，样本标注模块，可以具体用于分别对每个人群样本图像执行如下步骤：在头部面积不小于预设阈值的情况下，框选标注人像的头部，得到人头标注图像；在头部面积小于预设阈值的情况下，框选标注人像的头部和肩部，得到人头标注图像。

在一些实施例中，目标检测模型可以包括目标检测层，目标检测层用于检测头部面积小于预设阈值的人像头部。

本申请实施例提供的人群密度估计装置，可以用于执行上述各方法实施例提供的人群密度确定方法，其实现原理和技术效果类似，为简介起见，在此不再赘述。

基于同一发明构思，本申请实施例还提供了一种电子设备。

图7是本申请实施例提供的一种电子设备的结构示意图。如图7所示，电子设备可以包括处理器701以及存储有计算机程序或指令的存储器702。

具体地，上述处理器701可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit ，ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关容灾设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器（ROM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。

处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种人群密度确定方法。

在一个示例中，电子设备还可包括通信接口703和总线710。其中，如图7示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。

通信接口703，主要用于实现本申请实施例中各模块、设备、单元和/或设备之间的通信。

总线710包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备可以执行本申请实施例中的基站故障检测方法，从而实现上述实施例描述的人群密度确定方法和装置。

另外，结合上述实施例中的基站故障检测方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有程序指令；该程序指令被处理器执行时实现上述实施例中的任意一种人群密度估计方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面根据本申请实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (8)

1.一种人群密度确定方法，其特征在于，包括：

获取待检测人群图像，所述待检测人群图像为图像采集设备在人群上方倾斜拍摄得到的图像；

对所述待检测人群图像中的人像进行头部检测，得到头部关键点；

对检测到的各头部关键点进行密度聚类，得到所述待检测人群图像中的多个人群区域，所述多个人群区域中每个人群区域的人像头部面积均值之差大于预设阈值；

计算所述多个人群区域中每个人群区域的人群密度；

基于所述每个人群区域的人群密度，确定所述待检测人群图像对应的人群密度；

所述计算所述多个人群区域中每个人群区域的人群密度，包括：

针对所述多个人群区域中每个人群区域，执行如下步骤：

获取人群区域的面积和各头部关键点中每个头部关键点对应的头部面积；

计算各头部关键点对应的头部面积之和与人群区域的面积的比值，得到所述人群区域的人群密度；

对所述待检测人群图像中的人像进行头部检测，得到头部关键点，包括：

对所述待检测人群图像中的人像进行头部检测，得到包围框框选的头部关键点；

获取头部关键点对应的头部面积，包括：

计算头部关键点对应的包围框的内切圆面积，得到所述头部关键点对应的头部面积。

2.根据权利要求1所述的人群密度确定方法，其特征在于，所述确定所述待检测人群图像对应的人群密度之后，所述方法还包括：

计算所述待检测人群图像中头部关键点的数量，得到所述待检测人群图像中的总人数；

输出所述待检测人群图像对应的人群密度和所述待检测人群图像中的总人数。

3.根据权利要求1-2任一所述的人群密度确定方法，其特征在于，所述对所述待检测人群图像中的人像进行头部检测，得到头部关键点之前，所述方法还包括：

获取多个人群样本图像；

分别对每个所述人群样本图像进行人头标注，得到人头标注图像；

基于各个人群样本图像及其对应的人头标注图像，生成各个训练样本；

基于所述各个训练样本，训练原始检测模型，得到目标检测模型；

所述对所述待检测人群图像中的人像进行头部检测，得到头部关键点，包括：

将所述待检测人群图像输入至所述目标检测模型，利用所述目标检测模型对所述待检测人群图像中的人像进行头部检测，得到头部关键点。

4.根据权利要求3所述的人群密度确定方法，其特征在于，所述分别对每个所述人群样本图像进行人头标注，得到人头标注图像，包括：

分别对每个所述人群样本图像执行如下步骤：在头部面积不小于预设阈值的情况下，框选标注人像的头部，得到人头标注图像；在头部面积小于预设阈值的情况下，框选标注人像的头部和肩部，得到人头标注图像。

5.根据权利要求3所述的人群密度确定方法，其特征在于，所述目标检测模型包括目标检测层，所述目标检测层用于检测头部面积小于预设阈值的人像头部。

6.一种人群密度确定装置，其特征在于，包括：

图像获取模块，用于获取待检测人群图像，所述待检测人群图像为图像采集设备在人群上方倾斜拍摄得到的图像；

头部检测模块，用于对所述待检测人群图像中的人像进行头部检测，得到头部关键点；

密度聚类模块，用于对检测到的各头部关键点进行聚类，得到所述待检测人群图像中的多个人群区域，所述多个人群区域中每个人群区域的人像头部面积均值之差大于预设阈值；

第一密度计算模块，用于计算所述多个人群区域中每个人群区域的人群密度；

第二密度计算模块，用于基于所述每个人群区域的人群密度，确定所述待检测人群图像对应的人群密度；

所述第一密度计算模块，具体用于针对所述多个人群区域中每个人群区域，执行如下步骤：

获取人群区域的面积和各头部关键点中每个头部关键点对应的头部面积；

计算各头部关键点对应的头部面积之和与人群区域的面积的比值，得到所述人群区域的人群密度；

所述头部检测模块，具体用于对所述待检测人群图像中的人像进行头部检测，得到包围框框选的头部关键点；

所述第一密度计算模块，还具体用于计算头部关键点对应的包围框的内切圆面积，得到所述头部关键点对应的头部面积。

7.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一所述的人群密度确定方法的步骤。

8.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一所述的人群密度确定方法的步骤。

Images