CN116129361B

CN116129361B - 一种基于距离度量的人群聚集识别方法及装置

Info

Publication number: CN116129361B
Application number: CN202310294238.9A
Authority: CN
Inventors: 谭军胜; 罗伦文; 任明; 刘鑫帮; 张诗
Original assignee: Wuhan Zhongke Tongda High New Technology Co Ltd
Current assignee: Wuhan Zhongke Tongda High New Technology Co Ltd
Priority date: 2023-03-24
Filing date: 2023-03-24
Publication date: 2023-08-08
Anticipated expiration: 2043-03-24
Also published as: CN116129361A

Abstract

本发明涉及一种基于距离度量的人群聚集识别方法及装置，对目标图像进行人体检测，提取目标图像中人体所在的检测框以及人体位置坐标；利用所述人体位置坐标计算目标人体与相邻人体的第一距离；利用所述检测框面积对所述第一距离进行修正，得到目标人体与相邻人体的第二距离；设定聚类参数，利用所述第二距离以及所述聚类参数对目标图像中的人体进行遍历迭代，得到聚类结果；所述聚类参数包括距离阈值和聚集人数阈值；根据聚类结果，利用聚类簇中人体数量以及聚类簇面积计算人群密度。本发明解决监控图像中的近大远小特性造成的阈值不适用问题。并且本发明采用了一种新的聚类算法，只有2个超参数，提高了鲁棒性。

Description

一种基于距离度量的人群聚集识别方法及装置

技术领域

本发明涉及图像处理技术及模式识别领域，具体涉及一种基于距离度量的人群聚集识别方法及装置。

背景技术

随着人工智能技术的发展，我们可以利用计算机视觉算法模型的行人检测结果得到行人位置，通过聚类算法，识别人群过密区域，再通过密度度量算法，给出密集程度指标，使监控更加智能化。

目前基于行人距离的人群密度计算，距离度量一般用欧式距离或马氏距离，聚类算法一般用DBSCAN（(Density-Based Spatial Clustering of Applications withNoise)）。欧式距离或马氏距离，没有考虑到距离摄像头近的目标大，距离摄像头远的目标小。如图1所示，obj1~obj4代表图像中的4个人。假设obj1、obj2的实际距离等于obj3、obj4的实际距离，但是由于摄像头成像原因，会造成obj3、obj4的像素距离(a)小于obj1、obj2的像素距离(b)，在进行距离判断时，则会出现a小于阈值而b大于阈值的判断结果，但其实实际距离是一样的，就造成了不合理，导致聚类结果出现误差。而聚类算法DBSCAN，对用户定义的参数很敏感，细微的不同都可能导致差别很大的结果，而参数的选择无规律可循，只能靠经验确定。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于距离度量的人群聚集识别方法及装置。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种基于距离度量的人群聚集识别方法，包括：

对目标图像进行人体检测，提取目标图像中人体所在的检测框以及人体位置坐标；

利用所述人体位置坐标计算目标人体与相邻人体的第一距离；利用所述检测框面积对所述第一距离进行修正，得到目标人体与相邻人体的第二距离；

设定聚类参数，利用所述第二距离以及所述聚类参数对目标图像中的人体进行遍历迭代，得到聚类结果；所述聚类参数包括距离阈值和聚集人数阈值；

根据聚类结果，利用聚类簇中人体数量以及聚类簇面积计算人群密度。

进一步的，所述第一距离为欧式距离。

进一步的，利用所述检测框面积对所述第一距离进行修正，包括：分别计算目标人体和相邻人体的检测框面积，然后利用两个检测框面积的均值对所述第一距离进行修正。

进一步的，所述的利用两个检测框面积的均值对所述第一距离进行修正，如下式所示：

，

其中，d为第一距离，d₁为第二距离，area_obj1为目标人体的检测框面积，area_obj2为相邻人体的检测框面积。

进一步的，所述的设定聚类参数，利用所述第二距离以及所述聚类参数对目标图像中的人体进行遍历迭代，得到聚类结果，包括以下步骤：

S501，计算当前人体与目标人体间的第二距离，若所述第二距离小于距离阈值，则判定目标人体为当前人体的邻居；

S502，根据判定结果生成目标图像中每一人体对应的邻居集合，所述邻居集合中包含该人体本身；

S503，遍历目标图像中所有人体对应的邻居集合，对于任意两个邻居集合，若两个邻居集合所包含相同人体的数量≥聚集人数阈值，则将两个邻居集合合并；循环执行该步骤，直至任意两个邻居集合所包含相同人体的数量均小于聚集人数阈值，则表示聚类完成，结束循环，输出聚类结果。

进一步的，该方法还包括：

遍历目标图像中所有人体对应的邻居集合，判断任一邻居集合中所包含的人体的数量，若该邻居集合中的人体数量小于聚集人数阈值，则将该邻居集合作为一个单独的聚类结果。

进一步的，所述人群密度根据下式计算：

，

其中，人群总面积，/>为聚类簇中每个人体在多帧图像中的平均面积，区域面积/>为目标图像中聚类簇的最大外接矩形面积，n为聚类簇中人体数量，b为用于平衡人数和面积的经验参数。

第二方面，本发明提供一种基于距离度量的人群聚集识别装置，包括：

人体检测模块，对目标图像进行人体检测，提取目标图像中人体所在的检测框以及人体位置坐标；

距离计算模块，利用所述人体位置坐标计算目标人体与相邻人体的第一距离；利用所述检测框面积对所述第一距离进行修正，得到目标人体与相邻人体的第二距离；

聚类模块，设定聚类参数，利用所述第二距离以及所述聚类参数对目标图像中的人体进行遍历迭代，得到聚类结果；所述聚类参数包括距离阈值和聚集人数阈值；

人群密度计算模块，根据聚类结果，利用聚类簇中人体数量以及聚类簇面积计算人群密度。

第三方面，本发明提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述计算机软件程序，进而实现本发明第一方面所述的一种基于距离度量的人群聚集识别方法。

第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如本发明第一方面所述的一种基于距离度量的人群聚集识别方法。

本发明的有益效果是：本发明提出的人群聚集识别方法，对欧式距离进行了改进，引入行人检测框的边长作为参照，取两个行人检测框的边长均值来修正，特别地，考虑到人被遮挡时检测框的长或宽检测不准，所以用检测框面积的开方来做修正，以解决监控图像中的近大远小特性造成的阈值不适用问题。并且，本发明采用了一种新的聚类算法，只有2个超参数（距离阈值、聚集人数阈值），改进传统聚类算法超参数较多，提高了鲁棒性。

附图说明

图1为行人距离度量示意图；

图2为本发明实施例提供的一种基于距离度量的人群聚集识别方法流程示意图；

图3为某监控画面中行人位置分布及聚类结果示意图；

图4为聚类算法流程图；

图5为本发明实施例提供的一种基于距离度量的人群聚集识别装置结构示意图；

图6为本发明实施例提供的电子设备的实施例示意图；

图7为本发明实施例提供的一种计算机可读存储介质的实施例示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

如图2所示，本发明实施例提供一种基于距离度量的人群聚集识别方法，包括：

S100，对目标图像进行人体检测，提取目标图像中人体所在的检测框以及人体位置坐标。

S200，利用所述人体位置坐标计算目标人体与相邻人体的第一距离；利用所述检测框面积对所述第一距离进行修正，得到目标人体与相邻人体的第二距离。所述第一距离为欧式距离。

摄像头位置是固定和已知的，拍摄的目标越大，说明目标与摄像头的距离越近。

针对现有距离度量时，没有考虑到距离摄像头近的目标大，距离摄像头远的目标小，因此我们在计算时，引入行人检测框的边长作为参照，取两个行人检测框的边长均值来修正，特别地，考虑到人被遮挡时检测框的长或宽检测不准，所以用检测框面积的开方来做修正。

目标人体与相邻人体的第二距离计算过程如下：

，

其中，d为第一距离；d₁为第二距离；即本实施例中计算的两个人的距离度量值，亦即修正后的距离；area_obj1为目标人体的检测框面积，area_obj2为相邻人体的检测框面积，分别表示图像中两个人的检测框面积，考虑到人被遮挡时检测框的长或宽检测不准，所以用检测框面积的开方来做修正，增加了鲁棒性；a为修正系数，经验值，可取2.5；表示两个人的直线距离向量，/>、/>分别表示图像中两个人的位置坐标。

如图1所示，假设obj1、obj2的实际距离=obj3、obj4的实际距离，但是由于摄像头成像原因，会造成obj3、obj4的像素距离(a)<obj1、obj2的像素距离(b)，假设a<阈值，b>阈值，但其实实际距离是一样的，就造成了不合理。同时假设只考虑与自己的检测框边长比较，比如算obj1附近有哪些人，(obj1、obj3)像素距离/(obj1边框长)<阈值，那么3在1附近；算obj3附近有哪些人，(obj3、obj1)像素距离/(obj3边框长)>阈值，那么1不在3附近。但其实是一个距离，也是不合理的。

本方法通过引入检测框修正以及使用两个人的检测框面积均值修正，可以有效规避上述问题。

S300，设定聚类参数，利用所述第二距离以及所述聚类参数对目标图像中的人体进行遍历迭代，得到聚类结果；所述聚类参数包括距离阈值和聚集人数阈值。

S301，计算当前人体与目标人体间的第二距离，若所述第二距离小于距离阈值，则判定目标人体为当前人体的邻居；

S302，根据判定结果生成目标图像中每一人体对应的邻居集合，所述邻居集合中包含该人体本身；

S303，遍历目标图像中所有人体对应的邻居集合，判断任一邻居集合中所包含的人体的数量，若该邻居集合中的人体数量小于聚集人数阈值，则将该邻居集合作为一个单独的聚类结果。对于邻居集合中的人体数量≥聚集人数阈值的集合，任选两个邻居集合，若两个邻居集合所包含相同人体的数量≥聚集人数阈值，则将两个邻居集合合并；循环执行该步骤，直至任意两个邻居集合所包含相同人体的数量均小于聚集人数阈值，则表示聚类完成，结束循环，输出聚类结果。

下面假设某监控画面中有如图3所示分布的A、B、C、D、E、F、G7个人，则判断是否发生聚集事件的步骤如下：

step1、初始化邻接表：计算行人两两之间的第二距离，这两个人的第二距离小于距离阈值则在邻接表中用“1”表示，构建邻接表，如表1所示。

表1 邻接表

邻接表在存储时以字典方式存储，如下所示：

std::map<char, std::set<char> > neighbour_table;

std::map<char, std::set<char> > cluster_merged;

neighbour_table[char('A')]= std::set<char>{'A','B','D'};

neighbour_table[char('B')]= std::set<char>{'A','B','C'};

neighbour_table[char('C')]= std::set<char>{'B','C'};

neighbour_table[char('D')]= std::set<char>{'A','D'};

neighbour_table[char('E')]= std::set<char>{'E'};

neighbour_table[char('F')]= std::set<char>{'F','G'};

neighbour_table[char('G')]= std::set<char>{'F','G'}。

step2、通过遍历迭代得到聚类结果，具体算法如图4所示。

step2.1，开始循环；

step2.2，置继续循环标志merged_on = false；

step2.3，初始化邻接表迭代器itr=neighbour_table.begin()；

step2.4，遍历邻接表；

step2.5，如果聚类表为空，则初始化cluster_merged[itr->first]=itr->second，itr++，判断邻接表是否遍历结束，结束则进入step2.10，否则返回step2.4；如果聚类表不为空，则进入step2.6；

step2.6，如果itr->second.size() >= 聚集人数阈值，则进入step2.7；否则赋值cluster_merged[itr->first]=itr->second，itr++，判断邻接表是否遍历结束，结束则进入step2.10，否则返回step2.4；

step2.7，初始化聚类表迭代器itr2 = cluster_merged.begin()；

step2.8，遍历聚类表；

step2.9，如果(itr->second)与(itr2->second)的交集 >= 聚集人数阈值,则itr2->second = (itr->second)与(itr2->second)的并集，merged_on=true，itr++,判断邻接表是否遍历结束，结束则进入step2.10，否则返回step2.4。如果(itr->second)与(itr2->second)的交集 < 聚集人数阈值，则itr2++，判断聚类表是否遍历结束，结束则进入step2.10，否则返回step2.8；

step2.10，判断merged_on是否为真；为真则赋值neighbour_table = cluster_merged；cluster_merged.clear()，返回step2.1；否则，结束循环。

S400，根据聚类结果，利用聚类簇中人体数量以及聚类簇面积计算人群密度。

人群密度指发生聚集事件的区域的人群密度。得到聚类结果后，对于人数大于阈值的聚类簇，视为发生人群聚集行为，计算人群密度。

聚集区域的人群密度用面积比表示，考虑到密度与聚集的人数量是正相关的，而大人的面积大于小孩的面积，根据多次实验，所述人群密度根据下式计算：

，

本发明提出的人群聚集识别方法，对欧式距离进行了改进，引入行人检测框的边长作为参照，取两个行人检测框的边长均值来修正，特别地，考虑到人被遮挡时检测框的长或宽检测不准，所以用检测框面积的开方来做修正，以解决监控图像中的近大远小特性造成的阈值不适用问题。并且，本发明采用了一种新的聚类算法，只有2个超参数（距离阈值、聚集人数阈值，改进传统聚类算法超参数较多，提高了鲁棒性。

基于上述实施例，本发明实施例还提供一种基于距离度量的人群聚集识别装置，如图5所示，包括：

请参阅图6，图6为本发明实施例提供的电子设备的实施例示意图。如图6所示，本发明实施例提了一种电子设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：

请参阅图7，图7为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图7所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims

1.一种基于距离度量的人群聚集识别方法，其特征在于，包括：

根据聚类结果，利用聚类簇中人体数量以及聚类簇面积计算人群密度；

其中，利用所述检测框面积对所述第一距离进行修正，包括：分别计算目标人体和相邻人体的检测框面积，然后利用两个检测框面积的均值对所述第一距离进行修正。

2.根据权利要求1所述的方法，其特征在于，所述第一距离为欧式距离。

3.根据权利要求1所述的方法，其特征在于，所述的利用两个检测框面积的均值对所述第一距离进行修正，如下式所示：

,

其中，d为第一距离，d ₁为第二距离，area _obj1为目标人体的检测框面积，area _obj2为相邻人体的检测框面积。

4.根据权利要求1所述的方法，其特征在于，所述的设定聚类参数，利用所述第二距离以及所述聚类参数对目标图像中的人体进行遍历迭代，得到聚类结果，包括以下步骤：

5.根据权利要求4所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，其特征在于，所述人群密度根据下式计算：

,

7.一种基于距离度量的人群聚集识别装置，其特征在于，包括：

人群密度计算模块，根据聚类结果，利用聚类簇中人体数量以及聚类簇面积计算人群密度；

8.一种电子设备，其特征在于，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述计算机软件程序，进而实现权利要求1-6任一项所述的一种基于距离度量的人群聚集识别方法。

9.一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如权利要求1-6任一项所述的一种基于距离度量的人群聚集识别方法。