CN115223102A - 一种基于摄像头集群的实时人群密度融合感知方法及模型 - Google Patents

Abstract

本发明涉及应急安全管理技术领域，特别涉及一种基于摄像头集群的实时人群密度融合感知方法及模型，用于解决现有视频监控系统的智能化改造成本过高或资源浪费，以及单摄像头可能会存在的人群遮挡问题。本发明充分利用现有摄像头网络的数据，通过计算机视觉方法，综合多个摄像头的图像采集信息，动态选取最少遮挡的摄像头测量所关心区域的人群密度。本发明基于摄像头集群管理、人体遮挡程度实时动态计算，实现了多摄像头数据的融合利用，以处理人群动态遮挡对计算机视觉识别的干扰问题。

Description

一种基于摄像头集群的实时人群密度融合感知方法及模型

技术领域

本发明涉及应急安全管理技术领域，特别涉及一种基于摄像头集群的实时人群密度融合感知方法及模型。

背景技术

人群密度是公共安全的关键指标之一，对其的实时测量成为了应急安全管理的重要工作内容。虽然目前存在GPS、室内定位等基于随身携带设备的人群定位方法，但是由于部署成本、隐私保护、公共人群来源复杂等原因，目前很难通过配备定位设备、安装手机定位软件等干预方式实现人群密度的实时测量。幸运的是，通常情况下，公共场所区域布置有各种摄像头，安全管理人员可以基于这些摄像头集群产生的实时或录像视频，靠肉眼观察人群的拥挤程度，进行人群安全管理。但是，这种传统方法受限于自然人的注意力和肉眼判定的精度，无法做到全天候、实时和全面的人群密度感知，所以很难及时对安全隐患进行感知，并适时对人群安全进行干预管理。近年来，随着计算机视觉技术的发展，特别是深度学习技术的进步（比如YOLO），从图像和视频中识别并分割出人体所属像素点的技术已经成熟，使得基于摄像头集群实现完全自动化的人群空间密度实时感知成为可能。

现有的视频监控技术，大部分是基于非智能摄像头，无自动图像识别、观测区域划分、人数量化统计等自动化功能。目前仅能靠肉眼定性判断人员的聚集情况。所以，要获取人群密度分布，需要添加GPS、室内定位装置等物联网设备。给人群安装主动定位设备，会涉及成本和客户意愿问题，门槛较高，无法大规模推广。另一方面，市面上也存在能够统计人数的智能摄像头，但是一方面它无法接入现有的大量非智能摄像头的图像数据，替换现有摄像头集群会造成严重的资源浪费和成本提升，另一方面智能摄像头之间也缺乏交叉验证和数据融合，容易受人体遮挡等情况的影响。

综上所述，现有视频监控系统的智能化改造成本过高或资源浪费，以及单摄像头可能会存在的人群遮挡问题。

发明内容

针对上述问题，本发明提供一种基于摄像头集群的实时人群密度融合感知方法及模型，用于解决现有视频监控系统的智能化改造成本过高或资源浪费，以及单摄像头可能会存在的人群遮挡问题。

一种基于摄像头集群的实时人群密度融合感知方法，所述方法包括：

基于摄像头集群管理，对待观测的空间多边形区域图形进行图像识别，标定摄像头视角下多边形区域；

通过计算机视觉的方法实现人体像素的识别，再通过人体像素位置与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

进一步的，将待观测的空间多边形区域的空间曲面映射到多个平面上处理；

具体做法为，将空间曲面上的每个点进行坐标变换：

，其中x、y、z为该点在空间曲面上的坐标，z_i为预设的常数，z_i代表被映射的多个平面，其中i为被映射的多个平面的数量，i为正整数；z_i用于将空间曲面进行分块处理；

将空间曲面进行分块处理后，空间内的任意一个多边形区域用两个独立指标（n_s，n_z）唯一标定，其中n_s用于在平面内对多边形区域进行编号，n_z用于对平面进行编号。

进一步的，对待观测的空间区域选取一个适合的坐标原点，建立坐标系；

测量多边形区域S_i的顶点坐标：

，其中x_n ⁱ和y_n ⁱ表示多边形区域S_i一个顶点的横坐标和纵坐标；上标i表示顶点属于第i个多边形区域，下标用于标识该区域的n个顶点，n为正整数，多边形区域S_i的顶点按顺时针方向连接；

根据多边形区域S_i的n个顶点坐标计算其面积

，其中上标i表示顶点属于第i个多边形区域，下标用于区分多边形区域S_i的顶点，并且多边形区域S_i构成闭环，即

，

。

进一步的，通过摄像头集群拍摄得到待观测的多边形区域S_i照片，人工标定观测的多边形区域的顶点，并获取多边形区域S_i的顶点在多边形区域S_i照片中的像素位置，假设共有n个摄像头，则任意一个顶点的像素坐标记为：

，其中

为第j个摄像头拍到的第i个多边形区域S_i的第k个顶点处的像素位置的横坐标和纵坐标，其中j、i和k为正整数；

如果摄像头没有拍到该多边形区域，那么令其坐标位置为：

，其中Null代表空值。

进一步的，每一拍摄时间点动态选取唯一的摄像头用于一个多边形区域的监视，具体的做法为，首先获取该区域可用摄像头列表：{C₁，C₂，C₃...}，其中C_1、C₂和C₃对应摄像头列表中的一个摄像头；

按可用摄像头列表顺序依次读取每个摄像头拍摄到的所有照片，通过图像识别算法分别获取照片中人体的长方形像素框，选取长方形像素框重叠度最小的摄像头为该多边形区域本次拍摄时间点的测量摄像头，以此完成多边形区域S_i到摄像头的对应：

，其中S_i表示第i个观测区域，C_k表示用第k个摄像头作为本次拍摄时间点长方形像素框重叠度最小的唯一的测量摄像头；

当时间进行到下一拍摄时间点，重新计算新的观测区域和摄像头的一一对应关系。

进一步的，按可用摄像头列表顺序读取摄像头拍摄到的照片，通过图像识别算法分别获取照片中人体的长方形像素框，取图片左上角的像素为原点，得到任意第i个人的长方形像素框的四个顺时针连接的顶点的像素坐标为：

，其中k表示第k个摄像头所拍到的照片，i表示人群中的任意第i个人，k和i为正整数，下标1、2、3、4表示长方形的左上角点、右上角点、右下角点和左下角点；在第k个摄像头拍到图片中，计算人体像素框的交叠次数；

计算人体像素框的交叠次数具体计算方法为，假设整张图片识别到了n_k个人，生成了n_k个人体像素框，n_k为正整数，

，其中i标识第i个人体；选取第一个人体i=1的人体像素框，依次判断它与剩余n-1个长方形像素框的重叠情况，并对重叠次数计数，记为m₁ ^k；重叠的判定条件是：

；

然后依次计算i=2到i=n的重叠数目m₂ ^k到m_n ^k，i、n和k为正整数；摄像头k所拍摄到的照片的人体重叠度定义为

；选取重叠度最小的摄像头为该多边形区域本次拍摄时间点的测量摄像头，以此完成多边形区域到摄像头的对应：

，其中S_i表示第i个观测区域，C_k表示用第k个摄像头作为本次拍摄时间点长方形像素框重叠度最小的唯一的测量摄像头。

进一步的，所述方法还包括：在中央服务器上设置时间同步服务，所有处理设备以天为单位，每天定期将自己的系统时间同步为中央服务器上的时间；

各处理设备通过网络协议从摄像头上采集到视频图像后，根据使用目的，各处理设备统一按固定的时间间隔对视频进行抽帧得到照片流，并为根据处理设备系统时间为每一张照片赋予一个时间戳t；

为了保证不同摄像头拍摄到的视频图像在所有处理设备上精确地对齐，照片的时间戳以固定时间间隔为单位进行取整，连续的时间得以离散化，离散化后时间戳t为第n次拍摄时间点t_n，即t=t_n；其中下标n表示间隔n-1个固定时间间隔后的时间，n为正整数；

固定时间间隔内拍摄到多张照片，多张照片的时间戳相同，此时处理设备随机保留其中的一张作为该时间戳的照片。

进一步的，每一个多边形区域S_i，在每一拍摄时间点，都只对应了一个摄像头的拍摄的一张照片；

通过图像识别算法，获取照片中人体的长方形像素框，取图片左上角的像素为原点，顺时针获取到该多边形区域对应摄像头所拍摄照片中人体的长方形像素框的四个顶点的坐标：

，X₁ ⁱ和Y₁ ⁱ表示长方形像素框的左上角顶点的横坐标和纵坐标，X₂ ⁱ和Y₂ ⁱ表示长方形像素框的右上角顶点，X₃ ⁱ和Y₃ ⁱ表示长方形像素框的右下角顶点，X₄ ⁱ和Y₄ ⁱ表示长方形像素框的左下角顶点，其中i表示人群中的任意第i个人；

将长方形像素框的下边界的中心点作为人体在摄像头图像中的像素位置，第i个人体的像素位置为：

；

其中Xⁱ和Yⁱ表示第i个人体的像素位置的横坐标和纵坐标。

进一步的，通过对比人体像素位置坐标和多边形区域S_i的顶点坐标之间的关系判断人体像素位置是否在多边形区域S_i内部，具体方法为：利用引射线法，从人体像素位置出发引一条射线，如果该射线与多边形区域S_i所有边的交点数目为奇数，则说明在内部，交点数目为偶数，则说明在外部；

通过判断代表人体位置的人体像素位置坐标与多边形区域S_i之间的包含关系，统计一个多边形区域S_i内的人数N_Si；初始设置N_Si=0，依次判断图像区域内的每一个人体像素位置坐标是否在多边形区域S_i内，如果在多边形区域S_i内，N_Si=N_Si+1，否则N_Si=N_Si，重复上述方法直至统计出所有多边形区域对应的人数：{N_S1，N_S2，...，N_Sn}，其中n和i为正整数。

进一步的，根据得到的多边形区域的面积、多边形区域内的人数和时间标签，离散的人群密度的计算方法为，实时的人群密度为：ρ(S_i,t_n)=N_Si(t_n)/A_Si，ρ(S_i,t_n)表示第n个拍摄时间点多边形区域S_i内的人群密度，N_Si(t_n)表示第n个拍摄时间点多边形区域S_i内的人数，A_Si为多边形区域S_i的面积。

一种基于摄像头集群的实时人群密度融合感知模型，所述模型包括：

区域管理单元，用于标记空间多边形区域并计算空间多边形区域的面积，基于摄像头集群管理，对待观测的空间多边形区域图形进行图像识别，标定摄像头视角下多边形区域；

人群统计单元，用于人群计数和人群密度计算，通过计算机视觉的方法实现人体像素的识别，再通过人体像素位置与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

进一步的，区域管理单元包括多边形区域的面积计算子单元，多边形区域的面积计算子单元具体用于：

对待观测空间区域选取一个适合的坐标原点，建立坐标系；

测量多边形区域S_i的顶点的坐标：

，其中x_n ⁱ和y_n ⁱ表示多边形区域S_i一个顶点的横坐标和纵坐标；上标i表示顶点属于第i个多边形区域，下标用于标识该区域的n个顶点，n为正整数，多边形区域S_i的顶点按顺时针方向连接；

根据多边形区域S_i的n个顶点坐标计算其面积

，其中上标i表示顶点属于第i个多边形区域，下标用于区分多边形区域S_i的顶点，并且多边形区域S_i构成闭环，即

，

。

进一步的，人群统计单元包括人群计数子单元，人群计数子单元具体用于：

统计一个多边形区域S_i内的人数N_Si；初始设置N_Si=0，依次判断图像区域内的每一个人体像素位置坐标是否在多边形区域S_i内，如果在多边形区域S_i内，N_Si=N_Si+1，否则N_Si=N_Si，直至识别到的所有人体都被处理完，重复上述方法统计出所有多边形区域对应的人数：{N_S1，N_S2，...，N_Sn}，其中n和i为正整数。

进一步的，人群统计单元包括人群密度计算子单元，人群密度计算子单元具体用于：

根据得到的多边形区域的面积、多边形区域内的人数和时间标签，离散的人群密度的计算方法为，实时的人群密度为：ρ(S_i,t_n)=N_Si(t_n)/A_Si，ρ(S_i,t_n)表示第n个拍摄时间点多边形区域S_i内的人群密度，N_Si(t_n)表示第n个拍摄时间点多边形区域S_i内的人数，A_Si为多边形区域S_i的面积。

本发明充分利用现有摄像头网络的数据，通过计算机视觉方法，综合多个摄像头的图像采集信息，动态选取最少遮挡的摄像头测量所关心区域的人群密度。

本发明系统地解决了在真实复杂环境下，基于现有摄像头集群实现人群密度的实时自动感知。

本发明充分利用现有摄像头集群实现人群密度实时感知；通过区域化分和多边形映射实现空间区域的降维和统一定位。

本发明通过计算机视觉方法实现人群个体像素感知和区域定位，并据此完成人群密度分布的全自动化处理。

本发明基于摄像头集群管理、人体遮挡程度实时动态计算，实现了多摄像头数据的融合利用，以处理人群动态遮挡对计算机视觉识别的干扰问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例种基于摄像头集群的实时人群密度融合感知方法流程图；

图2示出了本发明实施例一种基于摄像头集群的实时人群密度融合感知模型示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

人群密度是公共安全的关键指标之一，对其的实时测量成为了应急安全管理的重要工作内容。现有的视频监控技术，大部分是基于非智能摄像头，无自动图像识别、观测区域划分、人数量化统计等自动化功能。目前仅能靠肉眼定性判断人员的聚集情况。所以要获取人群密度分布，需要添加GPS、室内定位装置等物联网设备。给人群安装主动定位设备，会涉及成本和客户意愿问题，门槛较高，无法大规模推广。

现有视频监控系统的智能化改造成本过高或资源浪费，以及单摄像头可能会存在的人群遮挡问题。

本发明提出了一种基于摄像头集群的实时人群密度融合感知方法及模型，包括一种基于摄像头集群的实时人群密度融合感知方法和一种基于摄像头集群的实时人群密度融合感知模型。

本发明提出了基于摄像头集群产生的多路实时视频流感知人群密度空间分布的方法。本发明包括三个相互联系的部分。第一部分为人群空间密度的离散化方法。该方法将基于连续空间位置的人群密度标量场离散化为基于可数个二维多边形空间曲面的人群密度。第二部分为基于摄像头集群的多边形空间曲面的像素化处理。该方法基于摄像头集群管理和多边形顶点区域图形图像识别，实现在摄像头视角下，空间多边形区域的标定。第三部分为基于图形图像识别的人群位置标定。该方法首先通过计算机视觉的方法实现人体像素的识别，再通过与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

第一方面，本发明提供了一种基于摄像头集群的实时人群密度融合感知方法，所述方法包括：

基于摄像头集群管理，对空间多边形区域图形进行图像识别，标定摄像头视角下多边形区域；

通过计算机视觉的方法实现人体像素的识别，再通过与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

具体实施时，先通过摄像头集群管理获取空间内多边形区域，并计算出面积；之后识别出区域内的人群，并计算出人群密度。

本实施例中，将待观测的空间多边形区域的空间曲面映射到多个平面上处理；

具体做法为，将空间曲面上的每个点进行坐标变换：

，其中x、y、z为该点在空间曲面上的坐标，z_i为预设的常数，z_i代表被映射的多个平面，其中i为被映射的多个平面的数量，i为正整数；z_i用于将空间曲面进行分块处理；

将空间曲面进行分块处理后，空间内的任意一个多边形区域用两个独立指标（n_s，n_z）唯一标定，其中n_s用于在平面内对多边形区域进行编号，n_z用于对平面进行编号。

具体实施时，将空间曲面映射到多个平面，降低了处理维度，简化了处理逻辑，优化了处理过程，提高了处理效率。

本实施例中，根据空间区域的特点，选取一个适合的坐标原点，建立坐标系；

测量多边形区域S_i的顶点的坐标：

，其中x_n ⁱ和y_n ⁱ表示多边形区域S_i一个顶点的横坐标和纵坐标；上标i表示顶点属于第i个多边形区域，下标用于标识该区域的n个顶点，n为正整数，多边形区域S_i的顶点按顺时针方向连接；

根据多边形区域S_i的n个顶点坐标计算其面积

，其中上标i表示顶点属于第i个多边形区域，下标用于区分多边形区域S_i的顶点，并且多边形区域S_i构成闭环，即

，

。

本实施例中，通过摄像头集群拍摄得到待观测的多边形区域照片，人工标定观测的多边形区域的顶点，并获取多边形区域的顶点在多边形区域照片中的像素位置，假设共有n个摄像头，则任意一个顶点的像素坐标记为：

，其中

为第j个摄像头拍到的第i个多边形区域的第k个顶点处的像素位置的横坐标和纵坐标，其中j、i和k为正整数；

如果摄像头没有拍到该区域，那么令其坐标位置为：

，其中Null代表空值。

具体实施是，为保证识别效率，优先使用计算机视觉处理获取标志型物体或人体在摄像头集群中的像素位置，在计算机视觉处理不了的情况再考虑使用人工肉眼识别。

本实施例中，每一拍摄时间点动态选取唯一的摄像头用于一个多边形区域的监视，具体的做法为，首先获取该区域可用摄像头列表：{C₁，C₂，C₃...}，其中C_1、C₂和C₃对应摄像头列表中的一个摄像头；

按可用摄像头列表顺序依次读取每个摄像头拍摄到的所有照片，通过图像识别算法分别获取照片中人体的长方形像素框，选取长方形像素框重叠度最小的摄像头为该多边形区域本次拍摄时间点的测量摄像头，以此完成多边形区域到摄像头的对应：

，其中S_i表示第i个观测区域，C_k表示用第k个摄像头作为本次拍摄时间点唯一的测量摄像头；

当时间进行到下一拍摄时间点，重新计算新的观测区域和摄像头的一一对应关系。

本实施例中，按可用摄像头列表顺序读取摄像头拍摄到的照片，通过图像识别算法分别获取照片中人体的长方形像素框，取图片左上角的像素为原点，得到任意第i个人的长方形像素框的四个顺时针连接的顶点的像素坐标为：

，其中k表示第k个摄像头所拍到的照片，i表示人群中的任意第i个人，k和i为正整数，下标1、2、3、4表示长方形的左上角点、右上角点、右下角点和左下角点；在第k个摄像头拍到图片中，计算人体像素框的交叠次数；

计算人体像素框的交叠次数具体计算方法为，假设整张图片识别到了n_k个人，生成了n_k个人体像素框，n_k为正整数，

，其中i标识第i个人；选取第一个人i=1的人体像素框，依次判断它与剩余n-1个长方形像素框的重叠情况，并对重叠次数计数，记为m₁ ^k；重叠的判定条件是：

；

然后依次计算i=2到i=n的重叠数目m₂ ^k到m_n ^k，i、n和k为正整数；摄像头k所拍摄到的照片的人体重叠度定义为

；选取重叠度最小的摄像头为该多边形区域本次拍摄时间点的测量摄像头，以此完成多边形区域到摄像头的对应：

，C_k表示用第k个摄像头作为本次拍摄时间点长方形像素框重叠度最小的唯一的测量摄像头。

具体实施时，由于两个长方形像素框不重叠的情况只有四种：一个长方形在另一个长方形的上、下、左、右方。这可以通过顶点坐标的大小逻辑关系判定，第i和j个长方形像素框不重叠的逻辑判定为：

，如果此式不成立则两个长方形像素框重叠。所以重叠的判定条件是：

。

本实施例中，在中央服务器上设置时间同步服务，所有处理设备以天为单位，每天定期将自己的系统时间同步为中央服务器上的时间；

各处理设备通过网络协议从摄像头上采集到视频图像后，根据使用目的，各处理设备统一按固定的时间间隔对视频进行抽帧得到照片流，并为根据处理设备系统时间为每一张照片赋予一个时间戳t；

为了保证不同摄像头拍摄到的视频图像在所有处理设备上精确地对齐，照片的时间戳以固定时间间隔为单位进行取整，连续的时间得以离散化：t=t_n；其中下标n表示间隔n-1个固定时间间隔后的时间，n为正整数；

固定时间间隔内拍摄到多张照片，多张照片的时间戳相同，此时处理设备随机保留其中的一张作为该时间戳的照片。

本实施例中，每一个多边形区域，在每一拍摄时间点，都只对应了一个摄像头的拍摄的一张照片；

通过图像识别算法，获取照片中人体的长方形像素框，取图片左上角的像素为原点，顺时针获取到该多边形区域对应摄像头所拍摄照片中人体的长方形像素框的四个顶点的坐标：

，X₁ ⁱ和Y₁ ⁱ表示长方形像素框的左上角顶点的横坐标和纵坐标，X₂ ⁱ和Y₂ ⁱ表示长方形像素框的右上角顶点，X₃ ⁱ和Y₃ ⁱ表示长方形像素框的右下角顶点，X₄ ⁱ和Y₄ ⁱ表示长方形像素框的左下角顶点，其中i表示人群中的任意第i个人；

将像素框的长方形的下边界的中心点作为人体在摄像头图像中的像素位置，第i个人的像素位置为：

；

其中Xⁱ和Yⁱ表示第i个人体的像素位置的横坐标和纵坐标。

本实施例中，通过对比人体像素位置坐标和多边形区域的顶点坐标之间的关系判断人体像素位置是否在多边形区域S_i内部，具体方法为：利用引射线法，从人体所在像素点出发引一条射线，如果该射线与多边形所有边的交点数目为奇数，则说明在内部，交点数目为偶数，则说明在外部；

通过判断代表人体位置的像素点与代表空间区域的多边形之间的包含关系，统计一个特定多边形区域S_i内的人数N_Si；

具体做法为设置N_Si=0，依次判断图像区域内的每一个人体像素位置坐标是否在多边形区域S_i内，如果在多边形区域S_i内，N_Si=N_Si+1，否则N_Si=N_Si，重复上述方法直至统计出所有多边形区域对应的人数：{N_S1，N_S2，...，N_Sn}，其中n和i为正整数。

本实施例中，根据得到的多边形区域的面积、多边形区域内的人数和时间标签，离散的人群密度的计算方法为，实时的人群密度为：ρ(S_i,t_n)=N_Si(t_n)/A_Si，ρ(S_i,t_n)表示第n个拍摄时间点多边形区域S_i内的人群密度，N_Si(t_n)表示第n个拍摄时间点多边形区域S_i内的人数，A_Si为多边形区域S_i的面积。

第二方面，本发明提供了一种基于摄像头集群的实时人群密度融合感知模型，所述模型包括：

区域管理单元，用于标记空间多边形区域并计算空间多边形区域的面积，基于摄像头集群管理，对空间多边形区域图形进行图像识别，标定摄像头视角下多边形区域；

人群统计单元，用于人群计数和人群密度计算，通过计算机视觉的方法实现人体像素的识别，再通过与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

具体实施时，本发明一种基于摄像头集群的实时人群密度融合感知模型与一种基于摄像头集群的实时人群密度融合感知方法的实现方式一一对应，在此就不赘述。

为使本领域的技术人员能更好的理解本发明，结合附图对本发明的原理阐述如下：

本发明通过以下步骤实现：

1、人群密度分布的离散化处理，

人群密度的定义：

在三维空间中，人群密度分布ρ(x,y,z)用于表征在空间位置点(x,y,z)处附近，人群的拥挤程度。它定义为：

(1.1)；

其中dV表示空间点(x,y,z)附近区域的体积，dN表示dV体积内的行人数目。

人群密度的离散化：

由于行人通常是被限制在空间曲面S之上，所以我们可以把空间体分布用面分布代替，将人群密度分布定义为：

(1.2)；

其中dAs表示，在空间曲面S之上位置点ρ(x,y,z)的邻域面积，dNs表示dS面积内的行人数目。为了简化处理，我们进一步可以将人群密度面分布进行离散化处理。具体做法为，首先曲面S进行离散化，将其视为n个多边形区域的联合：

(1.3)；

于是上式被离散为：

(1.4)；

其中，ρ(S_i)表示多边形区域S_i内的人群密度，N_Si为多边形区域S_i内的人数，A_Si为多边形区域S_i的面积。曲面到多个平面的映射：

为了方便处理，进一步可将行人可达的空间曲面映射到多个平面上处理。具体做法为，将空间曲面S的上的每个点进行坐标变换：

(1.5)；

其中z_i为预设的常数。z_i用于将空间曲面进行分块处理，比如n层楼房的行人行走表面，可以分为楼面、楼梯面等，这些分块面的z_i坐标以公式（1.6）表示为：z_i=i，把第i个分块空间曲面的z坐标全部映射为数字i。这样处理后，空间内的任意一个多边形区域可以用两个独立指标唯一标定，两个独立指标以公式（1.7）表示为：（n_s，n_z）。其中n_s用于在平面内对多边形区域进行编号，n_z用于对平面进行编号。

2、多边形区域的面积计算：

建立坐标系：

根据空间区域的特点，选取一个适合的坐标原点。测量多边形区域的顶点的坐标：

(1.8)；

其中其中上标i表示其属于第i个多边形区域，下标用于标识该区域的n个顶点，多边形区域的顶点按顺时针方向连接。

计算多边形区域的面积：

(1.9)；

其中上标i表示其属于第i个多边形，下标用于区分顶点，并且

，

；

3、利用摄像头集群获取多边形区域内的人数：

多边形顶点在摄像头集群中的像素坐标位置获取：

在真实空间中多边形顶点所在位置，布置标志型物体或人体。通过摄像头集群拍照，可以获得标志型物体或人体在摄像头集群的图像。 然后利用人工肉眼标识的方法可以获取标志型物体或人体在摄像头集群（共n个摄像头）中的像素位置：

(1.10)；

其中

为第j个摄像头拍到的第i个多边形区域的第k个顶点处标志物的像素的横坐标X和纵坐标Y位置。如果摄像头没有拍到该区域，那么令其坐标位置为：

(1.11)；

其中Null表示为空。人工肉眼标识的方法。首先利用图像显示软件显示摄像头集群所拍摄的图片集，然后根据关心的观测区域，通过肉眼识别图片中的多边形顶点所在位置，并用鼠标标定和获取该位置处的像素位置。

多边形区域监视摄像头的空间和时间管理，

由于同一区域可能被多个摄像头检测到，同时分布各处的摄像头的系统时间可能并未被校准，所以需要对摄像头集群进行空间和时间上的管理。

为了解决同一区域对应多个摄像头，同时不同摄像头人体之间的遮挡情况不一致且动态变化的问题，每一拍摄时间点只选取唯一的摄像头用于该区域多边形区域的监视。具体的做法为，首先获取该区域可用摄像头列表：

{C₁，C₂，C₃...}(1.12)；

由于摄像头在布置时可能会存在大量冗余，为了减少计算量和节约资源，会事先人工根据摄像头的拍摄方位，选取少量几个不同互补视角的摄像头组成可用摄像头列表，摄像头的数目一般会限制在3个以内。

按可用摄像头列表顺序读取摄像头拍摄到的照片，通过图像识别算法（如YOLOv5m），分别获取照片中人体的长方形像素框，取图片左上角的像素为原点，得到任意第i个人的长方形像素框的四个顺时针连接的顶点的像素坐标为：

，其中k表示第k个摄像头所拍到的照片，i表示人群中的任意第i个人，下标1、2、3、4表示长方形的左上角点、右上角点、右下角点和左下角点。在第k个摄像头拍到图片中，计算人体像素框的交叠次数。具体计算方法为，假设整张图片识别到了n_k个人，生成了n_k个人体像素框

，其中i标识第i个人。选取第一个人i=1的人体像素框，依次判断它与剩余n-1个长方形像素框的重叠情况，并对重叠次数计数，记为m₁ ^k。由于两个长方形像素框不重叠的情况只有四种：一个长方形在另一个长方形的上、下、左、右方。这可以通过顶点坐标的大小逻辑关系判定，第i和j个长方形像素框不重叠的逻辑判定为：

，如果此式不成立则两个长方形像素框重叠。所以重叠的判定条件是：

(1.13)。

然后依次计算i=2到i=n的重叠数目m₂ ^k到m_n ^k。那么摄像头k所拍摄到的照片的人体重叠度定义为

。选取重叠度最小的摄像头为该多边形区域本次拍摄时间点的测量摄像头，以此完成多边形区域到摄像头的对应：

(1.14)；

其中S_i表示第i个观测区域，C_k表示用第k个摄像头作为本次拍摄时间点唯一的测量摄像头。当时间进行到下一拍摄时间点，重复上述步骤，重新计算新的观测区域和摄像头的一一对应关系。

为了解决不同摄像头时间的校准问题，在中央服务器上会设置时间同步服务。所有其它处理设备以天为单位，定期（比如凌晨12点整）将自己的系统时间同步为中央服务器上的时间。各设备通过网络协议从摄像头上采集到视频图像后，根据使用目的，各设备统一按固定的时间间隔（比如1秒）对视频进行抽帧得到照片流，并为根据设备系统时间为每一张照片赋予一个时间戳t。为了保证不同摄像头拍摄到的视频图像在所有处理设备上都可以精确地对齐，照片的时间戳会以固定时间间隔（比如秒）为单位进行取整，连续的时间得以离散化，以公式（1.15）表示为：t=t_n。如果固定时间间隔内拍摄到多张照片，这些照片的时间戳将完全一致，此时设备将随机保留其中的一张作为该时间戳的照片。

获取人体在摄像头图像中的像素位置，

经过上述步骤处理后，每一个多边形区域，在每一拍摄时间点，都只对应了一个摄像头的拍摄的一张照片。并且已经获取了照片中人体的长方形像素框，它的四个顺时针连接的顶点的像素坐标为（取图片左上角的像素为原点）：

（1.16）；

其中i表示人群中的任意第i个人。

将像素框的长方形的下边界的中心点作为人体在摄像头图像中的像素位置，第i个人的像素位置为：

（1.17）；

统计各个多边形区域内的人数，

通过对比以公式（1.16）表示的人体像素位置坐标和以公式（1.17）表示的多边形区域的顶点坐标之间的关系，利用引射线法，从人体所在像素点出发引一条射线，如果该射线与多边形所有边的交点数目为奇数，则说明在内部，交点数目为偶数，则说明在外部。

通过判断代表人体位置的像素点与代表空间区域的多边形之间的包含关系，可以统计一个特定多边形区域S_i内的人数N_Si。具体做法为设置N_Si=0，依次判断图像区域内的每一个人体像素位置坐标是否在多边形区域S_i内，如果在N_Si内，N_Si=N_Si+1，否则N_Si=N_Si，直至识别到的所有人体都被处理完。重复上述方法，可以统计出所有多边形区域对应的人数：

{N_S1，N_S2，...，N_Sn}（1.18）；

4、计算实时人群密度，

离散的人群密度的计算方法为公式（1.4），其中多边形面积由上述公式（1.9）提供，多边形区域内的人数由上述公式（1.18）提供，加上上述公式（1.14）获得的摄像头和时间标签，实时的人群密度为：

（1.19）；

下面以火车站进站大厅为例，结合附图对本发明作进一步详细地说明，但不应理解为是对本发明保护内容的任何限定。

总的实施流程图如图1所示，根据火车站三维空间特点，按楼层、楼梯将进站大厅的三维空间，切分为多个空间曲面，每一层楼对应一个曲面。并将曲面上每个点的Z轴坐标按上述方式进行平面化处理。每一个平面会分配一个标识符号

。

如图2所示，区域管理单元，用于标记空间多边形区域并计算空间多边形区域的面积，基于摄像头集群管理，对多边形区域图形进行人工标识，标定摄像头视角下多边形区域；

人群统计单元，用于人群计数和人群密度计算，通过计算机视觉的方法实现人体像素的识别，再通过人体像素位置与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

根据火车站管理人员的需求，将每个平面切分为若干个多边形区域。每个多边形区域由多个顺时针连接的平面空间点构成，其中上标z用于标定其所属的平面。另外，需要根据实地情况选取空间的坐标原点和坐标系，比如选取底楼的最左上角为坐标原点。坐标轴的选取

（1.20）；

计算多边形区域的面积

（1.21）；

如果是楼梯等倾斜度较大的曲面，对其平面面积进行修正

（1.22）；

其中θ为楼梯的倾角。

通过空间上管理摄像头集群，考察它们的拍摄范围，为每一个多边形区域建立一个摄像头可用列表{C₁，C₂，C₃...}；

轮询摄像头列表，通过网络协议抓取各摄像头的视频流分配给该区域。

根据需要，按固定的时间间隔，比如1秒，从视频流中抽取图像，形成实时的图片流。将图片流导入到计算机视觉处理模块，通过计算机视觉（YoLOv5）识别图片中所有的人体，并通过动态遮挡计算，找到最小遮挡的摄像头图片，通过时间上管理摄像头集群，完成跨设备的时间同步和离散化，为图片打上时间戳，具体过程参见公式（1.14）部分。

利用公式（1.17）相关的方法，统计每个区域的人数，再利用公式（1.18）计算实时的人群密度分布。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，所述方法包括：

基于摄像头集群管理，对待观测的空间多边形区域图形进行图像识别，标定摄像头视角下多边形区域；

通过计算机视觉的方法实现人体像素的识别，再通过人体像素位置与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

2.根据权利要求1所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述标定摄像头视角下多边形区域，包括：将待观测的空间多边形区域的空间曲面映射到多个平面上处理，

具体做法为，将空间曲面上的每个点进行坐标变换：

，其中x、y、z为该点在空间曲面上的坐标，z_i代表被映射的多个平面，其中i为被映射的多个平面的数量，i为正整数；z_i用于将空间曲面进行分块处理；

将空间曲面进行分块处理后，空间内的任意一个多边形区域用两个独立指标（n_s，n_z）唯一标定，其中n_s用于在平面内对多边形区域进行编号，n_z用于对平面进行编号。

3.根据权利要求2所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述标定摄像头视角下多边形区域，还包括：对待观测的空间区域选取一个适合的坐标原点，建立坐标系；

测量多边形区域S_i的顶点坐标：

，其中x_n ⁱ和y_n ⁱ表示多边形区域S_i一个顶点的横坐标和纵坐标；上标i表示顶点属于第i个多边形区域，下标用于标识该区域的n个顶点，n为正整数，多边形区域S_i的顶点按顺时针方向连接；

根据多边形区域S_i的n个顶点坐标计算其面积

，其中多边形区域S_i构成闭环，即

，

。

4.根据权利要求3所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述标定摄像头视角下多边形区域，还包括：通过摄像头集群拍摄得到待观测的多边形区域S_i照片，标定出观测的多边形区域的顶点，并获取多边形区域S_i的顶点在多边形区域S_i照片中的像素位置；假设共有n个摄像头，则任意一个顶点的像素坐标记为：

，其中

为第j个摄像头拍到的第i个多边形区域S_i的第k个顶点处的像素位置的横坐标和纵坐标，其中j、i和k为正整数；

如果摄像头没有拍到该多边形区域，那么令其坐标位置为：

，其中Null代表空值。

5.根据权利要求3所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

每一拍摄时间点动态选取唯一的摄像头用于一个多边形区域S_i的监视，具体的做法为，首先获取该区域可用摄像头列表：{C₁，C₂，C₃...}，其中C_1、C₂和C₃对应摄像头列表中的一个摄像头；

按可用摄像头列表顺序依次读取每个摄像头拍摄到的所有照片，通过图像识别算法分别获取照片中人体的长方形像素框，选取长方形像素框重叠度最小的摄像头为该多边形区域S_i本次拍摄时间点的测量摄像头，以此完成多边形区域S_i到摄像头的对应：

，其中S_i表示第i个观测区域，C_k表示用第k个摄像头作为本次拍摄时间点的长方形像素框重叠度最小的唯一的测量摄像头；

当时间进行到下一拍摄时间点，重新计算新的观测区域和摄像头的一一对应关系。

6.根据权利要求5所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述选取长方形像素框重叠度最小的摄像头，包括：按可用摄像头列表顺序读取摄像头拍摄到的照片，通过图像识别算法分别获取照片中人体的长方形像素框，取图片左上角的像素为原点，得到任意第i个人体的长方形像素框的四个顺时针连接的顶点的像素坐标为：

，其中k表示第k个摄像头所拍到的照片，i表示人群中的任意第i个人体，k和i为正整数，下标1、2、3、4表示长方形的左上角点、右上角点、右下角点和左下角点；

在第k个摄像头拍到图片中，计算人体像素框的交叠次数；计算人体像素框的交叠次数具体计算方法为，假设整张图片识别到了n_k个人体，生成了n_k个人体的长方形像素框，n_k为正整数，

，其中上标i代表第i个人体；选取第一个人体i=1的长方形像素框，依次判断i=1的长方形像素框与剩余n-1个长方形像素框的重叠情况，并对重叠次数计数，交叠次数记为m₁ ^k；重叠的判定条件是：

；

然后依次计算i=2到i=n的重叠数目m₂ ^k到m_n ^k，i、n和k为正整数；摄像头k所拍摄到的照片的人体重叠度定义为交叠次数的求和，即

；选取重叠度最小的摄像头为该多边形区域S_i本次拍摄时间点的测量摄像头，以此完成多边形区域到摄像头的对应：

，C_k表示用第k个摄像头作为本次拍摄时间点长方形像素框重叠度最小的唯一的测量摄像头。

7.根据权利要求1-6中任意一项所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述方法还包括：在中央服务器上设置时间同步服务，所有处理设备每天将处理设备的系统时间同步为中央服务器上的时间；

各处理设备通过网络协议从摄像头上采集到视频图像后，各处理设备统一按固定的时间间隔对视频进行抽帧得到照片流，并为根据处理设备系统时间为每一张照片赋予一个时间戳t；

每一张照片的时间戳t以固定时间间隔为单位进行取整，连续的时间得以离散化，时间戳t离散化后为第n次拍摄时间点t_n，即t=t_n，n为正整数；

固定时间间隔内拍摄到多张照片，多张照片的时间戳相同，此时处理设备随机保留其中的一张作为该时间戳的照片。

8.根据权利要求7所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述通过计算机视觉的方法实现人体像素的识别，包括：每一个多边形区域S_i，在每一拍摄时间点，都只对应了一个摄像头的拍摄的一张照片；

通过图像识别算法，获取照片中人体的长方形像素框，取图片左上角的像素为原点，顺时针获取到该多边形区域对应摄像头所拍摄照片中人体的长方形像素框的四个顶点的坐标：

，X₁ ⁱ和Y₁ ⁱ表示长方形像素框的左上角顶点的横坐标和纵坐标，X₂ ⁱ和Y₂ ⁱ表示长方形像素框的右上角顶点，X₃ ⁱ和Y₃ ⁱ表示长方形像素框的右下角顶点，X₄ ⁱ和Y₄ ⁱ表示长方形像素框的左下角顶点，其中i表示人群中的任意第i个人体；

将长方形像素框的下边界的中心点作为人体在摄像头图像中的像素位置，第i个人体的像素位置为：

；

其中Xⁱ和Yⁱ表示第i个人体的像素位置的横坐标和纵坐标。

9.根据权利要求8所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述通过人体像素位置与多边形区域进行对比，完成多边形区域的人群计数，包括：通过对比人体像素位置坐标和多边形区域S_i的顶点坐标之间的关系判断人体像素位置是否在多边形区域S_i内部，具体方法为：利用引射线法，从人体像素位置出发引一条射线，如果该射线与多边形区域S_i所有边的交点数目为奇数，则说明在多边形区域S_i内部，交点数目为偶数，则说明在多边形区域S_i外部；

通过判断人体像素位置坐标与多边形区域S_i之间的包含关系，统计一个多边形区域S_i内的人数N_Si；初始设置N_Si=0，依次判断图像区域内的每一个人体像素位置坐标是否在多边形区域S_i内，如果在多边形区域S_i内，N_Si=N_Si+1，否则N_Si=N_Si，统计出所有多边形区域对应的人数：{N_S1，N_S2，...，N_Sn}，其中n和i为正整数。

10.根据权利要求9所述的一种基于摄像头集群的实时人群密度融合感知方法，其特征在于，

所述人群密度计算，包括：根据得到的多边形区域的面积、多边形区域内的人数和时间标签，离散的人群密度的计算方法为：ρ(S_i,t_n)=N_Si(t_n)/A_Si，ρ(S_i,t_n)表示第n个拍摄时间点多边形区域S_i内的人群密度，N_Si(t_n)表示第n个拍摄时间点多边形区域S_i内的人数，A_Si为多边形区域S_i的面积。

11.一种基于摄像头集群的实时人群密度融合感知模型，其特征在于，所述模型包括：

区域管理单元，用于通过摄像头集群管理，对待观测的空间多边形区域图形进行图像识别，实现在摄像头视角下多边形区域的标定；

人群统计单元，用于人群计数和人群密度计算，通过计算机视觉的方法实现人体像素的识别，再通过人体像素位置与多边形区域进行对比，完成多边形区域的人群计数和人群密度计算。

12.根据权利要求11所述的一种基于摄像头集群的实时人群密度融合感知模型，其特征在于，

区域管理单元包括多边形区域的面积计算子单元，多边形区域的面积计算子单元具体用于：

对待观测空间区域选取一个适合的坐标原点，建立坐标系；

测量多边形区域S_i的顶点的坐标：

，其中x_n ⁱ和y_n ⁱ表示多边形区域S_i一个顶点的横坐标和纵坐标；上标i表示顶点属于第i个多边形区域，下标用于标识该区域的n个顶点，n为正整数，多边形区域S_i的顶点按顺时针方向连接；

根据多边形区域S_i的n个顶点坐标计算其面积

，其中多边形区域S_i构成闭环，即

，

。

13.根据权利要求11所述的一种基于摄像头集群的实时人群密度融合感知模型，其特征在于，

人群统计单元包括人群计数子单元，人群计数子单元具体用于：

统计一个多边形区域S_i内的人数N_Si；初始设置N_Si=0，依次判断图像区域内的每一个人体像素位置坐标是否在多边形区域S_i内，如果在多边形区域S_i内，N_Si=N_Si+1，否则N_Si=N_Si，直至识别到的所有人体都被处理完，重复上述方法统计出所有多边形区域对应的人数：{N_S1，N_S2，...，N_Sn}，其中n和i为正整数。

14.根据权利要求13所述的一种基于摄像头集群的实时人群密度融合感知模型，其特征在于，

人群统计单元包括人群密度计算子单元，人群密度计算子单元具体用于：

根据得到的多边形区域的面积、多边形区域内的人数和时间标签，离散的人群密度的计算方法为，实时的人群密度为：ρ(S_i,t_n)=N_Si(t_n)/A_Si，ρ(S_i,t_n)表示第n个拍摄时间点多边形区域S_i内的人群密度，N_Si(t_n)表示第n个拍摄时间点多边形区域S_i内的人数，A_Si为多边形区域S_i的面积。

Images