CN113255481B - 一种基于无人巡逻车的人群状态检测方法 - Google Patents

Abstract

本发明提出一种基于无人巡逻车的人群状态检测方法，该方法首先通过欧氏聚类方法在点云空间中对目标物进行聚类识别；然后选用深度学习YOLOv4作为图像目标检测的基础框架，进而获取三维空间行人的坐标；最后根据三维空间行人密度计算方法和行人最小间距计算方法计算人群密度以及行人间距，对密度或间距超过阈值的情况进行报警并疏散人群。本发明该方法通过融合激光雷达和视觉传感器的数据实现对巡逻工作环境中行人的检测，并基于融合检测数据构建行人模型、分析工作环境内人群密度，完成对人群密集状态的感知。

Description

一种基于无人巡逻车的人群状态检测方法

技术领域

本发明属于自动驾驶/智能感知技术领域，具体涉及一种基于无人巡逻车的人群状态检测方法。

背景技术

随着无人车技术迅速发展，对解决能源短缺、提高驾驶安全性有重要意义。因此，近年来国内外掀起对无人车技术研究的热潮。然而，无人车技术目前真正落地实现难度较高，但在特定场景以及限速的情况可为无人车研究找到新的突破口。无人巡逻车具有低速率、巡逻区域固定等点，是无人车技术落地应用的最佳选择之一。无人巡逻车作为无人车技术与智能安防技术的重要结合，极大程度地弥补了传统安保模式的不足，可有效避免巡逻死角并代替安保人员进行一些高风险、高重复性的工作，减少人力成本的同时提升了安防工作的安全性。无人巡逻车为疫情防控提出了新的解决方案，其在减少高昂的人力巡检成本、降低安保人员的感染风险等方面具有巨大的潜能。

根据无人巡逻车的应用现状的研究，无人巡逻车主要具有自动巡逻、环境感知、信息交互等多种功能。其中，感知功能作为无人巡逻车的基础功能，对于促进巡逻车完成巡逻任务，保障巡逻环境安全意义重大，近年来已逐渐成为研究热点。巡逻车环境感知技术是通过各类传感器采集外部环境数据，再通过数据处理、分析提取环境中的有效信息，最后建立模型以表达环境信息。目前常用的传感器有摄像机、红外相机、激光雷达、毫米波雷达、惯性传感器等。对环境中的物体进行目标识别是巡逻车环境感知的重要功能，根据传感器采集数据信息的差异，目标检测技术主要分为三种：基于图像数据的目标识别、基于点云数据的目标识别、基于多传感器信息融合的目标识别。

相关技术

1无人巡逻车技术

无人巡逻车技术是一种依托于自动驾驶技术使汽车或机器人通过人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让无人巡逻车可以在没有任何人类主动的操作下，在特定区域内通过现代传感器自动安全地操作机动车辆或机器人实现相关功能。

2目标识别技术

目标识别技术是利用传感器通过计算机分析对目标进行辨认的技术，通过对雷达回波中的幅度、相位、频谱和极化等信息或对视频流中像素信息的分析，在数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决，进而对目标分类和识别。

3异常检测技术

异常检测技术是采用现代传感器对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别，并分析当前状态与标准状态的差异。通常情况下，该技术通过监督式、半监督式或无监督式学习完成对异常数据的定位与分析，可应用于入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等各种领域。

现有技术不足

1对于检测场景，现有研究多为固定场景下的检测技术，无法满足无人巡逻车动态形式过程中识别的需求，缺少针对特定场景下无人巡逻车的人群状态识别方法和系统。

2对于检测算法能力，当前算法虽然可以通过结合多传感器融合的方法进行目标的识别，但是行人的点云数据具有反射率高的特点，无法快速、准确的识别人群状态。

3对于检测方法的有效性，由于当前算法主要通过二维化行人的坐标以检测所在位置，缺少三维空间内的数据量，导致数据准确度确实的问题，需要对三维空间行人密集度的检测方法。

发明内容

针对以上三个相关技术的不足，本发明充分利用多传感器信息融合的优势，提出基于点云数据与图像数据融合的目标检测方法。本发明具体采用如下技术方案：

该方法包括如下步骤：

步骤1：定义行人定位算法总体结构

1.1)对激光雷达与相机的联合标定，确定点云空间与像素平面的刚体变换、投影透视、平移转换的关系；

1.2)分别对点云数据与图像数据进行目标检测，利用点云滤波与聚类分割算法对输入的点云数据进行目标聚类，获取点云数据中的目标聚类框尺度、空间中心点坐标信息；

1.3)利用深度学习YOLOv4算法对输入的图像进行行人目标检测，利用Deep SORT算法对前后帧的行人检测框进行匹配，获取图像中的行人检测框尺度、像素中心点坐标等信息，实现行人目标的实时跟踪；

1.4)对点云的聚类检测结果与图像的行人识别结果进行融合，将点云聚类结果投影到二维图像平面上，计算点云二维投影框与行人目标检测框的交并比，完成匹配；

1.5)输出三维空间的行人目标识别结果，再根据融合后的检测框是否被匹配，筛选出置信度较高的融合结果进行输出；

步骤2：激光雷达和相机联合标定

通过对激光雷达和相机联合标定，获得点云空间与像素平面的坐标转换关系，找到同一时刻内，点云数据的每个点和图像中相应像素的位置；

步骤3：点云数据预处理

在初始状态下，选取巡逻车头正方向，地面平面拟合模型表示：

ax+by+cz+d＝0

其中，a、b、c分别表示垂直于x、y、z平面的法向量；d为坐标原点到平面的正交投影距离；

步骤4：点云聚类检测

4.1)初始化：创建三维的kd-tree；

4.2)在点云空间P中随机选取一个点p_i，p_i＝(x_i,y_i,z_i)^T，使用kd-tree算法搜索其近邻点P_n＝{p_j,j＝1,2,...,n}，计算三维点p_i和p_j之间的欧氏距离：

/>

4.3)当D_ij＜Eps，将对应的p_j划分成一个聚类点云集Q；

4.4)在聚类点云集Q中随机选取一个点p_i1，重复步骤1)，在Eps范围内的点划分到聚类点云集Q；

4.5)搜索完所有的点，直到没有点可以划入聚类点云集Q；

4.6)检测聚类点云集Q里的点云数量，如果点云数量大于聚类点最小数目MinPts且小于聚类点最大数目MaxPts，则该聚类点云集有效，构成一个聚类结果；

通过欧氏聚类算法对巡逻环境中扫描到的目标物进行聚类，将被检测目标物体分别用三维包围框的形式进行输出，从中提取出被检测目标物体的空间位置信息和长宽高尺度信息；

步骤5：融合匹配方法

5.1)输入一帧包含m个三维检测框的点云数据、一帧包含n个行人目标识别框的图像数据；

5.2)选取第i个三维检测框，第j个行人目标识别框，参数i和j的初始值设为1；

5.3)将第i个三维检测框的点云投影至图像上，生成二维包围框ii；

5.4)计算二维包围框ii与第j个行人目标识别框之间的交并比，并定义为变量IoU，其计算公式为：

union＝S_ii+S_j-intersetion

其中，intersection表示两个二维框之间的交集，union表示两个二维框之间的并集；二维包围框ii左上角坐标为

右下角坐标为/>

第j个行人目标识别框左上角坐标为/>

右下角坐标为/>

5.5)判断IoU是否大于融合阈值，如果IoU大于融合阈值，则更新融合目标标签为第j个行人目标识别框的标签；如果IoU小于融合阈值，则进一步判断是否还有未匹配的目标识别框。如果有未匹配的目标识别框，则进入步骤5.2)，如果没有未匹配的目标识别框，则更新融合目标标签为“未知”；

5.6)判断是否所有的三维检测框都进行了融合检测，若是，则输出融合后的行人三维检测框；否则，继续检测下一个三维检测框；

5.7)对融合的结果进行输出。筛选出行人目标融合置信度较高的结果进行输出。

步骤6:基于深度学习的人群密度检测

6.1)人群密集度监测

以巡逻车辆为形心，绘制半径为3米的圆形探测框，统计探测框内的行人数量并计算人群密集度ρ_peds，其计算公式如下：

其中，N_peds为探测框内的行人数量；S_det表示探测框面积；

6.2)行人间距分析

算法输入融合检测得到的行人目标，提取每个行人目标的形心坐标，构建一个三维的kd-tree，通过遍历计算得到每个行人距离最近行人的欧氏距离；

6.3)行人聚集状况预警

根据实际测试选取人群密度阈值为0.5，当人群密度低于0.5时，人群状态将视为稀疏，当人群密度大于0.5时，人群密度将视为稠密；

根据对不同人群状态感知状况，将人群状况划分为四种预警模式，预警级别从低到高依次为蓝色预警、黄色预警、橙色预警以及红色预警；

稀疏状态下，若最小间距与平均间距均大于1，不存在预警措施；

若最小间距小于1，无论最小间距平均值为多少，启动蓝色预警，说明人群存在部分聚集，语音提醒注意出行安全；

稠密状态下，若最小间距与平均间距均大于1，则不存在人群聚集，启动黄色预警与语音提醒；若最小间距小于1而最小间距平均值大于1，则说明存在部分聚集，启动橙色预警与语音提醒；若最小间距小于1且最小间距平均值小于1，启动最高级别红色预警，语音疏散人群。

优选的，所述步骤2中激光雷达和相机联合标定具体步骤为：

1)点云数据中标定板的特征点提取

激光雷达坐标系描述物体以激光雷达为原点的相对位置，激光雷达坐标系中的点坐标表示为(X_L,Y_L,Z_L)，在点云数据可视化软件PolyWorks中截取出棋格图标定板反射的点云区域作为点云感兴趣区域，然后对其余位置的点云进行滤除处理，对点云ROI区域进行最大化矩形拟合，通过拟合得到的矩形为棋格图标定板在点云空间的特征矩形，选取矩形的四个角和中心点作为点云数据的特征点；

2)图像数据中标定板的特征点提取

相机坐标系描述物体以相机光心为原点的相对位置，物体坐标表示为(X_C,Y_C,Z_C)；像素坐标系描述以图像左上角为原点，u轴水平向右，v轴竖直向下，某一点在图像中的像素坐标表示为(u,v)，从像素坐标系转换为相机坐标系，用相机内参矩阵A表示：

其中，f_x和f_y为x、y方向的焦距，单位为像素；c_x和c_y为图像的中心坐标。

通过张正友标定法得到像素坐标系和相机坐标系的转换关系，表示为：

其中，s为缩放因子；

3)激光雷达与相机的坐标变换

激光雷达和相机的外参标定关系为：

T＝[t₁ t₂ t₃]^T

通过提取点云数据和图像数据中相对应的特征点数据，求得旋转向量R和平移向量T；

点云空间的三维点从激光雷达坐标系变换到相机坐标系，最后投影到像素坐标系并成像显示，完成点云数据与图像数据的像素级融合。

附图说明

图1是传感器位置及其坐标系示意图

图2是人群密集度检测系统结构图。

图3是行人识别定位算法结构图。

图4是点云聚类算法流程图。

图5是匹配算法流程图。

图6是无预警状态示意图。

具体实施方式

(一)基于无人巡逻车的人群状态检测方法系统设计

(1)无人巡逻车感知平台设计

本发明将激光雷达与RGB摄像头作为输入传感器，搭载于四轮差速驱动底盘的无人巡逻车上。图1所示为传感器在巡逻车上激光雷达和相机的安装位置及坐标系示意图。建立激光雷达与相机的自身坐标系，确立两者间的坐标关系。图中，o_l、x_l、y_l和z_l为激光雷达坐标系，以激光雷达中心为坐标原点，定义雷达上方为z轴正方向，巡逻车行进相反方向为x轴正方向，巡逻车车体左侧为y轴正方向；o_c、x_c、y_c和z_c为摄像头坐标系，以摄像头中心为坐标原点，定义其上方为z轴正方向，巡逻车行进相反方向为x轴正方向，巡逻车车体左侧为y轴正方向。激光雷达与摄像头坐标系均满足右手准则。传感器位置及其坐标系建立如图1所示。

(2)人群密集度检测系统设计

基于无人巡逻车的人群密集度检测系统包含感知层、决策层和执行层三个部分，其结构如图2所示。

感知层包含激光雷达和相机，系统通过激光雷达获取行人点云信息、摄像头获取行人图像信息，为决策层中的行人目标融合识别定位模块提供数据输入。

决策层包含行人目标融合定位模块以及行人行为识别模块。其中行人目标融合识别定位模块通过点云滤波与地面拟合、聚类算法获得目标物三维检测框，利用深度学习YOLOv4算法实现对行人目标的检测，融合两者数据实现对检测区域内的行人三维空间坐标的获取。行人异常状况检测模块包含三维空间人群密集度计算算法以三维空间行人间距测量算法，以行人目标融合定位模块得到的行人位置数据作为输入，三维空间人群密集度计算过程中以巡逻车为中心划定区域，计算行人密度；三维空间行人间距测量算法在划定的区域内提取行人形心坐标根据欧氏距离计算行人间距。若人群密集度不满足疫情规定，则向无人巡逻车执行层发送预警指令。

执行层包含行人聚集状况预警模块，接收决策层的指令，对人群进行语音驱散。

(二)基于无人巡逻车的人群状态监测

步骤1：定义行人定位算法总体结构

基于激光雷达点云数据与相机图像数据信息融合的巡逻环境行人检测方法的总体架构如图3所示。首先，对激光雷达与相机的联合标定，确定点云空间与像素平面的刚体变换、投影透视、平移转换的关系。其次，分别对点云数据与图像数据进行目标检测。利用点云滤波与聚类分割算法对输入的点云数据进行目标聚类，获取点云数据中的目标聚类框尺度、空间中心点坐标等信息；再利用深度学习YOLOv4算法对输入的图像进行行人目标检测，利用Deep SORT算法对前后帧的行人检测框进行匹配，获取图像中的行人检测框尺度、像素中心点坐标等信息，实现行人目标的实时跟踪。再次，对点云的聚类检测结果与图像的行人识别结果进行融合。将点云聚类结果投影到二维图像平面上，计算点云二维投影框与行人目标检测框的交并比，完成匹配。最后，输出三维空间的行人目标识别结果。再根据融合后的检测框是否被匹配，筛选出置信度较高的融合结果进行输出。

步骤2：激光雷达和相机联合标定

为识别点云空间下的行人目标，需要将点云数据与图像数据进行融合。激光雷达和相机由于其固有采样频率和安装位置的不同，在数据融合之前，需要对激光雷达和相机进行联合标定并完成采样数据时间匹配，实现数据的坐标变换和时间一致性的统一。通过对激光雷达和相机联合标定，获得点云空间与像素平面的坐标转换关系，找到同一时刻内，点云数据的每个点和图像中相应像素的位置。联合标定包括以下子步骤：

1)点云数据中标定板的特征点提取

激光雷达坐标系描述物体以激光雷达为原点的相对位置，激光雷达坐标系中的点坐标表示为(X_L,Y_L,Z_L)，符合右手坐标系规则。在一个相对开阔的环境中架设棋格图标定板，根据棋格图标定板的形状、高度，在点云数据可视化软件PolyWorks中截取出棋格图标定板反射的点云区域作为点云感兴趣区域(region of interest,ROI)区域，然后对其余位置的点云进行滤除处理。对点云ROI区域进行最大化矩形拟合，通过拟合得到的矩形为棋格图标定板在点云空间的特征矩形，选取矩形的四个角和中心点作为点云数据的特征点。

2)图像数据中标定板的特征点提取

相机坐标系描述物体以相机光心为原点的相对位置，物体坐标表示为(X_C,Y_C,Z_C)；像素坐标系描述以图像左上角为原点，u轴水平向右，v轴竖直向下，某一点在图像中的像素坐标表示为(u,v)。从像素坐标系转换为相机坐标系，用相机内参矩阵A表示：

其中，f_x和f_y为x、y方向的焦距，单位为像素；c_x和c_y为图像的中心坐标。

通过张正友标定法^[16]可以得到像素坐标系和相机坐标系的转换关系，表示为：

其中，s为缩放因子。

使用相机在激光雷达标定的同一实验环境采集棋格标定板图像，使用openCV中的findChessboardCorners()函数，寻找棋格图的内角点与棋格标定板的中心点像素坐标，已知棋格标定板的大小、内角点数量和尺度，进一步计算得到棋格图标定板四个的角像素坐标。通过变换矩阵(2)，求得在相机坐标系下棋格图标定板四个角的三维坐标值以及棋格图标定板中心点坐标，选取这五个点作为图像数据的特征点。

3)激光雷达与相机的坐标变换

激光雷达坐标系与相机坐标系的变换过程为刚体变换，可以用旋转向量R和平移向量T表示，其中R为3×3的矩阵，T为3×1的矩阵，旋转向量R和平移向量T分别表示空间坐标旋转、平移变换的关系。激光雷达和相机的外参标定关系如公式(3)-(5)所示：

T＝[t₁ t₂ t₃]^T (4)

通过提取点云数据和图像数据中相对应的特征点数据，通过(5)求得旋转向量R和平移向量T。

点云空间的三维点从激光雷达坐标系变换到相机坐标系，最后投影到像素坐标系并成像显示，完成点云数据与图像数据的像素级融合。

由于激光雷达点云的采样频率为10Hz，相机的图像采样频率为25Hz，因此需要解决传感器时间配准问题。本发明采用ROS中的TimeSynchronizer时间同步机制进行处理，在激光雷达和图像采集数据的同时，会给每一帧数据附带时间戳，当匹配到来自不同传感器的数据具有相同的时间戳时，再将各类数据进行回调，随后再进行数据融合处理，实现激光雷达点云数据和相机图像数据的时间一致性配准。

步骤3：点云数据预处理

点云原始数据的预处理操作主要有两部分：重采样与地面拟合。由于激光雷达设备精度、被测目标表面反射率等因素，点云数据不可避免地存在噪声点；同时多线激光雷达的点云数据处理过程中会占用较多的计算资源。本发明采用基于体素栅格的滤波方式进行下采样，在点云数据中创建一个个三维体素栅格，然后在每个体素栅格内，把所有点的形心来表示该体素内所有点，保留这些点作为下采样的输出，利用该方法可以剔除点云数据中的噪声点并降低点云数据的密度。

地面拟合主要是将激光雷达在巡逻车行驶环境中的采集到的地平面点云进行拟合，实现地面点云与非地面点云的分离，以此消除地面点云对聚类结果的影响。本发明采用的点云数据地面拟合方法为平面模型拟合法。在初始状态下，选取巡逻车头正方向，地面平面拟合模型表示如式(6)所示：

ax+by+cz+d＝0 (6)

其中，a、b、c分别表示垂直于x、y、z平面的法向量；d为坐标原点到平面的正交投影距离。

判定方法的过程首先设定一个高度阈值，对于点云数据中低于该高度阈值的点构成点集S，点集S代表了整体点云的最低高度信息，利用最小二乘法在点集S中计算出a、b、c、d的值。然后，设定平面距离阈值，若点云数据中的某一点P到拟合地平面的正交投影的距离大于平面距离阈值，则判定该点属于非地面点。

步骤4：点云聚类检测

欧氏聚类(Euclidean Clustering)算法是一种典型的基于KD-Tree数据结构的聚类算法。该算法的核心思想是，对于点云空间中的某个点P，通过近邻搜索算法找到点P附近的点，若某近邻点与点P的欧式距离小于阈值，便将该近邻点聚类成点集Q。该算法中有三个重要参数——聚类半径阈值Eps、聚类点最小数目MinPts和聚类点最大数目MaxPts。根据行人点云的分布特征，由于行人在距离激光雷达较远处时，同一行人反射的点云较稀疏，本发明以激光雷达为原点，根据行人在距离激光雷达不同位置时，反射回的点云密集程度，以点与激光雷达的距离为半径，设置不同的Eps的值为Eps。点的距离与聚类半径阈值的关系如表1所示：

表1点云距离与聚类半径阈值的关系

欧氏聚类算法流程由以下6个子步骤组成：

1)初始化：创建三维的kd-tree；

2)在点云空间P中随机选取一个点p_i，p_i＝(x_i,y_i,z_i)^T，使用kd-tree算法搜索其近邻点P_n＝{p_j,j＝1,2,...,n}，计算三维点p_i和p_j之间的欧氏距离：

3)当D_ij＜Eps，将对应的p_j划分成一个聚类点云集Q；

4)在聚类点云集Q中随机选取一个点p_i1，重复步骤1)，在Eps范围内的点划分到聚类点云集Q；

5)搜索完所有的点，直到没有点可以划入聚类点云集Q；

6)检测聚类点云集Q里的点云数量，如果点云数量大于聚类点最小数目MinPts且小于聚类点最大数目MaxPts，则该聚类点云集有效，构成一个聚类结果。

通过欧氏聚类算法对巡逻环境中扫描到的目标物进行聚类，将被检测目标物体分别用三维包围框的形式进行输出，从中可以提取出被检测目标物体的空间位置信息和长宽高尺度信息。点云聚类算法流程图如图4所示。

步骤5：融合匹配方法

通过步骤4介绍的方法，通过对点云数据的处理，完成了被测物在点云空间的聚类，以三维检测框的格式存储被测物的中心点坐标、长宽高尺寸信息；采用深度学习的方法完成了图像行人目标的识别，以二维目标识别框的格式存储行人的长宽尺寸和置信度信息。每一帧图像与点云数据中，分别存在若干检测框。因此，对点云和图像的检测框进行关联匹配，将三维包围框中的点云数据投影到图像像素平面，根据图像检测结果与投影结果的匹配便可确定点云空间中被检测目标物体的具体类别信息。匹配算法流程图如图5所示，具体步骤如下：

1)输入一帧包含m个三维检测框的点云数据、一帧包含n个行人目标识别框的图像数据；

2)选取第i个三维检测框，第j个行人目标识别框，参数i和j的初始值设为1；

3)将第i个三维检测框的点云投影至图像上，生成二维包围框ii；

4)计算二维包围框ii与第j个行人目标识别框之间的交并比(Intersection ofUnion,IoU)，并定义为变量IoU，其计算公式为：

union＝S_ii+S_j-intersetion (9)

其中，intersection表示两个二维框之间的交集，union表示两个二维框之间的并集；二维包围框ii左上角坐标为

右下角坐标为/>

第j个行人目标识别框左上角坐标为/>

右下角坐标为/>

5)判断IoU是否大于融合阈值，如果IoU大于融合阈值，则更新融合目标标签为第j个行人目标识别框的标签；如果IoU小于融合阈值，则进一步判断是否还有未匹配的目标识别框。如果有未匹配的目标识别框，则进入步骤2)，如果没有未匹配的目标识别框，则更新融合目标标签为“未知”；

6)判断是否所有的三维检测框都进行了融合检测，若是，则输出融合后的行人三维检测框；否则，继续检测下一个三维检测框；

7)对融合的结果进行输出。筛选出行人目标融合置信度较高的结果进行输出。

步骤6：人群密集度监测

1)传统的人群密集度检测通常由图像识别完成，首先检测图像数据中的人头部位置，再通过回归的方法组成密度图。在实际疫情防控工作中，巡逻车需要根据所处位置实时采集周边行人的数据，通过分析、处理行人数据，计算当前环境下的行人密度，为行人异常状况预警提供可靠的数据基础。

基于基于深度学习的多传感器信息融合感知策略，可以得到行人目标在环境空间中的三维信息。本发明提出的三维空间人群密集度计算算法如表2所示，以巡逻车辆为形心，绘制半径为3米的圆形探测框，统计探测框内的行人数量并计算人群密集度ρ_peds，其计算公式如下：

其中，N_peds为探测框内的行人数量；S_det表示探测框面积。

表2三维空间人群密集度计算算法

2)行人间距分析

巡逻车在重点防控区域工作时，需要对不满足安全社交距离的人群发出提醒。本发明提出的三维空间行人间距测量算法如表3所示。算法输入融合检测得到的行人目标，提取每个行人目标的形心坐标，构建一个三维的kd-tree，通过遍历计算得到每个行人距离最近行人的欧氏距离，即行人最小间距。

表3三维空间行人间距测量算法

3)行人聚集状况预警

对于人群密集程度的判断指标设计如下，根据实际测试选取人群密度阈值为0.5，当人群密度低于0.5时，人群状态将视为稀疏，当人群密度大于0.5时，人群密度将视为稠密，如表4所示。

表4人群密集状态判断指标

根据对不同人群状态感知状况，将人群状况划分为四种预警模式，预警级别从低到高依次为蓝色预警、黄色预警、橙色预警以及红色预警。考虑到稀疏人群状态下最小间距最有代表性而稠密状态下最小间距平均值体现实际情况，结合两者对不同人群状态下情况进行预警。其具体分类如表5所示。

表5人群状态与预警程度对应表

稀疏状态下，若最小间距与平均间距均大于1，不存在预警措施，如图6所示。

若最小间距小于1，无论最小间距平均值为多少，启动蓝色预警，说明人群存在部分聚集，语音提醒注意出行安全。

稠密状态下，若最小间距与平均间距均大于1，则不存在人群聚集，启动黄色预警与语音提醒；若最小间距小于1而最小间距平均值大于1，则说明存在部分聚集，启动橙色预警与语音提醒；若最小间距小于1且最小间距平均值小于1，启动最高级别红色预警，语音疏散人群。

Claims (2)

1.一种基于无人巡逻车的人群状态检测方法，其特征在于，该方法包括如下步骤：

步骤1：定义行人定位算法总体结构

1.1)对激光雷达与相机的联合标定，确定点云空间与像素平面的刚体变换、投影透视、平移转换的关系；

1.2)分别对点云数据与图像数据进行目标检测，利用点云滤波与聚类分割算法对输入的点云数据进行目标聚类，获取点云数据中的目标聚类框尺度、空间中心点坐标信息；

1.3)利用深度学习YOLOv4算法对输入的图像进行行人目标检测，利用Deep SORT算法对前后帧的行人检测框进行匹配，获取图像中的行人检测框尺度、像素中心点坐标等信息，实现行人目标的实时跟踪；

1.4)对点云的聚类检测结果与图像的行人识别结果进行融合，将点云聚类结果投影到二维图像平面上，计算点云二维投影框与行人目标检测框的交并比，完成匹配；

1.5)输出三维空间的行人目标识别结果，再根据融合后的检测框是否被匹配，筛选出置信度较高的融合结果进行输出；

步骤2：激光雷达和相机联合标定

通过对激光雷达和相机联合标定，获得点云空间与像素平面的坐标转换关系，找到同一时刻内，点云数据的每个点和图像中相应像素的位置；

步骤3：点云数据预处理

在初始状态下，选取巡逻车头正方向，地面平面拟合模型表示：

ax+by+cz+d＝0

其中，a、b、c分别表示垂直于x、y、z平面的法向量；d为坐标原点到平面的正交投影距离；

步骤4：点云聚类检测

4.1)初始化：创建三维的kd-tree；

4.2)在点云空间P中随机选取一个点p_i，p_i＝(x_i,y_i,z_i)^T，使用kd-tree算法搜索其近邻点P_n＝{p_j,j＝1,2,...,n}，计算三维点p_i和p_j之间的欧氏距离：

4.3)当D_ij＜Eps，将对应的p_j划分成一个聚类点云集Q；其中，E_ps为聚类半径阈值；

4.4)在聚类点云集Q中随机选取一个点p_i1，重复步骤1)，在Eps范围内的点划分到聚类点云集Q；

4.5)搜索完所有的点，直到没有点可以划入聚类点云集Q；

4.6)检测聚类点云集Q里的点云数量，如果点云数量大于聚类点最小数目MinPts且小于聚类点最大数目MaxPts，则该聚类点云集有效，构成一个聚类结果；

通过欧氏聚类算法对巡逻环境中扫描到的目标物进行聚类，将被检测目标物体分别用三维包围框的形式进行输出，从中提取出被检测目标物体的空间位置信息和长宽高尺度信息；

步骤5：融合匹配方法

5.1)输入一帧包含m个三维检测框的点云数据、一帧包含n个行人目标识别框的图像数据；

5.2)选取第i个三维检测框，第j个行人目标识别框，参数i和j的初始值设为1；

5.3)将第i个三维检测框的点云投影至图像上，生成二维包围框ii；

5.4)计算二维包围框ii与第j个行人目标识别框之间的交并比，并定义为变量IoU，其计算公式为：

union＝S_ii+S_j-intersetion

其中，intersection表示两个二维框之间的交集，union表示两个二维框之间的并集；二维包围框ii左上角坐标为

右下角坐标为/>

第j个行人目标识别框左上角坐标为/>

右下角坐标为/>

5.5)判断IoU是否大于融合阈值，如果IoU大于融合阈值，则更新融合目标标签为第j个行人目标识别框的标签；如果IoU小于融合阈值，则进一步判断是否还有未匹配的目标识别框；如果有未匹配的目标识别框，则进入步骤5.2)，如果没有未匹配的目标识别框，则更新融合目标标签为“未知”；

5.6)判断是否所有的三维检测框都进行了融合检测，若是，则输出融合后的行人三维检测框；否则，继续检测下一个三维检测框；

5.7)对融合的结果进行输出；筛选出行人目标融合置信度较高的结果进行输出；

步骤6:基于深度学习的人群密度检测

6.1)人群密集度监测

以巡逻车辆为形心，绘制半径为3米的圆形探测框，统计探测框内的行人数量并计算人群密集度ρ_peds，其计算公式如下：

其中，N_peds为探测框内的行人数量；S_detect表示探测框面积；

6.2)行人间距分析

算法输入融合检测得到的行人目标，提取每个行人目标的形心坐标，构建一个三维的kd-tree，通过遍历计算得到每个行人距离最近行人的欧氏距离；

6.3)行人聚集状况预警

根据实际测试选取人群密度阈值为0.5，当人群密度低于0.5时，人群状态将视为稀疏，当人群密度大于0.5时，人群密度将视为稠密；

根据对不同人群状态感知状况，将人群状况划分为四种预警模式，预警级别从低到高依次为蓝色预警、黄色预警、橙色预警以及红色预警；

稀疏状态下，若最小间距与平均间距均大于1，不存在预警措施；

若最小间距小于1，无论最小间距平均值为多少，启动蓝色预警，说明人群存在部分聚集，语音提醒注意出行安全；

稠密状态下，若最小间距与平均间距均大于1，则不存在人群聚集，启动黄色预警与语音提醒；若最小间距小于1而最小间距平均值大于1，则说明存在部分聚集，启动橙色预警与语音提醒；若最小间距小于1且最小间距平均值小于1，启动最高级别红色预警，语音疏散人群。

2.如权利要求1所述的一种基于无人巡逻车的人群状态检测方法，其特征在于，所述步骤2中激光雷达和相机联合标定具体步骤为：

1)点云数据中标定板的特征点提取

激光雷达坐标系描述物体以激光雷达为原点的相对位置，激光雷达坐标系中的点坐标表示为(X_L,Y_L,Z_L)，在点云数据可视化软件PolyWorks中截取出棋格图标定板反射的点云区域作为点云感兴趣区域，然后对其余位置的点云进行滤除处理，对点云ROI区域进行最大化矩形拟合，通过拟合得到的矩形为棋格图标定板在点云空间的特征矩形，选取矩形的四个角和中心点作为点云数据的特征点；

2)图像数据中标定板的特征点提取

相机坐标系描述物体以相机光心为原点的相对位置，物体坐标表示为(X_C,Y_C,Z_C)；像素坐标系描述以图像左上角为原点，u轴水平向右，v轴竖直向下，某一点在图像中的像素坐标表示为(u,v)，从像素坐标系转换为相机坐标系，用相机内参矩阵A表示：

其中，f_x和f_y为x、y方向的焦距，单位为像素；c_x和c_y为图像的中心坐标；

通过张正友标定法得到像素坐标系和相机坐标系的转换关系，表示为：

其中，s为缩放因子；

3)激光雷达与相机的坐标变换

激光雷达和相机的外参标定关系为：

T＝[t₁ t₂ t₃]^T

通过提取点云数据和图像数据中相对应的特征点数据，求得旋转向量R和平移向量T；

点云空间的三维点从激光雷达坐标系变换到相机坐标系，最后投影到像素坐标系并成像显示，完成点云数据与图像数据的像素级融合。

Images