CN118072360B - 一种周界入侵单个人体完整识别方法及系统 - Google Patents

Abstract

本发明公开一种周界入侵单个人体完整识别方法及系统。其中，该方法采用基于深度学习的实例分割模型对输入的聚类结果点云判断其是否为多个目标合并，且精准地将每个人体实例单独分割出来，然后再通过人体完整性分类模型去判断每个人体是否完整，如果分类结果不完整，再通过在原始点云中邻域搜索的方法查找相关邻域点进行补全。该方法引入边界置信度这个指标，量化了一个点是否为多个目标之间的边界点的概率，并且通过边界置信度损失值增强了对边界点的分割精度，大大提升了实例分割的效果；该方法针对人体完整性分类网络耗时的问题，采用中心区域下采样的方法减少了输入点云的数量，在保证识别准确率的情况下，又大幅提升了识别速度。

Description

一种周界入侵单个人体完整识别方法及系统

技术领域

本发明涉及周界入侵检测技术领域，具体而言，涉及一种周界入侵单个人体完整识别方法及系统。

背景技术

在周界入侵检测这个场景中主要的检测对象是人，传统的聚类方法精度不高，主要存在以下两个问题：

1. 单个人体目标的聚类结果不完全，经常出现头、左右脚、左右手这些部位的点缺失的情况。

2.会将多个较近人体目标合并在一起作为一个聚类结果。

现有技术中采用实例分割的方法去分割多个目标合并的聚类结果点云，但是对于如何通过量化的方法去界定多个目标之间的边界点，同时如何训练网络使其对边界点有较好的分割效果是非常困难的；现有技术中将所有点云输入到人体点云完整性分类网络中判断是否为完整目标，其输入点云的数量大，耗时。

针对现有技术中无法量化多个目标之间的边界点，分割效果差；以及输入点云的数量大，耗时的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供一种周界入侵单个人体完整识别方法，以解决现有技术中无法量化多个目标之间的边界点，分割效果差；以及输入点云的数量大，耗时的问题。

为达到上述目的，一方面，本发明提供了一种周界入侵单个人体完整识别方法，该方法包括：S1、获取原始人体完整性分类数据集A，将A中的每个样本点云进行中心区域下采样后，得到更新人体完整性分类数据集A1；对A1中每个样本点云进行完整和不完整标注，将标注后的A1输入到pointnet++网络中进行模型训练，得到人体完整性分类模型；S2、获取原始聚类结果实例分割数据集B，将B中的每个样本点云的每个点进行类别和编号标注；将B通过3D-BoNet网络进行模型训练，得到每个样本点云预测结果中每个点的预测编号和固有损失值；将当前样本点云的每个点以及当前样本点云预测结果中每个点采用固定距离搜索方式找出每个点对应的邻域点；根据当前点的邻域点的标注编号计算当前点的标注边界置信度；根据预测结果中当前点的邻域点的预测编号计算预测结果中当前点的预测边界置信度；根据当前样本点云中所有点的标注边界置信度和对应的预测结果中所有点的预测边界置信度得到当前样本点云的边界置信度损失值，根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络，直至将所有样本点云训练完并进行多轮训练后得到实例分割模型；S3、通过激光雷达获取待识别的当前帧的原始点云，对所述待识别的当前帧的原始点云进行背景差分后聚类，得到待识别的当前帧的多个聚类结果点云；S4、根据每个聚类结果点云的矩形包围框以及预设的宽度阈值和预设的长度阈值，判断每个聚类结果点云是否为疑似多目标合并的聚类结果点云；若是，进入S5，反之，进入S6；S5、将当前疑似多目标聚类结果点云输入到所述实例分割模型中进行预测，若判定有多个目标，则将每个目标单独分割出来，进入S6；S6、将当前单目标聚类结果点云进行中心区域下采样，得到当前下采样后的点云，将所述当前下采样后的点云输入到所述人体完整性分类模型中进行预测，若判定为完整目标，则输出其对应的当前单目标聚类结果点云；反之，采用固定距离搜索方式找出当前单目标聚类结果点云的邻域点并对其进行补全后输出。

可选的，所述原始人体完整性分类数据集A和原始聚类结果实例分割数据集B通过以下方式获取：通过激光雷达获取连续帧的原始点云，对所述连续帧的原始点云进行背景差分后得到每帧的差分点云；将所述每帧的差分点云进行聚类，得到每帧对应的多个聚类结果点云；判断每个聚类结果点云是否为单个人体，若是，将其作为单目标样本点云，将所有的单目标样本点云集合作为所述原始人体完整性分类数据集A；反之，将其作为多目标样本点云，将所有的多目标样本点云集合作为所述原始聚类结果实例分割数据集B。

可选的，所述将A中的每个样本点云进行中心区域下采样，得到更新人体完整性分类数据集A1包括：获取A中的当前样本点云的最小x、y、z值，以及获取A中的当前样本点云的最大x、y、z值；根据当前样本点云的最小x、y、z值，最大x、y、z值，以及预设的中心采样区域的尺寸比例计算得到当前中心采样区域；将所述当前中心采样区域的点云进行体素下采样，得到当前下采样后的样本点云；将全部下采样后的样本点云集合得到所述更新人体完整性分类数据集A1。

可选的，所述当前中心采样区域的最小x、y、z值，最大x、y、z值根据以下公式计算：

；

其中，、、分别为当前中心采样区域的最小x、y、z值；、、分别为当前中心采样区域的最大x、y、z值；、、分别为当前样本点云的最小x、y、z值；、、分别为当前样本点云的最大x、y、z值；为预设的中心采样区域的尺寸比例。

可选的，所述将所述当前中心采样区域的点云进行体素下采样，得到当前下采样后的样本点云包括：根据预设的体素大小对所述当前中心采样区域进行划分，得到多个体素；计算当前非空体素的质心替代当前非空体素内的所有点；将每个非空体素的质心集合作为所述当前下采样后的样本点云。

可选的，所述当前点的标注边界置信度根据以下公式计算：

；

其中，为当前点的标注边界置信度，为当前点的邻域点中，其标注编号与当前点的标注编号不同的点的总数； 为当前点的邻域点中，其标注编号与当前点的标注编号相同的点的总数；

所述预测结果中当前点的预测边界置信度根据以下公式计算：

；

其中，为预测结果中当前点的预测边界置信度，为预测结果中当前点的邻域点中，其预测编号与预测结果中当前点的预测编号不同的点的总数； 为预测结果中当前点的邻域点中，其预测编号与预测结果中当前点的预测编号相同的点的总数；

所述当前样本点云的边界置信度损失值根据以下公式计算：

；

其中，为当前样本点云的边界置信度损失值，为当前样本点云的第i个点的标注边界置信度，为对应的当前样本点云预测结果中的第i个点的预测边界置信度，N为当前样本点云的点数。

可选的，所述根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络包括：根据当前样本点云的边界置信度损失值和固有损失值计算得到当前样本点云的总损失值；根据当前样本点云的总损失值反向更新所述3D-BoNet网络；其中，所述固有损失值包括：交叉熵损失值、边界框损失值、边界框分数损失值、掩码损失值；

所述当前样本点云的总损失值根据以下公式计算：

；

其中，为当前样本点云的总损失值，为当前样本点云的交叉熵损失值，为当前样本点云的边界框损失值，为当前样本点云的边界框分数损失值，为当前样本点云的掩码损失值，为当前样本点云的边界置信度损失值，为预设的边界置信度损失的权重。

可选的，所述S4包括：当判定当前聚类结果点云的矩形包围框的长度大于预设的长度阈值或当判定当前聚类结果点云的矩形包围框的宽度大于预设的宽度阈值时，判定当前聚类结果点云为疑似多目标合并的聚类结果点云。

另一方面，本发明提供了一种周界入侵单个人体完整识别系统，该系统包括：人体完整性分类模型训练单元，用于获取原始人体完整性分类数据集A，将A中的每个样本点云进行中心区域下采样后，得到更新人体完整性分类数据集A1；对A1中每个样本点云进行完整和不完整标注，将标注后的A1输入到pointnet++网络中进行模型训练，得到人体完整性分类模型；实例分割模型训练单元，用于获取原始聚类结果实例分割数据集B，将B中的每个样本点云的每个点进行类别和编号标注；将B通过3D-BoNet网络进行模型训练，得到每个样本点云预测结果中每个点的预测编号和固有损失值；将当前样本点云的每个点以及当前样本点云预测结果中每个点采用固定距离搜索方式找出每个点对应的邻域点；根据当前点的邻域点的标注编号计算当前点的标注边界置信度；根据预测结果中当前点的邻域点的预测编号计算预测结果中当前点的预测边界置信度；根据当前样本点云中所有点的标注边界置信度和对应的预测结果中所有点的预测边界置信度得到当前样本点云的边界置信度损失值，根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络，直至将所有样本点云训练完并进行多轮训练后得到实例分割模型；差分聚类单元，用于通过激光雷达获取待识别的当前帧的原始点云，对所述待识别的当前帧的原始点云进行背景差分后聚类，得到待识别的当前帧的多个聚类结果点云；判断单元，用于根据每个聚类结果点云的矩形包围框以及预设的宽度阈值和预设的长度阈值，判断每个聚类结果点云是否为疑似多目标合并的聚类结果点云；若是，进入分割单元，反之，进入补全输出单元；分割单元，用于将当前疑似多目标聚类结果点云输入到所述实例分割模型中进行预测，若判定有多个目标，则将每个目标单独分割出来，进入补全输出单元；补全输出单元，用于将当前单目标聚类结果点云进行中心区域下采样，得到当前下采样后的点云，将所述当前下采样后的点云输入到所述人体完整性分类模型中进行预测，若判定为完整目标，则输出其对应的当前单目标聚类结果点云；反之，采用固定距离搜索方式找出当前单目标聚类结果点云的邻域点并对其进行补全后输出。

可选的，所述原始人体完整性分类数据集A和原始聚类结果实例分割数据集B通过以下方式获取：通过激光雷达获取连续帧的原始点云，对所述连续帧的原始点云进行背景差分后得到每帧的差分点云；将所述每帧的差分点云进行聚类，得到每帧对应的多个聚类结果点云；判断每个聚类结果点云是否为单个人体，若是，将其作为单目标样本点云，将所有的单目标样本点云作为所述原始人体完整性分类数据集A；反之，将其作为多目标样本点云，将所有的多目标样本点云作为所述原始聚类结果实例分割数据集B。

本发明的有益效果：

本发明提供了一种周界入侵单个人体完整识别方法及系统，其中，该方法引入边界置信度这个指标，量化了一个点是否为多个目标之间的边界点的概率，并且通过边界置信度损失值增强了对边界点的分割精度，大大提升了实例分割的效果；该方法针对人体完整性分类网络耗时的问题，采用中心区域下采样的方法减少了输入点云的数量，在保证识别准确率的情况下，又大幅提升了识别速度。

附图说明

图1是本发明实施例提供的一种周界入侵单个人体完整识别方法的流程图；

图2是本发明实施例提供的一种周界入侵单个人体完整识别系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种周界入侵单个人体完整识别方法，如图1所示，该方法包括：

在S1之前，原始人体完整性分类数据集A和原始聚类结果实例分割数据集B通过以下方式获取：

通过激光雷达获取连续帧的原始点云，对所述连续帧的原始点云进行背景差分后得到每帧的差分点云；

具体的，将激光雷达放置在合适的位置先获取多帧的原始点云，并从中挑选出一帧无目标的点云作为背景点云，之后通过激光雷达连续获取M帧的原始点云，将连续帧的原始点云与背景点云进行差分运算得到每帧的差分点云（即过滤掉静止的背景，如：树木等）。

将所述每帧的差分点云进行聚类，得到每帧对应的多个聚类结果点云；

其中，聚类方法可以是欧式聚类、密度聚类等；本发明对聚类方法不作限定，只要保证整个算法运行过程中执行同一套参数，且该参数下能聚出大部分目标即可。

判断每个聚类结果点云是否为单个人体（即通过人工审核和分类），若是，将其作为单目标样本点云，将所有的单目标样本点云集合作为所述原始人体完整性分类数据集A；反之，将其作为多目标样本点云，将所有的多目标样本点云集合作为所述原始聚类结果实例分割数据集B。

S1、获取原始人体完整性分类数据集A，将A中的每个样本点云（每个单目标样本点云）进行中心区域下采样后，得到更新人体完整性分类数据集A1；对A1中每个样本点云进行完整和不完整标注，将标注后的A1输入到pointnet++网络中进行模型训练，得到人体完整性分类模型；

经过统计，绝大多数聚类的人体点云的不全，都是由头，脚，手这些四肢的部分点没有聚类进来造成的，而人体躯干部分的点相对来说是不容易丢失的。对于人体中心部分的躯干，这个部位本身点就密集，而且它对整个人体完整性的分类影响较小，对人体完整性分类而言，重要的是人体头部和四肢边缘部分点的特征。因此本申请对人体点云的中心区域内的点进行一定比例的下采样。

具体的，所述将A中的每个样本点云进行中心区域下采样，得到更新人体完整性分类数据集A1包括：

获取A中的当前样本点云的最小x、y、z值，以及获取A中的当前样本点云的最大x、y、z值；

根据当前样本点云的最小x、y、z值，最大x、y、z值，以及预设的中心采样区域的尺寸比例计算得到当前中心采样区域；

所述当前中心采样区域的最小x、y、z值，最大x、y、z值根据以下公式计算：

；

其中，、、分别为当前中心采样区域的最小x、y、z值；、、分别为当前中心采样区域的最大x、y、z值；、、分别为当前样本点云的最小x、y、z值；、、分别为当前样本点云的最大x、y、z值；为预设的中心采样区域的尺寸比例。

将所述当前中心采样区域的点云进行体素下采样，得到当前下采样后的样本点云；其包括：

根据预设的体素大小对所述当前中心采样区域进行划分，得到多个体素；

具体的，采用Vx*Vy*Vz的体素大小对所述当前中心采样区域进行划分，Vx，Vy，Vz分别表示体素在X，Y，Z方向的尺寸。

计算当前非空体素的质心或中心替代当前非空体素内的所有点；

当前非空体素的质心根据以下公式计算：

；

其中，、、分别为第i个点的X坐标、Y坐标、Z坐标；为当前非空体素中的点数。

将每个非空体素的质心集合作为所述当前下采样后的样本点云。

将全部下采样后的样本点云集合得到所述更新人体完整性分类数据集A1。

对A1中的每个样本点云（即全部下采样后的样本点云）进行标注，主要是依据左右手、左右脚和头部的完整性，如果完整，给当前样本点云打上完整的标签，如果不完整，给当前样本点云打上不完整的标签；

对打完标签后的A1输入到pointnet++网络中进行多轮模型训练，得到人体完整性分类模型。

S2、获取原始聚类结果实例分割数据集B，将B中的每个样本点云的每个点进行类别和编号标注；将B通过3D-BoNet网络进行模型训练，得到每个样本点云预测结果中每个点的预测编号和固有损失值；将当前样本点云的每个点以及当前样本点云预测结果中每个点采用固定距离搜索方式找出每个点对应的邻域点；根据当前点的邻域点的标注编号计算当前点的标注边界置信度；根据预测结果中当前点的邻域点的预测编号计算预测结果中当前点的预测边界置信度；根据当前样本点云中所有点的标注边界置信度和对应的预测结果中所有点的预测边界置信度得到当前样本点云的边界置信度损失值，根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络，直至将所有样本点云训练完并进行多轮训练后得到实例分割模型；

具体的，S21、数据标定：将B中的每个样本点云（每个多目标样本点云）的每个点进行类别和编号标注，假设当前样本点云包含了两个人体，那么就给属于第一个人体点云的所有点的类别标签为人体，标注编号为1。给属于第二个人体点云的所有点的类别标签为人体，标注编号为2。

S22、计算当前样本点云中所有点的标注边界置信度：由于在实例分割中，多个实例目标靠得很近时，目标之间的边界点的定义和分类很难实现。因此本申请中我们引入边界置信度的这个指标，量化一个点是否为多个目标之间的边界点的概率。边界置信度越大，表示该点是多个目标之间的边界点的概率也越大。

对当前样本点云的每个点进行邻域搜索，本文采用固定距离搜索，搜索方式采用球状邻域，距离阈值设置为δd，这样将距离小于δd的所有点视为当前点的球状邻域点。那么对当前点的球状邻域点进行统计；统计当前点的球状邻域点中，与当前点的标注编号不同的点的总数；以及统计当前点的球状邻域点中，与当前点的标注编号相同的点的总数；

所述当前点的标注边界置信度根据以下公式计算：

；

其中，为当前点的标注边界置信度，为当前点的邻域点中，其标注编号与当前点的标注编号不同的点的总数； 为当前点的邻域点中，其标注编号与当前点的标注编号相同的点的总数；

假设当前样本点云的第i个点，其标注编号为1，即属于第一个人体点云，以0.2米为球状邻域的距离阈值，邻域共有36个点，其中标注编号为1的点共有20个点，即属于第一个人体点云的共有20个点，标注编号为2的共有16个点，即属于第二个人体点云的共有16个点，那么该点的标注边界置信度根据以下公式计算：

；

按上述的方法，对当前样本点云的所有点求出其标注边界置信度。

这时，当前样本点云的每个点包含了三个标签：1、类别标签；2、编号标签；3、边界置信度标签。

S23、计算当前样本点云预测结果中所有点的预测边界置信度：将B通过3D-BoNet网络进行模型训练，训练中得到每个样本点云预测结果中每个点的预测编号和固有损失值；

将当前样本点云预测结果中每个点采用固定距离搜索方式找出预测结果中每个点对应的邻域点；这里采用与上述相同的搜索方式以及距离阈值，即采用固定距离搜索方式找出预测结果中每个点对应的球状邻域点，其距离阈值为0.2米。

对预测结果中当前点的球状邻域点进行统计；统计预测结果中当前点的球状邻域点中，与预测结果中当前点的预测编号不同的点的总数；以及统计预测结果中当前点的球状邻域点中，与预测结果中当前点的预测编号相同的点的总数；

所述预测结果中当前点的预测边界置信度根据以下公式计算：

；

其中，为预测结果中当前点的预测边界置信度，为预测结果中当前点的邻域点中，其预测编号与预测结果中当前点的预测编号不同的点的总数； 为预测结果中当前点的邻域点中，其预测编号与预测结果中当前点的预测编号相同的点的总数；

按上述的方法，对当前样本点云预测结果中的所有点求出其预测边界置信度。

S24、计算当前样本点云的边界置信度损失值：对于多个目标合并点云的实例分割任务中，边界点的分割精度非常重要，因此本申请提出一种边界置信度损失函数对边界点的分割效果进行优化。损失函数中给与那些边界点更大的权重。

所述当前样本点云的边界置信度损失值根据以下公式计算：

；

其中，为当前样本点云的边界置信度损失值，为当前样本点云的第i个点的标注边界置信度，为对应的当前样本点云预测结果中的第i个点的预测边界置信度，N为当前样本点云的点数。

和的差值越大，损失越大。同时，当前样本点云的标注边界置信度越大，认为重要程度越高，给予的权重也越大。

S25、训练得到实例分割模型：

所述根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络包括：

根据当前样本点云的边界置信度损失值和固有损失值计算得到当前样本点云的总损失值；

其中，所述固有损失值包括：交叉熵损失值、边界框损失值、边界框分数损失值、掩码损失值；

所述当前样本点云的总损失值根据以下公式计算：

；

其中，为当前样本点云的总损失值，为当前样本点云的交叉熵损失值，为当前样本点云的边界框损失值，为当前样本点云的边界框分数损失值，为当前样本点云的掩码损失值，为当前样本点云的边界置信度损失值，为预设的边界置信度损失的权重。

根据当前样本点云的总损失值反向更新所述3D-BoNet网络；

重复上述过程，直至将所有样本点云训练完并进行多轮训练后，将最后更新得到的3D-BoNet网络作为实例分割模型。

S3、通过激光雷达获取待识别的当前帧的原始点云，对所述待识别的当前帧的原始点云进行背景差分后聚类，得到待识别的当前帧的多个聚类结果点云；

具体的，将待识别的当前帧的原始点云与背景点云进行差分运算得到待识别的当前帧的差分点云；将待识别的当前帧的差分点云进行聚类，得到待识别的当前帧的多个聚类结果点云。

S4、根据每个聚类结果点云的矩形包围框以及预设的宽度阈值和预设的长度阈值，判断每个聚类结果点云是否为疑似多目标合并的聚类结果点云；若是，进入S5，反之，进入S6；

当判定当前聚类结果点云的矩形包围框的长度大于预设的长度阈值或当判定当前聚类结果点云的矩形包围框的宽度大于预设的宽度阈值时，判定当前聚类结果点云为疑似多目标合并的聚类结果点云。

通过上述方法判断每个聚类结果点云是否为疑似多目标合并的聚类结果点云。

S5、将当前疑似多目标聚类结果点云输入到所述实例分割模型中进行预测，若判定有多个目标，则将每个目标单独分割出来，进入S6；

S6、将当前单目标聚类结果点云进行中心区域下采样，得到当前下采样后的点云，将所述当前下采样后的点云输入到所述人体完整性分类模型中进行预测，若判定为完整目标，则输出其对应的当前单目标聚类结果点云；反之，采用固定距离搜索方式找出当前单目标聚类结果点云的邻域点并对其进行补全后输出。

具体的，该中心采样区域的尺寸比例和体素下采样的尺寸大小与S1中设置的一致。

将所述当前下采样后的点云输入到所述人体完整性分类模型中进行预测，若判定为完整目标，则输出其对应的当前单目标聚类结果点云；反之，采用固定距离搜索方式，搜索方式采用球状邻域，距离阈值设置为δr，这样将距离小于δr的所有点视为当前单目标聚类结果点云中当前点的球状邻域点。此时的球状邻域点中的一部分是当前单目标聚类结果点云内部原本就有的点，还有一部分是当前单目标聚类结果点云中没有被聚类算法聚类进来的点，将这部分点补全到当前单目标聚类结果点云中，在对当前单目标聚类结果点云的所有点都进行上述补全操作后，最后的补全当前单目标聚类结果点云即为最终的聚类结果并进行输出。

图2是本发明实施例提供的一种周界入侵单个人体完整识别系统的结构示意图，如图2所示，该系统包括：

人体完整性分类模型训练单元201，用于获取原始人体完整性分类数据集A，将A中的每个样本点云进行中心区域下采样后，得到更新人体完整性分类数据集A1；对A1中每个样本点云进行完整和不完整标注，将标注后的A1输入到pointnet++网络中进行模型训练，得到人体完整性分类模型；

实例分割模型训练单元202，用于获取原始聚类结果实例分割数据集B，将B中的每个样本点云的每个点进行类别和编号标注；将B通过3D-BoNet网络进行模型训练，得到每个样本点云预测结果中每个点的预测编号和固有损失值；将当前样本点云的每个点以及当前样本点云预测结果中每个点采用固定距离搜索方式找出每个点对应的邻域点；根据当前点的邻域点的标注编号计算当前点的标注边界置信度；根据预测结果中当前点的邻域点的预测编号计算预测结果中当前点的预测边界置信度；根据当前样本点云中所有点的标注边界置信度和对应的预测结果中所有点的预测边界置信度得到当前样本点云的边界置信度损失值，根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络，直至将所有样本点云训练完并进行多轮训练后得到实例分割模型；

差分聚类单元203，用于通过激光雷达获取待识别的当前帧的原始点云，对所述待识别的当前帧的原始点云进行背景差分后聚类，得到待识别的当前帧的多个聚类结果点云；

判断单元204，用于根据每个聚类结果点云的矩形包围框以及预设的宽度阈值和预设的长度阈值，判断每个聚类结果点云是否为疑似多目标合并的聚类结果点云；若是，进入分割单元205，反之，进入补全输出单元206；

分割单元205，用于将当前疑似多目标聚类结果点云输入到所述实例分割模型中进行预测，若判定有多个目标，则将每个目标单独分割出来，进入补全输出单元206；

补全输出单元206，用于将当前单目标聚类结果点云进行中心区域下采样，得到当前下采样后的点云，将所述当前下采样后的点云输入到所述人体完整性分类模型中进行预测，若判定为完整目标，则输出其对应的当前单目标聚类结果点云；反之，采用固定距离搜索方式找出当前单目标聚类结果点云的邻域点并对其进行补全后输出。

其中，所述原始人体完整性分类数据集A和原始聚类结果实例分割数据集B通过以下方式获取：

通过激光雷达获取连续帧的原始点云，对所述连续帧的原始点云进行背景差分后得到每帧的差分点云；

将所述每帧的差分点云进行聚类，得到每帧对应的多个聚类结果点云；

判断每个聚类结果点云是否为单个人体，若是，将其作为单目标样本点云，将所有的单目标样本点云作为所述原始人体完整性分类数据集A；反之，将其作为多目标样本点云，将所有的多目标样本点云作为所述原始聚类结果实例分割数据集B。

本发明的有益效果：

本发明提供了一种周界入侵单个人体完整识别方法及系统，其中，该方法引入边界置信度这个指标，量化了一个点是否为多个目标之间的边界点的概率，并且通过边界置信度损失值增强了对边界点的分割精度，大大提升了实例分割的效果；该方法针对人体完整性分类网络耗时的问题，采用中心区域下采样的方法减少了输入点云的数量，在保证识别准确率的情况下，又大幅提升了识别速度。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种周界入侵单个人体完整识别方法，其特征在于，包括：

S1、获取原始人体完整性分类数据集A，将A中的每个样本点云进行中心区域下采样后，得到更新人体完整性分类数据集A1；对A1中每个样本点云进行完整和不完整标注，将标注后的A1输入到pointnet++网络中进行模型训练，得到人体完整性分类模型；

S2、获取原始聚类结果实例分割数据集B，将B中的每个样本点云的每个点进行类别和编号标注；将B通过3D-BoNet网络进行模型训练，得到每个样本点云预测结果中每个点的预测编号和固有损失值；将当前样本点云的每个点以及当前样本点云预测结果中每个点采用固定距离搜索方式找出每个点对应的邻域点；根据当前点的邻域点的标注编号计算当前点的标注边界置信度；根据预测结果中当前点的邻域点的预测编号计算预测结果中当前点的预测边界置信度；根据当前样本点云中所有点的标注边界置信度和对应的预测结果中所有点的预测边界置信度得到当前样本点云的边界置信度损失值，根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络，直至将所有样本点云训练完并进行多轮训练后得到实例分割模型；

S3、通过激光雷达获取待识别的当前帧的原始点云，对所述待识别的当前帧的原始点云进行背景差分后聚类，得到待识别的当前帧的多个聚类结果点云；

S4、根据每个聚类结果点云的矩形包围框以及预设的宽度阈值和预设的长度阈值，判断每个聚类结果点云是否为疑似多目标合并的聚类结果点云；若是，进入S5，反之，进入S6；

S5、将当前疑似多目标聚类结果点云输入到所述实例分割模型中进行预测，若判定有多个目标，则将每个目标单独分割出来，进入S6；

S6、将当前单目标聚类结果点云进行中心区域下采样，得到当前下采样后的点云，将所述当前下采样后的点云输入到所述人体完整性分类模型中进行预测，若判定为完整目标，则输出其对应的当前单目标聚类结果点云；反之，采用固定距离搜索方式找出当前单目标聚类结果点云的邻域点并对其进行补全后输出；

所述原始人体完整性分类数据集A和原始聚类结果实例分割数据集B通过以下方式获取：

通过激光雷达获取连续帧的原始点云，对所述连续帧的原始点云进行背景差分后得到每帧的差分点云；

将所述每帧的差分点云进行聚类，得到每帧对应的多个聚类结果点云；

判断每个聚类结果点云是否为单个人体，若是，将其作为单目标样本点云，将所有的单目标样本点云集合作为所述原始人体完整性分类数据集A；反之，将其作为多目标样本点云，将所有的多目标样本点云集合作为所述原始聚类结果实例分割数据集B；

所述当前点的标注边界置信度根据以下公式计算：

其中，S_bdgt为当前点的标注边界置信度，N_DiffInstance为当前点的邻域点中，其标注编号与当前点的标注编号不同的点的总数；N_SameInstance为当前点的邻域点中，其标注编号与当前点的标注编号相同的点的总数。

2.根据权利要求1所述的方法，其特征在于，所述将A中的每个样本点云进行中心区域下采样，得到更新人体完整性分类数据集A1包括：

获取A中的当前样本点云的最小x、y、z值，以及获取A中的当前样本点云的最大x、y、z值；

根据当前样本点云的最小x、y、z值，最大x、y、z值，以及预设的中心采样区域的尺寸比例计算得到当前中心采样区域；

将所述当前中心采样区域的点云进行体素下采样，得到当前下采样后的样本点云；

将全部下采样后的样本点云集合得到所述更新人体完整性分类数据集A1。

3.根据权利要求2所述的方法，其特征在于：

所述当前中心采样区域的最小x、y、z值，最大x、y、z值根据以下公式计算：

其中，sampleXMin、sampleYmin、sampleZmin分别为当前中心采样区域的最小x、y、z值；sampleXMax、sampleYMax、sampleZMax分别为当前中心采样区域的最大x、y、z值；xMin、yMin、zMin分别为当前样本点云的最小x、y、z值；xMax、yMax、zMax分别为当前样本点云的最大x、y、z值；t为预设的中心采样区域的尺寸比例。

4.根据权利要求2所述的方法，其特征在于，所述将所述当前中心采样区域的点云进行体素下采样，得到当前下采样后的样本点云包括：

根据预设的体素大小对所述当前中心采样区域进行划分，得到多个体素；

计算当前非空体素的质心替代当前非空体素内的所有点；

将每个非空体素的质心集合作为所述当前下采样后的样本点云。

5.根据权利要求1所述的方法，其特征在于：

所述预测结果中当前点的预测边界置信度根据以下公式计算：

其中，S_bdpre为预测结果中当前点的预测边界置信度，N_{DiffpreInstance}为预测结果中当前点的邻域点中，其预测编号与预测结果中当前点的预测编号不同的点的总数；N_{SamepreInstance}为预测结果中当前点的邻域点中，其预测编号与预测结果中当前点的预测编号相同的点的总数；

所述当前样本点云的边界置信度损失值根据以下公式计算：

其中，L_bd为当前样本点云的边界置信度损失值，为当前样本点云的第i个点的标注边界置信度，为对应的当前样本点云预测结果中的第i个点的预测边界置信度，N为当前样本点云的点数。

6.根据权利要求1所述的方法，其特征在于：所述根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络包括：

根据当前样本点云的边界置信度损失值和固有损失值计算得到当前样本点云的总损失值；

根据当前样本点云的总损失值反向更新所述3D-BoNet网络；

其中，所述固有损失值包括：交叉熵损失值、边界框损失值、边界框分数损失值、掩码损失值；

所述当前样本点云的总损失值根据以下公式计算：

L_all＝L_sem+L_bbox+L_bbs+L_pmask+w*L_bd

其中，L_all为当前样本点云的总损失值，L_sem为当前样本点云的交叉熵损失值，L_bbox为当前样本点云的边界框损失值，L_bbs为当前样本点云的边界框分数损失值，L_pmask为当前样本点云的掩码损失值，L_bd为当前样本点云的边界置信度损失值，w为预设的边界置信度损失的权重。

7.根据权利要求1所述的方法，其特征在于，所述S4包括：

当判定当前聚类结果点云的矩形包围框的长度大于预设的长度阈值或当判定当前聚类结果点云的矩形包围框的宽度大于预设的宽度阈值时，判定当前聚类结果点云为疑似多目标合并的聚类结果点云。

8.一种周界入侵单个人体完整识别系统，其特征在于，包括：

人体完整性分类模型训练单元，用于获取原始人体完整性分类数据集A，将A中的每个样本点云进行中心区域下采样，得到更新人体完整性分类数据集A1；对A1中每个样本点云进行完整和不完整标注，将标注后的A1输入到pointnet++网络中进行模型训练，得到人体完整性分类模型；

实例分割模型训练单元，用于获取原始聚类结果实例分割数据集B，将B中的每个样本点云的每个点进行类别和编号标注；将B通过3D-BoNet网络进行模型训练，得到每个样本点云预测结果中每个点的预测编号和固有损失值；将当前样本点云的每个点以及当前样本点云预测结果中每个点采用固定距离搜索方式找出每个点对应的邻域点；根据当前点的邻域点的标注编号计算当前点的标注边界置信度；根据预测结果中当前点的邻域点的预测编号计算预测结果中当前点的预测边界置信度；根据当前样本点云中所有点的标注边界置信度和对应的预测结果中所有点的预测边界置信度得到当前样本点云的边界置信度损失值，根据当前样本点云的边界置信度损失值和固有损失值反向更新所述3D-BoNet网络，直至将所有样本点云训练完并进行多轮训练后得到实例分割模型；

差分聚类单元，用于通过激光雷达获取待识别的当前帧的原始点云，对所述待识别的当前帧的原始点云进行背景差分后聚类，得到待识别的当前帧的多个聚类结果点云；

判断单元，用于根据每个聚类结果点云的矩形包围框以及预设的宽度阈值和预设的长度阈值，判断每个聚类结果点云是否为疑似多目标合并的聚类结果点云；若是，进入分割单元，反之，进入补全输出单元；

分割单元，用于将当前疑似多目标聚类结果点云输入到所述实例分割模型中进行预测，若判定有多个目标，则将每个目标单独分割出来，进入补全输出单元；

补全输出单元，用于将当前单目标聚类结果点云进行中心区域下采样，得到当前下采样后的点云，将所述当前下采样后的点云输入到所述人体完整性分类模型中进行预测，若判定为完整目标，则输出其对应的当前单目标聚类结果点云；反之，采用固定距离搜索方式找出当前单目标聚类结果点云的邻域点并对其进行补全后输出；

所述原始人体完整性分类数据集A和原始聚类结果实例分割数据集B通过以下方式获取：

通过激光雷达获取连续帧的原始点云，对所述连续帧的原始点云进行背景差分后得到每帧的差分点云；

将所述每帧的差分点云进行聚类，得到每帧对应的多个聚类结果点云；

判断每个聚类结果点云是否为单个人体，若是，将其作为单目标样本点云，将所有的单目标样本点云作为所述原始人体完整性分类数据集A；反之，将其作为多目标样本点云，将所有的多目标样本点云作为所述原始聚类结果实例分割数据集B；

所述当前点的标注边界置信度根据以下公式计算：

其中，S_bdgt为当前点的标注边界置信度，N_DiffInstance为当前点的邻域点中，其标注编号与当前点的标注编号不同的点的总数；N_SameInstance为当前点的邻域点中，其标注编号与当前点的标注编号相同的点的总数。