CN113989708B - 一种基于YOLO v4的校园图书馆疫情防控方法 - Google Patents

Abstract

本发明涉及一种基于YOLO v4的校园图书馆疫情防控方法。利用YOLO V4目标检测算法实时监测图书馆的学生位置以及每张桌子的位置，每隔十秒计算学生与桌子之间中心点坐标的距离，判断桌子的上座人数是否大于两名。同时利用LK算法计算YOLO V4使用的初始anchor框，利用KDTree算法快速检索学生到所有桌子的最短距离，从而提高识别效果和效率。本发明方法，能做到较高的模型精度以及检索效率，很好地提升校园图书馆防疫管理的灵活性。

Description

一种基于YOLO v4的校园图书馆疫情防控方法

技术领域

本发明涉及一种基于YOLO v4的校园图书馆疫情防控方法。

背景技术

当某地出现疫情后，该地需要立刻付出行动来扼制疫情的反扑。其中当地的高校同样需要有相应的应对措施，如错峰进出食堂、线上上课、体育场限流等措施，其中图书馆作为校内的密闭场所，又有许多学生选择在图书馆学习，因此图书馆的防疫举措必须更加完善才能防止意外地出现，而图书馆内桌子的上座人数限制就是防疫举措中重要一项。但传统的限制上座人数的方法需要志愿者或工作人员重复巡逻，费时费力，并不能很好地满足疫情防控下的需求。因此，将智能化检查技术应用到图书馆疫情防控管理中具有重要的意义。

发明内容

本发明的目的在于提供一种基于YOLO v4的校园图书馆疫情防控方法，利用YOLOV4检测模型，以及能够获得更加合理的anchor框的LK聚类算法，快速检索出关键点到其他所有点最短欧式距离的KDTree算法建立校园图书馆疫情防控的监测系统。

为实现上述目的，本发明的技术方案是：一种基于YOLO v4的校园图书馆疫情防控方法，包括如下步骤：

步骤S1、从图书馆内摄像头对监控区域的监控视频中获取场景图像，根据深度学习目标检测算法框架YOLO V4模型检测图像中的学生以及桌子，并用矩形边框进行标识和输出；

步骤S2、利用LK聚类算法获得YOLO V4所需的9个anchor框；

步骤S3、每隔十秒利用KDTree算法计算出每名学生到所有桌子对应的矩形框的最短欧氏距离；

步骤S4、判断此距离是否小于阈值，若小于阈值，则将对应的桌子的上座人数加一，当某张桌子连续六次上座人数大于两名时，就判定这张桌子同时被多名学生使用。

在本发明一实施例中，在步骤S1中，所述YOLO V4模型的训练包括以下步骤：

步骤A1、首先构建出包含有桌子以及学生的数据集，再通过包括仿射变换的方法对数据集进行扩增，以及通过包括CLAHE局部直方图均衡化的图像增强手段对收集到的数据集进行增强，生成足够大且图片质量高的数据集；且生成的数据集必须通过人工标注出目标所在的位置以及其中心点坐标；

步骤A2、搭建YOLO V4框架所需要的神经网络模型，具体以Darknet-53为骨干网络构建模型，层与层之间的激活函数采用leaky Relu激活函数，解决输入值为负值时神经元死亡的问题；模型训练停止的条件分为两种，一种是当迭代至一定次数停止，另一种是在损失表现收敛时停止。

在本发明一实施例中，以Darknet-53为骨干网络，采用3个不同尺度的特征层分别为13×13、26×26、52×52，YOLO V4首先为每种下采样尺度设定 3 种先验框从而聚类得到9种尺寸的先验框；在整个YOLO V4的结构中，没有池化层和全连接层，网络的下采样是通过设置卷积的stride为2来达到的。

在本发明一实施例中，在步骤S2中，LK聚类算法是将k-means聚类算法进行改进，即在使用k-means聚类前先使用Leader聚类算法找到分布密集区域的中心，使得改进后的LK聚类算法在初始类中心的选择不再随机。

在本发明一实施例中，所述LK聚类算法包括以下步骤；

步骤B1、任意选择1个数据项作为起始的Leader，即类中心；

步骤B2、从当前的数据项中找到与Leader最近的数据项，如果距离小于阈值，该数据项被划分到该Leader所属的类，若距离大于阈值，则该数据项作为一个新的Leader；

步骤B3、从Leader集中选取包含数据项个数最多的k个Leaders作为类中心，并以这些类中心作为k-means聚类的初始类中心。

在本发明一实施例中，在步骤S3中，计算最短欧氏距离包括以下步骤：

步骤C1、将YOLO V4模型监测出的所有学生的矩形框中心点加入一中心点集合内，将YOLO V4模型监测出的所有桌子的矩形框中心点加入另一中心点集合内；

步骤C2、根据桌子中心点集合内的所有中心点坐标建立KDTree；

步骤C3、将学生中心点坐标插入已建立好的KDTree，利用KDTree算法快速计算学生中心点坐标到桌子中心点集合所有坐标的最短欧氏距离，欧式距离表达公式如下：

其中，xi表示学生中心点第i维坐标，yi表示桌子中心点第i维坐标；利用KDTree算法不需要遍历计算学生中心点到所有桌子中心点坐标的欧式距离就能获得与学生距离最近的桌子。

相较于现有技术，本发明具有以下有益效果：本发明方法通过在图书馆内配备监控摄像头利用YOLO V4模型进行馆内桌子上座人数的监测，将摄像头获取到的视频帧送入YOLO V4模型中获取学生以及桌子的中心点坐标，利用KDTree算法计算出学生的矩形框的中心点坐标到所有桌子的矩形框的中心点坐标的最短欧氏距离，若此距离小于阈值，则将对应的桌子的上座人数加一，当某张桌子的上座人数大于两名并持续一分钟以上时，就判定这张桌子同时被多名学生使用，本发明使用KDTree算法，从而不需要遍历计算学生中心点坐标到所有桌子中心点坐标的欧式距离就能知道哪两个坐标欧式距离最短，并结合LK算法优化YOLO V4中的anchor框，提升其目标检测性能，使本发明具有良好的实时性和准确性，能够加强图书馆内的疫情防控。

附图说明

图1是YOLO V4的网络结构示意图；

图2是YOLO V4模型的损失函数公式；

图3是本发明的实施例的工作流程示意图；

图4是本发明对馆内人员目标检测的识别结果。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于YOLO v4的校园图书馆疫情防控方法，包括如下步骤：

步骤S1、从图书馆内摄像头对监控区域的监控视频中获取场景图像，根据深度学习目标检测算法框架YOLO V4模型检测图像中的学生以及桌子，并用矩形边框进行标识和输出；

步骤S2、利用LK聚类算法获得YOLO V4所需的9个anchor框；

步骤S3、每隔十秒利用KDTree算法计算出每名学生到所有桌子对应的矩形框的最短欧氏距离；

步骤S4、判断此距离是否小于阈值，若小于阈值，则将对应的桌子的上座人数加一，当某张桌子连续六次上座人数大于两名时，就判定这张桌子同时被多名学生使用。

以下为本发明具体实现过程。

本实施例提供一种基于YOLO V4的校园图书馆疫情防控方法，本发明的学生以及桌子的检测使用到了端到端的深度学习目标检测算法YOLO V4，并结合了更高速的KDTree算法以及LK算法，优化了模型，提高检测性能。YOLO V4网络模型如附图1所示。

具体的，YOLO V4模型采用leaky ReLU作为激活函数并且采用端到端的方法进行训练，YOLO V4模型进行梯度下降法时采用的损失函数如附图2所示：

其中第一部分与第二部分负责预测物体的bbox(边界框)，第一部分表示了图像沿神经网络正向传播得到的中心点坐标与ground truth中心点错标的误差值，第二部分衡量了图像沿神经网络正向传播得到的边框宽高与ground truth宽高的误差值；第三部分表征了含有目标对象的预测边框置信度的误差值，含有目标对象的预测边框置信度应该经过训练后达到1；第四部分表征了不包含目标对象的预测边框置信度的误差值，不含有目标对象的预测变宽置信度经过训练后应该达到0；第五部分为包含目标对象的网格预测分类误差项。

下面将结合附图3工作流程图来说明具体实施步骤：

步骤S1、从监控摄像头对监控区域的监控视频中获取场景图像，根据深度学习目标检测算法框架YOLO V4检测图像中的学生以及桌子，并用矩形边框进行标识和输出；

步骤S2、利用LK算法生成9个YOLO V4模型所需要的初始anchor框；

步骤S3、根据YOLO V4模型定位到桌子中心点坐标并建立KDTree；

步骤S4、每隔十秒对学生进行目标检测，并将检测到的学生插入建立好的KDTree中，利用KDTree算法计算每个学生到所有桌子的最短欧氏距离；

步骤S5、若最短距离小于阈值，对应的桌子上座人数加一，当某张桌子连续六次(六十秒)检测中上座人数大于二，则判定桌子被多名学生使。

在步骤S2中，所述的LK算法生成9个初始anchor框包括以下步骤；

步骤A1、任意选择1个数据项作为起始的Leader(即类中心)；

步骤A2、从当前的数据项中找到与Leader最近的数据项，如果距离小于阈值，该数据项被划分到该Leader所属的类，若距离大于阈值，则该数据项作为一个新的Leader，循环执行步骤A2，直至所有数据项都分至相应的Leader类中；

步骤A3、从Leader集中选取包含数据项个数最多的k个Leaders作为类中心，并以这些类中心作为k-means聚类的初始类中心；

在步骤S3中，所述的KDTree建立包括以下步骤；

步骤B1、计算中心点坐标集合的x方向特征与y方向特征的方差，选择方差大的方向特征作为分割特征；

步骤B2、选择该特征的中位数的坐标作为根节点；

步骤B3、小于该中位数的坐标划分至左孩子，大于该中位数的坐标划分至右孩子。

步骤B4、递归执行步骤B1，B2，B3，直至所有中心点坐标都加入KDTree中。

在步骤S4中，所述计算最短欧式距离包括以下步骤；

步骤C1、学生中心点坐标根据二叉平衡树的规则插入至上述建立好的KDTree的叶子结点处，把经过的所有结点坐标压栈；

步骤C2、计算学生中心点坐标与出栈的第一个桌子中心点坐标的欧氏距离，若此距离最短，则保留此距离；

步骤C3、计算学生中心点坐标与出栈的第一个桌子中心点坐标的特征面的距离，若小于此时的最短距离，则要把出栈的坐标的另一侧孩子的所有坐标压栈，返回执行步骤C2，若大于此时的最短距离，则直接返回执行步骤C2，直至栈为空后输出计算得到的最短欧式距离。

图4是本发明实例对馆内人员目标检测的识别结果。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于YOLO v4的校园图书馆疫情防控方法，其特征在于，包括如下步骤：

步骤S1、从图书馆内摄像头对监控区域的监控视频中获取场景图像，根据深度学习目标检测算法框架YOLO V4模型检测图像中的学生以及桌子，并用矩形边框进行标识和输出；

步骤S2、利用LK聚类算法获得YOLO V4所需的9个anchor框；

步骤S3、每隔十秒利用KDTree算法计算出每名学生到所有桌子对应的矩形框的最短欧氏距离；

步骤S4、判断此距离是否小于阈值，若小于阈值，则将对应的桌子的上座人数加一，当某张桌子连续六次上座人数大于两名时，就判定这张桌子同时被多名学生使用；

在步骤S1中，所述YOLO V4模型的训练包括以下步骤：

步骤A1、首先构建出包含有桌子以及学生的数据集，再通过包括仿射变换的方法对数据集进行扩增，以及通过包括CLAHE局部直方图均衡化的图像增强手段对收集到的数据集进行增强，生成足够大且图片质量高的数据集；且生成的数据集必须通过人工标注出目标所在的位置以及其中心点坐标；

步骤A2、搭建YOLO V4框架所需要的神经网络模型，具体以Darknet-53为骨干网络构建模型，层与层之间的激活函数采用leaky Relu激活函数，解决输入值为负值时神经元死亡的问题；模型训练停止的条件分为两种，一种是当迭代至一定次数停止，另一种是在损失表现收敛时停止；

以Darknet-53为骨干网络，采用3个不同尺度的特征层分别为13×13、26×26、52×52，YOLO V4首先为每种下采样尺度设定3种先验框从而聚类得到9种尺寸的先验框；在整个YOLO V4的结构中，没有池化层和全连接层，网络的下采样是通过设置卷积的stride为2来达到的。

2.根据权利要求1所述的一种基于YOLO v4的校园图书馆疫情防控方法，其特征在于，在步骤S2中，LK聚类算法是将k-means聚类算法进行改进，即在使用k-means聚类前先使用Leader聚类算法找到分布密集区域的中心，使得改进后的LK聚类算法在初始类中心的选择不再随机。

3.根据权利要求2所述的一种基于YOLO v4的校园图书馆疫情防控方法，其特征在于，所述LK聚类算法包括以下步骤；

步骤B1、任意选择1个数据项作为起始的Leader，即类中心；

步骤B2、从当前的数据项中找到与Leader最近的数据项，如果距离小于阈值，该数据项被划分到该Leader所属的类，若距离大于阈值，则该数据项作为一个新的Leader；

步骤B3、从Leader集中选取包含数据项个数最多的k个Leaders作为类中心，并以这些类中心作为k-means聚类的初始类中心。

4.根据权利要求1所述的一种基于YOLO v4的校园图书馆疫情防控方法，其特征在于，在步骤S3中，计算最短欧氏距离包括以下步骤：

步骤C1、将YOLO V4模型监测出的所有学生的矩形框中心点加入一中心点集合内，将YOLO V4模型监测出的所有桌子的矩形框中心点加入另一中心点集合内；

步骤C2、根据桌子中心点集合内的所有中心点坐标建立KDTree；

步骤C3、将学生中心点坐标插入已建立好的KDTree，利用KDTree算法快速计算学生中心点坐标到桌子中心点集合所有坐标的最短欧氏距离，欧式距离表达公式如下：

其中，xi表示学生中心点第i维坐标，yi表示桌子中心点第i维坐标；利用KDTree算法不需要遍历计算学生中心点到所有桌子中心点坐标的欧式距离就能获得与学生距离最近的桌子。